跳到正文

论文研究

值得读的 AI 论文与研究成果:架构创新、训练方法、能力测量与理论进展的精选解读。

最新精选

第 61–70 条 · 共 70 条
5月28日周三
  1. Hugging Face Blog72

    Hugging Face 研究:结构化输出提升 CodeAgent 性能与可靠性

    Hugging Face 发布研究,证实强制 CodeAgent 以结构化 JSON 格式生成思维与代码,可消除 Markdown 解析错误并提升基准测试表现。该方法在 32B 以上大模型上效果显著,但小模型面临“结构化税”导致性能下降。

    推荐理由:研究证实结构化输出能消除代码解析错误并提升智能体性能,同时揭示了小模型应用该方法的局限性。

2月2日周日
  1. Hugging Face Blog77

    Hugging Face 发布 Open-R1 进展:复现 DeepSeek R1 训练与数据生成

    Hugging Face 发布 Open-R1 项目进展,报告了复现 DeepSeek R1 训练管线与合成数据的最新成果。团队在 MATH-500 基准上验证了复现结果,并分享了利用 TRL 库集成 GRPO 算法及通过 vLLM 优化长文本推理吞吐量的工程经验。

    推荐理由:Hugging Face 团队公开了复现 DeepSeek R1 的训练进展与合成数据生成方案,为社区提供了可验证的参考路径。

10月23日周三
  1. OpenAI News68

    OpenAI 发布连续时间一致性模型研究

    OpenAI 发布研究,展示了简化、稳定并扩展连续时间一致性模型的方法,在仅使用两步采样的情况下实现了与领先扩散模型相当的样本质量。

    推荐理由:研究展示了连续时间一致性模型在两步采样下达到主流扩散模型画质,为高效图像生成提供新路径。

2月15日周四
  1. OpenAI News93

    Sora:将视频生成模型作为世界模拟器

    OpenAI 发布研究论文,探讨在视频数据上大规模训练生成模型。其最大模型 Sora 采用时空 patch 的 Transformer 架构,能够生成长达一分钟的高保真视频,表明扩展视频生成模型是构建通用物理世界模拟器的有前景路径。

    推荐理由:文章提出将视频生成模型作为世界模拟器,并展示了Sora生成长视频的能力,为物理世界模拟提供了新路径。

12月16日周四
1月5日周二
  1. OpenAI News60

    CLIP: Connecting text and images

    OpenAI 发布 CLIP 模型,该神经网络通过自然语言监督高效学习视觉概念,可像 GPT-2 和 GPT-3 一样实现零样本视觉分类。

    推荐理由:提出利用自然语言监督高效学习视觉概念的方法,展示了类似GPT的零样本分类能力。

6月17日周三
  1. OpenAI News75

    Image GPT:用Transformer生成图像

    OpenAI发布Image GPT研究,证明Transformer模型在像素序列上训练可生成连贯图像。研究建立了样本质量与图像分类准确率的关联,显示其生成模型在无监督设置下具备与顶级卷积网络竞争的特征。

    推荐理由:文章提出用Transformer处理像素序列生成图像,并建立了生成质量与分类准确率的关联。

5月28日周四
  1. OpenAI News93

    语言模型是少样本学习者

    OpenAI 发布论文《语言模型是少样本学习者》,提出少样本学习范式,展示大语言模型在未见任务中通过少量示例即可实现有效推理的能力。

    推荐理由:提出少样本学习范式,奠定后续大模型能力演进的基础理论框架。

2月14日周四
  1. OpenAI News96

    OpenAI发布Better language models论文

    OpenAI发布论文介绍大规模无监督语言模型,该模型无需任务特定训练即可在多项语言建模基准上取得SOTA,并具备基础阅读理解、机器翻译、问答和摘要能力。

    推荐理由:展示了无监督预训练模型在多项NLP任务上的通用能力,为后续大语言模型发展提供了关键范式参考。

6月11日周一