CLIP: Connecting text and images
OpenAI 发布 CLIP 模型,该神经网络通过自然语言监督高效学习视觉概念,可像 GPT-2 和 GPT-3 一样实现零样本视觉分类。
推荐理由:提出利用自然语言监督高效学习视觉概念的方法,展示了类似GPT的零样本分类能力。
OpenAI 的全部动态:GPT 系列模型、ChatGPT 与 Sora 产品、公司战略与人事的持续追踪。
OpenAI 发布 CLIP 模型,该神经网络通过自然语言监督高效学习视觉概念,可像 GPT-2 和 GPT-3 一样实现零样本视觉分类。
推荐理由:提出利用自然语言监督高效学习视觉概念的方法,展示了类似GPT的零样本分类能力。
OpenAI 已同意将 GPT-3 技术授权给微软,供其用于自有产品和服务。
推荐理由:OpenAI 将 GPT-3 技术授权给微软,标志着大模型商业化合作的重要里程碑。
OpenAI发布Image GPT研究,证明Transformer模型在像素序列上训练可生成连贯图像。研究建立了样本质量与图像分类准确率的关联,显示其生成模型在无监督设置下具备与顶级卷积网络竞争的特征。
推荐理由:文章提出用Transformer处理像素序列生成图像,并建立了生成质量与分类准确率的关联。
OpenAI 发布论文《语言模型是少样本学习者》,提出少样本学习范式,展示大语言模型在未见任务中通过少量示例即可实现有效推理的能力。
推荐理由:提出少样本学习范式,奠定后续大模型能力演进的基础理论框架。
OpenAI 发布 Jukebox,这是一个能生成包含简单歌唱的原始音频的音乐神经网络,支持多种流派和艺术家风格。官方同步开源了模型权重、代码及样本探索工具。
推荐理由:Jukebox 开源了生成音乐和原始音频的模型权重与代码,为音频生成研究提供了可复用的基础。
OpenAI 发布拥有 7.74 亿参数的 GPT-2 语言模型,此前已发布 1.24 亿和 3.55 亿参数版本。同时发布开源法律协议以促进组织间模型共享,并公布关于协调发布规范的技术报告。
推荐理由:GPT-2 7.74亿参数版本发布,并配套开源法律协议与技术报告,展示了模型迭代与社区协作规范。
微软宣布向OpenAI投资10亿美元以支持通用人工智能(AGI)研发,双方将联合开发Azure AI超算技术,微软成为OpenAI的独家云提供商。
推荐理由:微软宣布10亿美元投资并确立独家云合作,为OpenAI的AGI研发提供算力与资金支持。
OpenAI发布论文介绍大规模无监督语言模型,该模型无需任务特定训练即可在多项语言建模基准上取得SOTA,并具备基础阅读理解、机器翻译、问答和摘要能力。
推荐理由:展示了无监督预训练模型在多项NLP任务上的通用能力,为后续大语言模型发展提供了关键范式参考。
OpenAI Five 在公开直播中击败由 Blitz、Cap 等四位职业选手组成的顶尖人类 Dota 队伍,吸引了 10 万并发观众观看。
推荐理由:记录了OpenAI Five在公开直播中击败顶尖人类玩家的关键里程碑,展示了强化学习在复杂多智能体协作任务中的突破。
OpenAI 宣布其由五个神经网络组成的 OpenAI Five 已开始击败业余人类团队。
推荐理由:原文确认了OpenAI Five在Dota 2中击败业余人类团队,标志着多智能体协作能力的阶段性突破。
OpenAI 发布研究,提出结合 Transformer 与无监督预训练的方法,在多项语言任务中取得当时最优结果。
推荐理由:提出结合Transformer与无监督预训练的方法,在多项语言任务中取得当时最优结果。
OpenAI 发布了一款在标准锦标赛规则下能击败世界顶级职业选手的 Dota 2 智能体。该智能体通过自我对弈从零学习,未使用模仿学习或树搜索,旨在展示在涉及真实人类的复杂环境中实现明确目标的能力。
推荐理由:OpenAI 展示了无需模仿学习或树搜索的 Dota 2 智能体,为复杂环境下的目标达成提供了技术参考。