Hugging Face 发布全球最大开源多语言大模型 BLOOM
Hugging Face 发布全球最大开源多语言大语言模型 BLOOM,拥有 1760 亿参数,支持 46 种自然语言和 13 种编程语言。该模型由 1000 多名研究人员历时 117 天训练完成,首次开源了完整的训练检查点和优化器状态,并提供基于 TPU 的推理 API 供社区测试。
推荐理由:开源了1760亿参数多语言模型及训练检查点,为研究大模型内部机制提供了完整的透明数据。
文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。
Hugging Face 发布全球最大开源多语言大语言模型 BLOOM,拥有 1760 亿参数,支持 46 种自然语言和 13 种编程语言。该模型由 1000 多名研究人员历时 117 天训练完成,首次开源了完整的训练检查点和优化器状态,并提供基于 TPU 的推理 API 供社区测试。
推荐理由:开源了1760亿参数多语言模型及训练检查点,为研究大模型内部机制提供了完整的透明数据。
OpenAI 发布 CLIP 模型,该神经网络通过自然语言监督高效学习视觉概念,可像 GPT-2 和 GPT-3 一样实现零样本视觉分类。
推荐理由:提出利用自然语言监督高效学习视觉概念的方法,展示了类似GPT的零样本分类能力。