Hugging Face 开源 Cosmopedia 合成数据集及生成工具

Hugging Face 发布 Cosmopedia，这是目前最大的开源合成数据集，包含250亿token和3000万个文件，由 Mixtral-8x7B-Instruct-v0.1 生成。Hugging Face 开源了端到端生成代码、数据集以及基于此训练的 1B 模型 cosmo-1b，详细披露了通过提示词工程和 Web 数据聚类构建大规模预训练数据的完整技术栈。