Hugging Face Blog·· 2025-11-19精选AI 评分78
ServiceNow 发布 Apriel-H1 论文:用推理数据蒸馏高效混合模型
Apriel-H1: The Surprising Key to Distilling Efficient Reasoning Models
AI 导读
ServiceNow 发布 Apriel-H1 论文,将 15B 推理模型蒸馏为 Mamba 混合架构,实现 2.1 倍吞吐提升。研究指出使用高质量推理数据蒸馏比预训练数据更有效,并开源了 Fast-LLM 训练框架。
推荐理由
文章揭示了用推理数据蒸馏混合架构的关键发现,并开源了复现所需的训练框架。
来源:Hugging Face Blog · huggingface.co