跳到正文
原文
Hugging Face Blog·· 2025-11-19精选AI 评分78

ServiceNow 发布 Apriel-H1 论文:用推理数据蒸馏高效混合模型

Apriel-H1: The Surprising Key to Distilling Efficient Reasoning Models

AI 导读

ServiceNow 发布 Apriel-H1 论文,将 15B 推理模型蒸馏为 Mamba 混合架构,实现 2.1 倍吞吐提升。研究指出使用高质量推理数据蒸馏比预训练数据更有效,并开源了 Fast-LLM 训练框架。

推荐理由

文章揭示了用推理数据蒸馏混合架构的关键发现,并开源了复现所需的训练框架。

来源:Hugging Face Blog · huggingface.co