Hugging Face Blog·· 2025-05-21精选AI 评分82
Falcon-H1 系列混合架构模型发布,长上下文吞吐量最高提升 8 倍
Falcon-H1: A Family of Hybrid-Head Language Models Redefining Efficiency and Performance
AI 导读
TII 发布 Falcon-H1 系列开源模型,包含 0.5B 至 34B 六种规模及指令微调版本,采用 Attention 与 SSM 混合架构。该系列原生支持 18 种语言,上下文窗口达 256K,在长序列生成时吞吐量最高提升 8 倍,且小参数模型性能媲美更大规模的 Transformer 模型。
推荐理由
混合架构在长上下文下吞吐量提升显著,为资源受限场景提供了兼顾性能与效率的开源替代方案。
来源:Hugging Face Blog · huggingface.co