Hugging Face Blog·· 2024-12-18精选AI 评分74
IBM 等联合发布 Bamba-9B 混合 Mamba2 模型
Bamba: Inference-Efficient Hybrid Mamba2 Model
AI 导读
IBM、普林斯顿大学等联合发布 Bamba-9B 混合 Mamba2 模型,在 vLLM 中推理吞吐量提升 2.5 倍、延迟降低 2 倍。该模型基于 2.2T token 开源数据训练,性能接近 Llama 3.1 8B,并开源了完整训练代码与数据加载器。
推荐理由
Bamba-9B 验证了混合 Mamba2 架构在推理效率上的优势,为突破 KV-cache 瓶颈提供了可复现的开源方案。
来源:Hugging Face Blog · huggingface.co