Hugging Face Blog·· 2024-08-12精选AI 评分70
TII 发布 Falcon Mamba 7B 纯 Mamba 架构模型
Welcome Falcon Mamba: The first strong attention-free 7B model
AI 导读
TII 发布 Falcon Mamba 7B，这是首个性能强劲的无注意力 7B 模型，基于 Mamba 架构实现线性时间序列建模。该模型在长序列生成中保持恒定吞吐量且显存不增，支持 4-bit 量化及 torch.compile 加速，并提供指令微调版本。
推荐理由
Falcon Mamba 7B 验证了纯 Mamba 架构在长序列推理上的效率优势，为 Transformer 之外的替代方案提供了可复用的工程实践。
来源：Hugging Face Blog · huggingface.co