Hugging Face Blog·· 2024-12-19精选AI 评分82
ModernBERT 发布：超越 BERT 的新一代高效编码器模型
Finally, a Replacement for BERT: Introducing ModernBERT
AI 导读
Answer.AI 与 LightOn 联合发布 ModernBERT，这是一款基于 Transformer 架构的编码器模型，包含 Base（1.49 亿参数）和 Large（3.95 亿参数）两个版本。
推荐理由
ModernBERT 将上下文窗口扩展至 8192 并大幅提升推理速度，为 RAG 和代码检索提供了更高效的开源替代方案。
来源：Hugging Face Blog · huggingface.co