跳到正文
原文
Hugging Face Blog·· 2026-02-26精选AI 评分75

Hugging Face Transformers 重构 MoE 权重加载与执行后端

Mixture of Experts (MoEs) in Transformers

AI 导读

Hugging Face 重构了 Transformers 库以原生支持 Mixture of Experts (MoE) 架构,引入动态权重加载与专家后端,使 Qwen1.5-110B 等模型加载速度提升数倍,并联合 Unsloth 实现 MoE 训练速度提升约 12 倍。

推荐理由

Hugging Face重构了MoE模型的权重加载与执行后端,显著提升了大参数模型的加载速度与训练效率。

来源:Hugging Face Blog · huggingface.co