跳到正文
原文
Hugging Face Blog·· 2026-06-25精选AI 评分75

NVIDIA NeMo AutoModel 发布,基于 Transformers v5 加速 MoE 微调

Accelerating Transformers Fine-Tuning with NVIDIA NeMo AutoModel

AI 导读

NVIDIA 发布 NeMo AutoModel,基于 HuggingFace Transformers v5 提供专家并行、DeepEP 融合通信和 TransformerEngine 内核。在 Qwen3-30B-A3B 和 Nemotron 3 Nano 30B-A3B 上,训练吞吐量提升 3.4-3.7 倍,GPU 显存降低 29-32%,并支持 550B 模型全量微调。

推荐理由

NeMo AutoModel 在保持 Transformers v5 API 兼容的前提下,通过专家并行和内核优化显著提升 MoE 微调性能。

来源:Hugging Face Blog · huggingface.co