使用 DeepSpeed 加速大模型训练

Hugging Face 博客介绍利用 Accelerate 库配合 DeepSpeed ZeRO 功能训练大模型。在 DeBERTa-XL 模型实验中，DeepSpeed ZeRO Stage-2 使单卡最大 batch size 从 8 提升至 40，训练速度提升约 3.5 倍且无需修改代码。