Hugging Face Transformers v4.2.0 集成 DeepSpeed 与 FairScale 的 ZeRO 功能

Hugging Face Transformers v4.2.0 实验性支持 DeepSpeed 和 FairScale 的 ZeRO 内存优化功能。实测显示，在双卡环境下 DeepSpeed 可将最大 Batch Size 提升至 40 并显著缩短训练时间；在单卡环境下，ZeRO-Offload 成功让 24GB 显存的 RTX-3090 训练了原本无法加载的 t5-3b 模型。