跳到正文
原文
Hugging Face Blog·· 2024-06-13AI 评分47

Hugging Face Accelerate 0.30.0 发布:统一 DeepSpeed 与 FSDP 混合精度处理

From DeepSpeed to FSDP and Back Again with Hugging Face Accelerate

AI 导读

Hugging Face Accelerate 0.30.0 发布,通过上游 PR 统一了 DeepSpeed 与 PyTorch FSDP 的混合精度处理逻辑。FSDP 现支持“混合精度”与“低精度”两种模式,前者将参数上铸为 fp32 以对齐 DeepSpeed 行为,后者保留 bf16 以节省显存。在四张 A100 GPU 上,两者吞吐量表现相近,MFU 均约为 0.40。

来源:Hugging Face Blog · huggingface.co