Hugging Face Blog·· 2022-09-16AI 评分47
使用 DeepSpeed 和 Accelerate 实现 BLOOM 推理极速加速
Incredibly Fast BLOOM Inference with DeepSpeed and Accelerate
AI 导读
本文展示了如何利用 DeepSpeed-Inference 和 HuggingFace Accelerate 在 8x80GB A100 节点上实现 176B 参数 BLOOM 模型的极速推理。
来源：Hugging Face Blog · huggingface.co