BLOOM 176B 大语言模型训练技术解析

本文解析了 176B 参数多语言模型 BLOOM 的训练技术。该模型基于 GPT3 架构，使用 384 块 80GB A100 GPU 在 Jean Zay 超算上训练 3.5 个月完成。核心技术为 Megatron-DeepSpeed 实现的 3D 并行，结合 ZeRO、流水线并行和张量并行。