BLOOMZ 在 Habana Gaudi2 上的快速推理

BLOOMZ 模型在 Habana Gaudi2 加速器上实现了比 Nvidia A100 更快的推理速度。176B 参数模型在 Gaudi2 上比 A100 快 1.42 倍，7B 参数模型快 2.89 倍。初代 Gaudi 在 7B 模型上具备更优的性价比。