使用 Intel Sapphire Rapids 加速 PyTorch Transformers 训练（第一部分）

Intel 发布第四代 Xeon CPU Sapphire Rapids，引入 AMX 指令集以加速深度学习矩阵运算。Hugging Face 博客演示了结合 Intel IPEX 和 CCL 库，在 AWS 上利用 r7iz.metal-16xl 裸金属实例集群，无需修改代码即可实现 PyTorch 分布式训练加速。