在 AWS Trainium 上使用 torchtitan 训练 Qwen3

本文介绍在 AWS Trainium 上使用 torchtitan 训练 Qwen3 的三种方法。第一种使用 Transformers v5 后端，第二种切换至 torchtitan 原生 Qwen3 实现，第三种结合 NKI MoE 内核。所有配置均基于 trn2.48xlarge 实例，支持从随机初始化预训练或微调已发布权重。