Amazon SageMaker AI 上的 Mixture-of-Experts 内核工程

Amazon SageMaker AI 通过 Swap-AB 和后端路由优化，显著提升 Hopper 架构上 MoE 模型的推理性能。Swap-AB 技术将矩阵乘法转置以适配 WGMMA 指令集，使 H200 GPU 端到端吞吐量提升 2–4%。该优化已上游提交至 vLLM 0.24.0 及以上版本，同时 Triton 后端在 FP8 量化 MoE 低并发场景下优于默认 CUTLASS 路径。