热点事件持续更新
AWS SageMaker优化MoE推理性能并上游贡献vLLM
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月13日，AWS在机器学习博客发布文章，介绍Amazon SageMaker AI对Mixture-of-Experts（MoE）模型的内核工程优化。该技术通过Swap-AB方法和后端路由优化，显著提升了基于Hopper架构的MoE模型推理性能。Swap-AB技术通过将矩阵乘法转置以适配WGMMA指令集，使H200 GPU的端到端吞吐量提升了2%至4%。此外，在FP8量化MoE的低并发场景下，Triton后端的表现优于默认的CUTLASS路径。目前，这些优化成果已上游提交至vLLM 0.24.0及更高版本中。
AI 根据报道生成 · 2 小时前更新
最新进展10月13日 23:17
AWS已将MoE内核优化技术上游提交至vLLM 0.24.0及以上版本。报道时间线
沿着报道，了解事件的不同侧面。
10月13日
- AWS Machine Learning BlogAmazon SageMaker AI 上的 Mixture-of-Experts 内核工程
Amazon SageMaker AI 通过 Swap-AB 和后端路由优化，显著提升 Hopper 架构上 MoE 模型的推理性能。Swap-AB 技术将矩阵乘法转置以适配 WGMMA 指令集，使 H200 GPU 端到端吞吐量提升 2–4%。该优化已上游提交至 vLLM 0.24.0 及以上版本，同时 Triton 后端在 FP8 量化 MoE 低并发场景下优于默认 CUTLASS 路径。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。