Hugging Face 发布针对 AMD MI300X 的自定义内核优化实践

Hugging Face 与 AMD 合作开源了针对 MI300X 的自定义内核，通过融合 RMS norm 与 FP8 转换、优化 SwiGLU 计算以及针对低批次大小的 Skinny GEMM 拆分策略，显著提升了 Llama 3.1 405B 在 VLLM 中的推理性能。