Hugging Face 验证 AMD 5th Gen EPYC Turin CPU 在 LLM 推理中实现 2 倍加速

Hugging Face 验证 AMD 5th Gen EPYC Turin CPU 在 LLM 推理中实现 2 倍加速。通过 ZenDNN PyTorch 插件 zentorch 优化 torch.compile，AMD Turin 在 Meta LLaMA 3.1 8B 的摘要、聊天等五种场景下，吞吐量较 AMD Genoa 提升约 2 倍。