Hugging Face Blog·· 2023-12-05AI 评分43
AMD 与 Hugging Face 合作实现 AMD GPU 大语言模型开箱即用加速
AMD + 🤗: Large Language Models Out-of-the-Box Acceleration with AMD GPU
AI 导读
AMD 与 Hugging Face 合作实现 AMD Instinct GPU 上运行 Hugging Face 模型无需代码修改。支持 Flash Attention v2、Paged Attention 及 GPTQ 等优化，MI250 解码吞吐量较 A100 提升 2.33 倍。Text Generation Inference 已初步支持 MI210 和 MI250。
来源：Hugging Face Blog · huggingface.co