Hugging Face TGI 原生集成 Intel Gaudi 硬件支持

Hugging Face 宣布 Text Generation Inference (TGI) 正式原生集成 Intel Gaudi 硬件支持，不再需要维护独立分支。该更新支持 Gaudi1 至 Gaudi3 全系列硬件，提供动态批处理、流式响应及 FP8 量化等生产级特性，并针对 Llama 3.1、Mixtral 等主流模型进行了优化。