Hugging Face Blog·· 2025-06-23精选AI 评分60
SGLang 新增 transformers 后端集成
Transformers backend integration in SGLang
AI 导读
SGLang 新增 transformers 后端集成,支持通过设置 impl="transformers" 运行任意兼容模型。该功能让开发者无需等待原生适配即可在高性能推理引擎中运行任意兼容模型,同时保留 RadixAttention 等优化特性。
推荐理由
SGLang 新增 transformers 后端,让开发者无需等待原生适配即可在高性能推理引擎中运行任意兼容模型。
来源:Hugging Face Blog · huggingface.co