跳到正文
原文
Hugging Face Blog·· 2025-06-23精选AI 评分60

SGLang 新增 transformers 后端集成

Transformers backend integration in SGLang

AI 导读

SGLang 新增 transformers 后端集成,支持通过设置 impl="transformers" 运行任意兼容模型。该功能让开发者无需等待原生适配即可在高性能推理引擎中运行任意兼容模型,同时保留 RadixAttention 等优化特性。

推荐理由

SGLang 新增 transformers 后端,让开发者无需等待原生适配即可在高性能推理引擎中运行任意兼容模型。

来源:Hugging Face Blog · huggingface.co