Hugging Face Blog·· 17 天前精选AI 评分78
Hugging Face transformers 正式支持 GGUF 格式
Transformers now runs llama.cpp quants
AI 导读
Hugging Face 宣布 transformers 正式支持 GGUF 格式，开发者可通过标准 API 在本地高效运行量化模型。该更新通过复用底层 ggml Metal 内核，显著提升了 Apple Silicon 设备上的推理性能，并支持通过 transformers serve 提供 OpenAI 兼容接口。
推荐理由
Hugging Face 官方宣布 transformers 支持 GGUF 格式，通过复用底层 Metal 内核实现端侧高效推理。
来源：Hugging Face Blog · huggingface.co