Hugging Face Blog·· 2025-04-29精选AI 评分70
Intel 发布 AutoRound 大模型与多模态模型量化工具
Introducing AutoRound: Intel’s Advanced Quantization for LLMs and VLMs
AI 导读
Intel 发布 AutoRound，一种用于 LLM 和 VLM 的权重量后训练量化（PTQ）工具。它通过符号梯度下降联合优化权重舍入和裁剪范围，在 INT2 至 INT8 低比特量化下保持高精度，量化 72B 模型仅需 37 分钟。支持 Qwen、LLaMA 等主流模型，兼容 CPU/GPU，可导出为 AutoRound、GPTQ、AWQ 和 GGUF 格式。
推荐理由
Intel 发布 AutoRound 工具，以低算力开销实现高精度低比特量化，为 LLM 和 VLM 的高效部署提供新方案。
来源：Hugging Face Blog · huggingface.co