Hugging Face Blog·· 2024-03-18精选AI 评分72
Hugging Face 发布 Optimum-Quanto 量化后端
Quanto: a PyTorch quantization backend for Optimum
AI 导读
Hugging Face 发布 Optimum-Quanto，一个面向 PyTorch 的量化后端，支持 int2/int4/int8/float8 权重与激活量化，无缝集成 transformers 库，支持 CPU/GPU/MPS 设备与 torch.compile。
推荐理由
提供了从动态量化到静态冻结的完整工作流，并原生支持 transformers 集成，便于快速部署。
来源：Hugging Face Blog · huggingface.co