Hugging Face Blog·· 2026-07-23精选AI 评分76
Diffusers原生支持Nunchaku Lite 4-bit扩散推理
Bringing Nunchaku 4-bit Diffusion Inference to Diffusers
AI 导读
Hugging Face Diffusers原生集成Nunchaku Lite,支持4-bit权重与激活量化(W4A4),无需自定义Pipeline即可加载预量化模型。实测在Blackwell GPU上峰值显存降低约50%,推理速度提升约30%,配合torch.compile可提速至1.8倍。
推荐理由
Nunchaku Lite原生集成至Diffusers,实现4-bit权重与激活量化,显著降低显存占用并提升推理速度。
来源:Hugging Face Blog · huggingface.co