Hugging Face Blog·· 2024-09-18精选AI 评分75
Hugging Face 发布 LLaMA3 1.58bit 微调模型与 BitNet 实现
Fine-tuning LLMs to 1.58bit: extreme quantization made easy
AI 导读
Hugging Face 发布基于 BitNet 架构的 LLaMA3 8B 1.58bit 模型，公开了通过动态 Lambda 调度实现微调的技术细节与 Triton 自定义内核，模型在 MMLU 等基准上表现优异。
推荐理由
文章公开了将LLaMA3微调至1.58bit的量化方法与代码，为降低大模型推理成本提供了可复用的工程方案。
来源：Hugging Face Blog · huggingface.co