Hugging Face Blog·· 2023-03-09精选AI 评分78
Hugging Face 发布 TRL 与 PEFT 集成，实现消费级显卡微调 20B 大模型
Fine-tuning 20B LLMs with RLHF on a 24GB consumer GPU
AI 导读
Hugging Face 官方发布 TRL 与 PEFT 的集成，利用 8-bit 量化和 LoRA 适配器，在 24GB 显存的消费级 GPU 上成功微调了 20B 参数的 GPT-NeoX 模型。
推荐理由
官方发布TRL与PEFT集成方案，展示在消费级显卡上微调20B模型的技术路径。
来源：Hugging Face Blog · huggingface.co