Hugging Face Blog·· 2024-02-23精选AI 评分62
Hugging Face 发布 Gemma 模型 LoRA 微调教程
Fine-Tuning Gemma Models in Hugging Face
AI 导读
Hugging Face 发布 Gemma 模型 LoRA 微调教程，提供基于 Transformers 和 PEFT 库的完整代码，演示使用 QLoRA 进行 4-bit 量化微调，并介绍在 TPU 上通过 FSDP 加速训练的方法。
推荐理由
文章提供了基于LoRA和QLoRA微调Gemma模型的完整代码，并演示了TPU上的FSDP加速方案。
来源：Hugging Face Blog · huggingface.co