训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
Hugging Face 博客介绍社区工具 Unsloth，通过重写 PyTorch 模块为 Triton 内核，使 LLM 微调速度提升最高 2.7 倍，显存占用降低最高 74%，且精度无损失。该工具兼容 Hugging Face 生态，支持 Llama 和 Mistral 架构，并可直接与 TRL 库集成使用。
推荐理由：文章提供了基于Triton内核优化的具体代码示例，帮助读者在保持精度的同时显著降低显存占用并提升微调速度。
Hugging Face 与 Intel Labs 联合发布 SetFitABSA，这是一种基于 SetFit 框架的少样本方面级情感分析（ABSA）技术。该方法无需设计 Prompt，通过提取方面候选词并分类，在 Laptop14 和 Restaurant14 数据集上以 2.2 亿参数规模在少样本场景下表现优于 Llama-2 和 T5。
推荐理由：SetFitABSA 提供了无需 Prompt 且训练极快的少样本情感分析方案，适合资源受限场景。
Hugging Face 发布 PEFT 库，无缝集成 Transformers 与 Accelerate，支持 LoRA、Prefix Tuning 等方法。通过仅微调少量参数，可在消费级硬件上高效微调大模型，大幅降低存储与算力成本。
推荐理由：官方发布高效微调库，支持LoRA等技术在消费级硬件上微调大模型，显著降低存储与算力成本。