使用TRL库通过DPO微调Llama 2

Hugging Face发布TRL库中的DPO训练器，通过直接偏好优化算法简化大语言模型对齐流程。文章展示了结合QLoRA技术，使用stack-exchange偏好数据集对Llama 2 7B模型进行监督微调与DPO对齐的完整代码实现。