Hugging Face 实测对比 DPO、IPO、KTO 三种大模型偏好对齐算法

Hugging Face 在 alignment-handbook 中实测对比了 DPO、IPO 和 KTO 三种无需强化学习的偏好对齐算法。实验基于 OpenHermes-2.5-Mistral-7B 和 Zephyr-7b-beta-sft 模型，使用 MT-Bench 评估发现 DPO 在成对偏好设置中表现最佳，且对超参数 beta 的敏感性因基座模型而异。