Hugging Face TRL 引入 RLOO 算法替代 PPO 进行在线 RLHF 训练

Hugging Face 在 TRL 中引入 RLOO 算法作为 PPO 的替代方案，用于在线 RLHF 训练。该算法将完整回复视为单一动作，显存占用降低 50-70%，训练速度提升 2-3 倍，且在 Pythia 模型上表现优于 DPO。