使用TRL和OpenEnv复现语言模型水彩画训练

本文详细记录了使用TRL和OpenEnv在Hugging Face上复现语言模型水彩画训练的全过程。作者开源了包含参考池、RL环境、评分模型及训练脚本的完整流水线，并对比了三种奖励权重组合的训练效果，指出通过构建高质量参考池可实现对模型审美风格的精准控制。