TRL v1.14 支持 LoRA 异步同步,结合 HF Jobs 实现训练推理解耦
TRL v1.14 的 AsyncGRPOTrainer 支持仅同步 LoRA 适配器,配合 Hugging Face Jobs 和存储桶挂载,无需 NCCL 即可实现训练与推理解耦。通过 token-budget batching 和代理路由优化,500 步训练时间从 3 小时 27 分缩短至 53 分。
推荐理由:TRL v1.14 支持 LoRA 异步同步,结合 HF Jobs 和存储桶可消除 NCCL 依赖,实现训练与推理解耦。