ServiceNow 分享 vLLM V0 到 V1 迁移中消除训练推理偏差的实践

ServiceNow 分享了将推理引擎从 vLLM V0 迁移到 V1 时消除训练推理偏差的实践。通过修复 logprobs 语义、关闭 prefix caching、调整 inflight weight update 路径以及使用 fp32 lm_head，最终使 V1 的训练轨迹与 V0 参考保持一致。