AWS Machine Learning Blog· Sunita Nadampalli·· 2 小时前精选AI 评分70
AWS 贡献 vLLM 推送式 KV 连接器以优化分离式推理延迟
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
AWS 向 vLLM 贡献了基于 NIXL 的推送式 KV 连接器，将分离式推理中解码侧的 KV 块分配与注册与预填充计算重叠，从而将关键路径上的协调开销移出。在 Qwen3-32B 模型于 EC2 P5en 实例上的基准测试中，该模式在高请求率下将首字延迟（TTFT）降低了约 3 倍，输出令牌时间（TPOT）降低了 30%。
推荐理由
AWS 贡献了 vLLM 推送式 KV 连接器，通过重叠预填充与解码侧设置，在高负载下显著降低首字延迟。
来源：AWS Machine Learning Blog · aws.amazon.com