AWS Machine Learning Blog· Sunita Nadampalli·· 2 小时前精选AI 评分74
vLLM 新增双向 KV 缓存转移功能以降低多轮智能体工作流延迟
Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
AI 导读
vLLM 新增双向 KV 缓存转移功能，允许预填充节点复用解码节点保留的 KV 块，从而在多轮智能体工作流中降低首次 token 生成时间。在 Amazon EC2 P5en 实例上的基准测试显示，该功能使 Qwen3-32B 的延迟降低 1.6 倍，zai-org/GLM-5-FP8 降低 3.3 倍。
推荐理由
原文给出了双向KV缓存转移的具体实现与性能数据，读者可据此优化多轮智能体工作流的推理延迟。
来源：AWS Machine Learning Blog · aws.amazon.com