热点事件持续更新
AWS向vLLM贡献双向KV缓存转移及推送式连接器优化推理延迟
2 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月20日，AWS Machine Learning Blog连续发布两篇博客，宣布向开源推理引擎vLLM贡献两项关键技术以优化多轮智能体工作流及分离式推理性能。首先，vLLM新增双向KV缓存转移功能，允许预填充节点复用解码节点保留的KV块，从而降低首次token生成时间。在Amazon EC2 P5en实例上的基准测试显示，该功能使Qwen3-32B模型延迟降低1.6倍，zai-org/GLM-5-FP8模型降低3.3倍。随后，AWS贡献了基于NIXL的推送式KV连接器，旨在将解码侧的KV块分配与注册同预填充计算重叠，以移出关键路径上的协调开销。在同一模型和实例配置下，该模式在高请求率中将首字延迟（TTFT）降低约3倍，输出令牌时间（TPOT）降低30%。
AI 根据报道生成 · 1 小时前更新
最新进展10月20日 00:05
AWS宣布vLLM新增双向KV缓存转移及推送式KV连接器，显著降低多轮推理延迟。报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- AWS Machine Learning Blog精选AWS 贡献 vLLM 推送式 KV 连接器以优化分离式推理延迟
AWS 向 vLLM 贡献了基于 NIXL 的推送式 KV 连接器，将分离式推理中解码侧的 KV 块分配与注册与预填充计算重叠，从而将关键路径上的协调开销移出。在 Qwen3-32B 模型于 EC2 P5en 实例上的基准测试中，该模式在高请求率下将首字延迟（TTFT）降低了约 3 倍，输出令牌时间（TPOT）降低了 30%。
- AWS Machine Learning Blog精选vLLM 新增双向 KV 缓存转移功能以降低多轮智能体工作流延迟
vLLM 新增双向 KV 缓存转移功能，允许预填充节点复用解码节点保留的 KV 块，从而在多轮智能体工作流中降低首次 token 生成时间。在 Amazon EC2 P5en 实例上的基准测试显示，该功能使 Qwen3-32B 的延迟降低 1.6 倍，zai-org/GLM-5-FP8 降低 3.3 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。