自适应并行推理：高效推理扩展的新范式

Berkeley AI Research 发布长文综述自适应并行推理（APR），探讨模型如何自主决定何时分解任务、生成多少并发线程及如何协调。文章对比了 Multiverse 修改推理引擎复用 KV Cache 与 ThreadWeaver 保持引擎不变在客户端拼接的方案，并分析了 SFT 演示与基于关键路径长度的奖励设计。