从头推导连续批处理：优化大语言模型推理吞吐量

本文从注意力机制和 KV 缓存出发，推导了连续批处理技术，旨在通过并行处理多个对话并在完成后进行切换来最大化推理吞吐量。该技术解决了大语言模型在同时服务大量用户时因逐词生成导致的计算开销问题，使响应生成更加高效。