高效请求队列：优化 LLM 性能

针对多用户并发请求导致 GPU 资源竞争及“超级用户”阻塞其他用户的问题，TNG Technology Consulting 提出在 LLM-Server 层实现公平调度。通过为每个用户建立独立队列并采用轮询机制，避免请求在 vLLM 后端堆积。同时结合 Prometheus 指标动态调整发送速率，以维持后端队列短小从而降低新用户的延迟。