使用 Ray LLM 深度学习容器在 Amazon EKS 上运行多节点推理工作负载

AWS 发布 Ray LLM Deep Learning Containers，支持在 Amazon EKS 上将大型语言模型部署至多 GPU 节点。该方案通过分离预填充和解码阶段实现推理解耦，利用 NIXL 和 Elastic Fabric Adapter 加速节点间 KV 缓存传输。用户只需编写 YAML 配置即可通过 OpenAI 兼容 API 提供服务，无需编写自定义代码。