Llama 2 在 Amazon SageMaker 上的基准测试

Hugging Face 对 Llama 2 在 Amazon SageMaker 上的 60 种部署配置进行了基准测试，评估了 7B、13B 和 70B 参数规模模型在不同 EC2 实例和负载下的延迟与吞吐量。测试涵盖 GPTQ 4-bit 量化技术，旨在为最具成本效益、最佳延迟和最佳吞吐量场景提供优化策略。