Hugging Face 发布 TGI Benchmarking 工具以优化 LLM 部署

Hugging Face 推出 TGI Benchmarking 工具，帮助用户超越单一吞吐量指标，通过分析延迟与吞吐量的权衡来优化 Text Generation Inference 部署。该工具提供交互式界面，可直观展示预填充统计、吞吐量与延迟散点图，辅助用户根据业务需求平衡 Time To First Token 与整体性能。