Hugging Face Transformers 加速 AWS Inferentia2 发布

Hugging Face 与 AWS 合作优化 Hugging Face Transformers 以适配 AWS Inferentia 2 推理加速器。AWS EC2 Inf2 实例相比 NVIDIA A10G GPU 提供最高 2.6 倍吞吐量和 8.1 倍延迟降低。