使用 ONNX Runtime 加速 Hugging Face 上 13 万多个模型

ONNX Runtime 可加速 Hugging Face 上超过 13 万个支持 ONNX 的模型，涵盖 BERT、GPT2 等 90 多种架构。以 whisper-tiny 为例，其推理延迟较 PyTorch 最高提升 74.30%。该工具与 Hugging Face 紧密合作，确保站内热门模型获得性能优化。