Hugging Face Blog·· 2022-11-02精选AI 评分68
Hugging Face Optimum Intel 集成 OpenVINO 加速模型推理
Accelerate your models with 🤗 Optimum Intel and OpenVINO
AI 导读
Hugging Face 宣布 Optimum Intel 集成 Intel OpenVINO，支持在 Intel 处理器上对 Transformers 模型进行推理与量化。以 ViT 模型为例，量化后模型体积缩小 3.8 倍，推理延迟降低 2.4 倍。
推荐理由
Hugging Face 官方宣布集成 OpenVINO，提供一键量化与推理工具，可显著降低模型体积与延迟。
来源：Hugging Face Blog · huggingface.co