跳到正文
原文
Hugging Face Blog·· 2022-05-10AI 评分57

Hugging Face Optimum 1.2 发布推理支持

Accelerated Inference with Optimum and Transformers Pipelines

AI 导读

Hugging Face Optimum 1.2 发布推理支持,新增 ORTModel 类与 pipelines API,兼容 Transformers 接口。通过图优化与动态量化,RoBERTa 推理延迟从 117.61ms 降至 64.94ms,模型体积减半且精度保持 99.61%。

来源:Hugging Face Blog · huggingface.co