跳到正文
原文
Hugging Face Blog·· 2021-04-20AI 评分35

Hugging Face 博客:在 CPU 上扩展 BERT 推理(第一部分)

Scaling-up BERT Inference on CPU (Part 1)

AI 导读

Hugging Face 发布系列文章第一部分,探讨在 CPU 上扩展 BERT 模型推理的硬件优化。文章基于 AWS c5.metal 实例,对比了 PyTorch 1.8.1 与 TensorFlow 2.4.0 的默认推理性能,并介绍了使用 Hydra 框架的基准测试方法。

来源:Hugging Face Blog · huggingface.co