为什么我们转向 Hugging Face Inference Endpoints，以及你可能也应该这样做

我们已将部分机器学习推理模型从 AWS ECS 迁移至 Hugging Face Inference Endpoints，以简化部署流程并降低认知负荷。测试显示，Hugging Face 的 RoBERTa 微调模型在大型实例上的延迟低至 80ms，比 ECS 方案快两倍以上。虽然成本增加了 24% 至 50%，但节省的运维时间远超差价。