使用 🤗 Optimum Intel 在 Xeon 上实现极速 SetFit 推理

通过 🤗 Optimum Intel 对 SetFit 模型进行 INT8 静态后训练量化，可在 Intel Xeon CPU 上将推理速度提升 7.8 倍。该方法利用 Intel AVX-512、VNNI 和 AMX 指令集加速，在保持模型精度的同时显著降低延迟，支持生产级部署。