10亿级分类与嵌入推理的成本优化与基准测试

Hugging Face 发布文章，通过实测分析10亿级文本分类、嵌入及视觉嵌入推理的成本与延迟。使用Infinity服务器和k6工具，在NVIDIA L4等硬件上寻找最优Batch Size与并发数。结果显示文本分类10亿次成本约253美元，嵌入约409美元，而视觉嵌入因模型复杂和图像Token多，成本高达44496美元。