使用 Hugging Face Inference Endpoints 部署 Embedding 模型

Hugging Face 推出 Text Embeddings Inference (TEI) 解决方案，用于部署开源文本嵌入模型。在 Nvidia A10G 实例上，BAAI/bge-base-en-v1.5 模型以 450+ req/sec 吞吐量运行，成本为 0.00000156$ / 1k tokens，比 OpenAI Embeddings 便宜 64 倍。