使用 Hugging Face Inference Endpoints 部署 LLM

Hugging Face Inference Endpoints 提供托管 SaaS 服务，支持一键部署开源 LLM 并自动处理基础设施与扩缩容。该服务支持 Falcon 40B 等模型，推荐配置 1x Nvidia A100 GPU 以获得最佳性能，并具备 Scale-to-zero 降低成本及 VPC 私有连接等企业级安全特性。