跳到正文
原文
Hugging Face Blog·· 2024-10-23精选AI 评分65

Hugging Face 发布 HUGS 零配置推理微服务

Introducing HUGS - Scale your AI with Open Models

AI 导读

Hugging Face 发布 HUGS,基于 TGI 的零配置推理微服务,支持 Llama 3.1 等 13 款开源模型。提供 OpenAI 兼容 API,可在 AWS、GCP 及 DigitalOcean 部署,按容器运行时间计费。

推荐理由

提供零配置推理微服务,支持主流开源模型与多硬件,降低私有化部署门槛。

来源:Hugging Face Blog · huggingface.co