Hugging Face 计算机视觉生态现状
Hugging Face Hub 已支持图像分类、分割等 8 项核心视觉任务,收录超 3000 个模型与 100 个数据集。Transformers 库提供 Pipelines 推理接口及 Trainer 微调 API,并集成 timm、Diffusers 等第三方库。平台还涵盖 CLIP 等零样本模型支持及 ImageNet-1k 等数据集加载指南。
Hugging Face Hub 已支持图像分类、分割等 8 项核心视觉任务,收录超 3000 个模型与 100 个数据集。Transformers 库提供 Pipelines 推理接口及 Trainer 微调 API,并集成 timm、Diffusers 等第三方库。平台还涵盖 CLIP 等零样本模型支持及 ImageNet-1k 等数据集加载指南。
Hugging Face Diffusers 正式支持 Stable Diffusion 的 LoRA 微调,训练仅需 11 GB 显存,生成的权重文件仅约 3 MB。该功能支持 Dreambooth 和全量微调,并内置自动记录基础模型元数据以简化推理加载。
推荐理由:Diffusers 原生支持 LoRA 大幅降低显存需求并生成极小权重文件,便于模型分享与复用。
Hugging Face 发布 Model Card Creator 工具及模型卡指南,旨在降低文档创建门槛并促进跨角色协作。该工具提供图形界面,无需编程即可生成模型卡,并配套更新版模板、带注释的填写指南及用户研究报告。此举旨在通过标准化结构和默认提示文本,提升机器学习模型文档的可访问性与包容性。
Hugging Face 官方提供 Stable Diffusion Core ML 转换权重,让 Apple Silicon 用户能直接调用并本地运行。支持 v1.4、v1.5 及 v2 系列模型,提供 Python 和 Swift 两种推理方式,并附带自定义模型转换脚本。
推荐理由:Hugging Face 官方提供 Stable Diffusion Core ML 转换权重,让 Apple Silicon 用户能直接调用并本地运行。
Hugging Face 宣布停用 Inference API 的付费层级,推荐用户转向新推出的 Inference Endpoints 以获取企业级推理服务。平台同步升级了 Spaces 的硬件选项,用户只需绑定信用卡即可按需选择硬件运行 ML 演示。所有付费服务及 PRO 订阅费用将于每月月初统一结算并提供合并发票。
Hugging Face 宣布 Optimum Intel 集成 Intel OpenVINO,支持在 Intel 处理器上对 Transformers 模型进行推理与量化。以 ViT 模型为例,量化后模型体积缩小 3.8 倍,推理延迟降低 2.4 倍。
推荐理由:Hugging Face 官方宣布集成 OpenVINO,提供一键量化与推理工具,可显著降低模型体积与延迟。
Hugging Face 发布 MTEB 大规模文本嵌入模型评测基准,涵盖 56 个数据集和 8 个任务,支持 112 种语言。该基准提供排行榜和 Python 库,用户可便捷地对模型进行基准测试并提交结果。
推荐理由:MTEB 提供了涵盖多语言和多任务的文本嵌入模型统一评测框架,方便开发者快速选型。
Hugging Face 发布 Inference Endpoints,允许用户通过几步操作将模型从 Hub 直接部署到 AWS 等云厂商的托管基础设施。服务支持 Public、Protected 和 Private 三种安全模式,其中 Private 模式可通过 AWS PrivateLink 实现 VPC 内网访问,并提供自动扩缩容、监控日志和 API 调用能力。
推荐理由:官方发布托管推理服务,提供从公开到私有VPC的多级安全部署选项,降低生产环境部署门槛。
Hugging Face 将离线强化学习方法 Decision Transformer 集成至 🤗 transformers 库及 Hugging Face Hub。该模型将强化学习抽象为条件序列建模问题,利用 Transformer 根据期望回报、历史状态和动作生成未来动作。目前已在 Gym 环境提供九个预训练模型检查点。
Hugging Face Infinity 在 Amazon EC2 C6i 实例上实现了 Transformer 模型的毫秒级推理延迟。该方案在 Ice Lake 架构上相比 Cascade Lake 实例延迟和吞吐量提升 34%,相比原生 Transformers 提升 800%。Infinity 提供包含预处理和后处理的端到端优化,支持序列分类等任务。
Hugging Face 将 Perceiver IO 加入 Transformers 库,这是首个能处理文本、图像、音频、视频及点云等多种模态及其组合的 Transformer 模型。该模型通过在潜在变量上应用自注意力机制,使计算复杂度仅随输入大小线性增长,从而解决了传统 Transformer 在处理高维数据时计算和内存扩展性差的问题。
Hugging Face 发布首个基于 Unity ML-Agents 的自定义深度强化学习环境 Snowball Fight。该环境支持 1v1 对战,已开源并托管于 Hugging Face Hub 和 Spaces。未来计划推出 2v2 协作版本及更多自定义环境。
Hugging Face 推出开源 Data Measurements Tool,提供无代码界面与 Python 库,用于交互式测量、构建和比较数据集。该工具支持查看数据集基础信息、描述性统计及分布统计,帮助用户分析词汇分布、标签平衡性、重复项及 Zipf 定律符合度,以评估数据质量与代表性。
Hugging Face 发布 2021 年 6 至 8 月工作回顾,Hub 模型仓库突破 16,000 个。Spaces Beta 上线支持 Gradio 和 Streamlit 快速部署应用,并新增点赞、TensorBoard 集成及多项模型演示组件。
Hugging Face 与 Graphcore 宣布合作,通过 Hugging Face Hardware Partner Program 提供针对 IPU 优化的 Transformer 模型。开发者可使用 Optimum 库访问经认证的硬件优化模型,实现即插即用的部署。首批 IPU 优化模型将于今年晚些时候在 Optimum 上线。
Hugging Face 发布开源库 Optimum,旨在降低 Transformer 模型在生产环境中的部署难度。该库联合硬件合作伙伴(如 Intel)提供模型量化与加速工具,通过 Neural Compressor 等方案实现高效推理。
推荐理由:Hugging Face 联合 Intel 发布 Optimum 库,提供开箱即用的模型量化与加速方案,降低生产环境部署门槛。
Hugging Face 发布 Amazon SageMaker 推理 DLC 与推理工具包,支持通过一行代码或直接从 Model Hub 部署 10,000+ 公开 Transformer 模型。该工具包利用 transformers 库的 pipelines 实现零代码部署,并支持自定义代码覆盖。部署后可获得具备内置监控和企业级功能的 AWS 生产就绪端点。
Gradio 2.0 发布,支持一行代码加载 Hugging Face 模型并生成 GUI 演示。该版本允许并行加载多个模型进行对比,或将模型串联组合以构建复杂应用。用户可通过 pip install gradio 安装使用。
Hugging Face 发布 Accelerate 库,通过极简 API 封装分布式训练脚本添加少量代码即可适配多 GPU、TPU 及混合精度训练。该库自动处理设备放置、数据采样同步及梯度聚合,并提供 CLI 启动器简化配置流程。
推荐理由:通过极简 API 封装分布式训练样板代码,使 PyTorch 原生脚本无缝适配多卡与混合精度。
Hugging Face 与 PyTorch / XLA 团队合作,在 Hugging Face 库中新增对 Cloud TPUs 的训练支持。该集成允许 PyTorch 用户通过 Trainer 模块使用相同的接口在 Cloud TPUs 上运行和扩展模型。文章介绍了 XLA:TPU 设备类型、训练步骤计算、输入管道优化以及检查点写入加载等关键实现细节。