跳到正文

#Hugging Face

今日 1 条
7月15日周三
  1. Hugging Face Blog86

    Thinking Machines 开源 Inkling 1T参数多模态大模型及 Inkling-Small

    Thinking Machines 在 Hugging Face 开源 Inkling 1T参数多模态大模型及 Inkling-Small(276B/12B),原生支持图像、文本和音频输入,具备1M上下文窗口与智能体能力。模型提供BF16与NVFP4量化版本,支持SGLang、vLLM等推理引擎,并附带多项基准测试与部署配置。

    推荐理由:提供了1T参数多模态模型及276B小模型的架构细节、量化部署方案与基准测试,便于评估其推理与多模态能力。

7月10日周五
  1. Hugging Face Blog66

    PyTorch Profiling 第三篇:注意力机制的Profiler迹线分析

    Hugging Face 发布 PyTorch Profiling 系列第三篇,对比了朴素注意力、in-place掩码、SDPA math/efficient/flash/cuDNN 五种实现的Profiler迹线。文章解释了FlashAttention低占用率源于片上资源占用,cuDNN高CPU开销源于运行时内核生成,并指出math后端因FP32上转换和多次HBM读写导致性能最差。

    推荐理由:通过对比五种注意力实现的Profiler迹线,揭示了FlashAttention低占用率与cuDNN高CPU开销的底层原因。

7月8日周三
  1. Hugging Face Blog63

    Hugging Face 与 Amazon SageMaker AI 实现一键深度集成

    Hugging Face 与 Amazon SageMaker AI 推出深度链接集成,开发者可在 Hugging Face 模型页点击按钮直接进入 SageMaker Studio 进行微调或部署。新环境自动预配置权限,并支持在实例选择时直接查看 GPU 配额。

    推荐理由:一键打通模型发现与部署流程,省去手动配置权限和环境的繁琐步骤。

7月7日周二
  1. Hugging Face Blog70

    微软 Foundry 平台上线 Hugging Face 托管计算服务

    微软在 Build 2026 宣布推出 Foundry Managed Compute,将 Hugging Face 生态中的精选开源模型纳入企业级托管服务。该服务提供一键部署、自动运行时升级与安全扫描,支持 vLLM 等多种推理引擎,并统一了认证、监控与计费接口。

    推荐理由:微软将 Hugging Face 模型纳入企业级托管服务,提供开箱即用的安全与运维能力,降低了开源模型的生产部署门槛。

  2. Hugging Face Blog78

    Hugging Face 与 SkyPilot 联合推出零出口流量存储方案

    Hugging Face 与 SkyPilot 联合推出 `store: hf` 功能,允许在任意云或本地集群上直接挂载 Hugging Face Hub 上的模型和数据集,读取数据不产生出口流量费用。该方案基于 Xet 存储实现增量去重,支持懒加载和断点续传,显著降低了跨云训练和推理的存储与传输成本。

    推荐理由:通过零出口流量存储和跨云调度,解决了模型数据与算力分离带来的高昂跨云传输成本。

7月6日周一
  1. Hugging Face Blog67

    Photoroom PRX 数据策略:从 Lance 探索到 MDS 流式训练

    Photoroom 发布 PRX 模型数据策略,采用 Lance 格式进行数据探索与特征工程,利用 Qwen3-VL-8B 对图像进行长文本重标注,最终转换为 MDS 格式进行流式训练。

    推荐理由:Photoroom 公开了 PRX 模型的数据构建全流程,提供了从数据探索、VLM 重标注到 MDS 流式训练的具体工程实践。

  2. Hugging Face Blog68

    Hugging Face Kernels 重大更新:引入可信发布与代码签名

    Hugging Face 对 Kernels 项目进行重大更新,在 Hub 上引入 kernel 专属仓库类型,默认启用可信发布者机制并支持代码签名以增强安全性。项目新增对 Torch Stable ABI 和 Apache TVM FFI 的支持,并重构 CLI 以更好地支持智能体开发工作流。

    推荐理由:Hugging Face重构了Kernels项目,引入可信发布与代码签名机制,并新增对Torch Stable ABI和TVM FFI的支持。

7月1日周三
  1. Hugging Face Blog70

    Hugging Face 联合 Cerebras 发布实时语音 AI 演示

    Hugging Face 与 Cerebras 联合展示了基于 Cerebras 推理加速的实时语音 AI 架构,该架构采用 Nvidia Parakeet 进行语音识别、Gemma 4 VLM 进行推理、Qwen3TTS 进行语音合成,实现了低延迟的端到端语音交互。

    推荐理由:展示了结合Cerebras推理与Gemma 4、Qwen3TTS的实时语音架构,为开发者提供了低延迟语音交互的开源参考实现。

6月30日周二
  1. Hugging Face Blog40

    DiScoFormer:一个同时估计密度和分数的 Transformer 模型

    DiScoFormer 是一个基于 Transformer 架构的模型,能在单次前向传播中同时估计数据分布的密度和分数,无需针对新分布重新训练。在 100 维数据测试中,其分数误差比最佳手动调优的核密度估计(KDE)降低约 6.5 倍,密度误差降低超过 37 倍。该模型通过共享骨干网络和一致性损失实现自适应,适用于生成建模、贝叶斯推断等需要高精度分数估计的场景。

6月26日周五
  1. Hugging Face Blog71

    一条命令在 Hugging Face Jobs 上运行 vLLM 服务

    Hugging Face 推出 HF Jobs 功能,允许用户通过单条命令在 HF 基础设施上快速部署 vLLM 服务并开放 OpenAI 兼容接口。该服务支持按秒计费,提供 GPU 选择、SSH 调试、Gradio 交互界面及编码 Agent 后端集成,适合模型测试、评估和批量生成等实验场景。

    推荐理由:提供通过单条命令在 HF Jobs 部署 vLLM 并开放 OpenAI 兼容接口的完整流程,便于快速进行模型测试与评估。

6月25日周四
  1. Hugging Face Blog75

    NVIDIA NeMo AutoModel 发布,基于 Transformers v5 加速 MoE 微调

    NVIDIA 发布 NeMo AutoModel,基于 HuggingFace Transformers v5 提供专家并行、DeepEP 融合通信和 TransformerEngine 内核。在 Qwen3-30B-A3B 和 Nemotron 3 Nano 30B-A3B 上,训练吞吐量提升 3.4-3.7 倍,GPU 显存降低 29-32%,并支持 550B 模型全量微调。

    推荐理由:NeMo AutoModel 在保持 Transformers v5 API 兼容的前提下,通过专家并行和内核优化显著提升 MoE 微调性能。

6月24日周三
  1. Hugging Face Blog67

    Hugging Face 联合 Treble 推出 FFASR 远场语音识别基准

    Hugging Face 联合 Treble 推出首个开源远场语音识别(FFASR)基准,覆盖 14 种模拟房间与多信噪比条件。评测显示远场低信噪比下的字错误率显著高于近场,并提供准确率与推理速度的权衡分析。

    推荐理由:首次公开远场语音识别基准,提供仿真与实测对照,直观展示真实声学环境下的性能差距。

6月23日周二
  1. Hugging Face Blog40

    在 Transformers.js 中实验拟议的跨域存储 API

    拟议的 Cross-Origin Storage API 通过密码学哈希而非 URL 标识文件,旨在解决浏览器中跨域缓存隔离导致的重复下载问题。在 Transformers.js 应用中,不同来源的 Web 应用即使请求相同的模型资源或 Wasm 运行时,也会因 Network Isolation Key 不同而无法共享缓存,造成如 177 MB 的重复存储。

  2. Hugging Face Blog80

    Hugging Face 开源每周自动化发布工作流:AI 起草与人工校验

    Hugging Face 开源了 huggingface_hub 的每周自动化发布工作流,利用 GLM-5.2 等开源模型起草发布说明,并通过确定性脚本校验 PR 完整性,人工仅需少量时间审核。该流程结合 GitHub Actions 与 PyPI 可信发布,将发布周期从 4-6 周缩短至每周一次,且成本极低。

    推荐理由:提供了一套基于开源模型与确定性校验的自动化发布工作流,可迁移至其他开源项目以大幅降低维护成本。

6月18日周四
  1. Hugging Face Blog72

    Hugging Face PEFT基准测试:LoRA并非微调唯一最佳选择

    Hugging Face发布PEFT库基准测试,对比LoRA与OFT、Lily等数十种参数高效微调技术。测试显示在图像生成等任务中OFT在精度和显存上均优于LoRA,建议用户根据显存、精度和兼容性需求进行权衡选择。

    推荐理由:官方通过统一基准测试对比多种PEFT方法,揭示LoRA并非全能,提供可迁移的选型权衡思路。

6月17日周三
  1. Hugging Face Blog70

    AWS 发布 Strands Robots SDK,将 LeRobot 封装为 Agent 工具

    AWS 发布 Strands Robots SDK,将 LeRobot 硬件抽象、仿真和数据集封装为 Agent 工具。开发者可通过自然语言编排 Agent,实现从仿真记录、策略运行到真机部署的无缝流程,并支持多机器人编队协调。

    推荐理由:AWS 发布 Strands Robots SDK,将 LeRobot 封装为 Agent 工具,实现从仿真到真机的无缝部署。

6月11日周四
6月9日周二
  1. Hugging Face Blog82

    利用 agents.md 链式调用 Hugging Face Spaces 构建 3D 巴黎画廊

    Hugging Face 推出 agents.md 标准,使 Agent 能直接调用 Gradio Space 的 API 进行链式组合。作者通过该机制调用 ideogram-ai/ideogram4 生成图像,再经 VAST-AI/TripoSplat 重建 3D 高斯泼溅,最终自动构建并部署了 3D 巴黎地标画廊,展示了多媒体应用开发的模块化新范式。

    推荐理由:通过 agents.md 实现 Hugging Face Spaces 的标准化调用与链式组合,展示了 Agent 构建多媒体应用的低成本路径。

  2. Hugging Face Blog75

    将 GitHub CI 迁移至 Hugging Face Jobs 的教程

    Hugging Face 发布教程,指导用户通过 huggingface/jobs-actions 桥接工具,将 GitHub Actions 的 CI 任务调度到 Hugging Face Jobs 运行。该方案支持 CPU 和 GPU 硬件,实测 CPU 任务提速约 30%,并显著降低 GPU 测试成本。

    推荐理由:提供将 GitHub Actions 接入 Hugging Face Jobs 的完整方案,实现低成本 GPU 测试与更快的 CI 执行。

6月8日周一
  1. Hugging Face Blog80

    Hugging Face 宣布 OpenEnv 由社区委员会接管并开源

    Hugging Face 宣布 OpenEnv 成为开源智能体强化学习环境标准,由 Meta-PyTorch、Unsloth、Nvidia 等组成的委员会接管。OpenEnv 定位为互操作层,标准化环境发布与部署,支持 Gymnasium API、MCP 协议及 Docker 打包,实现不同训练框架与环境的无缝对接。

    推荐理由:开源社区联合成立委员会接管并标准化智能体强化学习环境接口,推动训练生态互操作。

6月4日周四
  1. Hugging Face Blog73

    Hugging Face重构hf CLI以优化智能体工作流

    Hugging Face重构hf CLI以适配智能体,通过自动检测环境实现人类与智能体双模式输出。实测显示,在复杂多步任务中,相比手写API调用,使用hf CLI可节省1.3至6倍Token消耗并提升成功率。

    推荐理由:官方重构CLI以适配智能体,实测显示复杂任务可节省1.3至6倍Token消耗。

6月3日周三
  1. Hugging Face Blog60

    Reachy Mini 支持通过 MCP 协议调用 Hugging Face Spaces 远程工具

    Hugging Face 宣布 Reachy Mini 对话应用新增 MCP 工具支持,允许通过 Hugging Face Spaces 远程调用天气查询、网络搜索等无状态能力。该功能通过 `reachy-mini-conversation-app tool-spaces add` 命令安装,工具逻辑在 Space 中运行,本地仅保留受信任的核心控制与硬件交互工具。

    推荐理由:Reachy Mini 引入 MCP 协议支持,允许通过 Hugging Face Spaces 远程调用工具,实现了应用本体与外部能力的解耦。

6月2日周二
6月1日周一
  1. Hugging Face Blog72

    JetBrains 发布 Mellum2 12B MoE 模型

    JetBrains 发布 Mellum2,一个 12B 参数的 MoE 模型,每 token 仅激活 2.5B 参数,推理速度比同类模型快 2 倍以上。该模型开源并支持 Apache 2.0 协议,适用于路由、RAG、子智能体和私有部署。

    推荐理由:原文给出了模型架构和性能数据,读者可以据此评估它在多模型系统中的路由和编排价值。

  2. Hugging Face Blog40

    超越大语言模型:可扩展企业 AI 采用取决于智能体逻辑

    IBM 通过引入程序分析和知识图谱等智能体逻辑,显著提升了企业级 AI 智能体的性能与成本效益。在遗留代码理解场景中,Mistral Medium 250B 模型配合该逻辑实现约 30 倍更低的 Token 消耗;在测试生成方面,Devstral 24B 模型结合 Aster 库使代码覆盖率提升 20%-45%,Token 消耗降低多达 15 倍。

5月29日周五
5月27日周三
  1. Hugging Face Blog84

    TRL 发布 Delta Weight Sync:通过 Hub Bucket 实现稀疏权重同步

    Hugging Face TRL 发布 Delta Weight Sync 功能,利用 bf16 权重在相邻 RL 优化步骤间 99% 不变的稀疏特性,仅上传变更的权重补丁至 Hub Bucket。该方案将 Qwen3-0.6B 的每步传输数据从 1.2 GB 降至 20-35 MB,使训练端与推理端无需共享网络即可通过对象存储异步同步权重。

    推荐理由:通过稀疏权重同步将异步RL每步传输量降低两个数量级,实现无需共享集群的分布式训练。

  2. Hugging Face Blog77

    Hugging Face 教程:让 Reachy Mini 机器人实现全本地语音交互

    Hugging Face 发布教程,指导用户将 Reachy Mini 机器人的语音交互栈完全部署在本地。通过 speech-to-speech 库串联 Silero VAD、Parakeet-TDT 0.6B v3、Qwen3-TTS 等开源组件,并结合 llama.cpp 或 vLLM 运行 Gemma-4 或 Qwen3-4B 等模型,实现无需云端 API 的隐私保护与低延迟对话。

    推荐理由:提供将语音交互栈完全本地化的实操指南,展示如何在端侧实现隐私保护与低延迟的机器人对话。

5月25日周一
5月19日周二
  1. Hugging Face Blog80

    Hugging Face 发布 Ettin Reranker 系列模型

    Hugging Face 发布基于 Ettin ModernBERT 架构的六个 CrossEncoder 重排序模型(17M 至 1B 参数),采用点均方误差蒸馏自 mxbai-rerank-large-v2。在 MTEB 和 NanoBEIR 基准测试中,各尺寸模型均达到同规模下的最优精度,且得益于未填充注意力机制,推理速度比同类模型快 1.7 至 8.3 倍。

    推荐理由:基于ModernBERT架构蒸馏出六个尺寸模型,在同等参数量下精度超越主流模型且推理速度显著领先。

5月18日周一
  1. Hugging Face Blog60

    PaddleOCR 3.5 新增 Transformers 推理后端

    PaddleOCR 3.5 发布,支持通过设置 engine="transformers" 使用 Hugging Face Transformers 作为推理后端。该更新让 PP-OCRv5 等模型更自然地融入基于 Transformers 的 RAG 和 Agent 工作流,同时保留原有 Paddle 后端以保障吞吐量。

    推荐理由:PaddleOCR 3.5 新增 Transformers 推理后端,降低在 Hugging Face 生态中集成文档解析的门槛。

5月15日周五
5月14日周四
  1. Hugging Face Blog82

    Hugging Face 实现连续批处理的异步优化方案

    Hugging Face 在 transformers 库中实现了连续批处理的异步优化,通过 CUDA streams 和 events 解耦 CPU 与 GPU 工作流,使 GPU 利用率从 76.0% 提升至 99.4%,生成时间缩短 22%。

    推荐理由:文章通过解耦CPU和GPU工作流实现异步批处理,使GPU利用率提升至99.4%,为长文本推理提供了可复用的工程优化方案。

5月12日周二
5月7日周四
  1. Hugging Face Blog70

    ServiceNow 分享 vLLM V0 到 V1 迁移中消除训练推理偏差的实践

    ServiceNow 分享了将推理引擎从 vLLM V0 迁移到 V1 时消除训练推理偏差的实践。通过修复 logprobs 语义、关闭 prefix caching、调整 inflight weight update 路径以及使用 fp32 lm_head,最终使 V1 的训练轨迹与 V0 参考保持一致。

    推荐理由:原文拆解了 vLLM V1 迁移中导致训练轨迹偏离的四个关键后端差异,提供了可复用的对齐方案。

5月6日周三
  1. Hugging Face Blog40

    Open ASR Leaderboard 引入 Appen 和 DataoceanAI 私有数据集以防范刷榜

    Hugging Face 在 Open ASR Leaderboard 中引入 Appen 和 DataoceanAI 提供的高质量私有 ASR 数据集,以防范测试集污染和刷榜行为。默认排行榜平均分仍基于公开数据集计算,用户可手动开启私有数据集查看影响。此举旨在通过标准化评估和增加数据多样性,更全面地反映模型在多种口音和对话场景下的真实鲁棒性。