跳到正文

#部署/工程

今日 5 条
6月23日周二
  1. Hugging Face Blog40

    在 Transformers.js 中实验拟议的跨域存储 API

    拟议的 Cross-Origin Storage API 通过密码学哈希而非 URL 标识文件,旨在解决浏览器中跨域缓存隔离导致的重复下载问题。在 Transformers.js 应用中,不同来源的 Web 应用即使请求相同的模型资源或 Wasm 运行时,也会因 Network Isolation Key 不同而无法共享缓存,造成如 177 MB 的重复存储。

  2. Hugging Face Blog80

    Hugging Face 开源每周自动化发布工作流:AI 起草与人工校验

    Hugging Face 开源了 huggingface_hub 的每周自动化发布工作流,利用 GLM-5.2 等开源模型起草发布说明,并通过确定性脚本校验 PR 完整性,人工仅需少量时间审核。该流程结合 GitHub Actions 与 PyPI 可信发布,将发布周期从 4-6 周缩短至每周一次,且成本极低。

    推荐理由:提供了一套基于开源模型与确定性校验的自动化发布工作流,可迁移至其他开源项目以大幅降低维护成本。

6月22日周一
  1. Hugging Face Blog72

    利用本地模型与 Agent 框架实现 GitHub PR 自动分类

    Hugging Face 分享了在本地硬件上使用 Gemma-4-26b-a4b 和 Qwen3.6-35b-a3b 模型,结合 Agent 框架和受限 Shell 对 GitHub PR 进行实时分类的实践。该方案通过结构化输出实现高吞吐过滤,在 330 行评估集上 Qwen 精确率达 0.831,Gemma 召回率达 0.905。

    推荐理由:文章给出了在本地硬件上利用 Agent 框架和受限 Shell 实现高吞吐 PR 分类的完整工程方案与性能数据。

6月11日周四
6月9日周二
  1. Hugging Face Blog75

    将 GitHub CI 迁移至 Hugging Face Jobs 的教程

    Hugging Face 发布教程,指导用户通过 huggingface/jobs-actions 桥接工具,将 GitHub Actions 的 CI 任务调度到 Hugging Face Jobs 运行。该方案支持 CPU 和 GPU 硬件,实测 CPU 任务提速约 30%,并显著降低 GPU 测试成本。

    推荐理由:提供将 GitHub Actions 接入 Hugging Face Jobs 的完整方案,实现低成本 GPU 测试与更快的 CI 执行。

6月5日周五
  1. Hugging Face Blog84

    NVIDIA 发布 Nemotron 3.5 内容安全模型,支持多模态与自定义策略

    NVIDIA 发布 Nemotron 3.5 内容安全模型,基于 Gemma 3 4B 微调,支持文本与图像的多模态联合评估及 12 种语言。该模型新增自定义企业策略执行与可审计推理(THINK Mode),并开源了包含真实图像的多模态安全数据集。

    推荐理由:Nemotron 3.5 将多模态、多语言与自定义企业策略执行整合于单一模型,提供可审计推理与开源数据集。

6月3日周三
6月1日周一
  1. Hugging Face Blog72

    JetBrains 发布 Mellum2 12B MoE 模型

    JetBrains 发布 Mellum2,一个 12B 参数的 MoE 模型,每 token 仅激活 2.5B 参数,推理速度比同类模型快 2 倍以上。该模型开源并支持 Apache 2.0 协议,适用于路由、RAG、子智能体和私有部署。

    推荐理由:原文给出了模型架构和性能数据,读者可以据此评估它在多模型系统中的路由和编排价值。

  2. Hugging Face Blog40

    超越大语言模型:可扩展企业 AI 采用取决于智能体逻辑

    IBM 通过引入程序分析和知识图谱等智能体逻辑,显著提升了企业级 AI 智能体的性能与成本效益。在遗留代码理解场景中,Mistral Medium 250B 模型配合该逻辑实现约 30 倍更低的 Token 消耗;在测试生成方面,Devstral 24B 模型结合 Aster 库使代码覆盖率提升 20%-45%,Token 消耗降低多达 15 倍。

5月29日周五
5月27日周三
  1. Hugging Face Blog84

    TRL 发布 Delta Weight Sync:通过 Hub Bucket 实现稀疏权重同步

    Hugging Face TRL 发布 Delta Weight Sync 功能,利用 bf16 权重在相邻 RL 优化步骤间 99% 不变的稀疏特性,仅上传变更的权重补丁至 Hub Bucket。该方案将 Qwen3-0.6B 的每步传输数据从 1.2 GB 降至 20-35 MB,使训练端与推理端无需共享网络即可通过对象存储异步同步权重。

    推荐理由:通过稀疏权重同步将异步RL每步传输量降低两个数量级,实现无需共享集群的分布式训练。

5月14日周四
  1. Hugging Face Blog82

    Hugging Face 实现连续批处理的异步优化方案

    Hugging Face 在 transformers 库中实现了连续批处理的异步优化,通过 CUDA streams 和 events 解耦 CPU 与 GPU 工作流,使 GPU 利用率从 76.0% 提升至 99.4%,生成时间缩短 22%。

    推荐理由:文章通过解耦CPU和GPU工作流实现异步批处理,使GPU利用率提升至99.4%,为长文本推理提供了可复用的工程优化方案。

5月12日周二
5月8日周五
  1. Berkeley AI Research68

    自适应并行推理:高效推理扩展的新范式

    Berkeley AI Research 发布长文综述自适应并行推理(APR),探讨模型如何自主决定何时分解任务、生成多少并发线程及如何协调。文章对比了 Multiverse 修改推理引擎复用 KV Cache 与 ThreadWeaver 保持引擎不变在客户端拼接的方案,并分析了 SFT 演示与基于关键路径长度的奖励设计。

    推荐理由:系统梳理了自适应并行推理的范式,对比了修改推理引擎与客户端编排两种执行路径的优劣。

5月7日周四
  1. Hugging Face Blog70

    ServiceNow 分享 vLLM V0 到 V1 迁移中消除训练推理偏差的实践

    ServiceNow 分享了将推理引擎从 vLLM V0 迁移到 V1 时消除训练推理偏差的实践。通过修复 logprobs 语义、关闭 prefix caching、调整 inflight weight update 路径以及使用 fp32 lm_head,最终使 V1 的训练轨迹与 V0 参考保持一致。

    推荐理由:原文拆解了 vLLM V1 迁移中导致训练轨迹偏离的四个关键后端差异,提供了可复用的对齐方案。

4月29日周三
4月27日周一
  1. Hugging Face Blog80

    Hugging Face 展示基于 OpenAI Privacy Filter 构建的三个 Web 应用

    Hugging Face 展示了基于 OpenAI 开源隐私过滤模型 Privacy Filter 构建的三个 Web 应用:文档隐私探索器、图像匿名化工具和智能文本脱敏服务。该模型支持 128k 上下文,可识别八类个人敏感信息。

    推荐理由:Hugging Face 展示了基于 OpenAI Privacy Filter 构建的三个 Web 应用,揭示了其在文档、图像和文本场景中的工程实践。

4月22日周三
4月20日周一
3月31日周二
  1. Google Research68

    Google Research 发布论文估算量子计算机破解加密货币的量子资源

    Google Research 发布白皮书,估算未来量子计算机仅需不到 50 万物理量子比特即可破解保护加密货币的椭圆曲线加密。研究提出使用零知识证明负责任地披露漏洞,并建议区块链向抗量子密码学迁移。

    推荐理由:论文给出了突破椭圆曲线加密的量子资源新估算,并提出了零知识证明的负责任披露方法。

2月11日周三
  1. Google Research15

    时变容量下非抢占式调度最大化吞吐量研究

    Google Research 在 SPAA 2025 发表研究,针对时变容量环境下的非抢占式作业调度问题,提出最大化吞吐量的常数因子近似算法。离线场景中,Greedy 策略在单位利润下实现 1/2-近似,不同利润下实现 1/4-近似。在线场景中,允许重启的 Greedy 变体保持 1/2-竞争比,而禁止重启的严格模型下算法性能受限。

2月4日周三
1月27日周二
  1. Hugging Face Blog62

    GPT-OSS 智能体强化学习训练的工程实践与修复

    LinkedIn 团队分享了在 verl 框架下对 GPT-OSS 进行智能体强化学习训练的实践经验,通过修复 MoE 架构下的对数概率不匹配、在 FlashAttention v3 中实现 Attention Sink 反向传播以及优化 FSDP 内存占用,解决了训练不稳定和显存爆炸问题,实现了模型在数学推理和工具调用任务上的稳定收敛。

    推荐理由:文章详细记录了GPT-OSS在 verl 框架下实现智能体强化学习的关键工程修复,为开源模型部署提供了可复用的技术路径。

12月18日周四
  1. Hugging Face Blog68

    Transformers v5 重构分词器:架构与词表分离,支持从零训练

    Hugging Face 发布 Transformers v5,将分词器架构与训练好的词表分离,实现单文件部署和 Rust 后端默认化。新架构允许开发者直接实例化空白分词器模板,通过调用 train 方法在自有语料上从头训练模型专属分词器,同时保留了 chat template 等模型感知功能。

    推荐理由:v5 重构了分词器架构,实现单文件部署与可训练模板,显著降低了自定义和训练模型专属分词器的门槛。

12月17日周三
  1. Hugging Face Blog70

    使用 NeMo Evaluator 复现 NVIDIA Nemotron 3 Nano 评测

    NVIDIA 发布 Nemotron 3 Nano 30B A3B 的完整开源评测配方,包含 NeMo Evaluator 配置、YAML 参数与 CLI 命令。开发者可一键复现 BFCL v4、LiveCodeBench 等基准测试,独立验证模型性能。

    推荐理由:提供完整复现 Nemotron 3 Nano 评测的 NeMo Evaluator 配置与命令,便于独立验证模型性能。

12月11日周四
  1. Hugging Face Blog70

    llama.cpp 新增 Router 模式支持多模型动态管理

    llama.cpp server 新增 Router 模式,支持在不重启服务的情况下动态加载、卸载和切换多个模型。该功能采用多进程架构,每个模型独立运行,支持自动发现 GGUF 文件、按需加载及 LRU 淘汰机制,默认同时加载 4 个模型。

    推荐理由:实现了多模型动态加载与切换,无需重启服务,便于本地多模型管理与性能隔离。

12月5日周五
  1. Google Research68

    Google Research 发布 Titans 架构与 MIRAS 框架实现 AI 长期记忆

    Google Research 发布 Titans 架构与 MIRAS 理论框架,利用深度神经网络作为记忆模块实现 AI 的长期记忆。该架构在 BABILong 等基准测试中超越 Transformer++ 和 Mamba-2,支持超过 200 万 token 的上下文窗口,同时保持线性推理速度。

    推荐理由:提出结合RNN速度与Transformer精度的新架构,通过深度记忆模块实现超长上下文的高效推理。

12月1日周一
  1. Hugging Face Blog72

    Hugging Face Transformers v5 发布:确立 PyTorch 单后端与模块化设计

    Hugging Face 发布 Transformers v5.0.0rc-0,确立 PyTorch 为唯一后端,引入模块化设计与注意力接口抽象。v5 全面强化预训练、推理与量化支持,新增 transformers serve 系统,并深度打通 vLLM、SGLang、llama.cpp 等生态工具链。

    推荐理由:v5 确立了 PyTorch 单后端与模块化设计,全面打通训练推理部署链路,为生态互操作提供统一标准。

11月25日周二
11月22日周六
11月21日周五
  1. Hugging Face Blog70

    Hugging Face TRL 官方集成 RapidFire AI 实现 20 倍加速微调

    Hugging Face TRL 官方集成 RapidFire AI,通过自适应分块调度与并发训练机制,实现多配置微调加速 16-20 倍。提供实时仪表盘与 IC Ops 功能,支持在训练中途停止低效配置或克隆优化参数,无需重启任务。

    推荐理由:官方集成提供并发微调与实时干预能力,可显著降低多配置对比的时间与算力成本。

11月5日周三
  1. Google Research30

    Google Project Suncatcher 发布太空 AI 基础设施系统设计研究

    Google 发布 Project Suncatcher 研究,提出由搭载 Google TPUs 的太阳能卫星组成的星座,通过自由空间光链路连接以构建可扩展的太空 AI 基础设施。早期实验验证了单对收发器可实现 800 Gbps 传输,Trillium v6e Cloud TPU 在辐射测试中表现稳健,预计 2030 年代中期发射成本将降至 200 美元/kg 以下。

10月29日周三
  1. Hugging Face Blog81

    Hugging Face:美国出口管制如何重塑全球AI算力与开源格局

    Hugging Face发布深度分析,指出美国出口管制反而加速了中国国产芯片与开源模型的协同创新。DeepSeek、Qwen等模型通过架构优化降低推理成本,并率先适配华为昇腾等国产硬件。这种“非NVIDIA优先”策略正在催生独立于CUDA的软件生态,推动全球AI基础设施向多极化演变。

    推荐理由:文章梳理了美国出口管制如何倒逼中国加速国产芯片与开源模型协同创新,揭示了全球AI算力格局的重构路径。

10月16日周四
10月11日周六
9月29日周一
9月19日周五
9月11日周四
  1. Hugging Face Blog76

    Hugging Face transformers 升级支持 GPT-OSS 及多项部署优化

    Hugging Face 升级 transformers 库以支持 OpenAI GPT-OSS 系列模型,新增 MXFP4 量化、张量并行、专家并行及动态滑动窗口缓存等部署优化。通过 Hub 下载预编译内核,显著降低显存占用并提升推理效率。

    推荐理由:Hugging Face 为 GPT-OSS 提供开箱即用的部署支持,涵盖 MXFP4 量化与多卡并行,为社区提供了可复用的工程参考。

  2. Hugging Face Blog65

    Together AI 支持在 Hugging Face Hub 上直接微调模型

    Together AI 宣布与 Hugging Face 集成,允许开发者通过 API 直接微调 Hugging Face Hub 上的兼容模型。用户只需指定基础模型配置和 HF 模型,即可利用 Together 基础设施完成训练,并可将结果推回 Hub。

    推荐理由:Together AI 打通 Hugging Face Hub 实现一键微调,降低开发门槛并加速模型迭代。

9月2日周二
  1. Hugging Face Blog72

    Hugging Face 教程:在 ZeroGPU Spaces 中使用 PyTorch 提前编译加速

    Hugging Face 发布教程,展示如何在 ZeroGPU Spaces 中利用 PyTorch 提前编译(AoT)技术加速图像和视频生成。通过结合 FP8 量化、动态形状处理和 FlashAttention-3,FLUX.1-dev 等模型可获得 1.3 至 1.8 倍的速度提升。

    推荐理由:原文给出了在ZeroGPU上结合AoT编译与量化加速的具体代码,读者可直接复用以优化生成类应用。