跳到正文

#部署/工程

今日 5 条
9月28日周一
9月25日周五
  1. GitHub Blog · AI & ML77

    GitHub 发布 Fuzzing Taskflow 自动化模糊测试智能体

    GitHub Security Lab 开源 Fuzzing Taskflow,这是一个基于 LLM 智能体的 C/C++ 自动化模糊测试流水线。该工具能自动识别入口点、编写 Harness、运行 AFL++ 并通过覆盖率反馈循环优化测试,最终自动生成包含根因分析和修复建议的漏洞报告。

    推荐理由:开源了端到端自动化模糊测试智能体,覆盖从Harness编写到漏洞报告生成的全流程。

9月24日周四
  1. Microsoft Research72

    微软发布支持推理卸载的 Physical AI Toolchain

    微软发布 Physical AI Toolchain,新增支持将物理 AI 推理卸载至边缘或云 GPU 的能力。实测表明,该方案可提升任务成功率,使电池续航延长数小时,并提供基于 Kubernetes 的自动容器化部署工具。

    推荐理由:微软发布支持推理卸载的工具链,实测显示可显著提升机器人性能并延长续航。

9月22日周二
  1. NVIDIA Blog71

    NVIDIA Isaac ROS 5.0 发布,引入智能体工作流与加速推理

    NVIDIA 在 ROSCon 发布 Isaac ROS 5.0,引入支持 AI 智能体的工作流与技能包,并加速 FoundationPose 推理达 5.5 倍。该版本新增对 ROS Lyrical 和 Ubuntu 24.04 的支持,并兼容从 Jetson Orin Nano 到 Jetson Thor 的多种边缘计算平台。

    推荐理由:引入AI智能体工作流与FoundationPose推理加速,为开发者提供构建和部署高性能机器人应用的新路径。

  2. Hugging Face Blog78

    Hugging Face transformers 正式支持 GGUF 格式

    Hugging Face 宣布 transformers 正式支持 GGUF 格式,开发者可通过标准 API 在本地高效运行量化模型。该更新通过复用底层 ggml Metal 内核,显著提升了 Apple Silicon 设备上的推理性能,并支持通过 transformers serve 提供 OpenAI 兼容接口。

    推荐理由:Hugging Face 官方宣布 transformers 支持 GGUF 格式,通过复用底层 Metal 内核实现端侧高效推理。

9月21日周一
  1. Hugging Face Blog67

    Hugging Face tokenizers v1 发布,性能提升数倍至数十倍

    Hugging Face 发布 tokenizers v1 版本,通过位流拆分、词缓存和内存复用等底层重构,使编码速度较 v0.23 提升 3 到 30 倍。该版本保持 API 和输出完全一致,目前已在 crates.io 提供预发布版本。

    推荐理由:通过底层架构重构实现数倍至数十倍的性能提升,为大规模数据处理提供了可迁移的工程优化方案。

9月16日周三
  1. Google Research68

    Google Research 提出 Retrieve-for-Train:利用强化学习蒸馏加速复杂 AI 搜索

    Google Research 在 ICML 2026 发表论文提出 Retrieve-for-Train 框架,利用离线强化学习发现奖励对齐的查询扩展策略,并将其蒸馏至 53.9M 参数的扩散检索器中。该框架通过单次非自回归并行推理生成完整查询集,在保持多样性和对齐性的同时,相比自回归方法实现 12 至 20 倍的速度提升。

    推荐理由:提出通过离线强化学习将复杂搜索策略蒸馏至轻量扩散模型,实现单次推理并大幅提升检索速度。

9月10日周四
  1. Hugging Face Blog82

    TRL v1.14 支持 LoRA 异步同步,结合 HF Jobs 实现训练推理解耦

    TRL v1.14 的 AsyncGRPOTrainer 支持仅同步 LoRA 适配器,配合 Hugging Face Jobs 和存储桶挂载,无需 NCCL 即可实现训练与推理解耦。通过 token-budget batching 和代理路由优化,500 步训练时间从 3 小时 27 分缩短至 53 分。

    推荐理由:TRL v1.14 支持 LoRA 异步同步,结合 HF Jobs 和存储桶可消除 NCCL 依赖,实现训练与推理解耦。

9月9日周三
  1. Mistral AI38

    Mistral 利用 AI 智能体将 40,000 行 Fortran 77 迁移至 C++

    Mistral 利用 AI 智能体将 40,000 行 Fortran 77 迁移至 C++,完成物理密集型储层模拟器的现代化改造。项目通过构建数值一致性测试框架验证迁移结果,并使用 Vibe CLI 和 Mistral OCR 生成文档。最终采用人类主导的 coder、tester 和 reviewer 智能体工作流,在保留代码质量的同时解决智能体卡死问题。

9月3日周四
  1. Hugging Face Blog75

    使用TRL和OpenEnv复现语言模型水彩画训练

    本文详细记录了使用TRL和OpenEnv在Hugging Face上复现语言模型水彩画训练的全过程。作者开源了包含参考池、RL环境、评分模型及训练脚本的完整流水线,并对比了三种奖励权重组合的训练效果,指出通过构建高质量参考池可实现对模型审美风格的精准控制。

    推荐理由:提供了基于TRL和OpenEnv复现RL绘画的完整代码与基础设施搭建细节,可直接迁移用于其他审美对齐任务。

9月1日周二
  1. Hugging Face Blog75

    Hugging Face 发布 207 个 WebGPU 内核及加载库

    Hugging Face 发布 @huggingface/kernels 库及 207 个 WebGPU 内核,每个内核作为独立版本化仓库发布,包含接口、测试和基准数据。在 Apple M4 上实测,其内核比 ORT WebGPU 快 2.57 倍,并推出 Fleet 工具用于众包设备性能测试。

    推荐理由:Hugging Face 开源了 207 个 WebGPU 内核及加载库,实测性能显著优于 ORT WebGPU,为浏览器端推理提供了可复用的底层基础。

8月25日周二
  1. Hugging Face Blog80

    量化感知愈合:压缩的 4-bit 模型超越全精度原版

    Multiverse Computing 提出量化感知愈合(QAH)方法,将 GPT-OSS 120B 压缩至 60B 参数并量化为 MXFP4 后,在 9 项基准中的 7 项上超越其全精度版本。该方法通过从原始模型蒸馏而非恢复后的检查点,解决了结构压缩后的能力下降问题。

    推荐理由:提出量化感知愈合方法,使压缩量化后的模型在多项基准上超越全精度版本。

  2. Hugging Face Blog77

    Gradio 内置 Workflow 功能发布

    Gradio 内置 gr.Workflow 功能,允许开发者通过拖拽构建可视化 AI 管线,并自动生成 REST API 和一键部署到 Hugging Face Spaces。

    推荐理由:Gradio 内置 Workflow 将 AI 管线转为可视化界面与 REST API,降低多模型编排门槛。

  3. Mistral AI42

    Mistral 与 HUMAIN 宣布战略合作推进中东主权AI

    Mistral 与 HUMAIN 宣布战略合作,在沙特阿拉伯及中东地区推进主权AI。双方将联合开发针对阿拉伯语优化的前沿模型,重点聚焦网络安全与语音领域,并探索利用 HUMAIN 数据中心满足当地算力需求。该合作涉及数亿欧元,旨在通过本地基础设施与开放权重模型,帮助金融、制造等受监管行业实现数据与控制权自主。

8月24日周一
8月21日周五
  1. Hugging Face Blog55

    Hugging Face 如何利用 Jobs、Buckets 和 Inference Endpoints 构建 Papers with Code 搜索

    Hugging Face 博客详解了 Papers with Code 搜索系统的架构,利用 Jobs 进行批量嵌入、Buckets 管理数据流转、Inference Endpoints 提供低延迟查询。系统采用 PostgreSQL 全文检索与 pgvector 向量检索结合的混合搜索方案,通过 RRF 算法融合结果,并支持冷启动降级与增量更新。

8月19日周三
  1. Hugging Face Blog80

    IBM研究:智能体记忆剂量需按模型能力校准

    IBM发布ALTK-Evolve研究,发现智能体记忆需按模型能力分级注入。强模型适用全量指南,弱模型适用检索,饱和模型无增益。检索策略能以极低成本提升弱模型表现,全量指南可通过提示词缓存降低开销。

    推荐理由:研究揭示了智能体记忆需按模型能力分级注入,为兼顾性能与成本的Agent部署提供了可迁移的校准方法。

8月18日周二
  1. Hugging Face Blog70

    Dharma AI 约束感知 GPU 分配器:通过调度顺序提升利用率

    Dharma AI 发布约束感知 GPU 分配器,在相同硬件上通过优化调度顺序,将 GPU 利用率最高提升 33 个百分点,优先级加权产出最高提升 105%。该方案将实时推理视为需求曲线而非固定预留,并结合优先级与时间衰减权重进行全局规划,在 1-15 毫秒内完成决策。

    推荐理由:原文给出了约束感知分配器的设计逻辑与实测数据,读者可据此优化集群调度策略。

8月14日周五
  1. Hugging Face Blog70

    Strands Robots 结合 Storage Buckets 实现机器人数据流式闭环

    AWS Strands Robots 结合 Hugging Face Storage Buckets 实现机器人数据闭环。通过 Xet 字节级去重降低同步成本,利用流式读取避免全量下载,完成从采集、训练到部署的无缝衔接。

    推荐理由:原文给出了基于 Storage Buckets 和流式读取的机器人数据闭环实操,读者可据此优化采集训练部署流程。

8月10日周一
7月29日周三
  1. Berkeley AI Research75

    K-Search:将CUDA内核优化经验自动迁移至Apple Silicon

    IBM Research基于K-Search框架开发结构化CUDA-to-MLX翻译层,将CUDA内核优化知识自动迁移至Apple Silicon。在Attention内核上达到原生MLX 0.97倍性能,在Mamba SSM内核上预填充速度较社区实现提升20倍。

    推荐理由:提出跨平台内核优化思路,将CUDA经验自动迁移至Apple Silicon,在Mamba SSM上实现20倍预填充加速。

7月10日周五
  1. Hugging Face Blog66

    PyTorch Profiling 第三篇:注意力机制的Profiler迹线分析

    Hugging Face 发布 PyTorch Profiling 系列第三篇,对比了朴素注意力、in-place掩码、SDPA math/efficient/flash/cuDNN 五种实现的Profiler迹线。文章解释了FlashAttention低占用率源于片上资源占用,cuDNN高CPU开销源于运行时内核生成,并指出math后端因FP32上转换和多次HBM读写导致性能最差。

    推荐理由:通过对比五种注意力实现的Profiler迹线,揭示了FlashAttention低占用率与cuDNN高CPU开销的底层原因。

7月8日周三
  1. Hugging Face Blog63

    Hugging Face 与 Amazon SageMaker AI 实现一键深度集成

    Hugging Face 与 Amazon SageMaker AI 推出深度链接集成,开发者可在 Hugging Face 模型页点击按钮直接进入 SageMaker Studio 进行微调或部署。新环境自动预配置权限,并支持在实例选择时直接查看 GPU 配额。

    推荐理由:一键打通模型发现与部署流程,省去手动配置权限和环境的繁琐步骤。

7月7日周二
  1. Hugging Face Blog70

    微软 Foundry 平台上线 Hugging Face 托管计算服务

    微软在 Build 2026 宣布推出 Foundry Managed Compute,将 Hugging Face 生态中的精选开源模型纳入企业级托管服务。该服务提供一键部署、自动运行时升级与安全扫描,支持 vLLM 等多种推理引擎,并统一了认证、监控与计费接口。

    推荐理由:微软将 Hugging Face 模型纳入企业级托管服务,提供开箱即用的安全与运维能力,降低了开源模型的生产部署门槛。

  2. Berkeley AI Research37

    伯克利 AI 研究:面向、由及为智能体构建数据系统

    伯克利 AI 研究提出,随着 AI 推理成本急剧下降,数据系统需应对智能体主导的新挑战。智能体执行的高并发异构查询存在大量冗余,数据系统可通过多查询优化、近似查询及主动反馈机制提升效率。此外,还需构建能可靠管理智能体状态与协调的新系统,并探索让智能体自主合成可信数据系统的方法。

  3. Hugging Face Blog78

    Hugging Face 与 SkyPilot 联合推出零出口流量存储方案

    Hugging Face 与 SkyPilot 联合推出 `store: hf` 功能,允许在任意云或本地集群上直接挂载 Hugging Face Hub 上的模型和数据集,读取数据不产生出口流量费用。该方案基于 Xet 存储实现增量去重,支持懒加载和断点续传,显著降低了跨云训练和推理的存储与传输成本。

    推荐理由:通过零出口流量存储和跨云调度,解决了模型数据与算力分离带来的高昂跨云传输成本。

7月6日周一
  1. Hugging Face Blog68

    Hugging Face Kernels 重大更新:引入可信发布与代码签名

    Hugging Face 对 Kernels 项目进行重大更新,在 Hub 上引入 kernel 专属仓库类型,默认启用可信发布者机制并支持代码签名以增强安全性。项目新增对 Torch Stable ABI 和 Apache TVM FFI 的支持,并重构 CLI 以更好地支持智能体开发工作流。

    推荐理由:Hugging Face重构了Kernels项目,引入可信发布与代码签名机制,并新增对Torch Stable ABI和TVM FFI的支持。

7月1日周三
  1. Hugging Face Blog70

    Hugging Face 联合 Cerebras 发布实时语音 AI 演示

    Hugging Face 与 Cerebras 联合展示了基于 Cerebras 推理加速的实时语音 AI 架构,该架构采用 Nvidia Parakeet 进行语音识别、Gemma 4 VLM 进行推理、Qwen3TTS 进行语音合成,实现了低延迟的端到端语音交互。

    推荐理由:展示了结合Cerebras推理与Gemma 4、Qwen3TTS的实时语音架构,为开发者提供了低延迟语音交互的开源参考实现。

6月30日周二
  1. Google Research77

    Google 发布 TabFM 表格数据零样本基础模型

    Google 发布 TabFM,一个专为表格数据设计的零样本基础模型,通过上下文学习消除手动特征工程和超参数调优。该模型在 BigQuery 中原生集成,支持通过 SQL 直接进行回归和分类预测,并在 TabArena 基准测试中表现优异。

    推荐理由:TabFM 将表格预测重构为上下文学习问题,无需微调即可在 BigQuery 中直接运行,大幅简化了传统机器学习工作流。

6月27日周六
6月26日周五
  1. Hugging Face Blog71

    一条命令在 Hugging Face Jobs 上运行 vLLM 服务

    Hugging Face 推出 HF Jobs 功能,允许用户通过单条命令在 HF 基础设施上快速部署 vLLM 服务并开放 OpenAI 兼容接口。该服务支持按秒计费,提供 GPU 选择、SSH 调试、Gradio 交互界面及编码 Agent 后端集成,适合模型测试、评估和批量生成等实验场景。

    推荐理由:提供通过单条命令在 HF Jobs 部署 vLLM 并开放 OpenAI 兼容接口的完整流程,便于快速进行模型测试与评估。

6月25日周四
  1. Hugging Face Blog75

    NVIDIA NeMo AutoModel 发布,基于 Transformers v5 加速 MoE 微调

    NVIDIA 发布 NeMo AutoModel,基于 HuggingFace Transformers v5 提供专家并行、DeepEP 融合通信和 TransformerEngine 内核。在 Qwen3-30B-A3B 和 Nemotron 3 Nano 30B-A3B 上,训练吞吐量提升 3.4-3.7 倍,GPU 显存降低 29-32%,并支持 550B 模型全量微调。

    推荐理由:NeMo AutoModel 在保持 Transformers v5 API 兼容的前提下,通过专家并行和内核优化显著提升 MoE 微调性能。