跳到正文

#产品更新

今日 2 条
9月25日周五
  1. Google DeepMind77

    Gemini 3.8 Live 新增 Live Avatar 实时视觉形象功能

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,将实时对话与低延迟流式视频生成原生耦合,赋予 AI 具备动态视觉形象。该功能支持 97 种语言无缝切换且保持口型同步,可在后台异步调用工具以维持对话流畅,目前已在 Gemini Enterprise 中开放。

    推荐理由:原生耦合实时对话与低延迟视频流,支持97种语言无缝切换及异步工具调用,为多模态交互提供企业级入口。

9月24日周四
  1. NVIDIA Blog66

    NVIDIA联合发布2800多种病毒蛋白复合物结构数据集

    NVIDIA联合Google DeepMind等机构,通过AlphaFold Database开源2800多种病毒蛋白复合物3D结构。该数据集利用NVIDIA BioNeMo Inference Runtime优化AlphaFold2生成,包含约30%全新相互作用结构,并同步开源BioNeMo Structure Prediction Pipeline供研究人员预测自身目标。

    推荐理由:NVIDIA联合多方开源2800多种病毒蛋白复结构,提供GPU加速预测工具,为未来疫情应对储备关键数据。

  2. GitHub Blog · AI & ML65

    GitHub Copilot App 重构巨型 Pull Request 渲染性能

    GitHub Copilot App 重构了巨型 Pull Request 的渲染视图,通过分离代码与评论的双几何架构及异步测量机制,实现了百万行代码与数百条评论的流畅交互。

    推荐理由:通过双几何架构与异步测量机制,解决了百万行级PR渲染卡顿问题,为处理超大规模代码审查提供了工程参考。

  3. Microsoft Research72

    微软发布支持推理卸载的 Physical AI Toolchain

    微软发布 Physical AI Toolchain,新增支持将物理 AI 推理卸载至边缘或云 GPU 的能力。实测表明,该方案可提升任务成功率,使电池续航延长数小时,并提供基于 Kubernetes 的自动容器化部署工具。

    推荐理由:微软发布支持推理卸载的工具链,实测显示可显著提升机器人性能并延长续航。

  4. Google DeepMind67

    Google DeepMind 为 Private AI Compute 引入安全服务端持久记忆

    Google DeepMind 宣布为 Private AI Compute 平台引入安全的服务端持久记忆功能,解决云端 AI 跨设备连续交互的隐私难题。该架构利用硬件隔离的安全飞地(secure enclave)处理数据,加密密钥仅存储在用户个人设备上,确保即使数据在云端处理也保持端侧隐私标准。同时发布技术白皮书、防篡改软件记录及独立审计报告以验证安全性。

    推荐理由:通过硬件隔离与端侧密钥结合实现云端持久记忆,为跨设备AI助手提供隐私保护方案。

9月23日周三
  1. Google DeepMind82

    Gemini 3.8 Flash TTS 与 Flash-Lite TTS 发布

    Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,支持通过自然语言提示从零创建角色声音、30秒样本复刻声音,并提供逐行表演控制与原生双人对白编排。模型已上线 Google AI Studio 和 Gemini API,并在 Hume AI 语音设计基准测试中取得领先。

    推荐理由:提供了原生双人对白编排与细粒度表演控制,可据此评估其在播客、有声书及多语言配音场景的落地能力。

9月22日周二
  1. NVIDIA Blog71

    NVIDIA Isaac ROS 5.0 发布,引入智能体工作流与加速推理

    NVIDIA 在 ROSCon 发布 Isaac ROS 5.0,引入支持 AI 智能体的工作流与技能包,并加速 FoundationPose 推理达 5.5 倍。该版本新增对 ROS Lyrical 和 Ubuntu 24.04 的支持,并兼容从 Jetson Orin Nano 到 Jetson Thor 的多种边缘计算平台。

    推荐理由:引入AI智能体工作流与FoundationPose推理加速,为开发者提供构建和部署高性能机器人应用的新路径。

  2. Hugging Face Blog78

    Hugging Face transformers 正式支持 GGUF 格式

    Hugging Face 宣布 transformers 正式支持 GGUF 格式,开发者可通过标准 API 在本地高效运行量化模型。该更新通过复用底层 ggml Metal 内核,显著提升了 Apple Silicon 设备上的推理性能,并支持通过 transformers serve 提供 OpenAI 兼容接口。

    推荐理由:Hugging Face 官方宣布 transformers 支持 GGUF 格式,通过复用底层 Metal 内核实现端侧高效推理。

9月21日周一
  1. Hugging Face Blog67

    Hugging Face tokenizers v1 发布,性能提升数倍至数十倍

    Hugging Face 发布 tokenizers v1 版本,通过位流拆分、词缓存和内存复用等底层重构,使编码速度较 v0.23 提升 3 到 30 倍。该版本保持 API 和输出完全一致,目前已在 crates.io 提供预发布版本。

    推荐理由:通过底层架构重构实现数倍至数十倍的性能提升,为大规模数据处理提供了可迁移的工程优化方案。

9月18日周五
  1. Google Research62

    Google 发布基于 GenUI 的教育模拟生成实验,开放 30 余个 STEM 示例

    Google Research 发布基于生成式 UI(GenUI)的教育模拟生成实验,允许教师动态创建定制化的互动学习模拟。该实验已发布包含物理、化学等学科的 30 余个 AI 生成示例,并开放 Google for Education Pilot Program 供学校申请试用。

    推荐理由:Google 发布基于 GenUI 的教育模拟生成实验,提供 30 余个 STEM 示例并开放教师试点,展示了生成式 UI 在定制教学中的落地路径。

9月17日周四
  1. GitHub Blog · AI & ML85

    GitHub Copilot 运行时重写为 Rust,AI 智能体完成 80 万行代码迁移

    GitHub 宣布将 Copilot CLI、App 及 SDK 背后的智能体运行时从 TypeScript 完全重写为 Rust,代码量超 80 万行。该重写由 AI 智能体主导完成,涉及 128 个 Pull Request,实现了从进程间通信到进程内嵌入的架构升级,显著提升了启动速度、内存占用和吞吐量。

    推荐理由:原文披露了Copilot运行时重写为Rust的技术细节与性能收益,为AI Agent工程化提供了可迁移的实践参考。

9月16日周三
9月10日周四
  1. Hugging Face Blog82

    TRL v1.14 支持 LoRA 异步同步,结合 HF Jobs 实现训练推理解耦

    TRL v1.14 的 AsyncGRPOTrainer 支持仅同步 LoRA 适配器,配合 Hugging Face Jobs 和存储桶挂载,无需 NCCL 即可实现训练与推理解耦。通过 token-budget batching 和代理路由优化,500 步训练时间从 3 小时 27 分缩短至 53 分。

    推荐理由:TRL v1.14 支持 LoRA 异步同步,结合 HF Jobs 和存储桶可消除 NCCL 依赖,实现训练与推理解耦。

9月8日周二
  1. Google DeepMind83

    Google DeepMind 发布 AlphaGenome Atlas 全基因组变异预测平台

    Google DeepMind 发布 AlphaGenome Atlas,包含人类基因组中90亿种单核苷酸变异的分子影响预测。平台提供 AVI 评分、特征归因及 DNA 序列基序,已用于发现罕见病致病突变及解析复杂性状关联。

    推荐理由:预计算了全基因组90亿种单核苷酸变异,提供AVI评分与可视化门户,加速罕见病与复杂性状研究。

9月3日周四
  1. Google DeepMind82

    Google DeepMind 发布 WeatherNext 3 全球天气 AI 模型

    Google DeepMind 发布 WeatherNext 3,这是其最先进的全球天气 AI 模型,支持每小时更新、最高 5 公里分辨率,并引入实时卫星数据。该模型在降水预测上取得突破,准确率较前代大幅提升,已集成至 Google Search、Gemini、Google Maps 等平台,并向开发者开放数据接口。

    推荐理由:引入实时卫星数据与小时级更新,显著提升降水预测精度并开放给开发者使用。

  2. Hugging Face Blog75

    H Company 发布原生多模态编码器 NeoMME

    H Company 发布 NeoMME,一种原生多模态多语言编码器,使用单一双向 Transformer 处理文本和图像。NeoMME-Retriever 微调版支持单次前向传播输出密集和晚期交互嵌入,在 ViDoRe v3 基准上表现优异,并通过分层 token 池化和非对称量化将存储需求降低 255 倍。

    推荐理由:原生多模态架构配合高效压缩技术,为视觉文档检索提供了兼顾速度与精度的开源方案。

  3. Hugging Face Blog80

    Hugging Face 发布 funes 为编码 Agent 提供本地记忆层

    Hugging Face 发布开源工具 funes,将 Claude Code、Codex 等编码 Agent 的会话日志转化为可检索的记忆层。它支持本地增量索引与跨机器共享,通过向量与 BM25 混合检索实现 Agent 间的记忆继承,并提供了 ask 命令用于独立查询。

    推荐理由:提供了将编码 Agent 会话日志转化为可检索记忆层的本地工具,支持跨机器和跨 Agent 共享。

  4. Google DeepMind78

    Google DeepMind 推出 Fairwind 计划,提供 Gemini 3.8 Flash Cyber 自主漏洞修复能力

    Google DeepMind 推出 Fairwind 计划,向政府和可信合作伙伴开放 Gemini 3.8 Flash Cyber 模型与 CodeMender 工具,实现自主发现并修复代码漏洞。该方案旨在以较低成本在安全云环境中生成可部署补丁,缩短从漏洞检测到修复的时间。

    推荐理由:结合 Gemini 3.8 Flash Cyber 与 CodeMender 提供自主漏洞修复能力,为政企客户提供了规模化防御的可选方案。

  5. Google DeepMind87

    Google DeepMind 发布 Gemini 3.8 Flash 及网络安全版

    Google DeepMind 发布 Gemini 3.8 Flash 及 Gemini 3.8 Flash Cyber,在保持 3.7 Flash 同等低成本($0.75/$3.75 per million tokens)的同时,显著提升了编码、推理及网络安全能力。

    推荐理由:在保持3.7 Flash同等低成本的同时,显著提升了编码、推理及网络安全能力,为开发者提供了高性价比的升级选择。

9月2日周三
  1. Google DeepMind82

    Gemini 推出智能体视频理解功能

    Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 中推出智能体视频理解功能。该功能通过动态搜索和扫描视频片段,将长视频分析的 token 消耗降低高达 88%,成本降低 66%,准确率提升 7%。

    推荐理由:Gemini 3.7 Flash 等模型新增智能体视频理解功能,通过动态检索显著降低视频分析成本并提升准确率。

9月1日周二
  1. Hugging Face Blog75

    Hugging Face 发布 207 个 WebGPU 内核及加载库

    Hugging Face 发布 @huggingface/kernels 库及 207 个 WebGPU 内核,每个内核作为独立版本化仓库发布,包含接口、测试和基准数据。在 Apple M4 上实测,其内核比 ORT WebGPU 快 2.57 倍,并推出 Fleet 工具用于众包设备性能测试。

    推荐理由:Hugging Face 开源了 207 个 WebGPU 内核及加载库,实测性能显著优于 ORT WebGPU,为浏览器端推理提供了可复用的底层基础。

  2. Microsoft Research75

    微软开源 GigaPath-Flash 和 GigaTIME-Flash 高效病理基础模型

    微软研究团队开源 GigaPath-Flash 和 GigaTIME-Flash,通过知识蒸馏将原始模型参数量大幅缩减,在保持竞争力的同时使推理成本降低约 50 倍、内存占用减少约 8 倍。这两个 Apache 2.0 许可的研究模型支持全切片表示学习和肿瘤微环境空间蛋白质组学预测,旨在降低计算门槛以推动大规模病理发现。

    推荐理由:通过知识蒸馏显著降低算力需求,使病理大模型在大规模队列分析中具备实际可行性。

8月28日周五
8月27日周四
  1. Google DeepMind82

    Google 发布 Gemini 3.5 Transcribe 语音转写模型

    Google 发布 Gemini 3.5 Transcribe 语音转写模型,提供实时流式(gemini-3.5-transcribe-live)与离线处理(gemini-3.5-transcribe)双 API。该模型支持函数调用、自定义词汇及 85 种语言,流式与非流式 WER 分别达 4.0% 和 2.6%,已集成至 Gemini 应用、Gboard 及 Chrome 等产品。

    推荐理由:模型提供实时与离线双API,WER显著降低并支持函数调用,开发者可据此构建高精度语音交互应用。

8月25日周二
  1. Hugging Face Blog77

    Gradio 内置 Workflow 功能发布

    Gradio 内置 gr.Workflow 功能,允许开发者通过拖拽构建可视化 AI 管线,并自动生成 REST API 和一键部署到 Hugging Face Spaces。

    推荐理由:Gradio 内置 Workflow 将 AI 管线转为可视化界面与 REST API,降低多模型编排门槛。

8月22日周六
8月21日周五
  1. Hugging Face Blog75

    Liquid AI 发布 LFM2.5-DSpark 草稿模型,推理速度最高提升 3.2 倍

    Liquid AI 发布 LFM2.5-DSpark 草稿模型,为 LFM2.5 系列模型提供推测解码路径,在 H100 上最高实现 3.18 倍吞吐提升,在 M4 Max 上最高实现 2.87 倍提升。该方案已开源并支持 llama.cpp 和 SGLang,在保持输出质量不变的前提下显著降低延迟。

    推荐理由:原文给出了具体加速数据与部署配置,读者可据此评估端侧交互体验提升与现有工作流的适配度。

8月20日周四
  1. Mistral AI78

    Mistral 发布 Agentic Search 检索层

    Mistral 发布 Agentic Search,提供 search、open、navigate、read、grep 五个工具实现多步检索与验证。在 FinanceBench 和 OfficeQA Pro 基准测试中,准确率最高提升 3 倍,延迟降低 39.6%,Token 消耗减少三分之一。

    推荐理由:通过多步检索与导航工具提升复杂文档查询准确率,同时降低延迟与Token消耗。

8月18日周二
  1. Hugging Face Blog83

    Sentence Transformers v6.0 原生支持多向量编码与 ColBERT 检索

    Sentence Transformers 发布 v6.0 版本,原生引入 MultiVectorEncoder 以支持 ColBERT 风格的晚期交互检索。该更新统一了 PyLate、Stanford-NLP 和 colpali-engine 模型的加载接口,支持文本、视觉文档、音频和视频的多模态检索,并内置了 MaxSim 评分、Token Pooling 压缩及推理加速功能。

    推荐理由:Sentence Transformers v6.0 原生支持多向量编码,统一了 ColBERT 等模型的加载与检索接口。

8月13日周四
  1. Hugging Face Blog72

    OlmoEarth Studio 开放自定义嵌入向量导出功能

    OlmoEarth Studio 现支持计算并导出自定义嵌入向量,生成轻量级 Cloud-Optimized GeoTIFF (COG) 文件。用户可通过 Studio UI 或 API 选择感兴趣区域、时间范围、编码器变体(Nano/Tiny/Base)及影像源,获取用于相似度搜索、少样本分割、变化检测和 PCA 探索的嵌入数据。

    推荐理由:OlmoEarth Studio 开放自定义嵌入向量导出,提供轻量级 COG 格式及下游应用示例,便于直接复用。

8月12日周三
  1. Google DeepMind85

    Google DeepMind 发布 SL2T 手语翻译模型并集成至 Gboard 和 Live Transcribe

    Google DeepMind 发布多语言手语转文本模型 SL2T,首次集成至 Gboard 和 Live Transcribe,支持 Pixel 11 上的 ASL 到英语的实时流式翻译。该模型基于超过 10 万小时数据训练,采用端侧 MediaPipe Holistic 提取姿态坐标以保护隐私,在 FLEURS-ASL 基准上取得 70 BLEURT 的零样本成绩。

    推荐理由:SL2T模型首次落地Gboard与Live Transcribe,提供端侧隐私保护与流式翻译,为听障群体带来全新的交互方式。

8月11日周二
  1. Hugging Face Blog78

    NVIDIA Magpie TTS 开源多语言语音模型,新增阿拉伯语等三种语言

    NVIDIA 在 Hugging Face 开源 Magpie 多语言 TTS 模型,新增现代标准阿拉伯语、韩语和巴西葡萄牙语,支持12种语言。该模型提供364M参数开源权重及NIM部署方案,在B200上单流首音频延迟低至32ms,并引入帧堆叠与局部Transformer架构优化推理速度。

    推荐理由:提供开源权重与NIM部署方案,支持12种语言及低延迟指标,适合需要私有化部署和定制语音的开发者。

8月6日周四
  1. Google DeepMind90

    Google DeepMind 开源 WeatherNext 系列气象预测模型

    Google DeepMind 开源了 WeatherNext 2 和 WeatherNext Cyclones 模型及代码,该模型在气旋预测上实现了突破,平均提供额外一天的预测精度。模型仅需 28x28km 的低分辨率输入即可达到 SOTA 精度,并支持生成 1,000 个场景的集合预测。

    推荐理由:开源了WeatherNext系列模型与代码,为气象预测提供了突破性的AI工具。

7月30日周四
  1. Google DeepMind83

    Gemini Robotics ER 2 发布,升级视频理解与多机协作

    Google DeepMind 发布 Gemini Robotics ER 2,升级视频理解、任务编排与多机协作能力。模型通过 Gemini Live API 提供低延迟流式推理,支持进度分类与关键帧定位,开发者可通过 Gemini API 接入。

    推荐理由:模型升级视频理解与多机协作能力,提供 Gemini API 入口,开发者可据此评估物理智能体的任务编排潜力。

7月28日周二
  1. Google DeepMind85

    Google DeepMind 发布 Gemini Robotics 2 智能体模型

    Google DeepMind 发布 Gemini Robotics 2,包含 VLA、ER 和端侧三大模型,赋予机器人全身控制、精细操作与多机协作能力。Gemini Robotics ER 2 已在 Google AI Studio 开放,VLA 模型面向早期合作伙伴。

    推荐理由:原文给出了三大模型的能力边界与开放入口,读者可据此评估其在复杂物理任务中的实际落地价值。