跳到正文

#多模态

今日 0 条
6月4日周四
  1. Google Research70

    Google 开源水文模型框架，赋能全球洪水预报

    Google Research 在 GitHub 开源了驱动 Flood Hub 的水文模型框架，允许气象机构利用本地数据微调模型。该框架包含基于 LSTM 的模型架构和训练管线，升级模型将可靠预测期延长了六天。

    推荐理由：开源了驱动 Flood Hub 的 AI 水文模型框架，允许气象机构利用本地数据微调模型，提升洪水预报能力。

5月29日周五
5月27日周三
  1. Mistral AI42

    Mistral AI 发布 Physics AI 研究突破

    Mistral AI 宣布收购 Emmi AI 并加倍投入 Physics AI 基础研发，重点覆盖航空航天、汽车、半导体及能源领域。公司展示了多项基于 AB-UPT 和 UPT 架构的研究突破，包括支持 30,000 个样本的跨音速 3D 机翼数据集、处理 140M 体积单元的单 GPU 气动模拟方案，以及实现工业流程实时模拟的 NeuralDEM 代理模型。

5月18日周一
  1. Google DeepMind42

    Project Genie 新增 Street View 功能，支持基于真实地点生成虚拟世界

    Google DeepMind 在 Project Genie 中新增 Street View 功能，允许用户基于美国真实地点生成可交互的虚拟世界。该功能结合 Maps Imagery Grounding 技术，支持“Ocean World”等风格，用户可自定义角色探索或重塑现实场景。Project Genie 现已面向全球 18 岁以上 Google AI Ultra 订阅用户开放。

  2. Google DeepMind92

    Google 发布 Gemini Omni Flash 多模态视频生成模型

    Google 发布 Gemini Omni Flash，支持将图像、音频、视频和文本作为输入生成高质量视频，并可通过自然语言对话进行编辑。该模型已面向 Google AI Plus、Pro 和 Ultra 订阅用户以及 YouTube Shorts 用户开放。

    推荐理由：原文给出了多模态输入生成视频的能力细节和开放入口，读者可以据此判断它对现有视频创作工作流的影响。

5月16日周六
  2. Google DeepMind48

    Google DeepMind 发布 Co-Scientist 助力 Calico 衰老研究

    Google DeepMind 发布 Co-Scientist，协助 Calico Life Sciences 在衰老生物学研究中生成可验证假设。该工具帮助研究人员从混杂的文献中识别出关于整合应激反应（ISR）受代谢调节的新颖假设，并优化实验设计。Calico 团队利用 Co-Scientist 筛选噪音并推进实验，最终获得具有健康与疾病意义的新发现。

  3. Google DeepMind40

    Google DeepMind 发布 Co-Scientist 加速肝病机制发现

    Google DeepMind 发布 Co-Scientist，利用 AI 辅助生物医学研究以加速疾病机制发现。该系统帮助爱丁堡大学团队在代谢功能障碍相关脂肪性肝炎（MASH）研究中，通过综合肝脏生物学与药理学证据，提出 NLRP3 炎症小子作为连接炎症与代谢的关键分子桥梁假设。该假设后经实验验证，为靶向双重疗法开发提供了新方向。

  4. Google DeepMind23

    Co-Scientist 助力 MIT 与波士顿儿童医院合作探索 ALS 疗法

    Co-Scientist 帮助 MIT 的 Ritu Ritu Raman 与波士顿儿童医院的 Ryan Flynn 跨越学科壁垒，将组织模型与 RNA 映射技术结合以探索肌萎缩侧索硬化症（ALS）疗法。该工具快速梳理了矛盾文献，协助团队提出可验证假设并评估可行性与风险。双方正利用 Co-Scientist 迭代寻找针对 ALS 的新型 RNA 机制及潜在药物。

5月12日周二
  1. Google DeepMind80

    Google DeepMind 发布 Co-Scientist 多智能体科研助手

    Google DeepMind 发布 Co-Scientist，这是一个基于 Gemini 的多智能体 AI 系统，旨在通过生成、辩论和进化假设来加速科学研究。该系统包含生成、辩论和进化三个阶段，利用“思想锦标赛”机制对假设进行交叉验证和排名，目前已通过 Hypothesis Generation 工具向研究人员开放。

    推荐理由：原文披露了基于 Gemini 的多智能体协作机制与“思想锦标赛”验证流程，为科研场景下的 AI 智能体提供了可迁移的方法论。

5月2日周六
4月30日周四
  1. Google DeepMind73

    Google DeepMind 发布 AI co-clinician 研究：实时多模态医疗辅助能力评估

    Google DeepMind 发布 AI co-clinician 研究，探索 AI 智能体在医生监督下辅助患者的“三元护理”模式。研究通过 120 次模拟远程问诊对比 GPT-realtime，发现 AI 在 140 项评估指标中 68 项优于初级全科医生，但在识别红旗症状等关键判断上仍不及专家。

    推荐理由：通过对比GPT-realtime等前沿模型，验证了AI在实时多模态问诊中的能力边界与临床辅助价值。

4月28日周二
  1. Hugging Face Blog83

    NVIDIA 开源 Nemotron 3 Nano Omni 多模态模型

    NVIDIA 在 Hugging Face 开源 Nemotron 3 Nano Omni 多模态理解模型，原生支持文档、图像、视频和音频的联合推理及智能体操作。该模型基于 Nemotron 3 混合 Mamba-Transformer 架构，在文档理解、视频分析和语音交互等基准测试中表现领先，并提供 BF16、FP8 和 NVFP4 权重下载。

    推荐理由：NVIDIA 开源 Nemotron 3 Nano Omni 模型，原生支持图文音视频多模态理解与智能体操作，在多项基准上表现领先。

4月27日周一
  1. Google DeepMind45

    Google DeepMind 与韩国科学技术信息通信部达成合作

    Google DeepMind 宣布与韩国科学技术信息通信部（MSIT）建立合作伙伴关系，将在首尔设立 AI Campus 以支持韩国 AI 战略。双方将利用 Gemini 驱动的 AlphaFold、AlphaGenome 等前沿 AI for Science 模型，加速生命科学、能源及气象领域的科研突破。此外，合作还涵盖人才培养及与韩国 AI 安全研究所（AISI）的安全研究协作。

4月16日周四
  1. Google Research36

    Google Research 发布 MoGen 模型，利用 AI 合成神经元加速大脑连接组学重建

    Google Research 发布 MoGen 模型，利用 AI 合成神经元加速大脑连接组学重建。该模型基于 PointInfinity 点云流匹配技术生成逼真的 3D 神经元形态，将其加入 PATHFINDER 训练数据后，小鼠轴突重建错误率降低 4.4%。这一改进相当于在全脑规模下节省 157 人年的手动校对时间，MoGen 已作为开源模型发布。

4月13日周一
  1. Google DeepMind76

    Gemini Robotics-ER 1.6 发布，增强具身推理与仪表读取能力

    Google DeepMind 发布 Gemini Robotics-ER 1.6，显著增强空间推理、多视角理解及仪表读取能力。该模型支持通过 Gemini API 和 Google AI Studio 调用，具备通过代码执行与视觉推理实现高精度仪表读数，并提升了物理安全约束遵循能力。

    推荐理由：新增仪表读取与多视角推理能力，为具身智能体提供可验证的物理世界交互方案。

3月29日周日
  1. Google DeepMind72

    Google DeepMind 发布 AI 指针概念，探索 Gemini 驱动的跨应用交互

    Google DeepMind 发布 AI 指针概念，展示基于 Gemini 的原型，通过视觉与语义理解实现跨应用自然交互。该功能已集成至 Chrome 和 Googlebook，支持在网页中直接询问特定内容或进行可视化对比。

    推荐理由：文章展示了基于 Gemini 的 AI 指针原型，通过自然语言与视觉上下文结合，探索跨应用无缝交互的新范式。

3月25日周三
  1. Google Research75

    Google 发布 Vibe Coding XR 工作流加速 AI + XR 原型开发

    Google 发布 Vibe Coding XR 工作流，结合 Gemini 的长上下文推理与 XR Blocks 框架，将自然语言直接转化为功能性的 Android XR 应用。该工作流利用 Gemini 进行多步规划与空间逻辑处理，在 60 秒内生成包含物理感知和交互的 3D 体验，并提供了桌面模拟器与 Android XR 头显的实时预览功能。

    推荐理由：原文展示了利用 Gemini 长上下文推理将自然语言直接转化为 XR Blocks 应用的完整工作流，为空间计算原型开发提供了可复用的新范式。

  2. Google Research62

    Google Research 发布 S2Vec 框架学习城市建成环境特征

    Google Research 发布 S2Vec，一种自监督框架，利用 S2 几何分区和掩码自编码将城市建成环境转化为通用嵌入向量。该模型在零样本地理适应任务中表现优异，能预测人口密度和收入等社会经济指标，但在环境任务中需结合卫星图像。

    推荐理由：提出自监督框架将城市建成环境转化为通用嵌入向量，在零样本地理适应任务中表现优异。

3月18日周三
  1. Google Research65

    Google Research 在 The Check Up 大会展示医疗AI从创新到临床落地的进展

    Google Research 在 The Check Up 大会上展示了AI在医疗领域的最新进展，涵盖从个性化健康到临床辅助的多个方向。在临床协作方面，与 NHS 合作的研究显示AI可识别25%的漏诊乳腺癌，并联合 Beth Israel Deaconess 测试 AMIE 多智能体系统。

    推荐理由：系统展示了从临床辅助到公共卫生到科研加速的AI应用全景，揭示了多模态与智能体在医疗场景的落地路径。

  2. Google Research75

    Google Research 发布 AI 辅助乳腺癌筛查研究：双读流程可减 46% 工作量

    Google Research 联合英国 NHS 发表两项研究，证实 AI 辅助乳腺癌筛查系统在双读流程中表现不劣于纯人工，且可减少 46% 的人工阅片工作量。AI 在独立检测中灵敏度高于首位放射科医生，能识别 25% 的漏诊间期癌，但需解决模型可解释性及数据漂移问题。

    推荐理由：研究证实AI辅助双读流程在保持检测准确率的同时，可显著减少放射科医生工作量，为缓解医疗人力短缺提供实证。

3月17日周二
  1. Mistral AI88

    Mistral 发布 Mistral Small 4 统一模型

    Mistral 发布 Mistral Small 4，将 Magistral 推理、Pixtral 多模态和 Devstral 编码能力整合至单一模型。该模型采用 MoE 架构，拥有 119B 总参数和 256k 上下文窗口，支持可配置的推理强度。相比前代，端到端延迟降低 40%，吞吐量提升 3 倍，并开源 Apache 2.0 许可。

    推荐理由：模型统一了推理、多模态与编码能力，提供可配置推理强度，兼顾性能与部署效率。

  2. Google Research60

    Google 研究论文：LLM 在超导领域专家级问答中的表现评估

    Google 与康奈尔大学合作在 PNAS 发表论文，评估 GPT-4o、Claude 3.5 等六款 LLM 在高能超导领域的专家级问答表现。基于精选文献的 NotebookLM 和自建 RAG 系统在准确性、平衡性和证据支持上优于开放网络模型。研究指出模型在视觉推理和时序理解上仍有不足，并将发布 CMT-benchmark 进行更严格评估。

    推荐理由：通过专家盲评对比发现，基于精选文献的 NotebookLM 在科学准确性上优于开放网络模型，揭示了 RAG 在科研场景中的关键价值。

3月12日周四
  1. Google Research70

    Google Flood Hub 上线 AI 驱动的城市内涝预测功能

    Google Research 宣布在 Flood Hub 上线城市内涝（Flash Flood）预测功能，利用 AI 方法将预警时间提前至 24 小时。该模型通过 Gemini 分析公开新闻报道构建 Groundsource 数据集，结合全球气象数据预测人口密集区的内涝风险，在部分南方国家的表现与美国国家气象局相当。

    推荐理由：利用Gemini提取新闻数据构建训练集，在缺乏地面观测的南方国家实现24小时城市内涝预测。

  2. Google Research68

    Google 发布 Groundsource 将新闻转化为城市内涝历史数据

    Google 发布 Groundsource 框架，利用 Gemini 从全球新闻中提取结构化历史数据，构建了包含 260 万条城市内涝事件的开放数据集。该数据集已用于提升 Google Flood Hub 的预报能力，可提前 24 小时预测近全球范围的城市内涝。

    推荐理由：利用 Gemini 从新闻中提取结构化数据，填补了城市内涝历史数据空白，并直接用于提升 Flood Hub 的预报能力。

  3. Google Research73

    Google发布AMIE真实世界临床可行性研究结果

    Google Research发布AMIE在真实门诊环境中的前瞻性可行性研究，结果显示系统在100名患者中零安全拦截，诊断准确率在90%的最终诊断中匹配，且医患体验良好。

    推荐理由：研究在真实门诊场景中验证了AMIE的安全性与诊断准确性，为医疗AI的临床落地提供了实证依据。

3月4日周三
  1. Google DeepMind83

    Google 发布 Gemini 3.1 Flash-Lite 模型

    Google 发布 Gemini 3.1 Flash-Lite 模型，定价为输入 0.25 美元/百万 token、输出 1.50 美元/百万 token。该模型在 Artificial Analysis 基准测试中比 2.5 Flash 快 2.5 倍，输出速度提升 45%，并支持自适应思考层级。

    推荐理由：以极低定价和显著提速在保持质量的同时优化了高并发场景的推理成本。

2月18日周三
  1. Google Research68

    Google发布MapTrace合成数据管线，提升多模态大模型地图路径追踪能力

    Google发布MapTrace合成数据生成管线，利用Gemini和Imagen模型生成200万对地图与路径数据。在Gemma 3 27B和Gemini 2.5 Flash上微调后，模型在MapBench基准上的路径追踪误差显著降低，成功率大幅提升。

    推荐理由：提出MapTrace合成数据生成管线，通过微调显著提升多模态大模型在地图路径追踪任务上的空间推理能力。

2月17日周二
2月10日周二
2月5日周四
2月4日周三
  1. Google Research75

    Google联合Included Health启动全美医疗AI真实世界随机对照试验

    Google宣布与Included Health合作，在获得IRB批准后启动全美随机对照试验，评估对话式AI在真实虚拟护理工作流中的表现。该研究基于AMIE、PHA等前期基础，旨在通过大规模真实患者数据验证AI的安全性与有效性。

    推荐理由：Google联合Included Health启动全美随机对照试验，标志着医疗AI从实验室模拟走向真实世界的大规模临床验证。

1月28日周三
1月23日周五
  1. Google Research60

    Google 提出通过分解实现小模型优越意图提取

    Google 在 EMNLP 2025 发表论文，提出将用户意图理解分解为屏幕摘要和序列提取两阶段方法。该方法使小多模态模型在端侧实现与大模型相当的意图提取效果，兼顾隐私与效率。

    推荐理由：提出屏幕分解与意图提取两阶段方法，使小模型在端侧意图理解上媲美大模型，兼顾隐私与效率。

1月16日周五
  1. Google DeepMind68

    Google DeepMind 发布 D4RT 统一4D场景重建与追踪模型

    Google DeepMind 发布 D4RT，一种统一的 AI 模型，用于跨时空的动态 4D 场景重建与追踪。该模型基于 Transformer 架构和灵活的查询机制，在单块 TPU 上处理一分钟视频仅需约五秒，比此前最先进方法快 18 至 300 倍，可高效完成点追踪、点云重建和相机位姿估计，为机器人导航、增强现实及世界模型构建提供实时空间感知能力。

    推荐理由：提出统一4D重建模型，速度提升最高300倍，为机器人和AR提供实时空间感知能力。

1月14日周三
  1. Google Research75

    Google 发布 MedGemma 1.5 4B 与 MedASR 医疗语音模型

    Google 发布 MedGemma 1.5 4B 模型，新增对 CT、MRI 等三维医学影像及解剖定位的支持，并在多项医疗基准上提升准确率。同时发布 MedASR 医疗语音识别模型，在医疗听写场景下错误率显著降低。两款模型均通过 Hugging Face 和 Vertex AI 开源。

    推荐理由：新增三维影像与解剖定位能力并开源，为医疗AI开发者提供了更贴近临床工作流的基座模型。

1月13日周二
  1. Google Research80

    Google发布NeuralGCM降水研究：卫星数据训练提升长期模拟精度

    Google Research在《Science Advances》发表研究，介绍NeuralGCM利用2001至2018年NASA卫星降水观测数据训练，以改进对降水及其极值的模拟。在2020年15天预报测试中，NeuralGCM在陆地上的平均降水表现优于ECMWF模型；在多年模拟中，其平均误差较IPCC主流工具降低40%，并更准确地捕捉了极端降水和日降水周期。该模型代码已开源。

    推荐理由：NeuralGCM利用卫星数据训练，在中期预报和长期模拟中显著降低降水误差，为气候研究提供了更可靠的工具。

1月5日周一
  1. Hugging Face Blog62

    TII 发布 Falcon-H1-Arabic 系列模型

    TII 发布 Falcon-H1-Arabic 系列模型，包含 3B、7B 和 34B 三个版本。该系列采用混合 Mamba-Transformer 架构，上下文窗口最高达 256K tokens，在 OALL 等基准测试中刷新阿拉伯语模型纪录。

    推荐理由：采用混合架构并大幅提升上下文窗口，在阿拉伯语基准上刷新纪录，为长文档处理提供新方案。

12月19日周五