跳到正文

#多模态

今日 5 条
7月15日周三
  1. Hugging Face Blog86

    Thinking Machines 开源 Inkling 1T参数多模态大模型及 Inkling-Small

    Thinking Machines 在 Hugging Face 开源 Inkling 1T参数多模态大模型及 Inkling-Small(276B/12B),原生支持图像、文本和音频输入,具备1M上下文窗口与智能体能力。模型提供BF16与NVFP4量化版本,支持SGLang、vLLM等推理引擎,并附带多项基准测试与部署配置。

    推荐理由:提供了1T参数多模态模型及276B小模型的架构细节、量化部署方案与基准测试,便于评估其推理与多模态能力。

7月9日周四
  1. Google Research86

    Google Research 发布 SensorFM 可穿戴健康数据基础模型

    Google Research 发布 SensorFM,一个基于超一万亿分钟无标签多模态传感器数据训练的可穿戴健康基础模型。该模型在心血管、代谢、睡眠等35项健康任务中展现出泛化能力,并支持通过智能体自动构建预测头及作为个人健康智能体的底层支撑。

    推荐理由:基于万亿分钟无标签数据训练通用表示,为可穿戴设备健康分析提供了可扩展的底层方案。

7月1日周三
  1. Hugging Face Blog70

    Hugging Face 联合 Cerebras 发布实时语音 AI 演示

    Hugging Face 与 Cerebras 联合展示了基于 Cerebras 推理加速的实时语音 AI 架构,该架构采用 Nvidia Parakeet 进行语音识别、Gemma 4 VLM 进行推理、Qwen3TTS 进行语音合成,实现了低延迟的端到端语音交互。

    推荐理由:展示了结合Cerebras推理与Gemma 4、Qwen3TTS的实时语音架构,为开发者提供了低延迟语音交互的开源参考实现。

6月17日周三
6月9日周二
  1. Google DeepMind80

    Google DeepMind 发布 Gemma 4 12B 多模态模型

    Google DeepMind 发布 Gemma 4 12B 模型,采用无编码器架构,视觉和音频输入直接接入 LLM 主干,原生支持音频输入。该模型在 16GB 显存下即可运行,具备接近 26B 模型的推理性能,并内置多令牌预测(MTP)草稿器以降低延迟。

    推荐理由:采用无编码器架构并原生支持音频,在16GB显存下即可运行,适合本地部署智能体应用。

6月8日周一
6月5日周五
  1. Google Research68

    Google Research 发布基于手机摄像头的被动心率监测研究

    Google Research 在《Nature》发表研究,介绍 PHRM 系统,利用手机前置摄像头在解锁后捕捉面部视频,通过深度学习被动估算心率。该系统在真实生活场景中实现全肤色心率测量误差低于 10%,静息心率估算误差低于 5 bpm,达到可穿戴设备水平,并开源了相关数据集和模型。

    推荐理由:研究提出基于手机前置摄像头的被动心率监测方案,在真实场景下实现全肤色高精度测量,为无感健康监测提供新路径。

  2. Hugging Face Blog84

    NVIDIA 发布 Nemotron 3.5 内容安全模型,支持多模态与自定义策略

    NVIDIA 发布 Nemotron 3.5 内容安全模型,基于 Gemma 3 4B 微调,支持文本与图像的多模态联合评估及 12 种语言。该模型新增自定义企业策略执行与可审计推理(THINK Mode),并开源了包含真实图像的多模态安全数据集。

    推荐理由:Nemotron 3.5 将多模态、多语言与自定义企业策略执行整合于单一模型,提供可审计推理与开源数据集。

6月4日周四
  1. Google Research70

    Google 开源水文模型框架,赋能全球洪水预报

    Google Research 在 GitHub 开源了驱动 Flood Hub 的水文模型框架,允许气象机构利用本地数据微调模型。该框架包含基于 LSTM 的模型架构和训练管线,升级模型将可靠预测期延长了六天。

    推荐理由:开源了驱动 Flood Hub 的 AI 水文模型框架,允许气象机构利用本地数据微调模型,提升洪水预报能力。

5月29日周五
5月27日周三
  1. Mistral AI42

    Mistral AI 发布 Physics AI 研究突破

    Mistral AI 宣布收购 Emmi AI 并加倍投入 Physics AI 基础研发,重点覆盖航空航天、汽车、半导体及能源领域。公司展示了多项基于 AB-UPT 和 UPT 架构的研究突破,包括支持 30,000 个样本的跨音速 3D 机翼数据集、处理 140M 体积单元的单 GPU 气动模拟方案,以及实现工业流程实时模拟的 NeuralDEM 代理模型。

5月18日周一
  1. Google DeepMind42

    Project Genie 新增 Street View 功能,支持基于真实地点生成虚拟世界

    Google DeepMind 在 Project Genie 中新增 Street View 功能,允许用户基于美国真实地点生成可交互的虚拟世界。该功能结合 Maps Imagery Grounding 技术,支持“Ocean World”等风格,用户可自定义角色探索或重塑现实场景。Project Genie 现已面向全球 18 岁以上 Google AI Ultra 订阅用户开放。

  2. Google DeepMind92

    Google 发布 Gemini Omni Flash 多模态视频生成模型

    Google 发布 Gemini Omni Flash,支持将图像、音频、视频和文本作为输入生成高质量视频,并可通过自然语言对话进行编辑。该模型已面向 Google AI Plus、Pro 和 Ultra 订阅用户以及 YouTube Shorts 用户开放。

    推荐理由:原文给出了多模态输入生成视频的能力细节和开放入口,读者可以据此判断它对现有视频创作工作流的影响。

5月16日周六
  1. Google DeepMind48

    Google DeepMind 发布 Co-Scientist 助力 Calico 衰老研究

    Google DeepMind 发布 Co-Scientist,协助 Calico Life Sciences 在衰老生物学研究中生成可验证假设。该工具帮助研究人员从混杂的文献中识别出关于整合应激反应(ISR)受代谢调节的新颖假设,并优化实验设计。Calico 团队利用 Co-Scientist 筛选噪音并推进实验,最终获得具有健康与疾病意义的新发现。

  2. Google DeepMind40

    Google DeepMind 发布 Co-Scientist 加速肝病机制发现

    Google DeepMind 发布 Co-Scientist,利用 AI 辅助生物医学研究以加速疾病机制发现。该系统帮助爱丁堡大学团队在代谢功能障碍相关脂肪性肝炎(MASH)研究中,通过综合肝脏生物学与药理学证据,提出 NLRP3 炎症小子作为连接炎症与代谢的关键分子桥梁假设。该假设后经实验验证,为靶向双重疗法开发提供了新方向。

  3. Google DeepMind23

    Co-Scientist 助力 MIT 与波士顿儿童医院合作探索 ALS 疗法

    Co-Scientist 帮助 MIT 的 Ritu Ritu Raman 与波士顿儿童医院的 Ryan Flynn 跨越学科壁垒,将组织模型与 RNA 映射技术结合以探索肌萎缩侧索硬化症(ALS)疗法。该工具快速梳理了矛盾文献,协助团队提出可验证假设并评估可行性与风险。双方正利用 Co-Scientist 迭代寻找针对 ALS 的新型 RNA 机制及潜在药物。

5月12日周二
  1. Google DeepMind80

    Google DeepMind 发布 Co-Scientist 多智能体科研助手

    Google DeepMind 发布 Co-Scientist,这是一个基于 Gemini 的多智能体 AI 系统,旨在通过生成、辩论和进化假设来加速科学研究。该系统包含生成、辩论和进化三个阶段,利用“思想锦标赛”机制对假设进行交叉验证和排名,目前已通过 Hypothesis Generation 工具向研究人员开放。

    推荐理由:原文披露了基于 Gemini 的多智能体协作机制与“思想锦标赛”验证流程,为科研场景下的 AI 智能体提供了可迁移的方法论。

5月2日周六
4月30日周四
  1. Google DeepMind73

    Google DeepMind 发布 AI co-clinician 研究:实时多模态医疗辅助能力评估

    Google DeepMind 发布 AI co-clinician 研究,探索 AI 智能体在医生监督下辅助患者的“三元护理”模式。研究通过 120 次模拟远程问诊对比 GPT-realtime,发现 AI 在 140 项评估指标中 68 项优于初级全科医生,但在识别红旗症状等关键判断上仍不及专家。

    推荐理由:通过对比GPT-realtime等前沿模型,验证了AI在实时多模态问诊中的能力边界与临床辅助价值。

4月28日周二
  1. Hugging Face Blog83

    NVIDIA 开源 Nemotron 3 Nano Omni 多模态模型

    NVIDIA 在 Hugging Face 开源 Nemotron 3 Nano Omni 多模态理解模型,原生支持文档、图像、视频和音频的联合推理及智能体操作。该模型基于 Nemotron 3 混合 Mamba-Transformer 架构,在文档理解、视频分析和语音交互等基准测试中表现领先,并提供 BF16、FP8 和 NVFP4 权重下载。

    推荐理由:NVIDIA 开源 Nemotron 3 Nano Omni 模型,原生支持图文音视频多模态理解与智能体操作,在多项基准上表现领先。

4月27日周一
  1. Google DeepMind45

    Google DeepMind 与韩国科学技术信息通信部达成合作

    Google DeepMind 宣布与韩国科学技术信息通信部(MSIT)建立合作伙伴关系,将在首尔设立 AI Campus 以支持韩国 AI 战略。双方将利用 Gemini 驱动的 AlphaFold、AlphaGenome 等前沿 AI for Science 模型,加速生命科学、能源及气象领域的科研突破。此外,合作还涵盖人才培养及与韩国 AI 安全研究所(AISI)的安全研究协作。

4月16日周四
  1. Google Research36

    Google Research 发布 MoGen 模型,利用 AI 合成神经元加速大脑连接组学重建

    Google Research 发布 MoGen 模型,利用 AI 合成神经元加速大脑连接组学重建。该模型基于 PointInfinity 点云流匹配技术生成逼真的 3D 神经元形态,将其加入 PATHFINDER 训练数据后,小鼠轴突重建错误率降低 4.4%。这一改进相当于在全脑规模下节省 157 人年的手动校对时间,MoGen 已作为开源模型发布。

4月13日周一
  1. Google DeepMind76

    Gemini Robotics-ER 1.6 发布,增强具身推理与仪表读取能力

    Google DeepMind 发布 Gemini Robotics-ER 1.6,显著增强空间推理、多视角理解及仪表读取能力。该模型支持通过 Gemini API 和 Google AI Studio 调用,具备通过代码执行与视觉推理实现高精度仪表读数,并提升了物理安全约束遵循能力。

    推荐理由:新增仪表读取与多视角推理能力,为具身智能体提供可验证的物理世界交互方案。

3月29日周日
  1. Google DeepMind72

    Google DeepMind 发布 AI 指针概念,探索 Gemini 驱动的跨应用交互

    Google DeepMind 发布 AI 指针概念,展示基于 Gemini 的原型,通过视觉与语义理解实现跨应用自然交互。该功能已集成至 Chrome 和 Googlebook,支持在网页中直接询问特定内容或进行可视化对比。

    推荐理由:文章展示了基于 Gemini 的 AI 指针原型,通过自然语言与视觉上下文结合,探索跨应用无缝交互的新范式。

3月25日周三
  1. Google Research75

    Google 发布 Vibe Coding XR 工作流加速 AI + XR 原型开发

    Google 发布 Vibe Coding XR 工作流,结合 Gemini 的长上下文推理与 XR Blocks 框架,将自然语言直接转化为功能性的 Android XR 应用。该工作流利用 Gemini 进行多步规划与空间逻辑处理,在 60 秒内生成包含物理感知和交互的 3D 体验,并提供了桌面模拟器与 Android XR 头显的实时预览功能。

    推荐理由:原文展示了利用 Gemini 长上下文推理将自然语言直接转化为 XR Blocks 应用的完整工作流,为空间计算原型开发提供了可复用的新范式。

  2. Google Research62

    Google Research 发布 S2Vec 框架学习城市建成环境特征

    Google Research 发布 S2Vec,一种自监督框架,利用 S2 几何分区和掩码自编码将城市建成环境转化为通用嵌入向量。该模型在零样本地理适应任务中表现优异,能预测人口密度和收入等社会经济指标,但在环境任务中需结合卫星图像。

    推荐理由:提出自监督框架将城市建成环境转化为通用嵌入向量,在零样本地理适应任务中表现优异。

3月18日周三
  1. Google Research65

    Google Research 在 The Check Up 大会展示医疗AI从创新到临床落地的进展

    Google Research 在 The Check Up 大会上展示了AI在医疗领域的最新进展,涵盖从个性化健康到临床辅助的多个方向。在临床协作方面,与 NHS 合作的研究显示AI可识别25%的漏诊乳腺癌,并联合 Beth Israel Deaconess 测试 AMIE 多智能体系统。

    推荐理由:系统展示了从临床辅助到公共卫生到科研加速的AI应用全景,揭示了多模态与智能体在医疗场景的落地路径。

  2. Google Research75

    Google Research 发布 AI 辅助乳腺癌筛查研究:双读流程可减 46% 工作量

    Google Research 联合英国 NHS 发表两项研究,证实 AI 辅助乳腺癌筛查系统在双读流程中表现不劣于纯人工,且可减少 46% 的人工阅片工作量。AI 在独立检测中灵敏度高于首位放射科医生,能识别 25% 的漏诊间期癌,但需解决模型可解释性及数据漂移问题。

    推荐理由:研究证实AI辅助双读流程在保持检测准确率的同时,可显著减少放射科医生工作量,为缓解医疗人力短缺提供实证。

3月17日周二
  1. Mistral AI88

    Mistral 发布 Mistral Small 4 统一模型

    Mistral 发布 Mistral Small 4,将 Magistral 推理、Pixtral 多模态和 Devstral 编码能力整合至单一模型。该模型采用 MoE 架构,拥有 119B 总参数和 256k 上下文窗口,支持可配置的推理强度。相比前代,端到端延迟降低 40%,吞吐量提升 3 倍,并开源 Apache 2.0 许可。

    推荐理由:模型统一了推理、多模态与编码能力,提供可配置推理强度,兼顾性能与部署效率。

  2. Google Research60

    Google 研究论文:LLM 在超导领域专家级问答中的表现评估

    Google 与康奈尔大学合作在 PNAS 发表论文,评估 GPT-4o、Claude 3.5 等六款 LLM 在高能超导领域的专家级问答表现。基于精选文献的 NotebookLM 和自建 RAG 系统在准确性、平衡性和证据支持上优于开放网络模型。研究指出模型在视觉推理和时序理解上仍有不足,并将发布 CMT-benchmark 进行更严格评估。

    推荐理由:通过专家盲评对比发现,基于精选文献的 NotebookLM 在科学准确性上优于开放网络模型,揭示了 RAG 在科研场景中的关键价值。

3月12日周四
  1. Google Research70

    Google Flood Hub 上线 AI 驱动的城市内涝预测功能

    Google Research 宣布在 Flood Hub 上线城市内涝(Flash Flood)预测功能,利用 AI 方法将预警时间提前至 24 小时。该模型通过 Gemini 分析公开新闻报道构建 Groundsource 数据集,结合全球气象数据预测人口密集区的内涝风险,在部分南方国家的表现与美国国家气象局相当。

    推荐理由:利用Gemini提取新闻数据构建训练集,在缺乏地面观测的南方国家实现24小时城市内涝预测。

  2. Google Research68

    Google 发布 Groundsource 将新闻转化为城市内涝历史数据

    Google 发布 Groundsource 框架,利用 Gemini 从全球新闻中提取结构化历史数据,构建了包含 260 万条城市内涝事件的开放数据集。该数据集已用于提升 Google Flood Hub 的预报能力,可提前 24 小时预测近全球范围的城市内涝。

    推荐理由:利用 Gemini 从新闻中提取结构化数据,填补了城市内涝历史数据空白,并直接用于提升 Flood Hub 的预报能力。

  3. Google Research73

    Google发布AMIE真实世界临床可行性研究结果

    Google Research发布AMIE在真实门诊环境中的前瞻性可行性研究,结果显示系统在100名患者中零安全拦截,诊断准确率在90%的最终诊断中匹配,且医患体验良好。

    推荐理由:研究在真实门诊场景中验证了AMIE的安全性与诊断准确性,为医疗AI的临床落地提供了实证依据。

3月4日周三
  1. Google DeepMind83

    Google 发布 Gemini 3.1 Flash-Lite 模型

    Google 发布 Gemini 3.1 Flash-Lite 模型,定价为输入 0.25 美元/百万 token、输出 1.50 美元/百万 token。该模型在 Artificial Analysis 基准测试中比 2.5 Flash 快 2.5 倍,输出速度提升 45%,并支持自适应思考层级。

    推荐理由:以极低定价和显著提速在保持质量的同时优化了高并发场景的推理成本。

2月18日周三
  1. Google Research68

    Google发布MapTrace合成数据管线,提升多模态大模型地图路径追踪能力

    Google发布MapTrace合成数据生成管线,利用Gemini和Imagen模型生成200万对地图与路径数据。在Gemma 3 27B和Gemini 2.5 Flash上微调后,模型在MapBench基准上的路径追踪误差显著降低,成功率大幅提升。

    推荐理由:提出MapTrace合成数据生成管线,通过微调显著提升多模态大模型在地图路径追踪任务上的空间推理能力。

2月17日周二
2月10日周二
2月5日周四