跳到正文

#多模态

今日 0 条
10月6日周二
  1. Google Research73

    Google 发布地球AI人口动态基础模型PDFM

    Google Research 发布地球AI人口动态基础模型PDFM,将搜索趋势、环境等隐私数据压缩为位置嵌入。该模型在麻疹疫苗、心血管疾病、登革热、产后抑郁和霍乱预测中验证了提升效果,并作为Population Dynamics Insights在Google Maps Platform开放预览。

    推荐理由:原文展示了PDFM在五大公共卫生场景的实测增益,读者可评估其作为现成地理空间特征提升现有模型的效果。

9月25日周五
  1. Google Research79

    Google 发布 AI 视频联合导演框架及四个长视频生成评测基准

    Google Research 发布 AI 视频联合导演框架,通过 Co-Director、CANVAS、A²RD 和 VQQA 四个模块解决长视频生成的语义漂移和一致性难题,并推出 GenAD-Bench、HardContinuityBench、LVBench-C 等评测基准。

    推荐理由:提出多智能体框架解决长视频生成的语义漂移与一致性难题,并发布了四个专用评测基准。

9月18日周五
  1. Google Research62

    Google 发布基于 GenUI 的教育模拟生成实验,开放 30 余个 STEM 示例

    Google Research 发布基于生成式 UI(GenUI)的教育模拟生成实验,允许教师动态创建定制化的互动学习模拟。该实验已发布包含物理、化学等学科的 30 余个 AI 生成示例,并开放 Google for Education Pilot Program 供学校申请试用。

    推荐理由:Google 发布基于 GenUI 的教育模拟生成实验,提供 30 余个 STEM 示例并开放教师试点,展示了生成式 UI 在定制教学中的落地路径。

9月4日周五
9月2日周三
  1. Google Research70

    Google与NASA合作发布基于深度学习的全球甲烷排放卫星检测框架

    Google Research与NASA JPL合作在PNAS发表论文,提出MAPL-EMIT深度学习框架,利用Swin-S视觉Transformer和360万合成数据,实现了对EMIT卫星数据中甲烷羽流的高精度检测与源定位。该模型在专家标注数据上召回率达84%,并开源了全球羽流数据库、训练模型及推理库。

    推荐理由:论文提出结合物理模拟与视觉Transformer的深度学习框架,显著提升了卫星遥感甲烷排放检测的精度与灵敏度。

8月22日周六
8月21日周五
  1. Google Research42

    Google Research 提出 ME-POIs 框架,通过融合移动数据增强语言模型对地点的理解

    Google Research 提出 ME-POIs 框架,将匿名移动模式与文本描述融合以增强语言模型对地点的理解。该框架通过自监督方法构建数值向量,使模型能捕捉地点的动态功能节奏。集成该框架后,模型在预测访问意图、价格水平分类和繁忙度估算上分别获得最高 81.9%、75.1% 和 24.7% 的相对提升。

8月17日周一
  1. Google Research70

    Google Research 提出 PhotoScan 利用智能手机图像估算体成分与代谢风险

    Google Research 发布 PhotoScan 框架,通过智能手机图像估算体脂百分比、躯干臀部脂肪比及内脏皮下脂肪比,预测胰岛素抵抗的精度接近 DXA 扫描。该模型在 UK Biobank 预训练并在 PhotoBIA 队列微调,独立验证显示其预测胰岛素抵抗的 AUROC 达 0.760,优于传统 BMI 和 BIA 传感器。

    推荐理由:提出利用智能手机图像估算体脂分布并预测胰岛素抵抗,精度接近DXA,为代谢风险筛查提供新路径。

8月13日周四
  1. Microsoft Research42

    MindTopo 揭示多模态大模型的空间推理能力

    Microsoft Research 发布 MindTopo 基准测试,评估多模态大模型在拓扑推理与规划中的表现。测试涵盖连通性、包围等五类拓扑属性,结果显示当前模型在静态识别上表现尚可,但在交互规划中常因无法维持结构关系而失败。该基准旨在揭示 AI 在机器人等交互环境中理解拓扑结构的差距。

7月16日周四
  1. Hugging Face Blog40

    领域专精模型 DharmaOCR 在巴西葡萄牙语 OCR 任务中超越 Mistral OCR4 与 Unlimited-OCR

    DharmaOCR 在巴西葡萄牙语 OCR 基准测试中得分 0.925,显著超越 Mistral OCR4(0.798)和 Unlimited-OCR(0.7587)。该模型通过针对葡萄牙语语料库的监督微调与直接偏好优化(DPO),将全部参数集中于特定领域,从而在复杂文档处理中实现了更高的提取质量与稳定性。

7月9日周四
  1. Google Research86

    Google Research 发布 SensorFM 可穿戴健康数据基础模型

    Google Research 发布 SensorFM,一个基于超一万亿分钟无标签多模态传感器数据训练的可穿戴健康基础模型。该模型在心血管、代谢、睡眠等35项健康任务中展现出泛化能力,并支持通过智能体自动构建预测头及作为个人健康智能体的底层支撑。

    推荐理由:基于万亿分钟无标签数据训练通用表示,为可穿戴设备健康分析提供了可扩展的底层方案。

6月17日周三
6月5日周五
  1. Google Research68

    Google Research 发布基于手机摄像头的被动心率监测研究

    Google Research 在《Nature》发表研究,介绍 PHRM 系统,利用手机前置摄像头在解锁后捕捉面部视频,通过深度学习被动估算心率。该系统在真实生活场景中实现全肤色心率测量误差低于 10%,静息心率估算误差低于 5 bpm,达到可穿戴设备水平,并开源了相关数据集和模型。

    推荐理由:研究提出基于手机前置摄像头的被动心率监测方案,在真实场景下实现全肤色高精度测量,为无感健康监测提供新路径。

4月16日周四
  1. Google Research36

    Google Research 发布 MoGen 模型,利用 AI 合成神经元加速大脑连接组学重建

    Google Research 发布 MoGen 模型,利用 AI 合成神经元加速大脑连接组学重建。该模型基于 PointInfinity 点云流匹配技术生成逼真的 3D 神经元形态,将其加入 PATHFINDER 训练数据后,小鼠轴突重建错误率降低 4.4%。这一改进相当于在全脑规模下节省 157 人年的手动校对时间,MoGen 已作为开源模型发布。

3月25日周三
  1. Google Research62

    Google Research 发布 S2Vec 框架学习城市建成环境特征

    Google Research 发布 S2Vec,一种自监督框架,利用 S2 几何分区和掩码自编码将城市建成环境转化为通用嵌入向量。该模型在零样本地理适应任务中表现优异,能预测人口密度和收入等社会经济指标,但在环境任务中需结合卫星图像。

    推荐理由:提出自监督框架将城市建成环境转化为通用嵌入向量,在零样本地理适应任务中表现优异。

3月18日周三
  1. Google Research75

    Google Research 发布 AI 辅助乳腺癌筛查研究:双读流程可减 46% 工作量

    Google Research 联合英国 NHS 发表两项研究,证实 AI 辅助乳腺癌筛查系统在双读流程中表现不劣于纯人工,且可减少 46% 的人工阅片工作量。AI 在独立检测中灵敏度高于首位放射科医生,能识别 25% 的漏诊间期癌,但需解决模型可解释性及数据漂移问题。

    推荐理由:研究证实AI辅助双读流程在保持检测准确率的同时,可显著减少放射科医生工作量,为缓解医疗人力短缺提供实证。

3月17日周二
  1. Google Research60

    Google 研究论文:LLM 在超导领域专家级问答中的表现评估

    Google 与康奈尔大学合作在 PNAS 发表论文,评估 GPT-4o、Claude 3.5 等六款 LLM 在高能超导领域的专家级问答表现。基于精选文献的 NotebookLM 和自建 RAG 系统在准确性、平衡性和证据支持上优于开放网络模型。研究指出模型在视觉推理和时序理解上仍有不足,并将发布 CMT-benchmark 进行更严格评估。

    推荐理由:通过专家盲评对比发现,基于精选文献的 NotebookLM 在科学准确性上优于开放网络模型,揭示了 RAG 在科研场景中的关键价值。

3月12日周四
  1. Google Research73

    Google发布AMIE真实世界临床可行性研究结果

    Google Research发布AMIE在真实门诊环境中的前瞻性可行性研究,结果显示系统在100名患者中零安全拦截,诊断准确率在90%的最终诊断中匹配,且医患体验良好。

    推荐理由:研究在真实门诊场景中验证了AMIE的安全性与诊断准确性,为医疗AI的临床落地提供了实证依据。

2月18日周三
  1. Google Research68

    Google发布MapTrace合成数据管线,提升多模态大模型地图路径追踪能力

    Google发布MapTrace合成数据生成管线,利用Gemini和Imagen模型生成200万对地图与路径数据。在Gemma 3 27B和Gemini 2.5 Flash上微调后,模型在MapBench基准上的路径追踪误差显著降低,成功率大幅提升。

    推荐理由:提出MapTrace合成数据生成管线,通过微调显著提升多模态大模型在地图路径追踪任务上的空间推理能力。

2月10日周二
2月4日周三
  1. Google Research75

    Google联合Included Health启动全美医疗AI真实世界随机对照试验

    Google宣布与Included Health合作,在获得IRB批准后启动全美随机对照试验,评估对话式AI在真实虚拟护理工作流中的表现。该研究基于AMIE、PHA等前期基础,旨在通过大规模真实患者数据验证AI的安全性与有效性。

    推荐理由:Google联合Included Health启动全美随机对照试验,标志着医疗AI从实验室模拟走向真实世界的大规模临床验证。

1月28日周三
1月23日周五
  1. Google Research60

    Google 提出通过分解实现小模型优越意图提取

    Google 在 EMNLP 2025 发表论文,提出将用户意图理解分解为屏幕摘要和序列提取两阶段方法。该方法使小多模态模型在端侧实现与大模型相当的意图提取效果,兼顾隐私与效率。

    推荐理由:提出屏幕分解与意图提取两阶段方法,使小模型在端侧意图理解上媲美大模型,兼顾隐私与效率。

1月16日周五
  1. Google DeepMind68

    Google DeepMind 发布 D4RT 统一4D场景重建与追踪模型

    Google DeepMind 发布 D4RT,一种统一的 AI 模型,用于跨时空的动态 4D 场景重建与追踪。该模型基于 Transformer 架构和灵活的查询机制,在单块 TPU 上处理一分钟视频仅需约五秒,比此前最先进方法快 18 至 300 倍,可高效完成点追踪、点云重建和相机位姿估计,为机器人导航、增强现实及世界模型构建提供实时空间感知能力。

    推荐理由:提出统一4D重建模型,速度提升最高300倍,为机器人和AR提供实时空间感知能力。

1月13日周二
  1. Google Research80

    Google发布NeuralGCM降水研究:卫星数据训练提升长期模拟精度

    Google Research在《Science Advances》发表研究,介绍NeuralGCM利用2001至2018年NASA卫星降水观测数据训练,以改进对降水及其极值的模拟。在2020年15天预报测试中,NeuralGCM在陆地上的平均降水表现优于ECMWF模型;在多年模拟中,其平均误差较IPCC主流工具降低40%,并更准确地捕捉了极端降水和日降水周期。该模型代码已开源。

    推荐理由:NeuralGCM利用卫星数据训练,在中期预报和长期模拟中显著降低降水误差,为气候研究提供了更可靠的工具。

12月9日周二
  1. Google DeepMind68

    Google DeepMind 发布 FACTS Benchmark Suite 评测大模型事实准确性

    Google DeepMind 联合 Kaggle 发布 FACTS Benchmark Suite,包含参数知识、搜索、多模态及 Grounding v2 共 3,513 个公开测试用例。评测显示 Gemini 3 Pro 以 68.8% 的 FACTS Score 领先,所有模型准确率均低于 70%,多模态任务得分最低。

    推荐理由:提供涵盖参数知识、搜索与多模态的4项事实性评测基准,揭示前沿模型在事实准确性上的具体短板。

12月4日周四
  1. Google Research42

    Google 发布 MSEB 基准测试:评估多模态听觉智能的八大核心能力

    Google Research 发布 Massive Sound Embedding Benchmark (MSEB),旨在标准化评估多模态模型的听觉智能。该基准涵盖语音检索、推理、分类等八大核心能力,并包含包含 177,352 条语音查询的 Simple Voice Questions (SVQ) 数据集。实验显示当前声音表示远非通用,在各项任务中均存在显著的性能提升空间。

11月19日周三
  1. Google Research85

    Google 发布端到端实时语音翻译模型并部署于 Google Meet 和 Pixel 10

    Google 发布端到端实时语音翻译模型,延迟仅2秒并保留原声,已在 Google Meet 和 Pixel 10 部署。该模型基于 AudioLM 和 SpectroStream 架构,支持英、西、德、法、意、葡等语言。

    推荐理由:端到端架构将延迟降至2秒并保留原声,已在Google Meet和Pixel 10部署,可据此评估实时语音翻译的技术进展。

11月13日周四
  1. Google DeepMind75

    Google DeepMind 发布 SIMA 2:基于 Gemini 推理的 3D 世界通用智能体

    Google DeepMind 发布 SIMA 2,将 Gemini 模型作为核心推理引擎,使智能体能在 3D 虚拟环境中理解复杂指令、进行链式推理并自我改进。该模型在跨游戏泛化和与用户协作方面表现显著,目前作为有限研究预览向学术界和游戏开发者开放。

    推荐理由:SIMA 2 将 Gemini 推理能力引入 3D 游戏,实现了跨游戏泛化与自我改进,为具身智能提供了新路径。

10月31日周五
9月3日周三
  1. Hugging Face Blog75

    SandboxAQ 开源 SAIR 数据集:524 万条高精度蛋白-配体 3D 结构加速药物研发

    SandboxAQ 在 Hugging Face 开源 SAIR 数据集,包含 524 万条由 Boltz1 生成的 AI 共折叠蛋白-配体 3D 结构及实验验证的 IC50 数据。该数据集采用 CC BY 4.0 许可,97% 的结构通过了 PoseBusters 验证,旨在解决 AI 药物研发中高质量结构数据的长期短缺问题。

    推荐理由:SAIR 开源了 524 万条高精度蛋白-配体 3D 结构及 IC50 数据,为 AI 药物发现提供了稀缺的高质量训练集。

8月12日周二