跳到正文

全部动态

今日 0 条
12月9日周二
  1. Google DeepMind68

    Google DeepMind 发布 FACTS Benchmark Suite 评测大模型事实准确性

    Google DeepMind 联合 Kaggle 发布 FACTS Benchmark Suite,包含参数知识、搜索、多模态及 Grounding v2 共 3,513 个公开测试用例。评测显示 Gemini 3 Pro 以 68.8% 的 FACTS Score 领先,所有模型准确率均低于 70%,多模态任务得分最低。

    推荐理由:提供涵盖参数知识、搜索与多模态的4项事实性评测基准,揭示前沿模型在事实准确性上的具体短板。

12月5日周五
  1. Google Research68

    Google Research 发布 Titans 架构与 MIRAS 框架实现 AI 长期记忆

    Google Research 发布 Titans 架构与 MIRAS 理论框架,利用深度神经网络作为记忆模块实现 AI 的长期记忆。该架构在 BABILong 等基准测试中超越 Transformer++ 和 Mamba-2,支持超过 200 万 token 的上下文窗口,同时保持线性推理速度。

    推荐理由:提出结合RNN速度与Transformer精度的新架构,通过深度记忆模块实现超长上下文的高效推理。

12月4日周四
  1. Google Research42

    Google 发布 MSEB 基准测试:评估多模态听觉智能的八大核心能力

    Google Research 发布 Massive Sound Embedding Benchmark (MSEB),旨在标准化评估多模态模型的听觉智能。该基准涵盖语音检索、推理、分类等八大核心能力,并包含包含 177,352 条语音查询的 Simple Voice Questions (SVQ) 数据集。实验显示当前声音表示远非通用,在各项任务中均存在显著的性能提升空间。

11月22日周六
11月19日周三
  1. Google Research85

    Google 发布端到端实时语音翻译模型并部署于 Google Meet 和 Pixel 10

    Google 发布端到端实时语音翻译模型,延迟仅2秒并保留原声,已在 Google Meet 和 Pixel 10 部署。该模型基于 AudioLM 和 SpectroStream 架构,支持英、西、德、法、意、葡等语言。

    推荐理由:端到端架构将延迟降至2秒并保留原声,已在Google Meet和Pixel 10部署,可据此评估实时语音翻译的技术进展。

11月14日周五
  1. Google Research61

    Google Research 发布全球天然林地图及AI基准数据集

    Google Research 联合 Google DeepMind 发布 Natural Forests of the World 2020 地图及数据集,利用 MTSViT 模型实现 10 米分辨率天然林识别,准确率达 92.2%。同时发布 Planted 和 ForTy 两个大规模基准数据集,用于支持 EUDR 合规及下一代森林分类模型研发。

    推荐理由:发布全球首个10米分辨率天然林地图及基准数据集,为合规与生态监测提供高精度AI基线。

11月13日周四
  1. Google DeepMind75

    Google DeepMind 发布 SIMA 2:基于 Gemini 推理的 3D 世界通用智能体

    Google DeepMind 发布 SIMA 2,将 Gemini 模型作为核心推理引擎,使智能体能在 3D 虚拟环境中理解复杂指令、进行链式推理并自我改进。该模型在跨游戏泛化和与用户协作方面表现显著,目前作为有限研究预览向学术界和游戏开发者开放。

    推荐理由:SIMA 2 将 Gemini 推理能力引入 3D 游戏,实现了跨游戏泛化与自我改进,为具身智能提供了新路径。

  2. Google Research28

    Google Quantum AI 发布量子优化工具包 DQI

    Google Quantum AI 发布名为 Decoded Quantum Interferometry (DQI) 的量子算法,用于解决经典计算机难以处理的优化问题。该算法将优化问题转化为解码问题,在最优多项式交集(OPI)任务中,仅需数百万次量子逻辑操作即可求解,而经典计算机需超过 10^23 次操作。

11月8日周六
11月7日周五
  1. Google Research38

    DS-STAR:一种最先进的通用数据科学智能体

    Google Research 发布 DS-STAR,这是一款能自动处理多样化异构数据并生成可执行代码的数据科学智能体。该框架通过数据文件分析、LLM 验证和顺序规划机制,在 DABStep、KramaBench 和 DA-Code 基准测试中均取得最先进性能。DS-STAR 在 DABStep 上的准确率从 41.0% 提升至 45.2%,并在该基准的公共排行榜上排名第一。

11月5日周三
  1. Google Research70

    Google 发布 ForestCast 预测森林砍伐风险并开源基准数据集

    Google Research 与 DeepMind 发布 ForestCast,利用纯卫星数据和视觉 Transformer 模型预测森林砍伐风险。同时开源首个用于训练深度学习模型的公开基准数据集,旨在帮助政府和企业提前干预以遏制森林损失。

    推荐理由:基于纯卫星数据预测森林砍伐风险并开源基准数据集,为生态保护提供可复现的AI工具。

  2. Google Research30

    Google Project Suncatcher 发布太空 AI 基础设施系统设计研究

    Google 发布 Project Suncatcher 研究,提出由搭载 Google TPUs 的太阳能卫星组成的星座,通过自由空间光链路连接以构建可扩展的太空 AI 基础设施。早期实验验证了单对收发器可实现 800 Gbps 传输,Trillium v6e Cloud TPU 在辐射测试中表现稳健,预计 2030 年代中期发射成本将降至 200 美元/kg 以下。

10月31日周五
10月1日周三
  1. Hugging Face Blog42

    Hugging Face 发布检索嵌入基准 RTEB

    Hugging Face 发布检索嵌入基准(RTEB)Beta 版,旨在通过混合开放与私有数据集策略,可靠评估嵌入模型在真实应用中的检索准确性。该基准涵盖 20 种语言及法律、医疗等关键领域,默认使用 NDCG@10 作为排行榜指标,以解决现有基准存在的泛化差距和与企业用例脱节问题。

9月3日周三
  1. Hugging Face Blog75

    SandboxAQ 开源 SAIR 数据集:524 万条高精度蛋白-配体 3D 结构加速药物研发

    SandboxAQ 在 Hugging Face 开源 SAIR 数据集,包含 524 万条由 Boltz1 生成的 AI 共折叠蛋白-配体 3D 结构及实验验证的 IC50 数据。该数据集采用 CC BY 4.0 许可,97% 的结构通过了 PoseBusters 验证,旨在解决 AI 药物研发中高质量结构数据的长期短缺问题。

    推荐理由:SAIR 开源了 524 万条高精度蛋白-配体 3D 结构及 IC50 数据,为 AI 药物发现提供了稀缺的高质量训练集。

8月12日周二
8月1日周五
  1. Hugging Face Blog30

    3LM:面向阿拉伯语大语言模型的 STEM 与代码基准测试

    Hugging Face 发布 3LM 基准测试,专门评估阿拉伯语大语言模型在 STEM 学科和代码生成领域的表现。该基准包含 865 道原生 STEM 选择题、1,744 道合成高难度题目及基于 HumanEval+ 和 MBPP+ 翻译的代码任务。测试显示 Qwen2.5-72B-Instruct 在 STEM 选择题中表现最佳,GPT-4o 在代码生成任务中得分最高。

7月17日周四
2月4日周二
  1. Hugging Face Blog68

    Hugging Face 与 Adyen 联合发布 DABStep 多步推理数据智能体基准

    Hugging Face 与 Adyen 联合发布 DABStep 基准,包含 450 多个基于真实金融支付业务提取的多步数据分析任务。评测显示,即使是 o3-mini 等最强推理模型,准确率也仅为 16%,暴露出当前 AI 智能体在复杂数据推理上的显著不足。

    推荐理由:基于真实业务数据构建,揭示了当前最强推理模型在复杂多步数据分析任务中准确率不足20%的显著差距。

1月9日周四
12月20日周五
  1. Hugging Face Blog73

    Big Bench Audio 发布:语音推理性能显著落后于文本

    Artificial Analysis 发布 Big Bench Audio 数据集,评估语音语言模型的推理能力。测试显示 GPT-4o 在语音到语音任务中准确率仅为 66%,远低于文本处理的 92%,传统语音转文本再转语音的流水线方案在推理准确性上目前优于原生语音模型。

    推荐理由:首次量化语音推理性能衰减,揭示原生语音模型在复杂推理任务中显著落后于文本处理。

12月10日周二
12月9日周一
  1. Hugging Face Blog68

    Hugging Face 发布文本到图像生成开源偏好数据集

    Hugging Face 社区发布了面向文本到图像生成的开源偏好数据集,包含 1 万对偏好样本,涵盖多种图像风格与提示词复杂度。数据集采用 Apache 2.0 协议,附带用于数据预处理和后处理的代码,并提供了基于 FLUX.1-dev 模型的 LoRA 微调适配器。

    推荐理由:开源了文本到图像生成的偏好数据集及微调代码,为社区提供了可复用的训练素材。

12月4日周三
10月4日周五
10月1日周二
9月23日周一
  1. Hugging Face Blog68

    Hugging Face 发布 FineVideo 数据集及构建管线

    Hugging Face 发布 FineVideo 数据集,包含 4.3 万个视频、3.4k 小时时长及丰富的结构化标注。文章详细披露了从 YouTube-Commons 中筛选动态内容、构建分类法,以及利用 Gemini 1.5 Pro 和 GPT4o 进行时间级语义标注的完整技术管线。

    推荐理由:文章详细披露了构建4.3万小时高质量视频数据集的过滤与标注管线,为多模态模型训练提供了可复用的工程方法。