UK AISI 与 EvalEval 合作推动基准测试结果可复现
英国 AI 安全研究所(AISI)利用 EvalEval 基础设施公开分享评估结果,支持更可复现和可验证的评估科学。
英国 AI 安全研究所(AISI)利用 EvalEval 基础设施公开分享评估结果,支持更可复现和可验证的评估科学。
Google Research 发布 MilleMiglia,这是一个 C++ 实例生成器,旨在为中间里程物流问题生成逼真的基准数据。该工具通过时空图上的多商品流模型,解决了传统车辆路径问题(VRP)难以处理的跨中心转运与时间窗口同步难题。代码与文档已开源在 GitHub。
Google Research 提出 ToolGrad,通过文本梯度迭代构建 API 工作流,以更低成本生成高质量工具调用数据。在 BFCL 基准上,基于该方法微调的 Gemma-3-12B 模型得分 83.1,超越 Gemini-2.5-pro、Claude 4.5 Opus 和 GPT-5。
推荐理由:提出基于文本梯度的答案优先范式,以更低成本生成高质量工具调用数据,使小模型在基准上超越主流闭源模型。
Google DeepMind 发布 AlphaGenome Atlas,包含人类基因组中90亿种单核苷酸变异的分子影响预测。平台提供 AVI 评分、特征归因及 DNA 序列基序,已用于发现罕见病致病突变及解析复杂性状关联。
推荐理由:预计算了全基因组90亿种单核苷酸变异,提供AVI评分与可视化门户,加速罕见病与复杂性状研究。
Multiverse Computing 发布论文与开源代码,提出离线 Top-K Logits 缓存与融合分块 KL 损失,将知识蒸馏显存峰值降低15.6倍,使32K上下文蒸馏可在单张 H200 上运行。
推荐理由:通过离线缓存和分块计算将知识蒸馏显存需求降低15倍,使长上下文蒸馏可在单卡运行。
Google Research 提出正则化 f-散度核检验框架,旨在解决大规模模型机器遗忘审计中传统两样本检验统计效力低且计算昂贵的问题。该框架利用 f-散度(如 KL 散度、Hockey-stick 散度)结合核正则化方法,自动选择最佳散度类型以精准定位局部数据偏移。该研究已在 AISTATS 2026 发表,理论上证明了其对假阳性的控制能力及随样本增加假阴性收敛至零的特性。
Google Research 发布研究指出,AI 基准测试中常见的 3-5 名标注员标准往往不足以捕捉人类意见的细微差异,建议每条目使用超过 10 名标注员。研究通过模拟测试发现,标注策略取决于评估指标:追求准确率时增加条目数量更有效,而捕捉观点多样性则需增加标注员数量。在优化比例后,仅需约 1,000 次总标注即可实现高可复现性,相关模拟器已开源。
Berkeley AI Research 提出 SPEX 和 ProxySPEX 算法,通过稀疏恢复和层级结构特性,以极少消融次数高效识别 LLM 中的关键交互作用。ProxySPEX 在保持 SPEX 性能的同时,将消融次数减少约 10 倍。该方法在数千特征的上下文窗口中仍能保持高忠实度,显著优于 LIME 等边际方法。
Google Research 发表论文,提出通过监督微调让大语言模型模仿贝叶斯助手,从而学会概率推理。该方法使模型在航班推荐任务中显著优于基线,并能将学到的推理能力泛化至酒店推荐和网购等未见领域。
推荐理由:研究提出通过模仿贝叶斯模型进行监督微调,使大模型学会概率推理并跨领域泛化。
Google Research 发布 GIST 算法,通过平衡数据多样性与效用解决大规模数据集采样难题。该算法在 NeurIPS 2025 提出,提供数学保证,确保选出的子集价值至少达到绝对最优解的一半。
Google Research 发布 Google Earth AI、DeepSomatic 与 Quantum Echoes 三大突破,加速科研与应用的循环。