GitHub发布ReviewBench开源基准用于评估AI代码审查
GitHub发布ReviewBench，一个基于1.039亿个真实Pull Request分布构建的开源AI代码审查离线基准。该基准包含219个Pull Request和经过人工验证的多源黄金数据集，支持按严重程度和类别切片，并提供Grounded与Augmented两套指标体系。
推荐理由：GitHub发布ReviewBench基准，提供可复现的离线评估方法，帮助开发者选择并优化AI代码审查工具。
#评测/基准
#评测/基准
今日 0 条GitHub Blog · AI & ML精选AI 评分6868
Hugging Face BlogAI 评分4242 UK AISI 与 EvalEval 合作推动基准测试结果可复现
英国 AI 安全研究所（AISI）利用 EvalEval 基础设施公开分享评估结果，支持更可复现和可验证的评估科学。
Hugging Face BlogAI 评分5050 BenchMIRT：利用多维IRT拆解LLM基准测试的真实测量目标
AllenAI发布BenchMIRT，利用多维项目反应理论（MIRT）在提示词层面审计LLM基准测试。该工具在16个基准和3.4万道题上训练，独立识别出安全与通用推理两个主导维度，揭示BBQ、WMDP等基准中安全与推理信号的混合情况。BenchMIRT还能通过仅保留10%最具区分度的题目来高效评估模型，并准确预测模型在未见题目上的表现。
Hugging Face Blog精选AI 评分6868 Hugging Face 研究揭示语音识别模型对公开基准的过拟合与优化现象
Hugging Face 发布研究，通过参考不一致、实体检索和正字法切换三项测试，量化语音识别模型在 VoxPopuli 和 LibriSpeech 等公开基准上的过拟合现象。研究发现部分高分模型会复现基准中的错误转录、恢复被静音的数字，并依据音频中的数据集特定线索选择拼写，导致基准分数高估了真实场景下的转录能力。
推荐理由：通过三项测试量化语音识别模型对公开基准的过拟合现象，揭示高分模型在真实场景中可能依赖数据集特定线索而非音频内容。
Import AIAI 评分3838 Import AI 469：DiG-bench 评测 AI 发现能力；RSI 模拟器；Zuck 的技术悲观主义
DiG-bench 基准测试显示 Opus 5 和 Fable 5 在 70 个隐藏规则游戏中表现最佳，但仅能攻克 Tier 7 的 0.2 任务，远逊于人类。Paradigm Research 推出 RSI 模拟器，模拟 AI 公司递归自我改进的研发过程。Inherent 发布 Faraday，通过监督前沿模型培养 AI 科学家的研究品味。
Microsoft ResearchAI 评分4242 MindTopo 揭示多模态大模型的空间推理能力
Microsoft Research 发布 MindTopo 基准测试，评估多模态大模型在拓扑推理与规划中的表现。测试涵盖连通性、包围等五类拓扑属性，结果显示当前模型在静态识别上表现尚可，但在交互规划中常因无法维持结构关系而失败。该基准旨在揭示 AI 在机器人等交互环境中理解拓扑结构的差距。
Hugging Face BlogAI 评分4040 领域专精模型 DharmaOCR 在巴西葡萄牙语 OCR 任务中超越 Mistral OCR4 与 Unlimited-OCR
DharmaOCR 在巴西葡萄牙语 OCR 基准测试中得分 0.925，显著超越 Mistral OCR4（0.798）和 Unlimited-OCR（0.7587）。该模型通过针对葡萄牙语语料库的监督微调与直接偏好优化（DPO），将全部参数集中于特定领域，从而在复杂文档处理中实现了更高的提取质量与稳定性。
Hugging Face Blog精选AI 评分6666 IBM发布ScarfBench基准测试AI智能体企业Java框架迁移能力
IBM Research发布ScarfBench基准，评估AI智能体在企业Java框架迁移中的表现。测试显示，尽管编译成功率较高，但最强智能体的行为保持成功率不足10%。研究指出，迁移难点在于配置与依赖管理，且智能体对自身完成度存在过度自信。
推荐理由：通过构建真实企业级Java迁移场景，揭示AI智能体在行为保持上的局限，提供可复现的评估基准。
Hugging Face Blog精选AI 评分6767 Hugging Face 联合 Treble 推出 FFASR 远场语音识别基准
Hugging Face 联合 Treble 推出首个开源远场语音识别（FFASR）基准，覆盖 14 种模拟房间与多信噪比条件。评测显示远场低信噪比下的字错误率显著高于近场，并提供准确率与推理速度的权衡分析。
推荐理由：首次公开远场语音识别基准，提供仿真与实测对照，直观展示真实声学环境下的性能差距。
Google ResearchAI 评分3838 Google Research：构建更可靠的 AI 基准测试，需要多少标注员才够？
Google Research 发布研究指出，AI 基准测试中常见的 3-5 名标注员标准往往不足以捕捉人类意见的细微差异，建议每条目使用超过 10 名标注员。研究通过模拟测试发现，标注策略取决于评估指标：追求准确率时增加条目数量更有效，而捕捉观点多样性则需增加标注员数量。在优化比例后，仅需约 1,000 次总标注即可实现高可复现性，相关模拟器已开源。
Hugging Face Blog精选AI 评分7070 AssetOpsBench：面向工业资产管理的AI智能体评测基准
Hugging Face 发布 AssetOpsBench，这是一个针对工业资产生命周期管理的 AI 智能体评测基准，涵盖 230 万传感器遥测点和 140 多个场景。该基准通过六个维度评估智能体表现，并引入 TrajFM 管道分析多智能体执行轨迹中的失败模式。社区测试显示，GPT-4.1 在规划和执行任务中得分最高，但尚无模型达到 85 分的部署就绪阈值。
推荐理由：原文提供了工业场景下的多维评测框架与失败模式分析，为开发者优化多智能体协作提供了可迁移的评估方法。
Google DeepMind精选AI 评分6868 Google DeepMind 发布 FACTS Benchmark Suite 评测大模型事实准确性
Google DeepMind 联合 Kaggle 发布 FACTS Benchmark Suite，包含参数知识、搜索、多模态及 Grounding v2 共 3,513 个公开测试用例。评测显示 Gemini 3 Pro 以 68.8% 的 FACTS Score 领先，所有模型准确率均低于 70%，多模态任务得分最低。
推荐理由：提供涵盖参数知识、搜索与多模态的4项事实性评测基准，揭示前沿模型在事实准确性上的具体短板。
Google ResearchAI 评分4242 Google 发布 MSEB 基准测试：评估多模态听觉智能的八大核心能力
Google Research 发布 Massive Sound Embedding Benchmark (MSEB)，旨在标准化评估多模态模型的听觉智能。该基准涵盖语音检索、推理、分类等八大核心能力，并包含包含 177,352 条语音查询的 Simple Voice Questions (SVQ) 数据集。实验显示当前声音表示远非通用，在各项任务中均存在显著的性能提升空间。
Hugging Face BlogAI 评分4242 Hugging Face 发布检索嵌入基准 RTEB
Hugging Face 发布检索嵌入基准（RTEB）Beta 版，旨在通过混合开放与私有数据集策略，可靠评估嵌入模型在真实应用中的检索准确性。该基准涵盖 20 种语言及法律、医疗等关键领域，默认使用 NDCG@10 作为排行榜指标，以解决现有基准存在的泛化差距和与企业用例脱节问题。
Hugging Face BlogAI 评分2727 FilBench 发布：评估 LLM 理解与生成菲律宾语的能力
Hugging Face 发布 FilBench，系统评估 LLM 在 Tagalog、Filipino 和 Cebuano 等菲律宾语言上的表现。评测涵盖文化、NLP、阅读理解和生成四大类，结果显示 GPT-4o 表现最佳，而 SEA-LION 等区域模型在参数效率上具有优势。开源模型在成本效益上优于商业模型，但翻译任务仍是主要难点。
Hugging Face BlogAI 评分3030 3LM：面向阿拉伯语大语言模型的 STEM 与代码基准测试
Hugging Face 发布 3LM 基准测试，专门评估阿拉伯语大语言模型在 STEM 学科和代码生成领域的表现。该基准包含 865 道原生 STEM 选择题、1,744 道合成高难度题目及基于 HumanEval+ 和 MBPP+ 翻译的代码任务。测试显示 Qwen2.5-72B-Instruct 在 STEM 选择题中表现最佳，GPT-4o 在代码生成任务中得分最高。
Hugging Face BlogAI 评分5555 Hugging Face 发布 FutureBench 评测 AI 智能体预测未来事件能力
Hugging Face 发布 FutureBench，旨在通过预测未来事件评估 AI 智能体的推理能力。该基准利用新闻和 Polymarket 数据生成问题，避免数据污染并提供可验证结果。初步测试显示，GPT-4.1、Claude 3.7 和 DeepSeek-V3 在信息搜集和推理策略上存在显著差异。