AI众包评测平台Arena完成2亿美元B轮融资，估值达31亿美元
AI众包评测平台Arena完成2亿美元B轮融资，估值达31亿美元。其推出的AI Evaluations服务基于社区反馈提供模型性能分析，并新增对齐（alignment）排行榜以评估模型安全性。
#评测/基准
#评测/基准
今日 1 条TechCrunch · AIAI 评分7070
Simon WillisonAI 评分1212 Mistral Large 4
Mistral Large 4 模型在生成“穿渔网袜的犰狳在火星上闯红灯”的 SVG 图像测试中，与 Claude Opus 5.5、GPT-6.1 Sol 和 Gemini 3.8 Flash 等前沿模型一同接受评估。该测试旨在展示当前大语言模型在复杂创意指令下的图像生成能力。
Microsoft ResearchAI 评分3131 微软研究播客：AI 的失败与评估
微软研究播客对话 Jennifer Neville，探讨评估在推动 AI 系统性能边界中的作用，以及模型在传统基准测试之外出现的“意外失败”。Neville 分享了与当前 AI 系统协作的实用指导，并强调当结果违背预期时仔细审视数据的重要性。
GitHub Blog · AI & ML精选AI 评分6868 GitHub发布ReviewBench开源基准用于评估AI代码审查
GitHub发布ReviewBench，一个基于1.039亿个真实Pull Request分布构建的开源AI代码审查离线基准。该基准包含219个Pull Request和经过人工验证的多源黄金数据集，支持按严重程度和类别切片，并提供Grounded与Augmented两套指标体系。
推荐理由：GitHub发布ReviewBench基准，提供可复现的离线评估方法，帮助开发者选择并优化AI代码审查工具。
Simon WillisonAI 评分3838 Qwen3.8 27B 用英文单词进行加法运算的实验
实验测试了本地模型 Qwen3.8-27B-Q4_K_M.gguf 仅用英文单词表达正整数加法结果的能力。禁用推理时，模型在 5,070 个测试用例中数值准确率仅为 23.57%，且随数字位数增加性能急剧下降。启用推理后，模型在 169 个对比测试中 167 次得出正确答案。
Hugging Face Blog精选AI 评分8787 微软发布ThinkingBox基准：评估AI智能体在业务流中的终端状态可靠性
微软联合Hugging Face发布ThinkingBox基准，通过终端状态验证揭示AI智能体在复杂业务流中工具调用与结果不一致的可靠性问题。该基准在507个工作流上测试18个模型，发现多数失败源于工具处理而非推理，并提供了成本与一致性分析。
推荐理由：微软联合Hugging Face发布ThinkingBox基准，通过终端状态验证揭示AI智能体在复杂业务流中工具调用与结果不一致的可靠性问题。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布开源多语言 TTS 排行榜
Hugging Face 推出 Open TTS Leaderboard，采用客观指标评估开源 TTS 模型。该排行榜涵盖多语言识别率、推理速度和说话人相似度，并支持语音克隆与流式性能对比，旨在解决人工投票榜扩展性不足的问题。
推荐理由：Hugging Face 推出基于客观指标的开源多语言 TTS 排行榜，弥补了人工投票榜在扩展性上的不足。
Hugging Face BlogAI 评分4242 UK AISI 与 EvalEval 合作推动基准测试结果可复现
英国 AI 安全研究所（AISI）利用 EvalEval 基础设施公开分享评估结果，支持更可复现和可验证的评估科学。
Hugging Face BlogAI 评分5050 BenchMIRT：利用多维IRT拆解LLM基准测试的真实测量目标
AllenAI发布BenchMIRT，利用多维项目反应理论（MIRT）在提示词层面审计LLM基准测试。该工具在16个基准和3.4万道题上训练，独立识别出安全与通用推理两个主导维度，揭示BBQ、WMDP等基准中安全与推理信号的混合情况。BenchMIRT还能通过仅保留10%最具区分度的题目来高效评估模型，并准确预测模型在未见题目上的表现。
Hugging Face Blog精选AI 评分6868 Hugging Face 研究揭示语音识别模型对公开基准的过拟合与优化现象
Hugging Face 发布研究，通过参考不一致、实体检索和正字法切换三项测试，量化语音识别模型在 VoxPopuli 和 LibriSpeech 等公开基准上的过拟合现象。研究发现部分高分模型会复现基准中的错误转录、恢复被静音的数字，并依据音频中的数据集特定线索选择拼写，导致基准分数高估了真实场景下的转录能力。
推荐理由：通过三项测试量化语音识别模型对公开基准的过拟合现象，揭示高分模型在真实场景中可能依赖数据集特定线索而非音频内容。
Import AIAI 评分3838 Import AI 469：DiG-bench 评测 AI 发现能力；RSI 模拟器；Zuck 的技术悲观主义
DiG-bench 基准测试显示 Opus 5 和 Fable 5 在 70 个隐藏规则游戏中表现最佳，但仅能攻克 Tier 7 的 0.2 任务，远逊于人类。Paradigm Research 推出 RSI 模拟器，模拟 AI 公司递归自我改进的研发过程。Inherent 发布 Faraday，通过监督前沿模型培养 AI 科学家的研究品味。
Microsoft ResearchAI 评分4242 MindTopo 揭示多模态大模型的空间推理能力
Microsoft Research 发布 MindTopo 基准测试，评估多模态大模型在拓扑推理与规划中的表现。测试涵盖连通性、包围等五类拓扑属性，结果显示当前模型在静态识别上表现尚可，但在交互规划中常因无法维持结构关系而失败。该基准旨在揭示 AI 在机器人等交互环境中理解拓扑结构的差距。
Hugging Face BlogAI 评分4040 领域专精模型 DharmaOCR 在巴西葡萄牙语 OCR 任务中超越 Mistral OCR4 与 Unlimited-OCR
DharmaOCR 在巴西葡萄牙语 OCR 基准测试中得分 0.925，显著超越 Mistral OCR4（0.798）和 Unlimited-OCR（0.7587）。该模型通过针对葡萄牙语语料库的监督微调与直接偏好优化（DPO），将全部参数集中于特定领域，从而在复杂文档处理中实现了更高的提取质量与稳定性。
Hugging Face Blog精选AI 评分6666 IBM发布ScarfBench基准测试AI智能体企业Java框架迁移能力
IBM Research发布ScarfBench基准，评估AI智能体在企业Java框架迁移中的表现。测试显示，尽管编译成功率较高，但最强智能体的行为保持成功率不足10%。研究指出，迁移难点在于配置与依赖管理，且智能体对自身完成度存在过度自信。
推荐理由：通过构建真实企业级Java迁移场景，揭示AI智能体在行为保持上的局限，提供可复现的评估基准。
Hugging Face Blog精选AI 评分6767 Hugging Face 联合 Treble 推出 FFASR 远场语音识别基准
Hugging Face 联合 Treble 推出首个开源远场语音识别（FFASR）基准，覆盖 14 种模拟房间与多信噪比条件。评测显示远场低信噪比下的字错误率显著高于近场，并提供准确率与推理速度的权衡分析。
推荐理由：首次公开远场语音识别基准，提供仿真与实测对照，直观展示真实声学环境下的性能差距。
Hugging Face BlogAI 评分4040 Open ASR Leaderboard 引入 Appen 和 DataoceanAI 私有数据集以防范刷榜
Hugging Face 在 Open ASR Leaderboard 中引入 Appen 和 DataoceanAI 提供的高质量私有 ASR 数据集，以防范测试集污染和刷榜行为。默认排行榜平均分仍基于公开数据集计算，用户可手动开启私有数据集查看影响。此举旨在通过标准化评估和增加数据多样性，更全面地反映模型在多种口音和对话场景下的真实鲁棒性。
Google ResearchAI 评分3838 Google Research：构建更可靠的 AI 基准测试，需要多少标注员才够？
Google Research 发布研究指出，AI 基准测试中常见的 3-5 名标注员标准往往不足以捕捉人类意见的细微差异，建议每条目使用超过 10 名标注员。研究通过模拟测试发现，标注策略取决于评估指标：追求准确率时增加条目数量更有效，而捕捉观点多样性则需增加标注员数量。在优化比例后，仅需约 1,000 次总标注即可实现高可复现性，相关模拟器已开源。
Hugging Face Blog精选AI 评分7070 AssetOpsBench：面向工业资产管理的AI智能体评测基准
Hugging Face 发布 AssetOpsBench，这是一个针对工业资产生命周期管理的 AI 智能体评测基准，涵盖 230 万传感器遥测点和 140 多个场景。该基准通过六个维度评估智能体表现，并引入 TrajFM 管道分析多智能体执行轨迹中的失败模式。社区测试显示，GPT-4.1 在规划和执行任务中得分最高，但尚无模型达到 85 分的部署就绪阈值。
推荐理由：原文提供了工业场景下的多维评测框架与失败模式分析，为开发者优化多智能体协作提供了可迁移的评估方法。
Google DeepMind精选AI 评分6868 Google DeepMind 发布 FACTS Benchmark Suite 评测大模型事实准确性
Google DeepMind 联合 Kaggle 发布 FACTS Benchmark Suite，包含参数知识、搜索、多模态及 Grounding v2 共 3,513 个公开测试用例。评测显示 Gemini 3 Pro 以 68.8% 的 FACTS Score 领先，所有模型准确率均低于 70%，多模态任务得分最低。
推荐理由：提供涵盖参数知识、搜索与多模态的4项事实性评测基准，揭示前沿模型在事实准确性上的具体短板。
Google ResearchAI 评分4242 Google 发布 MSEB 基准测试：评估多模态听觉智能的八大核心能力
Google Research 发布 Massive Sound Embedding Benchmark (MSEB)，旨在标准化评估多模态模型的听觉智能。该基准涵盖语音检索、推理、分类等八大核心能力，并包含包含 177,352 条语音查询的 Simple Voice Questions (SVQ) 数据集。实验显示当前声音表示远非通用，在各项任务中均存在显著的性能提升空间。
Hugging Face Blog精选AI 评分8080 BigCode 发布 BigCodeArena 代码生成评测平台及自动化基准
BigCode 发布 BigCodeArena，首个支持代码实际执行与人类投票的模型对比平台，并开源了包含1.4万对话的社区数据。同时推出 BigCodeReward 和 AutoCodeArena 两个新基准，利用执行结果显著提升奖励模型对齐度，并在自动化评测中显示 GPT-5 等模型表现领先。
推荐理由：平台引入代码执行反馈机制，并开源了包含1.4万对话的社区评测数据及自动化基准，为代码模型评估提供了新标准。
Hugging Face BlogAI 评分4242 Hugging Face 发布检索嵌入基准 RTEB
Hugging Face 发布检索嵌入基准（RTEB）Beta 版，旨在通过混合开放与私有数据集策略，可靠评估嵌入模型在真实应用中的检索准确性。该基准涵盖 20 种语言及法律、医疗等关键领域，默认使用 NDCG@10 作为排行榜指标，以解决现有基准存在的泛化差距和与企业用例脱节问题。