UK AISI 与 EvalEval 合作推动基准测试结果可复现
英国 AI 安全研究所（AISI）利用 EvalEval 基础设施公开分享评估结果，支持更可复现和可验证的评估科学。
#Hugging Face
#Hugging Face
今日 0 条Hugging Face BlogAI 评分4242
Hugging Face Blog精选AI 评分7878 IBM 提出一致性指导原则缩小智能体表现波动
IBM 在 ALTK-Evolve 中引入一致性指导原则，通过一致性分析器定位决策点并生成指导原则，在不损失平均准确率的前提下显著缩小智能体表现波动。
推荐理由：提出通过一致性分析器定位决策点并生成指导原则，在不损失平均准确率的前提下显著缩小智能体表现波动。
Hugging Face Blog精选AI 评分8080 量化感知愈合：压缩的 4-bit 模型超越全精度原版
Multiverse Computing 提出量化感知愈合（QAH）方法，将 GPT-OSS 120B 压缩至 60B 参数并量化为 MXFP4 后，在 9 项基准中的 7 项上超越其全精度版本。该方法通过从原始模型蒸馏而非恢复后的检查点，解决了结构压缩后的能力下降问题。
推荐理由：提出量化感知愈合方法，使压缩量化后的模型在多项基准上超越全精度版本。
Hugging Face Blog精选AI 评分6868 Hugging Face 研究揭示语音识别模型对公开基准的过拟合与优化现象
Hugging Face 发布研究，通过参考不一致、实体检索和正字法切换三项测试，量化语音识别模型在 VoxPopuli 和 LibriSpeech 等公开基准上的过拟合现象。研究发现部分高分模型会复现基准中的错误转录、恢复被静音的数字，并依据音频中的数据集特定线索选择拼写，导致基准分数高估了真实场景下的转录能力。
推荐理由：通过三项测试量化语音识别模型对公开基准的过拟合现象，揭示高分模型在真实场景中可能依赖数据集特定线索而非音频内容。
Hugging Face Blog精选AI 评分8383 Hugging Face 复现 2200 篇 ICML 论文：发现半数以上存在复现问题
Hugging Face 联合社区复现 2226 篇 ICML 2026 论文，发现 51% 的论文至少有一个声明被验证，23% 存在被证伪的声明。文章指出纯智能体验证存在局限，人类应转向管理智能体、设定环境和提出关键问题。
推荐理由：Hugging Face 通过大规模开源复现揭示了 AI 论文复现危机，并探讨了人类在智能体时代的审稿新角色。
Hugging Face BlogAI 评分4040 领域专精模型 DharmaOCR 在巴西葡萄牙语 OCR 任务中超越 Mistral OCR4 与 Unlimited-OCR
DharmaOCR 在巴西葡萄牙语 OCR 基准测试中得分 0.925，显著超越 Mistral OCR4（0.798）和 Unlimited-OCR（0.7587）。该模型通过针对葡萄牙语语料库的监督微调与直接偏好优化（DPO），将全部参数集中于特定领域，从而在复杂文档处理中实现了更高的提取质量与稳定性。
Hugging Face BlogAI 评分4040 DiScoFormer：一个同时估计密度和分数的 Transformer 模型
DiScoFormer 是一个基于 Transformer 架构的模型，能在单次前向传播中同时估计数据分布的密度和分数，无需针对新分布重新训练。在 100 维数据测试中，其分数误差比最佳手动调优的核密度估计（KDE）降低约 6.5 倍，密度误差降低超过 37 倍。该模型通过共享骨干网络和一致性损失实现自适应，适用于生成建模、贝叶斯推断等需要高精度分数估计的场景。
Hugging Face Blog精选AI 评分6767 Hugging Face 联合 Treble 推出 FFASR 远场语音识别基准
Hugging Face 联合 Treble 推出首个开源远场语音识别（FFASR）基准，覆盖 14 种模拟房间与多信噪比条件。评测显示远场低信噪比下的字错误率显著高于近场，并提供准确率与推理速度的权衡分析。
推荐理由：首次公开远场语音识别基准，提供仿真与实测对照，直观展示真实声学环境下的性能差距。
Hugging Face Blog精选AI 评分7272 DharmaOCR论文：利用DPO在结构化OCR中抑制文本退化
Hugging Face转载Dharma AI论文，展示在SFT后引入DPO阶段，利用模型自身的退化输出作为拒绝样本，在五个视觉语言模型家族中平均降低59.4%的文本退化率。
推荐理由：文章验证了DPO在结构化OCR任务中抑制文本退化，为无标注场景下的模型优化提供了可迁移的方法。
Hugging Face Blog精选AI 评分7070 AssetOpsBench：面向工业资产管理的AI智能体评测基准
Hugging Face 发布 AssetOpsBench，这是一个针对工业资产生命周期管理的 AI 智能体评测基准，涵盖 230 万传感器遥测点和 140 多个场景。该基准通过六个维度评估智能体表现，并引入 TrajFM 管道分析多智能体执行轨迹中的失败模式。社区测试显示，GPT-4.1 在规划和执行任务中得分最高，但尚无模型达到 85 分的部署就绪阈值。
推荐理由：原文提供了工业场景下的多维评测框架与失败模式分析，为开发者优化多智能体协作提供了可迁移的评估方法。
Google ResearchAI 评分4242 Google 发布 MSEB 基准测试：评估多模态听觉智能的八大核心能力
Google Research 发布 Massive Sound Embedding Benchmark (MSEB)，旨在标准化评估多模态模型的听觉智能。该基准涵盖语音检索、推理、分类等八大核心能力，并包含包含 177,352 条语音查询的 Simple Voice Questions (SVQ) 数据集。实验显示当前声音表示远非通用，在各项任务中均存在显著的性能提升空间。
Hugging Face BlogAI 评分4242 Hugging Face 发布检索嵌入基准 RTEB
Hugging Face 发布检索嵌入基准（RTEB）Beta 版，旨在通过混合开放与私有数据集策略，可靠评估嵌入模型在真实应用中的检索准确性。该基准涵盖 20 种语言及法律、医疗等关键领域，默认使用 NDCG@10 作为排行榜指标，以解决现有基准存在的泛化差距和与企业用例脱节问题。