Hugging Face Blog·· 2025-02-04精选AI 评分68
Hugging Face 与 Adyen 联合发布 DABStep 多步推理数据智能体基准
DABStep: Data Agent Benchmark for Multi-step Reasoning
AI 导读
Hugging Face 与 Adyen 联合发布 DABStep 基准,包含 450 多个基于真实金融支付业务提取的多步数据分析任务。评测显示,即使是 o3-mini 等最强推理模型,准确率也仅为 16%,暴露出当前 AI 智能体在复杂数据推理上的显著不足。
推荐理由
基于真实业务数据构建,揭示了当前最强推理模型在复杂多步数据分析任务中准确率不足20%的显著差距。
来源:Hugging Face Blog · huggingface.co