Hugging Face Blog·· 2025-10-07精选AI 评分80
BigCode 发布 BigCodeArena 代码生成评测平台及自动化基准
BigCodeArena: Judging code generations end to end with code executions
AI 导读
BigCode 发布 BigCodeArena,首个支持代码实际执行与人类投票的模型对比平台,并开源了包含1.4万对话的社区数据。同时推出 BigCodeReward 和 AutoCodeArena 两个新基准,利用执行结果显著提升奖励模型对齐度,并在自动化评测中显示 GPT-5 等模型表现领先。
推荐理由
平台引入代码执行反馈机制,并开源了包含1.4万对话的社区评测数据及自动化基准,为代码模型评估提供了新标准。
来源:Hugging Face Blog · huggingface.co