Google Research：构建更可靠的 AI 基准测试，需要多少标注员才够？

Google Research 发布研究指出，AI 基准测试中常见的 3-5 名标注员标准往往不足以捕捉人类意见的细微差异，建议每条目使用超过 10 名标注员。研究通过模拟测试发现，标注策略取决于评估指标：追求准确率时增加条目数量更有效，而捕捉观点多样性则需增加标注员数量。在优化比例后，仅需约 1,000 次总标注即可实现高可复现性，相关模拟器已开源。