AllenAI发布基准测试：LLM评估科研新颖性极不可靠

2026年10月28日，AllenAI发布名为“Old Ideas, Novel Problems”的研究及基准测试，旨在评估大型语言模型在判断科研新颖性方面的可靠性。该测试对GPT-5系列、Claude Opus 4.6等主流模型进行了评估。结果显示，模型的表现极不稳定。研究指出，仅通过提示词微调，评估准确率即可出现超过50个百分点的剧烈波动。此外，增加检索机制与推理成本并未带来性能提升。这一发现表明，当前LLM在评估科研新颖性方面存在严重缺陷，其结果极不可靠。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。