StateBench：测试语言模型在长文档中追踪状态变化的能力

Hugging Face 发布 StateBench 基准测试，用于评估语言模型在长文档中追踪实体状态变化的能力。该基准包含四个难度等级，涵盖从不可变赋值到引用赋值等不同复杂度的状态更新操作。测试显示，尽管 Gemini 3.8 Flash、Claude Opus 5.5 和 GPT-6 Sol 等前沿模型在简单任务上表现良好，但在输入变长时仍会在更复杂的状态追踪任务中失效。