Open LLM Leaderboard MMLU 评估差异解析

Hugging Face 博客解析 Open LLM Leaderboard 中 MMLU 分数与 LLaMA 论文不符的原因，对比了 EleutherAI Harness、HELM 和原始实现的差异，指出 Prompt 和概率计算方式不同导致分数不可直接比较，并宣布将更新 Harness 以匹配原始实现。