Hugging Face Blog·· 2023-06-12精选AI 评分68
Hugging Face 研究:基础模型能否像人类一样标注数据
Can foundation models label data like humans?
AI 导读
Hugging Face 发布研究,对比人类标注与 GPT-4 对开源模型(Vicuna、Koala 等)的偏好评估,发现 GPT-4 存在显著的位置偏差和长度偏好,且与人类标注的相关性在编码任务中较低。
推荐理由
通过对比人类标注与GPT-4评估结果,揭示了LLM评估中的位置偏差与长度偏好问题。
来源:Hugging Face Blog · huggingface.co