跳到正文
原文
Hugging Face Blog·· 2023-06-12精选AI 评分68

Hugging Face 研究:基础模型能否像人类一样标注数据

Can foundation models label data like humans?

AI 导读

Hugging Face 发布研究,对比人类标注与 GPT-4 对开源模型(Vicuna、Koala 等)的偏好评估,发现 GPT-4 存在显著的位置偏差和长度偏好,且与人类标注的相关性在编码任务中较低。

推荐理由

通过对比人类标注与GPT-4评估结果,揭示了LLM评估中的位置偏差与长度偏好问题。

来源:Hugging Face Blog · huggingface.co