跳到正文
原文
Hugging Face Blog·· 2022-10-24AI 评分38

使用 🤗 Evaluate 评估语言模型偏见

Evaluating Language Model Bias with 🤗 Evaluate

AI 导读

Hugging Face 在 🤗 Evaluate 库中新增偏见指标,通过 🤗 Datasets 提供的提示词评估 GPT-2 和 BLOOM 等因果语言模型。文章演示了毒性、极性和伤害性评估流程,利用 R4 Target 模型等工具量化模型生成的有害内容,帮助社区理解模型编码的社会偏见。

来源:Hugging Face Blog · huggingface.co