Hugging Face Blog·· 2022-10-24AI 评分38
使用 🤗 Evaluate 评估语言模型偏见
Evaluating Language Model Bias with 🤗 Evaluate
AI 导读
Hugging Face 在 🤗 Evaluate 库中新增偏见指标,通过 🤗 Datasets 提供的提示词评估 GPT-2 和 BLOOM 等因果语言模型。文章演示了毒性、极性和伤害性评估流程,利用 R4 Target 模型等工具量化模型生成的有害内容,帮助社区理解模型编码的社会偏见。
来源:Hugging Face Blog · huggingface.co