跳到正文
原文
Hugging Face Blog·· 2024-10-16精选AI 评分66

Hugging Face Transformers 修复梯度累积损失计算问题

Fixing Gradient Accumulation

AI 导读

Hugging Face 修复了 Transformers Trainer 在梯度累积时损失计算不匹配的问题,确保数学等价于全批量训练。同时暴露 API 允许用户传入自定义损失函数,并将在后续版本中全面支持。

推荐理由

修复了梯度累积下损失计算偏差,并开放自定义损失函数API,帮助开发者规避训练误差。

来源:Hugging Face Blog · huggingface.co