Hugging Face Blog·· 2024-10-16精选AI 评分66
Hugging Face Transformers 修复梯度累积损失计算问题
Fixing Gradient Accumulation
AI 导读
Hugging Face 修复了 Transformers Trainer 在梯度累积时损失计算不匹配的问题,确保数学等价于全批量训练。同时暴露 API 允许用户传入自定义损失函数,并将在后续版本中全面支持。
推荐理由
修复了梯度累积下损失计算偏差,并开放自定义损失函数API,帮助开发者规避训练误差。
来源:Hugging Face Blog · huggingface.co