Hugging Face Blog·· 2024-08-21精选AI 评分68
Hugging Face 发布 DataCollatorWithFlattening 实现 Flash Attention 2 无填充训练
Improving Hugging Face Training Efficiency Through Packing with Flash Attention 2
AI 导读
Hugging Face 发布 DataCollatorWithFlattening，使 Flash Attention 2 兼容无填充指令微调，训练吞吐量最高提升 2 倍，峰值显存降低 20%，且不影响收敛质量。
推荐理由
通过新数据整理器实现无填充训练，在保持收敛质量的同时显著提升训练吞吐量和降低显存占用。
来源：Hugging Face Blog · huggingface.co