GaLore：在消费级硬件上高效训练大语言模型

Hugging Face发布GaLore优化器，利用梯度低秩结构投影技术将优化器状态显存占用降低82.5%以上，结合8-bit量化可在RTX 4090等消费级显卡上训练7B参数模型。该方案支持动态子空间切换与层更新，已集成于transformers库，用户可通过pip安装galore-torch并使用galore_adamw等优化器进行微调。