Google Research·· 3 小时前精选AI 评分72
Google 提出睡眠框架：让大模型在离线阶段巩固记忆并持续学习
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google 提出睡眠框架，通过交替活跃与离线睡眠阶段，利用 MoE 扩展和知识蒸馏将短期上下文转化为长期参数。该方法在 10M 长上下文、多语言翻译及 AIME 数学推理等基准上优于 SFT 和 ICL 基线，有效缓解灾难性遗忘。
推荐理由
提出睡眠框架通过离线参数更新缓解遗忘，在长上下文和数学推理上表现优于基线。
来源：Google Research · research.google