Google Research 的 NeurIPS 2025 论文《Nested Learning: The Illusion of Deep Learning Architectures》提出嵌套学习:单一模型并不是单一的东西,而是一组各有节奏、各有更新频率的嵌套优化问题。
概念验证架构 HOPE 在语言建模、推理和长上下文大海捞针任务上都优于传统基线。
灾难性遗忘为什么难解决
灾难性遗忘(Catastrophic Forgetting)指模型学习新任务时忘掉旧任务:先学会日常对话,再教它理解法律合同,结果合同懂了、聊天忘了。过去的补丁式方法包括回放缓冲区(把旧数据存起来混入新任务训练)、架构调整(为新任务外挂专属模块)、限制参数变化幅度的优化器(如正则化约束),都没有解决根本问题:这些方法都在假设”模型就该被一个优化器统一更新”的前提下打补丁,而遗忘恰恰出在这个前提本身——所有参数被同一个梯度信号按同一个节奏推来推去,新知识必然覆盖旧配置。Google 研究者问了一个更根本的问题:如果一开始对学习的理解就有偏差呢?
把模型看作嵌套的优化问题
Nested Learning 把神经网络从单一优化器统一更新的”大铁块”,重解为一套嵌套的优化问题:多层次嵌套,模型分解成多个嵌套学习循环;不同频率,底层更新快处理即时模式,高层更新慢指导长期适应;上下文流,每个子问题有自己的内部信息流;统一视角,模型架构和优化算法是同一个系统的两个方面。这给模型增加了新的深度维度——不是结构深度,而是学习方式上的计算深度。类比人脑:有的东西学得快忘得快,有的学得慢记得牢,不同记忆系统以不同速度配合工作。概念验证架构 HOPE 的结果:更低困惑度、更高推理准确率、更好的长上下文表现,尤其在需要从海量上下文中回忆相关信息的大海捞针(needle-in-a-haystack)任务上,传统模型经常失败,HOPE 表现出色。
范式意义
Nested Learning 带来三个转变:从静态架构到动态学习系统——架构和优化共同进化;从单一学习率到记忆光谱——不同组件以不同频率更新;从事后补救到从设计上解决——持续学习能力内建于系统。这意味着真正的终身学习成为可能:部署后的模型可以持续吸收新领域知识,客服机器人依次学会技术支持、账单问题而不忘掉旧技能,企业不再需要每逢新业务就重训一遍模型。对普通使用者同样有直接含义——微调不再必然以牺牲通用能力为代价。开放问题包括嵌套多少层才有用、高层用什么元学习算法最好、模型内部自我训练时如何管理稳定性和效率。同类话题可参阅站内《一分钟读论文:给大模型注意力装一个阀门》。