By Unbug 
摘要
2025年11月，Google Research在NeurIPS 2025上发表了一篇题为《Nested Learning: The Illusion of Deep Learning Architectures》的论文，提出了一种名为嵌套学习（Nested Learning）的全新机器学习范式。这一突破有望解决长期困扰AI领域的”灾难性遗忘”问题，让AI系统能够像人类大脑一样持续学习新知识而不忘记旧技能。
本文将深入解析这篇论文的核心思想、创新点以及实验结果，探讨它对AI未来发展的深远影响。
背景：AI的”健忘症”问题
在过去十年里，深度学习取得了令人瞩目的进展，特别是大型语言模型（LLMs）的出现。然而，尽管这些模型表现出色，它们仍然面临一个根本性的挑战：持续学习（Continual Learning）。
什么是”灾难性遗忘”？
当我们用新数据持续更新模型参数时，往往会导致灾难性遗忘（Catastrophic Forgetting）——模型在学习新任务的同时，会失去在旧任务上的表现能力。
传统的解决方法包括：
- 架构调整
- 优化规则改进
- 正则化技术
但这些方法都只是治标不治本。
人类大脑的启示
人类大脑是持续学习的黄金标准。它通过神经可塑性（Neuroplasticity）适应新经验、记忆和学习。没有这种能力，人类就会像患有顺行性遗忘症一样，只能记住即时的上下文。
当前的LLMs就有类似的局限：它们的知识要么局限于输入窗口的即时上下文，要么局限于预训练期间学到的静态信息。
核心创新：Nested Learning范式
Nested Learning的核心思想非常激进但又合乎逻辑：不要把模型架构和优化算法看作两个独立的东西。
统一架构与优化
传统上，我们认为：
- 架构 = 网络结构（层、模块等）
- 优化 = 训练规则（优化器、学习率等）
但Nested Learning认为，这两者本质上是同一个概念，只是不同的”优化层次”，每个层次都有自己的内部信息流（”上下文流”）和更新速率。
多层嵌套的优化问题
Nested Learning将单个ML模型视为一组相互连接、多层次的优化问题，这些问题同时进行优化。每个内部问题都有自己的：
- 上下文流（Context Flow）：独特的信息流
- 更新频率（Update Rate）：不同的权重调整频率
关联记忆的视角
论文通过关联记忆（Associative Memory）的概念来说明这一范式：
-
反向传播过程本身可以建模为关联记忆：模型学会将数据点映射到其局部误差值，作为数据点”令人惊讶”程度的度量
-
Transformer的注意力机制也可以形式化为简单的关联记忆模块：学习序列中令牌之间的映射
多层次更新频率
通过定义更新频率，我们可以将这些相互连接的优化问题排序为”层次”。这种有序集合构成了Nested Learning范式的核心。
这就像大脑的多时间尺度处理系统：不同的组件以不同的频率更新。
实际应用：两个关键突破
Nested Learning的视角立即为我们提供了改进现有算法和架构的原则性方法。
1. 深度优化器（Deep Optimizers）
由于Nested Learning将优化器（如基于动量的优化器）视为关联记忆模块，我们可以将关联记忆的原理应用于它们。
发现：许多标准优化器依赖于简单的点积相似度，其更新没有考虑不同数据样本之间的关系。
改进：通过将优化器的底层目标更改为更标准的损失度量（如L2回归损失），我们推导出了动量等核心概念的新公式，使它们对不完美数据更具鲁棒性。
2. 连续记忆系统（Continuum Memory System, CMS）
在标准Transformer中：
- 序列模型 = 短期记忆（保存即时上下文）
- 前馈神经网络 = 长期记忆（存储预训练知识）
Nested Learning范式将这一概念扩展为连续记忆系统（CMS），其中记忆被视为一系列模块，每个模块以不同的特定频率更新。这为持续学习创造了更丰富、更有效的记忆系统。
Hope架构：概念验证
作为概念验证，研究团队使用Nested Learning原则设计了Hope，这是Titans架构的一个变体。
Titans vs Hope
-
Titans：长期记忆模块，根据记忆的令人惊讶程度进行优先级排序。但只有两个层次的参数更新，导致一阶上下文学习。
-
Hope：自修改的循环架构，可以利用无限层次的上下文学习，并且还通过CMS块进行增强以扩展到更大的上下文窗口。它可以通过自引用过程优化自己的记忆，创造出具有无限循环学习层次的架构。
实验结果
研究团队进行了全面的实验来评估深度优化器和Hope架构的有效性。
1. 语言建模和常识推理
在各种常用的公共语言建模和常识推理任务上，Hope架构展示了：
- 更低的困惑度（Perplexity）
- 更高的准确率（Accuracy）
相比现代循环模型和标准Transformer，Hope表现更优。
2. 长上下文记忆管理
在长上下文”大海捞针”（Needle-In-Haystack, NIAH）下游任务中，Hope展示了卓越的记忆管理能力。这证明了CMS提供了更高效、更有效的方式来处理扩展的信息序列。
实验对比了：
- Hope
- Titans
- TTT
- Mamba2
在三种难度级别的长上下文任务中，Hope和Titans始终优于其他模型。
创新点总结
Nested Learning的核心创新可以概括为以下几点：
1. 范式转变
- 统一架构与优化：将两者视为同一系统的不同层次
- 新的设计维度：通过堆叠多个层次，解锁了新的设计维度
2. 生物学启发
- 多时间尺度更新：借鉴大脑的多层次处理
- 快慢学习系统：快速学习者适应当下，慢速学习者巩固长期记忆
3. 实际应用
- 深度优化器：更鲁棒的优化方法
- 连续记忆系统：更丰富的记忆层次
- Hope架构：概念验证，展示了强大的性能
意义与影响
Nested Learning范式代表了我们对深度学习理解的一个重要进步。
理论意义
- 重新思考了深度学习的基础假设
- 为理解模型学习提供了新的视角
- 揭示了架构和优化之间的深层联系
实践意义
- 为解决灾难性遗忘提供了新途径
- 为设计更强大的AI系统提供了原则性方法
- 为持续学习AI开辟了新方向
未来展望
研究团队相信，Nested Learning范式为缩小当前LLMs有限的、易遗忘的本质与人类大脑卓越的持续学习能力之间的差距提供了坚实的基础。
总结
Google Research的Nested Learning论文是2025年最重要的AI突破之一。它不仅提出了一种全新的机器学习范式，更为解决长期困扰AI领域的”灾难性遗忘”问题提供了一个有前景的解决方案。
通过将模型架构和优化算法统一为一个多层次的嵌套优化系统，Nested Learning为我们打开了设计更强大、更灵活、能够持续学习的AI系统的大门。
Hope架构的成功实验证明了这一范式的有效性，让我们距离能够像人类一样持续学习、自我改进的AI更近了一步。
正如研究团队所说：“我们期待研究社区探索这个新维度，帮助我们构建下一代自我改进的AI。”
参考资料：
