浙江大学、斯坦福大学与 ETH Zürich 的论文《Talking to Yourself: Defying Forgetting in Large Language Models》发现,灾难性遗忘主要来自风格漂移而非知识覆盖,微调前让模型自问自答生成复习数据并按 1:1 混合,即可在全部 50 个评估场景中缓解遗忘、40 个场景取得最佳结果。
遗忘从何而来
灾难性遗忘指大语言模型在特定任务上微调后丢失通用知识与推理能力。主流对策有三类:数据排练法在微调时混入通用领域数据,但需要收集或购买外部语料,对不公开预训练数据的商业模型无法使用;参数正则化法(如 Elastic Weight Consolidation)约束重要权重的更新,但需计算存储每个参数的重要性,数十亿参数下成本过高且效果不稳定;冻结底层、LoRA 等参数高效微调则限制学习能力或长期训练后仍会遗忘。
这篇论文的关键洞见是:很多遗忘并非知识被覆盖,而是参数被数据风格带偏。模板化指令、重复标点等表面形式会让参数扭向陌生的风格区域,钥匙还在,锁孔被堵住了。
先自言自语,再混合微调
方法只有两步。第一步自我对话:接触任何下游数据之前,用冻结的基础模型自己提出问题、再自己回答,得到自生成数据集,提问可用 Magpie 或 Crescent 的提示方法。第二步混合微调:把自生成数据与任务数据合并后正常微调,不修改优化器、不加损失函数、不调超参。
自生成数据的风格与预训练分布天然一致,混入后来自预训练风格的梯度会抵消任务数据引起的风格漂移,优化更新因此更平衡。研究团队在 5 个模型、5 个任务、50 个评估场景上验证:所有场景都能缓解遗忘,40 个场景取得最佳结果,且领域内表现同步提升。
以 LLaMA3-8B-Instruct 在数学推理基准 GSM8K 上为例,原始模型准确率 75.8,仅任务微调跌到 65.6,冻结底层只剩 41.1,混合 Alpaca 或 UltraChat 等外部通用数据分别降到 58.4 和 67.4;该方法只降到 74.2,跌幅 1.6,同时领域内得分 50.8 为各方法最佳。
风格对齐的证据
团队把自生成数据中所有数学、逻辑、编程内容删除,只保留纯闲聊数据,结果仍能阻止 GSM8K 准确率的大部分下降,证明保护作用来自风格对齐而非知识复习。混合比例上,任务数据与自生成数据 1:1 时通用能力保持与领域表现兼得。方法不依赖特定架构,在 LLaMA2、LLaMA3、Qwen2.5 上均有效,可直接接入 LLaMA-Factory 等微调框架,成本仅为微调前一次采样生成。
局限在于依赖基础模型的生成质量,基础模型较弱时自对话可能重复低质;它针对风格诱导的参数漂移,其他遗忘机制仍需别的方法。同为遗忘主题的嵌套学习破解 AI 遗忘难题主张从架构层面改造更新机制,本文则证明不换架构、只换训练数据构成就能大幅减损,两条路线互为补充。