By Unbug 康奈尔大学与DeepLethe合作的一篇论文《Control-Plane Placement Shapes Forgetting》，首次将”遗忘”从Agent记忆评估中分离为独立维度。现有基准测试几乎全部只测量recall能力，而生产环境中最致命的故障恰恰是forgetting failure——系统成功检索了不该出现的信息。论文提出ForgetEval基准（1385 case）和十三种系统配置对比，证明Agent记忆系统中LLM在pipeline中的放置位置决定了系统能恢复哪些遗忘失败模式，遗忘能力不是recall能力的副产品，而是由控制面架构设计决定的独立维度。
范式转移：从”记住多少”到”能否正确忘记”
Agent记忆系统的评估长期被一个简单问题主导：模型能记住多少信息？LongMemEval、LoCoMo、MemoryArena等基准测试几乎全部只测量recall能力，即给定查询后系统能否检索到相关信息。这种单向评估忽略了一个同样重要的维度——遗忘能力。
生产环境中存在大量因遗忘失败导致的真实故障。过期凭证仍被推荐用于API调用、已删除的个人信息仍在GDPR请求后被检索出来、过时的产品知识继续影响用户决策。这些场景的共同特征是：系统成功执行了检索操作，但返回了不该出现的信息。论文将这类问题统称为forgetting failure——遗忘失败不是”没记住”，而是”记住了不该记住的东西”。
ForgetEval基准的设计直接回应了这一盲区。基准包含1000-case模板套件和385-case对抗层，共计1385个测试用例。其中132个案例由人工编写核心场景，253个案例由LLM起草并经oracle验证。标注一致性达到Fleiss’ kappa = 0.958（almost perfect级别），观察一致性为99.1%（1000个标签中）。
论文的核心论断可以概括为一句话：Agent记忆系统中LLM在pipeline中的放置位置，而非LLM是否存在，决定了系统能恢复哪些遗忘失败模式。这一发现将Agent记忆评估从单一维度的recall测试扩展到了二维空间——回忆能力与遗忘能力的正交组合。
ForgetEval基准：模板套件与对抗层的双层设计
ForgetEval的评估框架分为两个层次，每一层都针对Agent记忆系统的不同脆弱性进行设计。
第一层是1000-case模板套件，覆盖六种遗忘原语类别。lexical deletion（词法删除）测试系统能否通过关键词匹配识别需要删除的记忆；temporal expiration（时间过期）测试基于时间戳的自动清理机制是否有效；canonicalization（规范化）测试系统能否将语义等价但表述不同的记忆正确合并和去重——这是deterministic方法最薄弱的环节，因为硬编码规则无法理解”张三”和”Zhang San”指向同一实体。identifier obfuscation（标识符混淆）测试系统在实体名称被部分遮蔽时是否仍能执行删除操作；cross-lingual identifier（跨语言标识符）测试系统能否在跨语言场景下正确识别需要遗忘的实体；intent-aware deletion（意图感知删除）测试系统能否理解用户”忘记关于X的所有信息”这类指令背后的完整语义意图。
第二层是385-case对抗层，专门设计用于暴露deterministic方法的系统性盲区。这些对抗样本通过精心构造的边界条件测试系统在不同遗忘原语上的鲁棒性。论文特别设计了cross_lingual_identifier类别覆盖9种脚本（拉丁12、希腊7、中文5、希伯来4、韩文3、西里尔3、阿拉伯2、天城文1、泰文1），尽管非拉丁脚本样本稀疏导致统计效力不足，但这一设计为后续多语言评估奠定了基础。
对抗层的设计暴露了一个关键发现：MEMPALACE作为无删除原语的对照系统，在FORGETEVAL-Adv上得分为0/385，但在Memora回忆基准上得60/150。两个基准测量的是互补维度——一个衡量记住的能力，另一个衡量忘记的能力。这一结果直接证明了遗忘评估的独立价值：一个系统在recall基准上的高分不能推导出其在forgetting基准上的表现。
论文还通过77-case外部子集（由4名独立贡献者编写）验证了核心发现的稳健性，复现了canonicalization不对称性并将joint-placement的提升放大至+27.8个百分点。这一交叉验证排除了单一标注者偏差的可能性。
十三种系统配置：控制面放置的六种范式
论文对比了十三种系统配置，涵盖六种控制面放置范式。这些配置从完全无删除机制到多层LLM介入，形成了一个完整的架构光谱。
no-deletion配置作为对照基线，系统中不存在任何删除原语，所有信息永久保留。deterministic配置使用硬编码规则执行遗忘操作，包括精确匹配、时间戳比较和正则表达式替换三种策略。vec-only配置仅依赖向量相似度进行模糊匹配删除，不引入任何LLM组件。
inscribe-time-LLM在记忆写入阶段调用LLM生成结构化摘要并执行规范化处理。KG-abstraction将记忆存储为知识图谱节点，通过图结构关系推断需要删除的内容。mutation-time-hook在查询时插入LLM钩子，对检索结果进行后过滤和意图验证。joint-placement同时使用inscribe-time和mutation-time两种hook机制。
实验结果显示了明显的架构分化。三系统deterministic聚类带——LETHE 63.4%、MEM0 68.3%、LangGraph 62.9%，在385-case对抗层上聚合得分高度接近（Wilson区间重叠，p=0.724）。这表明当遗忘决策完全由硬编码规则驱动时，不同系统的性能差异被压缩到极小范围。
deterministic primitives在lexical和temporal类别表现良好（≥95%），但在canonicalization上全面崩溃——identifier-obfuscation仅5%，cross-lingual为0%。这一模式揭示了硬编码规则的根本局限：它们可以处理精确匹配和时间比较，但无法理解语义等价性和跨语言实体消歧。
inscribe-time LLM方案恢复了canonicalization至100%，但对intent-aware deletion无能为力——prefix-collision和compound-fact均为0%。这是因为写入阶段的LLM分析发生在信息进入存储之前，无法感知后续查询的上下文意图。
mutation-time hook方案表现最为全面：恢复intent-aware deletion至78-85%，整体遗忘能力达到91.7-93.2%（排除compound_fact为93.3-94.2%），相比deterministic基线能力提升+22.6到+24.1个百分点。这一方案的核心优势在于查询时的上下文感知——LLM钩子可以结合当前查询意图判断哪些记忆应该被过滤。
成本与延迟的工程权衡
LLM hook方案的工程可行性取决于成本和延迟两个维度。论文提供了详细的量化数据，证明这些方案在工业部署中是可行的。
成本方面，LLM hook方案每385-case运行仅需约$0.17。这一数字包含了DeepSeek-V3或Qwen-2.5-72B的一次API调用费用。相比传统评估方法需要大量人工标注和复杂实验设置，LLM hook方案的成本优势显著。
延迟方面，mutation-time hook方案的延迟约为2.3s/case（含一次DeepSeek-V3调用），而deterministic方法的延迟为64-191ms/case。虽然LLM hook的延迟是deterministic方法的十倍以上，但论文强调了一个关键设计原则：recall热路径完全不受影响。遗忘评估在独立的pipeline中运行，不影响用户查询的正常响应时间。
跨模型验证进一步支持了架构无关性的论断。Qwen-2.5-72B作为hook后端带来+13pt提升（LETHE 76.6%, LangGraph 75.8%），与DeepSeek-V3结果一致在±2pt内，证明lift是架构无关的而非特定模型的产物。
然而LLM质量敏感性是一个不可忽视的风险因素。Llama-3.1-70B-Instruct完全失败退化为deterministic基线，无法解析prompt契约。这意味着hook方案对后端LLM的能力有最低门槛要求——模型需要理解复杂的意图推理指令才能发挥效果。这一发现为工业部署设定了明确的选型标准：hook后端的LLM必须经过严格的prompt兼容性测试。
边界条件与未来方向
论文明确承认了多项局限性，这些边界条件定义了当前结论的适用范围。
子串评分器存在系统性偏差。50-case分层审计发现LETHE的deterministic失败中有30%是评分器伪影，集中在prefix_collision和clause-level supersession类别。canonicalization类别中零伪影——说明评分器对deterministic基线保守，不会高估hook的提升效果。这一发现提醒读者：评估工具本身也需要被评估。
样本稀疏问题在cross_lingual_identifier类别尤为突出。Devanagari、Thai、Arabic、Cyrillic和Korean各仅1-3个案例，无法在统计上区分不同LLM hook系统的表现差异。随着Agent在全球范围的部署，建立更全面的跨脚本遗忘评估体系是明确的未来方向。
compound_fact被论文作者定义为原语存在性测试而非遗忘能力测试——三个系统（MEM0、LangGraph、MEMPALACE）因为没有partial-edit原语而得分为0，这是设计缺陷而非遗忘失败。排除该类别后headline结果仍然稳健，但这一分类争议提示读者在解读零分结果时需要区分”不能做”和”不会做”。
循环性风险是评估框架的固有挑战：253/385案例由LLM起草（DeepSeek-V3）并由单一LLM judge（Qwen-2.5-72B）验证，而hook后端也是DeepSeek-V3——无法完全排除残留的inductive bias重叠。论文通过四个独立观察约束了这一风险：132个手工案例复现并放大了全量模式、cross-family judge审计确认了disagreement pattern是single-LLM judging的可重现artifact、hook在LLM-drafted候选被拒绝的类别上提升最大（与circularity预测相反）、77-case外部子集复现了canonicalization不对称性。
未来雷达观察点集中在两个方向：一是LLM hook的模型质量门槛需要跨provider的系统性消融实验，确定hook方案对LLM能力的最低要求；二是多语言模板扩展与非拉丁脚本覆盖，特别是Devanagari、Thai和Arabic等低资源脚本的遗忘评估体系构建。
召回率-遗忘权衡：寻找最优非支配点
论文还从多目标优化的角度分析了Agent记忆系统的召回率-遗忘权衡。LETHE和LangGraph在非支配点上占据不同位置——LETHE在遗忘维度领先0.6pt，LangGraph在回忆维度领先13.4pt；MEMPALACE被两者同时支配。这一分析表明，不存在一个在所有维度上都最优的单一系统架构，工程师需要根据具体应用场景在召回率和遗忘能力之间做出权衡。
对于需要严格隐私合规的场景（如GDPR处理），遗忘能力的权重应该更高，LETHE的配置可能更合适。而对于知识密集型应用（如医疗诊断辅助），回忆能力的权重应该更高，LangGraph的配置可能更合适。这种权衡分析为Agent记忆系统的架构选型提供了量化的决策框架。
遗忘能力的架构根源：为什么放置位置比存在与否更重要
论文最深刻的洞察在于区分了”LLM是否存在”和”LLM放在哪里”这两个问题。传统观点认为，只要引入LLM就能改善Agent记忆系统的各种能力。但ForgetEval的实验结果明确否定了这一假设——inscribe-time LLM虽然将canonicalization从5%提升至100%，却在intent-aware deletion上完全失效（prefix-collision和compound-fact均为0%）。
这种不对称性揭示了一个更深层的架构原理：遗忘决策的质量取决于LLM在pipeline中的位置所赋予的信息丰富度。写入阶段的LLM只能看到即将存储的内容，无法获知未来查询的上下文；而查询阶段的LLM虽然能看到完整的对话历史，但可能已经错过了最佳的处理时机。
这一发现对Agent记忆系统的设计具有深远影响。它意味着工程师不能简单地”加入一个LLM”来解决遗忘问题，而是需要仔细考虑LLM在pipeline中的放置位置，以及不同位置所能获取的信息类型和数量。
与#72的互补关系：隐性成本的两个维度
这篇论文与第72篇论文（Token消耗经济学）形成了有趣的互补关系。#72关注Agent编码过程中的显性Token成本，而#73关注Agent记忆中的隐性遗忘成本。两者共同揭示了Agent工程中容易被忽视的成本结构。
在#72中，论文发现不同模型在同一任务上的Token消耗差异可达数倍；在#73中，本文发现不同架构设计对同一任务的遗忘能力差异可达数十个百分点。这两个维度的成本叠加在一起，构成了Agent系统设计的复杂优化空间。
理解这种互补关系有助于工程师做出更全面的架构决策：不仅要考虑编码效率（Token消耗），还要考虑记忆管理的质量（遗忘能力）。一个在Token消耗上表现优异的Agent，如果无法正确管理其记忆中的过时信息，最终仍可能导致严重的生产故障。
对Agent工程实践的启示
这篇论文的发现对Agent记忆系统的实际开发具有直接的指导意义。首先，它提醒工程师不要将遗忘能力视为recall能力的自然副产品——即使一个系统在回忆基准上表现优异，也可能在遗忘方面存在严重缺陷。
其次，对于已经部署的Agent系统，mutation-time hook方案提供了一种低成本的改进路径：只需在查询pipeline中插入一个LLM钩子，就能显著提升遗忘能力（+22.6到+24.1个百分点），而无需重构整个记忆存储架构。这种渐进式改进策略降低了技术升级的风险和成本。
最后，论文提出的控制面放置框架为Agent记忆系统的分类和比较提供了一个统一的概念工具。未来的研究可以基于这一框架系统地评估新的记忆系统架构，而不是重复开发各自独立的评估基准。对于正在构建Agent记忆系统的团队来说，这篇论文提供了一份实用的架构决策参考：在预算有限的情况下，优先选择mutation-time hook方案可以获得最大的遗忘能力提升；在有充足资源的情况下，可以考虑joint-placement方案以获得最全面的覆盖。
AI 范式雷达：《Agent的Token账单：1000倍消耗差异背后的工程真相》