By Unbug 加州大学洛杉矶分校和华盛顿大学等机构合作的一篇论文《Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents》提出了一种将Agent外部记忆操作建模为马尔可夫决策过程的方法。该方法通过轻量级上下文赌博机控制器在线学习检索策略，自适应决定何时检索、检索什么以及检索多少内容，在六个基准测试上最高提升15.2分成功率，同时将token消耗减少5%至20%。
问题背景：Agent记忆系统的静态检索瓶颈
当前大多数基于大语言模型的智能体依赖外部记忆系统来存储和检索历史信息。这些记忆系统通常采用固定启发式策略来决定检索行为——例如当上下文窗口接近满时触发检索、按时间顺序检索最近条目，或基于简单的相似度阈值召回相关片段。这种静态方式存在一个根本缺陷：它无法根据当前任务状态动态调整检索决策。
具体而言，固定策略面临三个问题。过度检索导致大量无关信息涌入上下文窗口，稀释关键信号并浪费token；检索不足则使Agent在需要历史信息时无法获取足够支撑，导致推理质量下降；时机不当意味着系统可能在不需要检索时触发调用、而在真正需要时却未触发。这些问题的本质在于：记忆操作本身是一个决策过程，但现有方法将其简化为静态规则。
核心方法：MemCon的MDP建模与Bandit控制器
MemCon的核心贡献是将Agent的记忆管理从”固定规则”升级为可学习的控制策略。具体而言，系统将每次记忆操作建模为一个马尔可夫决策过程——状态空间包含当前上下文内容、历史检索记录和任务进度信息；动作空间覆盖何时触发检索、检索哪些条目以及返回多少结果；奖励函数则基于后续任务完成度和token消耗的综合评估。
在策略学习层面，MemCon采用轻量级表格上下文赌博机替代传统的强化学习方法。这一设计选择具有两层考量：首先，表格方法参数极少，可以在Agent运行期间在线更新而无需离线训练；其次，结合UCB（Upper Confidence Bound）探索策略，系统能够在利用已有知识和探索新检索模式之间自动平衡。
MemCon的另一个关键设计是后端无关架构。它不替代任何现有的记忆存储或检索实现，而是作为一个控制器层包装在之上。无论底层使用向量数据库、图数据库还是简单的文本缓存，MemCon都能通过统一的接口接管记忆操作的决策权。这种即插即用特性使得现有Agent系统可以低成本迁移到自适应记忆管理方案。
实验结果与优势：六基准验证与实用价值
论文在六个主流Agent基准上评估了MemCon的性能表现。结果显示，相比固定启发式检索基线，MemCon在任务成功率上最高提升15.2分，平均提升幅度同样显著。更重要的是，这种性能提升伴随着token消耗的同步下降——由于控制器学会了避免过度检索和无效召回，各基准上的token使用量减少了5%至20%。
后端无关架构的实验价值体现在迁移成本上。论文表明，将MemCon集成到已有记忆系统中无需修改底层存储逻辑或重新训练Agent模型，仅需在记忆操作路径上插入控制器层即可。这种设计使得MemCon可以直接应用于当前主流的Agent框架和记忆实现方案中。
综合来看，MemCon提供了一个简洁而有效的思路：当Agent的记忆管理本质上是一个动态决策问题时，用可学习的控制策略替代固定规则，既能提升任务表现又能降低资源消耗。这一范式为后续研究提供了可扩展的基础架构。
