电子科技大学的一篇论文《Experience Memory Graph: One-Shot Error Correction for Agents》提出了一种将Agent失败恢复从LLM反思循环范式转向图匹配范式的训练方法。该方法在训练阶段将成功与失败的轨迹转换为有向动作决策图,通过图编辑路径显式编码纠正策略;测试时一次性检索并执行,无需迭代重试。在ALFWorld和ScienceWorld基准上,EMG的表现优于现有的SOTA反思基线方法。
问题背景:Agent长程任务中的累积错误与恢复困难
大型语言模型驱动的智能体在执行长程任务时面临一个根本性挑战:累积错误的不可逆性。当Agent在复杂环境中执行多步操作序列时,早期步骤的错误会逐层放大,导致后续所有动作偏离正确路径。现有的主流解决方案依赖于LLM反思循环——即让模型在检测到错误后反复生成新的推理、尝试新策略、再次执行,直到成功或达到最大重试次数。
这种范式存在三个核心缺陷:效率低下,每次反思都需要完整的LLM推理调用;计算成本高昂,每次重试都消耗大量token和延迟;小模型友好性差,小型语言模型在反复反思中更容易陷入错误循环。
核心方法:EMG的图匹配范式
Experience Memory Graph的核心思想是将Agent的经验从”序列回放”升级为结构化图表示。该方法包含训练和测试两个阶段。
在训练阶段,系统收集Agent在任务环境中的成功轨迹和失败轨迹。每条轨迹被转换为一个有向动作决策图——节点代表环境状态或关键决策点,边代表从当前状态到下一状态的具体动作。当一条轨迹发生错误时,系统追踪该错误如何导致后续路径偏离正确方向,并将这条”错误传播链”编码为图的子结构。
训练过程中,系统计算成功轨迹与失败轨迹之间的图编辑距离——即最少需要多少操作才能将失败图转换为成功图。这些编辑操作构成了纠正策略的显式表示,被存储为一个经验记忆库。
在测试阶段,当Agent检测到错误时,系统将当前状态对应的子图与经验记忆库进行匹配检索。一旦找到最相似的失败模式及其纠正路径,系统直接应用该编辑策略一次性完成纠错并继续执行,无需额外的LLM推理调用。
实验结果:效率与精度的双重优势
论文在ALFWorld和ScienceWorld两个主流Agent基准环境上进行了评估。ALFWorld是文本驱动的家务任务模拟环境,要求Agent完成如”把咖啡杯放到餐桌上”等指令;ScienceWorld涵盖科学实验、文献检索等多领域任务。
结果表明EMG在多个维度优于现有方法:首先是准确率提升,EMG在ALFWorld上的任务完成率显著高于基于反思的基线方法;其次是效率优势,测试阶段无需迭代重试使得平均推理调用次数远低于反思基线;最后是小模型友好性,即使在参数量较小的语言模型上,EMG依然能保持竞争力。
这些结果指向一个结论:当Agent的错误模式具有可复现的结构特征时,将纠正策略编码为图结构并一次性检索执行,比让LLM反复反思更有效率且同样准确。