一分钟读论文：《干预支持的静默失败错误归因》

Google DeepMind的论文《REFLECT: Intervention-Supported Error Attribution for Silent Failures in LLM Agent Traces》，提出了一种将诊断、测试与精炼整合为闭环的错误归因方法。该方法通过在静默失败场景下对候选错误步骤施加干预补丁并受控重放轨迹，利用已验证的结果翻转作为对比证据来精炼最终归因，在四个多跳推理定位基准上取得了最高准确率。

静默失败：最棘手的诊断场景

智能体在执行复杂任务时会产生长规划与执行轨迹。当最终结果错误时，定位错误步骤本身就是一个困难问题——而静默失败是最难处理的类型之一：智能体没有抛出任何异常或报错信息，只是默默给出了错误答案。这种”看起来一切正常但结果不对”的场景在真实部署中极为常见，因为大多数工具调用和中间推理步骤都不会触发显式错误信号。

现有方法主要沿两条路径应对这一问题。其一是使用分类器或LLM Judge直接预测轨迹中最可疑的步骤，本质上是一个排序问题——从N个候选步骤中选出一个。其二是通过重试机制让智能体自行恢复正确答案，但这只解决了”怎么修正”而没有回答”为什么出错”。两者都缺少一个关键环节：用实验证据来验证归因假设本身是否成立。

干预-重放-对比的闭环方法

REFLECT的核心贡献在于将错误归因从一个静态的分类问题转变为一个可验证的实验过程。其流程包含三个紧密耦合的阶段。

第一阶段是诊断候选生成。系统首先分析完整的执行轨迹，识别出可能导致最终错误的若干候选步骤。这一步可以依赖任何现有的归因方法——分类器评分、LLM Judge判断或启发式规则均可作为输入。REFLECT不绑定特定的候选生成策略，而是将其视为一个可替换的模块。

第二阶段是受控重放与干预。对每个候选错误步骤施加一个诊断特定的补丁（diagnostic patch），然后在该步骤处截断轨迹并重新执行后续部分。补丁的设计目标是改变该步骤的行为以测试其因果影响——如果修正这个步骤后最终结果翻转，则该步骤被确认为真正的错误源。这种”假设-实验-验证”的模式将归因从猜测变成了可证伪的科学方法。

第三阶段是对比证据精炼。系统收集所有经过干预重放后产生结果翻转的候选步骤作为对比证据，利用这些已验证的证据来精炼最终的归因结论。即使某些候选步骤未能触发结果翻转，其负向结果同样提供了有价值的排除信息——帮助缩小搜索空间并提高最终归因的可信度。

![配图建议：干预-重放-对比证据诊断闭环流程图]

四种定位基准上的实证表现

REFLECT在四个多跳推理定位基准上进行了系统评估。结构化工具使用轨迹上的增益最为显著，因为这类轨迹具有清晰的步骤边界和可操作的接口，使得干预补丁的设计和实施更加可靠。在非结构化或自然语言主导的轨迹中，由于步骤边界的模糊性，干预的精确度会相应下降。

实验结果表明，REFLECT在多个基准上均取得了最高准确率。更重要的是，该方法即使在没有地面真值的情况下也能提供可操作的定位结果——这意味着它在真实部署场景中具有直接可用性，无需依赖人工标注的训练数据或验证集。

适用范围与局限

REFLECT的方法论优势在于其通用性：诊断候选生成模块可以替换为任何现有归因方法，干预重放框架不绑定特定的任务类型。但其当前实现主要聚焦于多跳推理场景的工具使用轨迹，对于其他类型的智能体工作流（如代码生成、对话系统或视觉理解），干预补丁的设计策略可能需要重新校准。

此外，受控重放机制要求轨迹中的工具调用具有可重复性和确定性——在涉及随机性操作或非确定性API的场景中，重放结果的可比性会受到影响。这些局限性为后续研究指明了方向：如何将干预支持的方法扩展到更广泛的智能体工作流类型和更具不确定性的执行环境中。

References

• REFLECT: Intervention-Supported Error Attribution for Silent Failures in LLM Agent Traces — Lin, X., Wang, Y., Kwok, T.S.T., Guo, D., Nale, S.A., Fleming, C. & Cheng, G., arXiv:2606.09071v1, 2026