ai, engineering,

一分钟读论文:《编码智能体:知道却不说》

Unbug By Unbug Follow · 1 min read
一分钟读论文:《编码智能体:知道却不说》
Share this

腾讯与中国科学技术大学团队的预印本论文《What Coding Agents Leave Unsaid: Measuring Task-State Gaps Between Execution and Reports》(arXiv:2610.20003)测量了一个反直觉的现象:编码智能体并非不知道自己的工作出了什么问题,而是例行报告天然漏事。直接问智能体本人,93.6% 的任务状态问题能答对;只看它写给用户的报告,只能恢复 52.0%,两者相差 40.7 个百分点。论文直言:监督者无法调查从未被告知发生过的失败。

三组任务状态恢复率对比:问智能体本人93.6%、读完整执行记录92.7%、只看报告52.0%

报告与执行记录之间的差距怎么量

这项测量叫 CTXGAP,目标是量化「智能体面向用户的累积报告」与「完整执行记录」之间任务状态可恢复性的差距。「任务状态可恢复性」指读者能否从给定材料中回答关于任务真实状态的问题。实验覆盖 37 个编码任务、4,799 个有效探针,用三种读取方式对比:直接问智能体本人恢复 93.6%,读完整执行上下文的读者恢复 92.7%,只看报告的读者恢复 52.0%。需要强调的是,这是三种读取方式的可恢复性对比,不是任务成功率——93.6% 说明智能体按需被问就知道,不等于它会在报告里主动说。

结案时不收敛,缺口是轻描淡写

差距不会随任务收尾而消失。在 30 个已验证修复的最终检查点上,报告读者与完整上下文读者之间仍有 34.8 个点的差距。人工标注显示,最大的缺口类别不是彻底隐瞒,而是状态被提到了、但没带足够的支撑细节——失败的尝试、变通的做法和未解决的风险,被轻描淡写地一笔带过,监督者因此看不到本该细查的地方。这一差距跨 harness 持续存在,并在独立的 DeepSeek 执行与测量链路下复现。论文把「基于报告的任务状态可恢复性」确立为一个新的评测维度。

补救有限,报告通道本身是瓶颈

研究者测试了两条补救路线,效果都有限。给读者提供终端的完整回滚内容,恢复率升到 73.6%,仍明显低于完整上下文的 92.7%;做上下文信息重写(在报告长度对齐的条件下)只抬升约 8 个点,且「针对性提示重写」相对「自然重写」没有可检测优势。结论不是「调一下提示词就能解决」,而是报告这条通道本身是瓶颈。本系列 #191 介绍过的 SWE-Critix 训练轨迹裁判、主张判分不听汇报(详见),两篇机制不同——一个测报告缺口,一个训轨迹裁判——但叙事相连:先量化了报告漏掉 40.7 个点,才更懂为什么要让裁判直接读轨迹。

对使用编码智能体的团队,这篇论文的操作含义是一句话:把例行报告当交接文档可以,当审计日志不行。要追责、要复盘、要验证修复,得回到完整执行记录本身,而不是智能体自己写的摘要。

References


Related
Featured