港科大与华为的联合团队在《Towards Robust Long-Lived Agents: Benchmarking Experience Lifecycles in Evolving Environments》里搭了首个「经验生命周期」基准 ReScopeBench,量出一个耐人寻味的结果:长驻智能体记得住,改不动。20 个模型上,环境静默变更后,该更新的经验内容四个受影响任务后覆盖率才爬到 64.63%,而旧内容的保留率始终压在 88% 以上。
改不动是被量出来的事实
基准设定:18 个环境、352 个任务、九个应用领域,每个环境暴露 3 到 18 个工具(平均 10.1 个),任务流按 16、24 或 32 个任务排布,流内安排一到三次环境变更——参数上限、字段名、资源规则变了,但不告诉你。以往基准问「存下的经验有没有用」,这篇问「环境变了,存下的经验改不改得动」。
答案分两半。经验确实有用:带着经验做任务的表现差距明显,Qwen3.8-27B 在 62.48 与 73.44 之间。经验也确实难改:变更发生后第一个任务里,Qwen3.8-27B 只完成 29.05% 的应更新项,与商业模型中位数 29.75% 几乎并排——开源与商业在这道关卡前一样卡壳。
两条线越走越远
论文把两条覆盖率曲线盯到底:该更新内容的覆盖率在头四个受影响任务里从 21.47% 爬到 43.07%、59.40%、64.63%;该保留内容的保留率是 89.05%、88.07%、90.38%、91.07%,纹丝不动。第四个任务上按模型均值计,20 个模型里有 19 个是保留完胜更新。
还有一层结构差:17 个模型的「结构性覆盖」(经验大框架)高于「规则性覆盖」(具体条款),平均高出 4.79 个百分点,两款头部模型甚至差出 9.51 和 10.97 个百分点。模型记住的是经验的大概,丢的是细则——环境变更后坏恰恰坏在细则上。
做成过的活也会回退
变更当天的冲击最有痛感:损失最大的资源类分组,从变更前一个任务到变更后首个任务,经验带来的优势直接掉 40.33 个百分点,结构类与工具类也各掉 35.98 和 36.63 个百分点。
更值得注意的是回退:1,520 个完成过且有两个随访检查点的经验里,156 个——占 10.26%——在随后一个或两个检查点变回不完整。第一次做成不等于永远做成,经验是动态维护品,不是一次性入库品。而维护的价值可以直接标价:所需经验完备的交付率 95.31%,不完备只有 71.28%,差 24.03 个百分点。
对智能体工程的意思
先限定口径:这是基准测量,环境是受控演进场景,结论不是「长驻智能体不可行」,而是「现有经验管理管道只有写入功能、没有更新功能」。对工程实践,论文指向把工作翻面:环境变更要被侦测并反查受影响经验、做定向修订;对做成过的任务加回退检查;监控规则级覆盖,别只看结构级覆盖好看。它与站内《长文本翻车怪长度?怪的是抢注意力的对手》正好互补:那篇管住脏上下文里的检索,这篇管住过期经验里的维护,智能体上生产两道关卡都得过关。