By Unbug 
RELAI团队的论文《Do Agent Optimizers Compound? A Continual-Learning Evaluation on Terminal-Bench 2.0》首次系统评估了Agent优化收益能否在持续学习中累积。通过构建基于Terminal-Bench 2.0的两阶段持续学习评估框架，对比GEPA、Meta Harness和RELAI-VCL三种方法后发现：只有内置回归控制的方法能实现正向迁移和持续改进，最终得分达到76.4%，显著高于基线的58.7%。
问题背景：一轮静态评估的局限与持续学习需求
当前Agent优化研究普遍采用单轮评估范式——在固定任务集上训练和优化一次后报告最终性能。这种范式的根本缺陷在于无法回答Agent优化是否具备累积效应：如果每次从相同分布采样数据重新训练，我们永远不知道优化过程是否会随着经验积累而越来越强，还是会在某一阶段达到瓶颈甚至退化。
更严重的是，单轮评估掩盖了过拟合风险。当优化器在特定任务集上反复迭代时，它可能学会针对该数据集的捷径策略而非泛化能力。持续学习框架通过引入第二阶段评估来检测这一问题：如果Agent在第一阶段学到的东西无法迁移到新任务上，说明优化过程已经偏离了真正的能力提升方向。
核心发现：回归控制是关键归纳偏置
RELAI团队构建了两阶段持续学习评估框架来解决上述问题。第一阶段使用Terminal-Bench 2.0的训练集对三种Agent优化方法（GEPA、Meta Harness、RELAI-VCL）进行训练和优化。第二阶段则在一个全新的任务子集上测试这些Agent的泛化能力，观察其性能是继续提升还是出现退化。
实验结果揭示了关键差异：GEPA和Meta Harness在第一阶段表现良好，但在第二阶段出现明显性能下降，说明它们过度拟合了第一阶段的训练分布。RELAI-VCL是唯一在两个阶段都保持正向表现的方案，其核心创新在于内置的回归控制机制。
回归控制类似于传统机器学习中的早停策略——当检测到模型开始过拟合当前任务时，自动回退到之前学到的更泛化的表示。这种机制为Agent优化提供了关键的归纳偏置：能力应该随经验累积而非退化。没有这个偏置，优化器会倾向于在有限数据上追求局部最优解，牺牲长期泛化能力换取短期指标提升。
实验结果与启示
定量结果清晰地支持了回归控制的重要性。RELAI-VCL在第一阶段达到72.1%的得分，第二阶段进一步提升至76.4%，展现了稳定的正向迁移效应。相比之下，GEPA从第一阶段的68.3%下降到第二阶段的59.1%，Meta Harness从65.7%降至57.2%，均出现了超过8个百分点的性能滑坡。基线方法（无优化）在两个阶段分别得分为58.7%和56.4%，说明没有优化的Agent甚至无法维持基本性能。
这些结果对Agent部署实践有直接启示：评估Agent能力时不能仅看单轮指标，必须引入跨分布的持续学习测试来检测过拟合风险；回归控制不应被视为可选优化技巧，而是Agent系统的基础组件——它决定了优化过程是走向真正的能力提升还是陷入数据捷径的陷阱。76.4%与58.7%之间的差距表明，正确的归纳偏置选择可以带来近20个百分点的性能提升。
