阿里巴巴达摩院合作的一篇论文《EvoPolicyGym: Evaluating Autonomous Policy Evolution in Interactive Environments》首次将”自主策略演化”形式化为独立评估设定——在固定交互预算内,Harness-Model Agent反复编辑可执行策略系统,评估其如何迭代提升已探索的策略。核心突破在于:将策略改进能力从最终得分中解耦,提供轨迹级诊断框架(预算分配效率、反馈转化效率、策略精炼能力),揭示强自主策略演化不仅依赖孤立任务胜利,更依赖于发现任务适配机制并在有限反馈下精炼策略。
自主策略演化的评估范式
现有Agent评估通常将迭代改进过程压缩为单一最终得分,或将策略改进与开放式软件工程进展混淆。本文提出受控评估设定:在固定交互预算内,Agent反复编辑可执行策略系统,评估其如何迭代提升已探索的策略。这一设计的关键在于”固定交互预算”——模拟真实部署场景中计算资源受限的情况,迫使Agent学会高效利用每次反馈。
实验基于16个紧凑交互式强化学习环境构建的基准测试套件。测试结果揭示了一个关键发现:GPT-5.5在所有16个环境中均获得前二表现,展现出最强的综合策略演化能力。但更重要的是轨迹级诊断——不同Agent如何分配交互预算、如何将反馈转化为参数调优、如何在有限次数内精炼策略,这些过程级信号比最终得分更能揭示Agent的真实能力边界。
轨迹级诊断框架
EvoPolicyGym的核心价值不仅在于排行榜结果,更在于其提供的轨迹级诊断能力。该框架可以:
- 预算分配效率分析:区分不同Agent如何分配有限的交互次数,是早期快速收敛还是后期持续优化
- 反馈转化效率测量:量化每次反馈对策略改进的贡献度,识别”学习能力强但资源消耗大”的Agent
- 策略精炼能力评估:分析Agent在多次迭代中是否真正理解了任务适配机制,而非简单记忆特定模式
这种诊断框架直接解决了当前Agent评估体系的核心缺陷——我们只知道哪个Agent得分更高,却不知道它为什么得分更高,更无法指导系统设计的迭代优化。
与已发布文章的差异化
本文聚焦自主策略演化评估,这是一个全新的研究维度。与#71身份不变性巩固(关注密码学认证视角下的知识积累)不同,本文解决的是”Agent能否从反馈中学习并持续改进执行策略”这一核心工程挑战;与#73 SkillCoach(技能选择质量评估)不同,本文评估策略演化过程而非静态技能使用。
随着AI Agent在复杂任务中的自主运行需求增长,”自我进化能力”将成为关键基础设施——Agent需要在有限资源下学会从每次交互中提取最大价值,这正是EvoPolicyGym框架的核心价值所在。