By Unbug 阿里巴巴达摩院团队的一篇论文《EvoPolicyGym: Evaluating Autonomous Policy Evolution in Interactive Environments》首次提出”自主策略演化”作为独立的Agent评估范式——在固定交互预算内，让Agent反复编辑和迭代改进自己的可执行策略系统，评估其从反馈中学习并持续优化的能力。核心突破在于：现有评估通常将迭代改进过程压缩为单一最终得分，而本文提供了轨迹级诊断框架，揭示不同模型如何分配预算、转化反馈、精炼策略。
自主策略演化的新范式
当前Agent评估存在一个根本缺陷：大多数基准测试只关注Agent在给定任务上的最终表现，却忽略了”Agent能否从失败中学习并持续改进自己”这一核心能力。这就像只考试不补课——你无法判断一个学生是天生聪明还是善于从错误中成长。
本文提出的EvoPolicyGym基准测试套件基于16个紧凑交互式强化学习环境，每个环境都设定了固定的交互预算。Agent需要在预算内反复编辑自己的策略系统（可执行代码），通过迭代改进逐步提升表现。关键不是最终得分有多高，而是Agent如何分配有限的交互次数、如何将反馈转化为有效的参数调优、能否发现任务适配机制并在有限反馈下精炼策略。
轨迹级诊断框架
EvoPolicyGym的核心创新是提供了超越传统排行榜的轨迹级诊断能力。论文分析了三个关键维度：预算分配效率（Agent如何在探索和利用之间平衡）、反馈转化效率（从环境反馈到参数调整的有效性）、策略精炼能力（迭代改进过程中性能提升的稳定性）。
实验测试了多个前沿模型，GPT-5.5在所有16个环境中均获得前二表现，展现出最强的综合自主策略演化能力。但更重要的是，诊断框架揭示了不同模型的演化模式差异——有些模型在早期快速进步但后期停滞，有些则稳步渐进；有些擅长从负面反馈中学习，有些则在正反馈下表现更佳。
与已发布文章的差异化
本文聚焦Agent的自主策略演化评估，这是一个全新的研究维度。与#90 SkillCoach（技能使用过程质量评估）不同——SkillCoach关注”技能选择是否正确”，EvoPolicyGym关注”Agent能否迭代改进自己的执行策略”；与#78 Trajectory Dissection（宏观可观测性分析）互补——Trajectory Dissection通过138k轨迹分析揭示模型家族的行为差异，EvoPolicyGym则提供细粒度的演化过程诊断。
随着Agent系统从”一次性任务执行者”向”持续自我改进的自主体”演进，评估其策略演化能力将成为关键基础设施——我们需要知道哪些模型真正善于从反馈中学习，而不仅仅是记住了训练数据中的模式。
