北卡罗来纳大学教堂山分校与 Snowflake 合作的论文《Agent World Model》(arXiv:2602.10090)针对智能体训练缺乏多样化可靠环境的问题,合成了 1000 个代码驱动、数据库支持的可执行环境,仅在这些合成环境中训练的智能体展现出超越基准特定训练的分布外泛化能力。
论文同时发布了目前最大的开源工具使用环境集,试图回答一个关键问题:不碰任何真实业务系统,智能体能否练出可迁移的真实能力。
代码驱动的环境合成
与依赖昂贵真实数据或不可靠 LLM 模拟的做法不同,AWM(Agent World Model)把环境合成为部分可观察马尔可夫决策过程(POMDP),包含状态、动作、观察空间与转移函数,数据库支持的状态管理保证了状态转换一致、奖励函数可靠。合成流程借鉴软件开发实践:从高层场景描述出发,依次完成数据库模式设计、工具集与后端代码创建,通过 Model Context Protocol 统一接口对接智能体,最后为每个任务自动生成验证代码作为强化学习的奖励信号。过滤管道整合 LLM 分类器和基于嵌入的去重,并确保场景涉及核心 CRUD 数据操作。这种设计针对的是两类现有方案的短板:真实环境采集轨迹成本高、难以扩展,大语言模型模拟的环境又常常状态不一致,同一操作前后结果对不上。AWM 让每个环境都是可执行代码,配数据库做状态管理,状态转换因此有确定性保证,奖励信号来自任务自带的验证代码而非可能产生幻觉的奖励模型。
数据集包含 1000 个环境、35,062 个工具(平均每环境 35 个)和 10,000 个任务,是目前最大的开源工具使用环境集,相关基准工作可参考站内《预算该花在推理时:大模型推理时计算的范式转向》。
训练效果与边界
研究团队在三个成熟基准上实验,核心发现是仅用合成环境训练的智能体分布外泛化能力强劲,超越了使用基准特定训练获得的性能,也优于 LLM 模拟训练和并发合成方法。三个基准的共同结论是:训练时没见过目标基准的智能体反而泛化更好,说明多样化合成环境练出的是通用工具使用能力,而不是针对某个基准的套路。实验聚焦 Qwen3 模型系列的 4B、8B、14B 三个规模,每步使用 1,024 个环境实例;受计算资源限制,1000 个生成环境实际只训练了 526 个。
该方法不依赖现有任务集或 API 文档,减轻了版权担忧,且可访问的数据库状态支持复杂的多回合工具使用智能体训练。局限方面,除训练环境数量受限外,模型验证主要集中在 Qwen3 系列,作者也建议在把合成数据训练的智能体部署到真实应用时保持谨慎。论文提出的后续方向包括让训练后的智能体反哺环境合成的自我进化范式、用大模型做主动错误检测,以及结合人工检查提升环境质量。相比依赖真实环境数据或人工编写任务的传统做法,代码驱动合成的优势在于环境边界清晰、奖励信号可验证,且不受真实业务系统的隐私和权限约束。