阿里巴巴通义千问团队的一篇论文《Qwen-AgentWorld: Language World Models for General Agents》提出了首个面向通用智能体环境的语言世界模型。该模型覆盖七个领域,使用超过一千万条真实环境交互轨迹进行三阶段训练,在AgentWorldBench基准上实现了多维度仿真质量评估。
问题背景:Agent的策略强、世界模型弱
当前主流智能体系统依赖大语言模型作为决策核心,通过提示工程或微调赋予其任务规划、工具调用和代码生成等能力。然而在与环境交互时面临一个根本性局限:缺乏对环境动态变化规律的内在理解。当Agent执行操作后,文件系统的状态变更、网页内容的更新、终端命令的输出反馈——这些过程通常由外部系统直接提供,而非模型自身推理得出。
这种”策略强、世界模型弱”的架构导致两个实际问题。训练成本高昂:基于强化学习的智能体需要与真实环境反复交互以获取奖励信号;泛化能力受限:当Agent部署到未见过的环境中时,由于缺乏对环境行为模式的先验知识,其决策质量会显著下降。
语言世界模型的核心思路是:让大语言模型学会预测环境状态的变化规律,从而在内部构建一个可交互的虚拟环境副本。
核心方法:三阶段训练的语言世界模型
Qwen-AgentWorld提供两个规模的模型版本:Qwen-AgentWorld-35B-A3B和Qwen-AgentWorld-397B-A17B。两者均基于通义千问基座模型构建,覆盖七个领域。训练数据来源于超过一千万条真实环境交互轨迹。
训练过程采用三阶段流水线。第一阶段为条件预训练(CPT),通过在语料中注入世界模型相关的状态转换样本,使基座语言模型获得对环境动态的基本建模能力。第二阶段为监督微调(SFT),引入长链思维推理机制激活状态预测的推理过程——模型先生成中间推理步骤再推导最终状态变化。第三阶段采用强化学习优化仿真保真度,结合混合规则奖励和评分奖励函数,使模型的预测结果与真实环境反馈之间的偏差最小化。
长链思维推理是该方法的关键创新:传统世界模型将输入输出映射视为直接的条件概率建模,而Qwen-AgentWorld要求模型在生成环境响应之前先生成一系列中间推理步骤。
实验结果与应用范式
论文构建了AgentWorldBench基准测试,从五个前沿模型在九个现有基准上的真实交互中提取数据,通过开放评分和规则验证器对仿真质量进行七个维度的评估。Qwen-AgentWorld-397B-A17B在多数维度上显著优于基线方法,特别是在多步骤操作的状态追踪和跨领域泛化方面表现突出。
论文展示了两种应用范式。解耦环境模拟器利用训练好的世界模型模拟了四千个OpenClaw真实环境用于Agentic强化学习训练,效果超越了仅依赖纯真实环境的训练方案。统一Agent基础模型则将世界模型训练作为下游任务的预热阶段,在Terminal-Bench 2.0、SWE-Bench Verified/Pro和BFCL v4等七个基准测试上均实现了性能提升。
综合来看,Qwen-AgentWorld通过语言模型内化环境动态知识,使Agent能够在虚拟环境中进行高效试错学习,同时降低对真实环境的依赖。