穆罕默德·本·扎耶德人工智能大学(MBZUAI)2025 年 11 月发布的论文《PAN: A World Model for General, Interactable, and Long-Horizon World Simulation》(arXiv:2511.09057)给出 PAN:首个兼顾通用性、可交互性与长时程的世界模型。世界模型的目标是让 AI 像人一样预判世界如何运转、行动后果是什么,甚至先在脑内试一遍再行动,而此前的方案各有结构性短板。
从视频生成到可控模拟
视频生成模型画面逼真,但基本是一锤子买卖:给定提示产出完整视频,无法中途修改剧本,也缺乏因果可控性。既有世界模型则普遍偏科,要么只会特定物理模拟,要么只能在游戏环境内运转,换个场景就要重新训练,泛化能力有限。
PAN 的定位是同时补上三块短板:跨场景通用、用自然语言直接指挥的交互性、长时间模拟不漂移。论文的评估覆盖行动条件世界模拟、长时程预测与模拟推理三类任务,PAN 在这些对比中整体优于参与比较的视频生成器与世界模型,具体分数以论文报告为准。
GLP:眼睛、大脑与画家三件套
PAN 的生成潜在预测(GLP)架构由三个模块组成。视觉编码器负责把画面转成结构化潜在表示,骨干取自 Qwen2.5-VL-7B-Instruct 的视觉组件,用优化过的 Vision Transformer 处理高分辨率视频流,配合 3D 块分区提升短期运动与时间一致性。LLM 预测骨干是核心:把模拟建立在海量文本知识之上,模型能听懂左转、拿起杯子这类自然语言指令,并推理下一步会发生什么。视频扩散解码器负责把潜在想象渲染成逼真画面,以流匹配损失为生成目标,同时保持时间一致性。
架构层面有三个关键设计。自回归潜在动态负责想象、扩散解码器负责渲染,分层抽象策略抑制误差累积与信号变异,使想象贴合真实。分支模拟允许从同一时刻分出多条平行轨迹,模拟不同选择的后果,相当于给智能体一个先在脑内试错再行动的决策辅助。长时程一致性保证世界状态逐步演化连贯,不会出现场景突变的失忆式跳切。站内《RWML:智能体的世界模型》从强化学习角度处理相近问题,可对照阅读。
应用图景与边界
论文给出四类应用方向:AI 代理训练把分支模拟当思想实验室,在虚拟环境把策略测稳再上线;机器人先模拟伸手拿杯子会不会碰倒花瓶,再在现实中执行,降低真实训练成本;创意工具覆盖交互式叙事、电影预演与建筑方案模拟;教育培训则安全重现化学实验事故、地震逃生等危险场景。
边界同样清晰:PAN 的模拟保真度与时长仍是持续工程问题,音频、触觉等模态尚未纳入,与物理机器人的直接对接、多代理共同模拟和实时性能都还是后续方向。它的价值在于把重建下一个观察作为统一训练目标,让推理与可视化收敛进同一个框架,为把想象和现实打通的世界模拟器提供了可复现的架构参照。