Google DeepMind 于 2025 年 8 月 5 日发布 Genie 3,官方博客《Genie 3: A new frontier for world models》称其为首个实时交互式世界模型:从文本提示生成可键盘导航的 720p、24 帧/秒环境。
核心特性与架构
实时交互:720p 分辨率、24 帧每秒、数分钟一致性、键盘控制探索。世界记忆:环境在探索过程中保持一致,动作持久化——在墙上画画后离开再回来,画还在那里;无需显式 3D 表示,一致性是涌现属性。可提示的世界事件:可随时向世界添加新事件,包括人物、交通工具、天气变化等新元素。架构上,Genie 3 使用与大语言模型(LLM)相同的自回归机制:每一帧都基于之前生成的帧历史和用户最新动作生成,把”渲染世界”变成了”预测下一帧”。这条路意味着世界模型可以直接继承语言模型成熟的规模化经验——数据、算力和架构改进都能复用;同时不需要 NeRF 或高斯溅射等显式 3D 表示,三维一致性不是被设计出来的,而是随规模涌现的。与前代相比,Genie 2 的内存约 10 秒且非实时,GameNGen 实时但只针对 Doom 这类特定环境,Genie 3 则实现了通用环境的完全实时交互。这种无显式三维表示的路线还有一个工程含义:训练数据不需要昂贵的三维扫描或游戏引擎渲染结果,网络视频本身就构成了学习材料,规模化路径与语言模型一致。
应用与局限
应用方向有三类:游戏与娱乐的下一代动态世界生成;具身 AI 研究——在虚拟世界中训练机器人代理,部署到真实世界前进行安全测试和物理场景模拟;教育与创意——模拟探索历史场景、快速原型化虚拟世界。局限同样明确:只支持数分钟连续交互,而训练需要数小时;代理可执行的动作范围受限;物理模拟不完美,例如雪与滑雪者的互动不够真实;难以准确建模共享环境中多个独立代理之间的复杂互动。
定位与意义
Genie 3 目前为研究预览状态,不公开发布,仅向有限的学者和创作者群体开放。DeepMind 研究总监 Shlomi Fruchter 表示,Genie 3 是第一个实时交互式通用世界模型,超越之前特定于环境的狭窄世界模型,能生成照片级真实和想象的世界。世界模型被认为是通向人工通用智能(AGI)的关键垫脚石:智能体在动手之前应当能预演”如果我这样做,世界会变成什么样”,这种预测能力正是从被动观看视频走向主动干预环境的前提。Genie 3 的另一层意义在研究方法上——它证明了交互式模拟不必手工建模物理规则与三维结构,纯预测式的自回归路线同样能长出持久的世界状态。Genie 3 标志着世界模型研究从被动视频生成转向实时可控模拟。对普通研究者来说,研究预览意味着暂时无法自行接入测试,能引用的只有官方发布的一致性基准结果与演示视频。同类话题可参阅站内《给大模型注意力装一个阀门》。