一分钟读论文：《物理世界建模与视觉语言智能体》

加州大学洛杉矶分校、麻省理工学院和加州大学圣地亚哥分校合作的论文《Agentic Real2Sim: Physics-based World Modeling with Vision-Language Agents》，提出了一种利用视觉语言智能体自动化真实世界到仿真环境转换的框架，在刚性物体操作、可变形物体交互和人形运动三个场景上均实现了与前沿模型相当的转换成功率。

真实世界到仿真的转换（Real2Sim）对于机器人物体交互研究至关重要，但长期以来高度依赖人工完成视觉重建、物理参数推断和仿真器组装等繁琐步骤。Agentic Real2Sim 框架首次将这一全流程整合为一个统一的智能体决策系统，利用开源视觉语言模型后端以极低成本实现了高质量的 episodic twin 生成——即保留真实观测、几何结构、机器人交互记录和物体状态的仿真副本。

实现原理

Agentic Real2Sim 的核心思想是将传统上由人类专家完成的 Real2Sim 流程交给视觉语言智能体自主决策和执行。整个框架包含四个关键阶段：

视觉重建与场景理解。智能体首先分析真实世界拍摄的物体-机器人交互视频，提取物体的几何结构、材质属性和空间关系。这一步骤替代了传统方法中需要人工标注和建模的环节，利用 VLM 的零样本泛化能力直接从观测数据中推断场景要素。

物理参数推断。在获得场景几何信息后，智能体自动推断物体的物理属性，包括质量分布、摩擦系数、弹性模量等关键参数。这是 Real2Sim 流程中最具挑战性的环节之一，因为物理参数无法直接通过视觉观测获得，需要结合领域知识和推理能力进行合理估计。

坐标系对齐与仿真组装。智能体将真实世界坐标系与仿真器坐标系对齐，选择合适的仿真引擎和物理求解器，并将重建的几何模型整合到仿真环境中。这一过程涉及大量胶水代码工作，传统上需要工程师手动编写适配逻辑。

迭代验证与修正。生成的 episodic twin 经过一致性检查后，智能体根据反馈自动调整参数或重新执行某些步骤，确保生成质量可控。

实验结果

论文在三个代表性场景上进行了系统评估：刚性物体操作、可变形物体交互和人形运动。使用开源 VLM 后端（如 Qwen2.5-VL）以极低的 API 成本，Agentic Real2Sim 在转换成功率上达到了与前沿商业模型相当的水平。

消融实验表明，智能体的自主决策能力是框架有效性的关键因素。移除迭代修正模块后，仿真一致性评分下降了约 18%；而将物理参数推断环节改为人工标注时，虽然质量略有提升，但失去了自动化这一核心优势。成本分析显示，整个 Real2Sim 流程的平均耗时从传统方法的数小时缩短至数十分钟，且无需专业领域知识。

下游应用与影响

生成的 episodic twin 可直接用于机器人策略学习和评估，为 Embodied AI 研究提供了低成本、高质量的仿真数据源。这一工作将 World Models for Agents 方向的重要进展与机器人学的实际需求相结合，展示了视觉语言智能体在物理世界建模中的巨大潜力。随着 VLM 能力的持续增强，Agentic Real2Sim 所代表的自动化范式有望成为机器人仿真的标准基础设施。

References

• arXiv 论文链接