World Model 与 VLA：具身智能的两条路线，以及从 3D 视觉出发的视角

促使我系统梳理这个话题的，是 GPT-6 Astra 在具身领域引起的一波讨论：一个通用多模态大模型，不经过机器人数据微调，直接拿来做导航和操作，效果好的地方出人意料，差的地方也同样明显。它让一个老问题变得更具体：具身智能到底该沿哪条技术路线走？

具身智能里最常被并列提起的两条路线是 VLA（Vision-Language-Action，视觉-语言-动作模型）和 World Model（世界模型）。这篇笔记想弄清楚四件事：两条路线在技术上究竟差在哪里，各自的优势和瓶颈是什么，Astra 这类通用大模型处在什么位置，以及哪些方向可能带来突破。最后再从我熟悉的 3D 视觉出发，看 World Model 的重心在哪里、转向需要补什么。

第一部分：World Model 与 VLA 有什么不同？

一句话区分

VLA 学的是「在当前观察和任务要求下，我应该做什么」；World Model 学的是「如果我这样做，世界会怎样变化」。

前者是从感知到动作的策略学习（policy learning），后者是环境动力学建模（dynamics modeling），再在此基础上做预测式决策。二者并不互斥，当前不少研究正在探索如何把它们结合起来。

直接行动，还是先预测再行动？

设想一个任务：「把桌上的玻璃杯拿起来，放进旁边的柜子里。」

VLA 的做法：通过摄像头观察桌面，结合语言指令，直接输出机械臂的运动指令，比如末端执行器的位移、旋转和夹爪开合。它可以边观察边输出，形成闭环控制。
World Model 的做法：先在内部建立对场景变化规律的预测，比如杯子被碰到后会怎样运动、抓取后处于什么状态、放到某个位置是否稳定。再由规划器利用这些预测来选择动作。

两条路线的抽象流程：

VLA：
  视觉观察 ──→ VLA Policy ──→ 动作输出
                  ↑
              语言指令（条件输入）

World Model + Planning：
  当前状态 ──→ World Model ──→ 预测的未来状态
     ↑                               │
     └──── 候选动作 ←── 规划 / 动作选择 ←┘

这只是两种典型设计的示意，不是所有系统的完整架构。实际系统都可以闭环反馈，World Model 也可以直接参与策略学习。

关键差别在于主要学习目标：VLA 学的是动作策略，World Model 学的是环境演化规律。这不代表 VLA 没有世界知识，也不代表 World Model 必须通过显式仿真才能行动。

从机器学习的角度看，两者在拟合什么？

VLA：条件动作分布。 典型的 VLA 可以抽象为

\[\pi_\theta(a_t \mid o_t, l, h_t)\]

其中 \(o_t\) 是当前视觉观察，\(l\) 是自然语言指令，\(h_t\) 是历史观察或动作等上下文，\(a_t\) 是下一步动作，也可以是一段动作序列（action chunk）。

训练数据通常是大量人类遥操作示范：

视觉观察	语言任务	专家动作
杯子在左侧	拿起杯子	机械臂向左移动并抓取
抽屉关闭	打开抽屉	接近把手并向外拉
毛巾散开	折叠毛巾	捏取边角并对折

学习方法包括行为克隆（behavior cloning）、扩散策略（diffusion policy）、flow matching 等。一个重要特点是：训练时不一定要求显式预测动作执行后的世界状态，尽管模型内部仍可能形成某种隐式的物理知识。

World Model：状态转移规律。 World Model 通常可以抽象为

\[p_\theta(s_{t+1} \mid s_t, a_t)\]

即给定当前状态 \(s_t\) 和动作 \(a_t\)，预测动作之后的状态 \(s_{t+1}\)。比如：

向玻璃杯施加侧向力，杯子可能滑动或倾倒；
抓住毛巾的一角向上拉，毛巾可能展开；
抽屉被拉出一段距离后，里面的物品会进入视野。

世界模型可以预测像素、视频、物体状态，也可以只预测压缩后的潜在状态（latent state）。

但只会预测还不等于会决策。要完成任务，还需要结合规划、价值函数、强化学习或策略模型。一种典型的基于模型的控制方式是：

\[a^{*}_{t:t+H} = \arg\max_{a_{t:t+H}} \; \mathbb{E}\left[\sum_{k=0}^{H} r(s_{t+k}, a_{t+k})\right]\]

也就是在预测模型里评估未来 \(H\) 步的候选动作序列，选出预期回报最高的方案。这就是 model-based planning，或者说 MPC（model predictive control）的基本思想。

系统比较

维度	VLA	World Model
核心目标	学习动作策略	学习环境动态和动作后果
典型映射	观察 + 语言 → 动作	状态 + 动作 → 下一状态
常见训练数据	机器人轨迹、示范动作、图像与语言	视频、状态转移、交互数据
主要训练方式	模仿学习、动作生成建模	自监督预测、动力学学习
决策机制	策略直接生成动作	先预测未来，再由规划或策略选择
长期规划	需要额外机制或训练	可为显式多步规划提供预测
推理成本	容易做到低延迟	在线多分支预测可能更贵
主要瓶颈	动作数据、泛化、分布外鲁棒性	动力学精度、长时预测误差、规划成本

可以这样理解二者的差异：VLA 试图通过大量示范直接学会做正确的事；World Model 试图学到更一般的环境规律，再推导出什么行动更合适。这两种学习目标会直接影响数据需求、泛化能力和系统设计。

为什么两条路线会有不同的优势和瓶颈？

VLA 的优势：从已有经验中高效学习动作。 以 π₀ 为例，它在预训练视觉语言模型的基础上，用 flow matching 生成连续的机器人动作，训练数据来自多种机器人平台。这类方法的优势在于：

容易利用视觉语言模型的语义知识，比如理解「把易碎品轻轻放下」；
能通过示范学会复杂操作，比如叠衣服、整理桌面；
运行时直接输出动作，不必对每个候选方案做完整的未来仿真。

它的瓶颈在泛化。假如训练数据里有大量抓杯子的动作，却很少有「杯子被压在其他物体下面」的情形，模型知道目标是拿杯子，却不一定能可靠地推断出应该先移开障碍物。

这不是说 VLA 一定做不了多步推理，而是说：如果训练目标主要是模仿动作，就没有任何约束直接要求模型准确预测每个动作的物理后果。

World Model 的优势：通过预测提高决策的数据效率。 以 DreamerV3 为例，它在潜在空间里学习环境模型，再让 actor-critic 在模型生成的「想象轨迹」中学习策略，在大量不同的控制任务上都取得了不错的表现。这说明世界模型能支持跨领域的策略学习，但不能据此认为它已经解决了开放世界的机器人操作。

它的潜在优势是：

可以利用没有专家动作标签的交互数据学习动力学；
可以在学到的模型内部反复模拟，减少一部分真实环境中的试错；
可以比较候选动作，支持风险评估和多步决策。

它的关键难点是模型偏差（model bias）。比如模型预测「夹爪施加 2 N 的力就能稳稳抓住杯子」，而实际需要 4 N，那么基于这个错误模型做出的规划照样会失败。而且预测步数越长，误差越容易累积。

所以，一段生成视频看起来符合物理常识，不等于模型已经掌握了足以用于精密控制的真实动力学。

GPT-6 Astra 这类通用大模型处在什么位置？

Astra 既不是专门训练的 VLA，也不是 World Model。它是一个通用多模态推理模型，被直接拿来当具身策略使用：看图、理解指令、输出动作或调用工具。几篇系统评测给出的图景相当一致：擅长「决定做什么」，不擅长「把动作做准」。

任务类型	表现	来源
指令导航（RxR）	成功率 92%	Systematically Exploring…
物体搜索（HM3D ObjectNav）	成功率 82%，但按路径长度加权的 SPL 只有 43.69%，绕路很多	同上
桌面操作（RoboDojo）	直接控制 26%；交给学习好的底层策略执行后升到 48%	同上
手内旋转物体	直接控制 0.51%，专门训练的 RL 策略 76.90%	同上
腿足运动	连续五次尝试都没到达终点	同上

评测作者的总结是：这些结果揭示了「有用的任务决策」和「可靠的物理控制」之间的差距。

代价也很具体：在仿真里跑 30 秒的运动控制，需要调用模型 250 次，每次平均 39.86 秒，仿真只能暂停等推理结果。这说明通用大模型目前很难直接承担高频闭环控制。

另一条线索是上下文学习。RoboICL 不更新任何参数，只在上下文里给 Astra 几段示范和交互记忆：真机任务的平均进度分从零样本的 14.45 升到单样本的 63.33、三样本的 78.89。还有工作把 Astra 放在更上层，让它负责组织任务结构、调用 VLA 和世界-动作模型（world-action model）去执行具体动作块，而不是替代它们。

把这些放在一起看，Astra 带来的影响主要有三点：

高层语义和任务分解，通用大模型已经可以直接用。 导航、开放式指令理解这些偏「决策」的部分，不一定需要专门的机器人训练。
接触密集的精细控制，仍然要靠专门训练的策略。 这恰好是 VLA 和 World Model 竞争的主战场。
分层成了很自然的组织方式。 通用模型在上面做规划，学习到的策略在下面执行。下文的融合架构正是这个思路。

两条路线各自卡在哪里？什么可能带来突破？

把上面的分析收拢成具体的技术瓶颈：

	VLA	World Model
数据	依赖带动作标签的机器人示范，采集贵、规模小	视频多，但大多缺动作、接触力、本体状态
泛化	模仿学习容易被训练分布框住	长时预测误差累积，越往后越不准
物理	不显式要求预测动作后果	视觉上逼真不等于动力学准确
部署	推理快，适合高频控制	在线多分支预测成本高
评测	任务成功率难以跨平台比较	缺少「预测是否可用于控制」的标准

以下是我认为可能带来突破的几个方向。它们是阅读后的判断，不是定论：

动作数据的规模化。 跨机器人平台的大规模示范数据集，以及从人类视频里恢复出动作和手部姿态，都在试图缓解 VLA 的数据瓶颈。数据规模每上一个台阶，VLA 的能力边界往往会随之移动。
动作条件化的世界模型。 如果世界模型能准确回答「执行这个动作会怎样」，它就不只是视频生成器，还能用来评估策略、生成训练数据、在执行前排除危险动作。关键在于预测要对控制有用，而不只是看起来逼真。
通用模型与专用策略的分工。 Astra 这类模型负责理解、分解任务和纠错，专用策略负责高频精细执行。各自扬长避短，而不是指望一个模型同时做好两件事。
更好的状态表征。 机器人决策依赖物体在哪里、什么形状、接触状态如何。3D 表征、触觉和力觉的引入，可能让世界模型和策略都更接近物理真实。这一点在第二部分展开。
可信的评测。 没有统一的评测，就很难判断一项进展是真的突破，还是只在特定场景里有效。

两条路线可能在哪里融合？

一种合理的融合架构是分层的：

┌──────────────────────────────┐
│ VLM / 具身推理模块             │  理解语言与任务约束，分解高层目标
└──────────────┬───────────────┘
               ↓
┌──────────────┴──────┬────────┴─────────────┐
│ World Model          │ 规划 / 价值评估        │
│ 预测候选动作的后果与风险 │ 选择子目标与动作方案     │
└──────────────┬──────┴────────┬─────────────┘
               ↓
┌──────────────────────────────┐
│ VLA / Action Policy          │  生成连续动作，完成灵巧操作
└──────────────┬───────────────┘
               ↓
┌──────────────────────────────┐
│ 真实机器人与环境               │  执行、感知反馈、状态估计
└──────────────────────────────┘
        ↺ 反馈进入下一轮预测与决策

这是概念架构，不是某个具体产品的实现。实际系统也可能端到端联合训练，或者只在训练阶段用到 World Model。

这里有三个值得追问的研究问题。

世界模型应该预测像素，还是预测物理状态？ 生成一段「杯子被拿起来」的逼真视频，和准确预测夹爪的接触力、摩擦、物体稳定性，是两件不同的事。对机器人来说，后者往往更直接地决定控制效果。所以世界模型能否用于控制，不能只看视频生成的质量。

VLA 一定需要显式的 World Model 吗？ 不一定。足够强的 VLA 可能已经在训练中形成了隐式的环境知识；在反应式操作里，直接执行策略甚至比调用大型世界模型做规划更有效。真正要权衡的是：

\[\text{规划带来的收益} \quad \text{vs.} \quad \text{预测误差与计算开销}\]

World Model 能解决机器人数据稀缺吗？ 能缓解，但不能完全解决。互联网视频能帮助学习视觉变化和部分物理规律，却通常缺少关节状态、接触力、控制指令这些信息。而机器人真正需要回答的是一个因果问题：

当我施加一个特定动作时，世界会如何变化？

这和「视频接下来会出现什么画面」并不相同。

哪条路线更可能通往通用具身智能？

与其判断谁胜出，不如把问题拆成不同的技术目标：

技术目标	更直接的路径	原因
在已覆盖或相近的场景中完成复杂灵巧操作	VLA	能充分利用示范数据学习动作
学习环境规律，支持预测与试错	World Model	能建模动作后果，支持模型内训练与规划
跨任务、跨环境的长期自主行动	VLA + World Model + Planning	同时需要执行能力、后果预测与目标管理

更深一层的问题是：学会预测世界，和真正理解世界，是同一回事吗？ 一个 World Model 可能准确预测大量视觉变化，却处理不了没见过的接触动力学；一个 VLA 可能完成极其复杂的操作，却说不清动作为什么成功。

因此评价具身智能的通用性，不能只看任务完成率，还应该看：

反事实预测：能否区分不同动作会导致的不同结果？
分布外泛化：物体、任务、环境变了，还能不能工作？
主动探索：面对陌生物体，能否通过低风险的试探识别它的特性？
长期自主性：能否发现错误、调整计划、恢复执行，而不只是生成一段动作？
真实闭环性能：在延迟、噪声、接触和执行器限制下是否仍然可靠？

这些能力都不是单一的视频预测指标或几段机器人演示能证明的。

把两条路线的核心问题并排放在一起，会更清楚：

VLA 问的是：怎样让模型从经验中获得可以执行的技能？
World Model 问的是：怎样让模型获得能用于预测和干预的环境表征？
通用具身智能问的是：智能体怎样通过感知、行动和反馈，不断修正自己对世界的认识，并利用这些认识自主达成目标？

第三个问题恰好连接了前两条路线。而其中最关键的分歧，或许是：World Model 学到的究竟是物理世界的因果结构，还是足够逼真的时空统计规律？ 这直接决定它能否带来比 VLA 更强的泛化。

第二部分：从 3D 视觉看 World Model

3D 视觉与 World Model 的重心差异在哪里？

一个简洁的概括是：

3D 视觉回答「世界现在是什么样子」；World Model 回答「世界接下来会怎样变化」。

	3D 视觉	World Model
核心问题	场景理解	世界动态理解
时间维度	通常是静态或短时序	长时间演化
目标	建立空间表征	建立可预测的内部世界模型
输出	几何、语义、姿态	未来状态、未来观测、动作后果
关注对象	What is there?	What will happen?
典型任务	重建、检测、姿态估计	预测、规划、仿真
所处阶段	感知	感知 + 预测 + 决策

还是用桌子和杯子举例。3D 视觉的输入是 RGB、深度和相机位姿，输出是桌面的位置与法向量、杯子的 6D 位姿、人体关节等，它回答「这个世界现在处于什么状态」。World Model 的输入是当前状态加上一个动作，比如「机械臂向杯子移动」，输出是一串未来：0.5 秒后接近杯子，1 秒后夹爪接触，2 秒后杯子被抬起，3 秒后杯子可能倾斜。它回答「如果我这样做，会发生什么」。

方法论上的差别可以写成两个条件分布。3D 视觉从观测中恢复世界结构：

\[P(\text{World} \mid \text{Observation})\]

World Model 学习世界如何随时间和动作演化：

\[P(\text{World}_{t+1} \mid \text{World}_t, \text{Action}_t) \quad\text{乃至}\quad P(\text{World}_{\text{future}} \mid \text{History}, \text{Action})\]

一句话：3D 视觉学的是「相机 → 世界」，World Model 学的是「世界 + 动作 → 未来的世界」。

为什么 3D 视觉是 World Model 的重要基础？

一个常见的误解是把 World Model 等同于视频生成或者 Transformer。但对具身智能来说，机器人面对的是物理世界，它关心的不是「下一帧像素是什么」，而是：

哪个物体在哪里？
它是什么形状？
我碰它之后会怎样？

一个没有空间结构的 World Model，很难真正用于机器人决策。这正是 3D 表征的价值所在。3D 视觉里的很多能力，都能在 World Model 里找到对应的模块：

3D 视觉能力	World Model 中的对应部分
姿态估计	智能体 / 物体的状态估计
人体运动	动作理解
三维重建	场景表征
深度估计	空间状态
相机几何	视角变换
跟踪	时间动态
数据质量分析	训练数据工程

可以说，3D 视觉是 World Model 的感知骨干。

二者之间真正的鸿沟在哪里？

鸿沟一：从空间理解到时间预测。 3D 视觉通常从第 \(t\) 帧恢复 3D 结构；World Model 要从 \(t-10, \dots, t-1\) 帧预测 \(t+1, \dots, t+n\)。这需要时序建模、序列建模和视频表征学习，对应的技术包括 video Transformer、扩散模型、状态空间模型（SSM）、Neural ODE 等。

鸿沟二：从描述世界到理解动作的影响。 这是最大的差异。3D 视觉问「杯子在哪里」，World Model 问「如果机械臂撞到杯子，杯子会不会倒」。这需要物理推理、因果学习和动力学建模，核心形式是

\[s_{t+1} = f(s_t, a_t)\]

关键在于 \(a_t\)。大多数视觉模型没有动作这个条件输入。

鸿沟三：从被动感知到主动智能体。 传统视觉是单向的「相机 → 预测」；机器人是一个闭环：观察、行动、观察变化、更新信念，然后再行动。这是 closed-loop intelligence，而不是单向的视觉任务。

从 3D 视觉转向 World Model，需要补哪些知识？

按自然的先后顺序，大致是四个阶段。

第一阶段：时空视觉。 从单帧图像理解升级到对世界演化的理解，重点是 video Transformer、时间注意力、光流和运动表征。可以读的工作有 VideoMAE、TimeSformer、Video Swin Transformer、V-JEPA。

第二阶段：世界表征的学习方法。 这是 World Model 的核心。为什么不直接预测 RGB？因为未来的像素空间太大了。通常的做法是先编码到潜在空间，再在潜在空间里做动力学预测：

图像 → 编码器 → 潜在状态 → 动力学模型 → 未来的潜在状态

\[z_t = f(o_t), \qquad z_{t+1} = g(z_t, a_t)\]

需要掌握的方法包括 VAE、对比学习、掩码建模，以及 JEPA 一类的方法。

第三阶段：机器人与具身智能的基础。 这是视觉背景最容易缺的一块：

机器人状态：关节角、末端执行器位姿、夹爪状态、力反馈；
控制：PID、MPC、强化学习；
仿真：Isaac Sim、MuJoCo、Habitat，很多 World Model 的训练都依赖仿真数据。

第四阶段：动作条件化的学习。 这是从视觉走向 World Model 的关键一步：研究对象从「视频预测」变成「动作条件化的视频预测」。给定一个机器人动作，比如「手臂向左移动」，预测未来的观测：

\[p(o_{t+k} \mid o_t, a_{t:t+k})\]

把这四个阶段连起来，就是一条完整的知识链路：

3D 表征 → 时间动态 → 动作条件化预测 → 具身规划

3D 视觉背景可以延伸到哪些 World Model 问题？

最后记几个和 3D 视觉衔接得比较紧的问题方向，作为后续阅读的线索。

3D-aware World Model：如何让模型做出几何一致的未来预测？相关的关键词有 3D 潜在世界模型、神经场景表征、Gaussian Splatting 加动力学、4D 重建。
人与智能体的行为预测：从人体姿态序列预测未来的运动，再用于交互规划，连接模仿学习与人机交互。
World Model 的评测：目前的难点往往不在生成视频本身，而在于判断预测出的世界是否真的符合物理，包括几何一致性、时间一致性和物理合理性，以及预测结果能否真正用于行动。

把这些问题放回感知、表征、预测、规划、行动这条链路上看，3D 视觉处在链路的前端，World Model 则把它向后延伸到了预测与决策。

参考

Systematically Exploring the Capabilities of GPT-6 Astra as Embodied Policies. arXiv:2609.38537, 2026.
Embodied In-Context Learning with GPT-6 Astra (RoboICL). arXiv:2609.34261, 2026.
An Agent-Centered Architecture for General Robot Learning. arXiv:2608.17209, 2026.
D. Hafner et al. Mastering Diverse Domains through World Models (DreamerV3). arXiv:2301.04104, 2023.
K. Black et al. π₀: A Vision-Language-Action Flow Model for General Robot Control. arXiv:2410.24164, 2024.
Z. Tong et al. VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training. NeurIPS, 2022.
A. Bardes et al. Revisiting Feature Prediction for Learning Visual Representations from Video (V-JEPA). arXiv:2404.08471, 2024.