GigaWorld-Policy 阅读笔记

摘要

这篇论文来自 GigaAI，核心工作是把视频生成模型改造成一个既快又好的机器人操作策略。他们提出的 GigaWorld-Policy 是一种"以动作为中心"的 World–Action Model（WAM）。训练时，模型同时学两件事：预测下一步该做什么动作，以及预测未来的视觉画面会怎么变。推理时则可以只输出动作、跳过未来视频生成，从而大幅降低延迟。

核心痛点在于，之前的 World-Action Model 推理时必须把未来视频也生成出来，导致速度极慢（Motus 要 3.2 秒才出一步动作），无法实时闭环控制。GigaWorld-Policy 通过一套因果注意力掩码设计，让动作 token 看不到未来视频 token，训练时共享参数、推理时独立解码。最终实现 0.36 秒出一步动作（比 Motus 快 9 倍），真实世界任务成功率还高了 7%。

有意思的是，他们还发现未来视频预测并非越多越好，预测太多帧反而会掉分。

一、Motivation

想象你在遥控一只机械臂收拾桌子。每发一条指令，机械臂要等 3 秒才动一下，因为它在脑补"桌面未来会变成什么样"，得把整段未来视频在脑子里播完才敢出手。碗还没放稳，手已经飘走了，中间等太久、闭环纠错跟不上。这就是当前 World-Action Model 的核心困境：想得太多、动得太慢。

在 GigaWorld-Policy 之前，做机器人策略大致有两条路。第一条是 VLA（Vision-Language-Action）：直接从图像和语言指令映射到动作，速度快（$\pi_{0.5}$ 只要 225ms），但训练信号只有稀疏的动作标签，模型容易学到"浅层的条件反射"而非真正理解物理世界的变化。第二条是 WAM（World-Action Model）：把视频生成能力引入策略学习，训练时预测未来画面，理论上能获得更稠密的物理监督，代价则是推理时也得生成视频，速度直接慢 10 倍以上。

GigaWorld-Policy 的切入点很朴素：训练时让未来视频帮忙提供稠密监督，推理时把视频生成关掉只输出动作。关键在于如何在一个统一模型里实现"训练时联合、推理时可拆"，这正是因果注意力掩码所解决的问题。

二、现存问题

三、相关工作

$\pi_{0.5}$（Physical Intelligence, 2025）

目前最有代表性的 VLA 方法之一。基于大规模网络预训练的 VLM，用 co-training 策略在多种机器人上联合训练，最后用 Flow Matching 生成连续动作 chunk。速度快（225ms），但训练信号只有动作标签，缺少环境动态的约束。GigaWorld-Policy 把它当作 VLA 阵营的主要对照。

Motus（Bi et al., 2025）

统一的隐空间 World-Action Model，采用 Mixture-of-Transformer（MoT）架构，将视觉理解、视频生成和动作预测三个模块集成在一个模型中，通过 UniDiffuser 风格的调度器切换模式。效果不错（仿真 0.89 SR），但推理 3231ms，是 GigaWorld-Policy 的 9 倍慢，也是 GigaWorld-Policy 在 WAM 阵营最主要的对比对象。

Cosmos-Policy（Kim et al., 2026）

直接 fine-tune 预训练好的视频模型，在隐空间里同时生成动作、未来状态和价值估计。不改架构、单阶段后训练，思路简洁。不过推理仍需视频解码（1413ms），且真实世界成功率仅 0.58，偏低。

Mimic-Video（Pai et al., 2025）

典型的两阶段方法：先用预训练视频模型预测未来视觉，再用 flow-matching 逆动力学解码器把视频 latent 映射成动作。问题是两步误差会叠加，且推理需要完整视频 rollout。GigaWorld-Policy 的设计正是为了避免这条路的延迟和误差累积。

VideoVLA（Shen et al., 2025）

直接把大规模视频生成模型当预训练权重，用多模态扩散 Transformer 同时做动作和未来视频预测。和 GigaWorld-Policy 思路相近，但在推理时仍要求生成未来视频，无法做到"视频分支可选"。

四、方法详解

总览：一个模型、两个目标、推理可拆

GigaWorld-Policy 构建在 5B 参数的扩散 Transformer 骨干上（Wan 2.2 5B）。训练时模型同时学两件事：（1）给定当前观测和语言指令，预测未来 48 步的动作 chunk；（2）给定同样的上下文加上预测的动作，前馈式地预测未来若干帧的视觉画面。推理时只解码动作 token，跳过视频 token，因为因果注意力掩码保证了动作生成不依赖未来视频。

4.1 输入 Token 化

机器人有三个视角的摄像头（左、前、右）。为了不改骨干架构，GigaWorld-Policy 把三个视角拼成一张复合图：

$$o_t^{comp} = Compose(o_t^{left}, o_t^{front}, o_t^{right})$$

把三个视角的图像横向拼接成一张图，让模型在一个统一的空间坐标下处理跨视角信息。

复合图和未来帧都送进同一个 VAE 编码器，得到视觉 token $T_o$（当前观测）和 $T_f$（未来帧）。同时，机器人的关节状态和动作分别经过线性投射得到 $T_s$ 和 $T_a$，语言指令经过预训练语言编码器得到 $T_l$。

未来帧的预测并非逐帧密集进行，而是每隔 $\Delta$ 步采样一帧，总共预测 $K = \lfloor 48/\Delta \rfloor$ 帧。当 $\Delta=12$ 时只预测 4 帧未来，既保留了关键演变信息，又避免了冗余。

4.2 共享 Transformer + 因果注意力掩码

所有 token 类型（$T_o, T_s, T_a, T_f$）过同一组 Transformer 层，共享 Q/K/V 矩阵。这与 Motus 的 MoE 设计不同：Motus 给不同模态分配不同的 expert 模块，而 GigaWorld-Policy 让所有 token 在同一个注意力空间里交互，保持了预训练视频模型的计算 profile 不变。

核心设计是因果注意力掩码，它控制了"谁能看到谁"：

具体规则：

• $T_o$ 和 $T_s$：互相能看到（当前观测和状态本来就一起的），但看不到 $T_a$ 和 $T_f$
• $T_a$（动作 token）：能看到 $T_o$ 和 $T_s$，但看不到 $T_f$。这是关键，保证了动作生成不依赖未来视频
• $T_f$（未来视频 token）：能看到所有人（$T_o, T_s, T_a$），因为预测未来画面确实需要知道当前场景和即将执行的动作

这个掩码之所以关键，是因为它让动作分支在训练时享受视频分支带来的参数共享和梯度信号（通过共享 Transformer 权重），推理时又可以完全独立运行，无需生成任何视频 token 即可输出动作。

不同 token 类型用不同的位置编码：视觉 token 用 2D 空间位置编码（因为它们来自图像网格），状态和动作 token 用 1D 时间位置编码。语言指令 $T_l$ 不参与自注意力序列，而是通过 cross-attention 作为外部条件输入。

4.3 训练：课程预训练 + Flow Matching

训练分三个阶段，像课程学习一样逐步注入知识：

阶段一：互联网视频预训练。起点是 Wan 2.2 5B，一个在海量网络视频上训练好的视频生成模型，已经学会了"物体掉下来会怎样""手推东西会怎么动"等物理先验。

阶段二：具身数据预训练。在约 10,000 小时的机器人视频和第一人称人类视频上继续训练（只训练视频目标），让模型适应机器人视角、末端执行器的视觉模式。数据来源见下：

阶段三：目标机器人后训练。在目标机器人的任务轨迹数据上，同时训练动作预测和视频预测两个目标。动作用 Flow Matching 建模，视频同样用 Flow Matching，两者共享同一个扩散 Transformer 的去噪过程。

训练目标是两个 flow-matching loss 的加权和：

$$\mathcal{L}_{all} = \lambda_{video} \mathcal{L}_{video} + \lambda_{action} \mathcal{L}_{action}$$

总 loss 等于视频预测 loss 乘以权重加上动作预测 loss 乘以权重。后训练时 $\lambda_{action}=5$，$\lambda_{video}=1$，表明动作预测是主任务。

其中视频 loss 是：

$$\mathcal{L}_{video} = \mathbb{E}_{s,\epsilon}\Big[\|g_\Theta(z_f^{(s)},\, s \mid T_s, T_o, T_a, T_l) - \dot{z}_f^{(s)}\|^2\Big]$$

模型在给定当前状态、观测、动作和语言条件下，去预测未来帧 latent 的 flow velocity。$s$ 是 flow 时间步，$z_f$ 是未来帧的 VAE latent。

动作 loss 类似：

$$\mathcal{L}_{action} = \mathbb{E}_{s,\epsilon}\Big[\|g_\Theta(a^{(s)},\, s \mid T_s, T_o, T_l) - \dot{a}^{(s)}\|^2\Big]$$

模型在给定当前状态、观测和语言条件下，预测动作的 flow velocity。注意条件中没有 $T_a$ 和 $T_f$，因为动作 token 看不到未来视频（掩码设计的结果）。

4.4 推理：只解码动作

推理时，先把语言指令 $T_l$、状态 $T_s$、当前观测 $T_o$ 打包成条件上下文 $w_t = (T_l, T_s, T_o)$。然后只采样动作 token $T_a$，从高斯噪声 $a^{(0)} \sim \mathcal{N}(0, I)$ 出发，沿学到的速度场积分到 $s=1$，得到最终的动作 chunk $\hat{a}_{t:t+p-1}$。

$$\frac{da^{(s)}}{ds} = g_\Theta(a^{(s)},\, s \mid w_t), \quad s \in [0,1]$$

从纯噪声出发，沿模型预测的速度场积分一步，得到去噪后的动作序列。推理时不需要实例化任何视频 token。

如果需要视频预测（比如做可视化或者 debug），可以额外解码 $T_f$，复用 action denoising 阶段的 KV cache，额外开销很小。

五、实验结果

5.1 速度 vs 成功率：速度效率帕累托前沿

一句话：GigaWorld-Policy 在 A100 上单步推理 360ms，比 Motus（3231ms）快 9 倍，比 Cosmos-Policy（1413ms）快 4 倍；同时真实世界成功率 0.83，比 Motus（0.76）高 7 个点，比 $\pi_{0.5}$（0.69）高 14 个点。

5.2 仿真实验（RoboTwin 2.0）

在 RoboTwin 2.0 的 50+ 项操作任务上，GigaWorld-Policy 平均成功率 0.86（Clean）和 0.85（Randomized），和 Motus 的 0.89 / 0.87 基本持平，但推理快 9 倍。相比 $\pi_{0.5}$ 的 0.43 / 0.44，提升超过 40 个百分点。

5.3 真实世界实验

在 AgileX PiPER 6-DoF 机械臂上测试了四个任务：清理桌面（0.90）、扫描二维码（0.75）、清扫垃圾（0.75）、叠碗（0.90）。平均 0.83，超过 Motus 的 0.76 和 $\pi_{0.5}$ 的 0.69。

5.4 数据效率

GigaWorld-Policy 只用 10% 的训练数据，就达到了 $\pi_{0.5}$ 用全部数据时的成功率水平。这说明视频预测带来的稠密监督确实让模型学得更高效。

5.5 消融实验

预训练的重要性（Table 7）：从零训练只有 0.45 SR；加上视频模型初始化到 0.57；只用具身预训练到 0.73；两者都用到 0.83。视频预训练和具身预训练的收益是互补的。

未来帧预测数量的影响（Table 5）：固定动作 chunk 长度 48，调整采样间隔 $\Delta$。$\Delta=0$（不预测未来帧）只有 0.60 SR；$\Delta=12$（预测 4 帧）达到峰值 0.83；$\Delta=48$（只预测 1 帧）反而降到 0.76。说明适度的未来预测是最优的，太多反而有害。

因果掩码 vs 全自注意力（Table 6）：两者 SR 基本相同（0.81 vs 0.83），但因果掩码的视频生成质量更高（PSNR 28.41 vs 27.87，SSIM 0.901 vs 0.892）。更重要的是：因果掩码保证了推理时可以跳过视频生成，全自注意力做不到这一点。

六、总结

核心贡献：提出了一种"以动作为中心"的 World-Action Model 设计范式。训练时联合学习动作预测和视频预测以获得稠密监督，推理时通过因果注意力掩码实现视频分支可选关闭，大幅降低延迟。

新可能：证明了大规模视频生成模型可以通过课程预训练被改造成高效的机器人策略骨干，且不需要推理时付出视频生成的代价。

未解问题：论文只在 6-DoF 夹爪臂上测试，未验证灵巧手、双臂、人形机器人等更复杂具身形态上的效果。此外，5B 参数的模型即使跳过视频也需要 360ms，对于 100Hz+ 控制频率的任务（如力控接触操作）仍然不够快。

七、Insight

这篇论文最值得带走的认知是：未来预测的价值不在于预测本身，而在于它作为训练信号对动作策略的正则化效果。推理时不需要真的"看到"未来，训练时"学过怎么预测未来"这个过程本身，就已经把物理约束编码进了共享的 Transformer 权重里。就像外科医生不需要在手术时模拟每一步的生理反应，但在学校里学过的解剖学知识已经内化到了手感中。

八、启发

迁移：因果掩码实现训推分离

这套"训练时多任务联合、推理时按需裁剪"的设计模式可以直接搬到其他多模态生成场景。例如在 VLA 里加一个深度预测分支或力反馈预测分支，训练时让它们提供额外梯度，推理时关掉，用因果掩码保证主任务不依赖辅助分支。明天可以试的事：给你的 VLA 模型加一个未来 state 预测头，用类似的因果掩码训练，看 action 质量是否提升。

混搭：课程预训练 pipeline

"互联网视频 → 具身视频 → 目标机器人"这条三阶段课程预训练路径是通用的。如果你手上有一个新的机器人平台但只有 50 条 demo，可以先用大规模视频模型初始化 + 公开机器人数据集做第二阶段预训练，再在你的少量数据上后训练。论文证明了这条路比从零训练高出 38 个百分点。

九、关键引用（双语对照）

[Section 1] "Instead of making action prediction overly reliant on explicit video generation, GigaWorld-Policy leverages future visual dynamics as a reasoning signal and a source of dense supervision."

---

GigaWorld-Policy 不让动作预测过度依赖显式的视频生成，而是把未来视觉动态当作一种推理信号和稠密监督的来源。

— 第 1 节 Introduction

[Section 1] "Crucially, at inference time, explicit future-video prediction is optional: the model can be executed in an action-only mode that directly produces control commands without rolling out long sequences of video tokens."

---

关键在于，推理时未来视频预测是可选的。模型可以以"纯动作模式"运行，直接输出控制指令，不需要生成长序列的视频 token。

— 第 1 节 Introduction

[Section 3.2] "Unlike MoE-based designs, we process all token types with a single shared stack of Transformer blocks. In particular, all tokens share the same query, key, and value projection matrices at every layer, which tightly couples action tokens with visual evidence."

---

和 MoE 路线不同，我们让所有类型的 token 共享同一组 Transformer 层和同一套 Q/K/V 投射矩阵。这让动作 token 和视觉证据紧密耦合在一起。

— 第 3.2 节 Architecture

[Section 4.5] "The results demonstrate a consistent improvement in success rate once feed-forward dynamics modeling is enabled, with performance increasing from 0.65 to 0.83, yielding an absolute gain of 0.18."

---

一旦启用前馈式动态建模，成功率就稳定提升：从 0.65 涨到 0.83，绝对提升 18 个百分点。不过也发现预测太多帧反而会掉分。

— 第 4.5 节 Ablation Study

[Section 4.4] "GigaWorld-Policy reaches the maximum success rate achieved by the VLA using only 10% of the training data."

---

GigaWorld-Policy 只用 10% 的训练数据，就达到了 VLA 用全部数据时的最高成功率。

— 第 4.4 节 Data Efficiency

十、Q&A