模态自回归世界-动作模型 Modality-Autoregressive World-Action Models
按点轨迹→DINO→深度→RGB顺序自回归预测多模态未来再生成动作的机器人世界-动作模型
前置知识
世界-动作模型（WAM）
同时建模未来观测（世界模型部分）和机器人动作（动作模型部分）的生成式模型：训练时既能用有动作标注的机器人示教，也能用大量无动作标注的视频来学习世界动态；推理时先想象未来再输出动作块。设计空间有两条轴：未来用什么模态表示、预测的未来如何作用于动作生成。
本文所有对比实验（ModAR、Unified、Disjoint、Action-only）都是不同的 WAM 公式，理解这两条设计轴是读懂论文的前提。
流匹配（Flow Matching）
一类生成模型训练方法：在噪声 $\epsilon$ 和数据 $y$ 之间构造线性插值路径 $\tilde{y}=\tau y+(1-\tau)\epsilon$，训练网络在任意插值点预测指向数据的场，推理时从纯噪声沿 $\tau$ 从 0 到 1 用 Euler 积分去噪。相比离散步扩散更简洁，是当前机器人动作生成的主流选择。
ModAR 的每个模态和动作都用流匹配去噪生成，论文中的 flow 时间步、8 步 Euler 积分、logit-normal 采样等术语都源于此。
x-prediction（直接预测干净样本）
去噪网络不预测速度场，而是直接输出去噪后的干净目标 $\hat{y}$，损失按 $\max(1-\tau,\delta)^2$ 加权，在接近干净端用 $\delta$ 稳定数值。作者发现对图像、深度等位于低维流形的高维数据，这比速度预测更稳定、不易训练发散。
这是 ModAR 训练稳定性的关键设计，损失函数（式 3）和实现细节都围绕它，不理解它就看不懂训练目标的动机。
模态自回归与块因果掩码
把 $K$ 个未来模态排成序列，每次去噪一个模态的全部 token（一个块），生成完成的干净 token 重新嵌入作为条件供后续模态读取；块因果掩码保证正在预测的块只能看到之前已完成的块，防止目标泄漏。类似 GPT 的因果注意力，但单位从词变成模态。
这是论文标题中的核心机制，联合分布分解（式 1）、训练掩码设计、推理流程全部围绕它展开。
DINO 特征
DINOv2 等自监督视觉模型输出的特征，对光照、纹理等外观变化鲁棒，同时编码物体语义和场景结构，被广泛用作世界模型的替代视觉目标。本文用冻结的 DINOv2 ViT-S/14 提取未来时刻的空间 patch token 作为预测目标之一。
DINO 是本文四个预测模态之一，消融显示去掉它成功率从 75% 降到 65%，是贡献第二大的模态。
点轨迹（Point Tracks）与 CoTracker
在首帧图像上撒一组查询点，跟踪它们在后续帧中的位置与可见性，得到紧凑的场景运动与对应关系表示。本文用 CoTracker3 跟踪 12×16 的 patch 中心查询网格，每个点-时间对的 token 编码相对初始位置的位移和可见性。
点轨迹被选为生成顺序的第一个模态——最紧凑、最结构化，实验证明它是最重要的模态（去掉后仅 61%）。
逆动力学模型（IDM）
从当前状态和目标未来状态反推实现该转移所需动作的模型。ModAR 的最后一步动作预测本质上就是一个以完整生成的未来观测为条件的 IDM，把想象出的未来翻译成要执行的动作序列。
论文用单独训练的独立 IDM 做对照实验（Fig. 5），证明 ModAR 的优势来自未来预测本身的质量而非上下文信息量，这是理解其论证逻辑的关键。
DiT 与 adaLN 条件化
扩散 Transformer（DiT）用自适应层归一化（adaLN）把全局条件（flow 时间步、机器人本体配置、任务嵌入）注入每一层：条件经 MLP 映射为缩放和偏移系数，调制归一化后的特征，实现全局信息广播。
ModAR 主干就是 DiT，机器人配置和任务嵌入通过 adaLN 进入每个注意力层，是读懂架构图（Fig. 2）的必要知识。
研究动机
世界-动作模型（WAM）通过联合建模未来观测和机器人动作，让策略既能利用海量无动作标注数据，又能在决策时参考预测的未来。然而现有 WAM 几乎都以 RGB 图像作为未来的表示：用冻结的视频 VAE 把未来帧编码为 latents 再重建。RGB 重建优化的是外观保真度，并不显式编码操作最需要的几何、物理和语义结构。另一类工作用深度、点轨迹、DINO 等预训练特征来补充或替代 RGB（如 Flex-π 同时预测 RGB、3D pointmap 和 DINO），但如何在 WAM 中组合这些模态仍是开放问题。此外，主流 WAM（DreamZero、Cosmos Policy、Flex-π 等）都初始化自大规模预训练视频生成模型，例如 Flex-π 基于 6B 参数的 Wan2.2。这种做法虽然性能强，却把公式形式、目标模态选择、无动作数据规模三个因素的作用混在一起，研究者无法做受控比较，也不知道成功到底来自哪个设计。
本文的目标是本文目标是回答：WAM 应该如何组合多个未来模态？具体做三件事。第一，提出 ModAR，第一个对多个未来模态（点轨迹、DINO 特征、深度、RGB）按顺序逐个去噪、最后才生成动作的世界-动作模型，让每个模态的生成都能以之前已生成的模态为条件。第二，在完全从零训练的受控设置下，用同一套主干、同一批动作标注数据和相同的优化预算，系统比较不同 WAM 公式（ModAR、Unified、Disjoint、Action-only、Independent-noise）、不同预测模态组合，以及 50/250/1250 三档无动作数据规模的影响。第三，在真实 YAM 双臂平台上用机器人示教加无动作人类视频验证设计。最终 30.1M 参数、从零训练的 ModAR 以约 20 倍更少的训练 FLOPs 达到 75% 平均成功率，超过 6B 参数视频预训练的 Flex-π（72%）。
与已有工作不同的是，已有工作的切入方式各有局限：联合生成式 WAM（DreamZero、Cosmos Policy、Flex-π）把所有未来流和动作流放在一起同时去噪；Fast-WAM 把未来预测当纯辅助目标，推理时直接丢弃；UniPi、VERA 先完全生成视频帧再从帧推断动作，但只处理单一 RGB 模态。本文的独特角度是把生成顺序本身作为核心设计变量：借鉴 Latent Forcing（图像生成中先生成 latents 再生成像素）和 Modality Forcing 的思想，按紧凑结构化到高维细节的顺序（点轨迹→DINO→深度→RGB）做模态级自回归生成，让容易预测的粗结构先充当后续细节模态的草稿板，并注入上下文噪声来对抗自回归的级联误差。同时所有模型从零训练以剥离预训练的混杂影响——这是与 Flex-π 这类并发多模态 WAM 最本质的区别。
核心方法
直觉上，ModAR 把预测未来当作决定动作之前的分阶段推理：先画出场景将怎么动（点轨迹），再补语义（DINO）和几何（深度），最后在完整想象出的未来上执行逆动力学得到动作。技术上，它把条件 $c_t=(o_t, q_t, g)$ 下的联合分布因式分解为 $p_\theta(Y_t, A_t \mid c_t) = p_\theta(A_t \mid c_t, Y_t)\prod_{k=1}^{K} p_\theta(Y_t^{m_k} \mid c_t, Y_t^{<k})$，其中 $Y_t^{<k}$ 是排序在前的已生成模态。主干是一个共享的扩散 Transformer（DiT）：6 层宽度 384、6 个注意力头的跨模态块先对所有可用 token 做全注意力，再接模态专属的专家块和线性输出头；机器人配置、任务嵌入和各流的 flow 时间步通过 adaLN 注入每一层。整个模型仅 30.1M 参数，从零训练；推理时在单张 RTX 5090 上生成全部四个未来模态加动作端到端耗时 147.9 ms（约 6.76 Hz）。
核心创新有三点。其一是模态级自回归：每次只去噪一个模态块，生成完的干净 token 重新作为后续模态的上下文，动作最后生成，等价于以想象未来为输入的逆动力学模型；顺序取 tracks→DINO→depth→RGB，让紧凑结构化的表示先充当细节模态的草稿板，区别于 Flex-π 式全体同步去噪。其二是上下文噪声注入：训练时对上下文块 $m_j$ 采样 $\tau_j^{ctx}\sim U(1-\beta,1)$（$\beta=0.5$）的噪声水平并替换目标为 $\tilde{y}_j^{ctx}=\tau_j^{ctx} y_j+(1-\tau_j^{ctx})\epsilon_j^{ctx}$，让模型适应推理时不完美的上下文，配合块因果掩码防泄漏。其三是 JiT 式 x-prediction 流匹配：输出头直接预测干净样本，损失 $\mathcal{L}_m=\mathbb{E}[\|\hat{Y}_t^m-Y_t^m\|^2/\max(1-\tau_m,\delta_m)^2]$（$\delta_m=0.05$）；速度预测在高维空间易发散，直接预测干净样本更稳定。
方法步骤详情
第一步，定义目标：单目 168×224 RGB 加 14 维双臂关节配置与任务嵌入作条件；未来目标取 $t+8$、$t+16$（$\Delta=8$，$H=16$），并输出 16 步动作块。第二步，token 化：RGB 与深度按 12×16 网格切 14×14 patch；DINO token 取自冻结 DINOv2 ViT-S/14；点轨迹用 CoTracker3 跟踪 patch 中心网格，编码位移与可见性；各模态加嵌入与时空 RoPE。第三步，共享 DiT：6 层宽 384 跨模态块全注意力，adaLN 注入全局条件。第四步，专家输出：DINO/深度/RGB 各 2 层宽 384，轨迹 1 层宽 128，动作 2 层宽 128。第五步，训练：干净副本与带噪预测副本并存，块因果掩码一次前向监督所有阶段，总损失 $\mathcal{L}=\sum_k\mathcal{L}_{m_k}+\mathcal{L}_{act}$；AdamW、batch 48、1.2M 步。第六步，推理：按 tracks→DINO→depth→RGB→actions 顺序，每模态 8 步 Euler 积分，生成完即作下一模态条件并缓存 KV。
技术新颖性
新颖性首先体现在顺序上：这是第一个把模态间条件依赖显式建成自回归链的 WAM，与 Flex-π 的并发多流联合去噪形成直接对照——后者所有流共享一个 flow 时间步同步去噪，而 ModAR 的每个模态都建立在已完成的未来之上，结构化模态充当细节模态的中间表示。其次是实验方法学：所有对比模型共享主干、动作标注数据和优化预算，全部从零训练，剥离了视频预训练的混杂影响，这在该领域是少有的受控设计；配套的独立 IDM 实验（把两个模型的动作头都换成同一个单独训练的 IDM）进一步证明 ModAR 赢在预测的未来本身更有用，而非动作头获得了更多信息。第三是两个反直觉的实证发现：在轨迹+DINO+深度之上追加未来 RGB 预测几乎不带来增益（D=250 时 75%→75%），挑战了 WAM 必须预测 RGB 的默认设定；各流独立采样噪声水平的 Independent-noise 训练在从零训练时严重失效（总体仅 34%），揭示了训练噪声制度与推理同步去噪不匹配的问题。
实验结果
仿真（RoboTwin 六任务、每任务 50 次测试）：ModAR 在 D=50/250/1250 平均成功率 0.66/0.75/0.76 全面第一，超 Unified（0.63/0.67/0.64）、Disjoint（0.55/0.55/0.48）与 Independent-noise（0.37/0.34/0.33）。数据扩展：加 1200 条无动作示教，ModAR +10pp（66%→76%），Unified 仅 +1%，Disjoint 反而退化。模态对比（D=250）：轨迹 0.65→加 DINO 0.72→加深度 0.75，再加 RGB 无一致增益；仅预测 RGB 的传统 WAM 仅 0.54。对比 Flex-π：6B 参数、视频预训练、约 20 倍 FLOPs 者为 72%，30.1M 从零训练的 ModAR 达 75%；独立 IDM 与 40 步采样对照下优势依旧。真实世界（YAM 双臂三任务）：ModAR 83.3%，Unified 66.7%，Action-only 52.2%；人类数据扩展 70.0%→81.1%（+200 同域人类示教）→83.3%（+1000 EgoDex）。消融（D=250）：去上下文噪声 63%、逆序 65%、去轨迹 61%、去 DINO 65%、去深度 70%、去 RGB 不变。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RoboTwin 2.0 仿真六任务（公式对比，D=250） | 平均成功率（每任务 50 次测试） | ModAR 75% | Unified 67%；Disjoint 55%；Independent-noise 34%（Action-only 仅测 D=50，为 46%） | 较最强基线 Unified +8pp |
| RoboTwin 2.0 无动作数据扩展（D=50→1250） | 平均成功率变化 | ModAR 66%→76%（+10pp） | Unified 63%→64%（+1pp）；Disjoint 55%→48%（随数据退化） | 增益最大，D=1250 时领先 Unified 12pp |
| RoboTwin 2.0 预测模态对比（D=250） | 平均成功率 | 轨迹+DINO+深度 75% | 仅预测 RGB 的传统 WAM 54% | +21pp；再加 RGB 无一致增益（75%→75%） |
| 对比视频预训练 WAM Flex-π（D=250） | 平均成功率 / 参数量 / 训练 FLOPs | ModAR 75%，30.1M 参数，从零训练 | Flex-π 72%，6B 参数（约 200 倍），约 20 倍训练 FLOPs | +3pp 成功率，训练 FLOPs 约省 20 倍 |
| 真实世界 YAM 双臂三任务（堆杯/叠毛巾/放抽屉） | 平均成功率（每任务 30 次评估） | ModAR 83.3% | Unified 66.7%；Action-only 52.2% | 较 Unified +16.6pp，三个任务全部第一 |
| 真实世界无动作人类数据扩展 | 平均成功率 | 70.0% → 81.1%（+200 同域人类示教）→ 83.3%（+1000 EgoDex 跨具身示教） | 仅 100 条机器人示教 70.0% | 无动作人类视频累计 +13.3pp |
局限与改进
作者明确承认的局限：实验只覆盖有限任务（仿真 6 个、真实 3 个），使用离散任务标签而非语言指令，因此不构成跨任务、跨物体、跨场景的泛化证据；顺序生成多个模态使推理延迟高于并行或仅动作生成。我的补充观察：第一，模态顺序只测试了正序和逆序两种（75% vs 65%），4 个模态共有 24 种排列，最优顺序可能因任务而异，轨迹最先仍是启发式结论；第二，未来 RGB 无增益的结论建立在单相机 168×224 分辨率和这 9 个任务上，对需要细粒度外观判断的任务（布料、透明物体）未必成立；第三，上下文噪声上限 $\beta=0.5$、各模态 logit-normal 时间步参数等关键超参未报告敏感性分析；第四，从零训练的优势论证只到 1250 条示教规模，互联网规模数据下视频预训练初始化是否反超仍是开放问题；第五，Disjoint 随数据增加而退化的负迁移解释只是假设，缺少表征层面的直接证据。
独立分析的弱点
第一，生成顺序与效率的矛盾：模态级自回归把采样步数从 8 步放大到 40 步，端到端 147.9 ms（6.76 Hz），对高频接触密集型任务可能不够快，改进方向是蒸馏采样步数、在结构信息足够时提前终止（例如跳过 RGB）、或部分并行的自回归调度。第二，顺序策略粗糙：仅正反序对比，未系统搜索全部排列，也缺少自适应机制，可引入可学习的模态调度器，或按任务不确定性动态决定生成哪些模态、生成到多细。第三，条件形式受限：任务嵌入是离散标签，无法利用语言指令和开放词汇语义，与 VLA 的语言条件结合是自然改进。第四，模态集合固定为四个视觉模态，未纳入触觉、力反馈或 3D 点云，而这些对精密装配类任务可能更关键。第五，训练配方较重：1.2M 步、batch 48、每步等比例采样动作与无动作数据，但无动作数据质量（如 EgoDex 跨具身视频）对结果的影响未做消融。第六，模态间误差级联虽被上下文噪声大幅缓解（63%→75%），但理论上仍随模态数量增加而放大，更长模态链下的稳定性未知。
未来方向
作者提出的方向：扩展到更大规模、更多样化的任务以检验泛化；用语言指令替代离散任务标签；在异构的互联网规模无动作数据上训练；系统研究最优模态生成顺序及其对任务和场景的依赖。基于本文成果可进一步延伸：把模态自回归与视频生成预训练结合，检验预训练先验与顺序生成是否兼容；引入可学习或不确定性驱动的模态调度，让模型自己决定想多远、想什么；把最后的动作预测步（本质是 IDM）单独抽出用于跨具身迁移——在人类视频上训练未来预测、只在机器人数据上训 IDM；扩展模态到触觉、声音与 3D 点云，构造更完整的物理想象；以及探索树状分支想象，在多个候选未来上生成并评估动作，把 WAM 从前馈策略升级为真正的规划器。
复现评估
复现条件总体友好但有门槛。公开资源：RoboTwin 2.0 仿真基准、EgoDex 人类示教数据集、CoTracker3、DINOv2、RAIDEN 遥操作工具链都是公开的；论文给出了非常完整的实现细节——每层架构宽度、优化超参、各模态 logit-normal 时间步参数、上下文噪声 $\beta=0.5$、$\delta=0.05$、生成顺序、147.9 ms 的推理延迟参考。模型仅 30.1M 参数，一张高端消费级 GPU（文中用 RTX 5090 推理）加适量多卡训练即可承担，仿真部分复现难度中等。门槛在数据侧：真实世界需要 YAM 双臂平台和配对教师臂遥操作，每任务自采 100 条机器人示教加 200 条人类示教；论文提供项目主页（adamhung60.github.io/ModAR/），但未明确说明代码与自采数据是否开源，真实平台复现成本高。Flex-π 对比需要微调 6B 级视频模型（batch 288），算力需求显著更高，普通实验室难以重复该组实验。
论文图表
展示 ModAR 在真实双臂任务（堆杯、叠毛巾、放入抽屉）上的应用与生成顺序：依次预测 1）点轨迹运动、2）DINO 语义、3）深度几何、4）动作与实时 RGB。强调所有模型从零训练以便受控比较，多模态公式超越已有 WAM，并可用机器人示教和人类视频共同训练。
一眼看清论文的核心主张、四个模态的生成顺序和真实应用场景，是快速建立整体图景的入口。
在 YAM 双臂的三个任务（叠毛巾、放入抽屉、堆杯）上每任务 30 次评估。(a) 所有方法用每任务 100 条机器人示教，ModAR 与 Unified 另加 200 条同域人类示教和 1000 条 EgoDex 示教，ModAR 三个任务全部领先，平均 83.3% 对 Unified 66.7%、Action-only 52.2%；(b) 从仅 100 条机器人示教的 70.0%，加同域人类视频到 81.1%，再加跨具身 EgoDex 到 83.3%。
验证方法在真实硬件上成立，并展示无动作人类视频（含跨具身）带来的持续增益，是应用价值的关键证据。
给出六个 RoboTwin 任务（dump bin、pick bottles、place bread、put bottles、stack bowls、turn switch）在 D=50/250/1250 下的详细成功率。总体上 ModAR 0.66/0.75/0.76 全面领先，Unified 0.63/0.67/0.64 次之；也能看到分任务差异，例如 place bread 在 D=250 时 Unified 仅 0.50 而 ModAR 达 0.74，put bottles 在 D=1250 时 ModAR 0.82 对 Unified 0.56。
Fig. 4(a) 的完整数据来源，可核查各公式在不同任务上的稳定性和例外情况。
对比 Action-only 与单模态（RGB、深度、轨迹、DINO）及组合（轨迹+DINO、轨迹+DINO+深度、轨迹+DINO+深度+RGB）在各任务、各数据规模的成功率。总平均显示增益主要来自轨迹+DINO+深度（D=250 时 0.75），再加 RGB 无一致收益；且不同任务的最优模态子集不同，例如 dump bin 上深度单模态就达 0.92，而 pick bottles 上轨迹单模态只有 0.12。
支撑多模态互补但 RGB 边际贡献小这一核心实证结论，同时揭示最优模态组合因任务而异的重要细节。