智能体世界动作模型 AW-0：统一代码规划、视频预测与机器人控制 Agentic World Action Models
用三专家混合架构联合去噪代码、视频与动作，让世界动作模型具备可复用的技能级代码规划能力
前置知识
世界动作模型（World Action Model, WAM）
同时生成未来视频与机器人动作的统一生成模型。它把视频预测（想象世界会怎样变化）和动作生成（该做什么动作）耦合在一个模型里，代表工作有 DreamZero 等，通常用视频 DiT 加动作头做联合扩散或流匹配。优势是动作有物理动力学'预判'支撑，适合接触丰富、依赖物体运动的复杂操作。
AW-0 就是在 WAM 基础上加入代码专家构成的，理解 WAM 的联合视频-动作生成范式，才能看懂本文'第三条生成流'的插入位置和消融实验的对比对象。
视觉-语言-动作模型（VLA）
将视觉观测与语言指令映射为机器人动作的基础模型，通常由预训练视觉-语言骨干加流匹配或扩散动作头组成，如 π0、π0.5、OpenVLA。它继承互联网级语义知识，语言理解和泛化能力强，但一般不显式预测未来画面，多步任务的结构化规划能力弱。
VLA 是本文最重要的基线家族（π0.5、EgoScale），实验反复对比'代码规划带来的语义推理增益'是否超过 VLA 已有的语义优势，不理解 VLA 就无法解读这些对比。
Mixture-of-Transformers（MoT）
一种多模态稀疏架构：每个模态（本文为代码、视频、动作）拥有独立的注意力 QKV 投影（$W_Q,W_K,W_V,W_O$）、LayerNorm 和 FFN，模态之间通过掩码联合注意力通信——专家内部双向注意力、跨专家按块状因果顺序（本文为代码→视频→动作）。这样各模态可用各自合适的生成方式，又能逐层交换信息。
AW-0 的三专家架构直接建在 MoT 上，注意力顺序消融（C→V→A 优于 V→C→A）是全文最关键的架构结论之一，必须理解块状因果注意力才能读懂。
流匹配（Flow Matching）
连续数据的生成范式：训练时把干净数据 $X^0$ 与噪声 $\epsilon$ 按噪声水平 $\sigma$ 混合成 $X^\sigma=(1-\sigma)X^0+\sigma\epsilon$，让网络回归速度场 $\epsilon-X^0$，采样时沿速度场迭代去噪。本文视频和动作专家都用流匹配，噪声水平经移位函数 $\sigma_m=\gamma_m u_m/(1+(\gamma_m-1)u_m)$ 变换（$\gamma=5$）。
本文的噪声重采样（$q(u)=\alpha p_{pre}(u)+(1-\alpha)p_{ref}(u)$）和重要性加权损失都定义在流匹配的噪声采样分布上，不懂流匹配就看不懂训练目标公式。
离散掩码扩散（LLaDA 式）
离散 token 的生成范式：训练时按比例 $r\sim U(0,1)$ 把 token 随机替换为 [MASK]，模型在被掩位置预测原 token（交叉熵损失）；推理时从全掩码画布开始，每步按置信度解码 top-k 个位置、已解码位置固定，迭代完成序列。与自回归不同，它无时间步、可双向建模、支持并行解码。
AW-0 的代码专家正是用这种'吸收掩码'扩散生成程序（骨干取自 SDAR-1.7B），代码画布 128 token、4 步联合去噪中按置信度逐步提交，是理解推理流程的前提。
Code-as-Policies（CaP）
让 LLM 直接生成可执行的 Python 机器人控制程序，调用感知（物体检测、抓取采样）与控制（移动、抓取、旋转）原语 API，程序在机器人上执行并支持循环、分支等控制逻辑。代码比自然语言更精确、可组合，但对底层原语和感知系统的可靠性高度依赖，且策略本身不被训练。
CaP 是 AW-0 的'智能体侧'思想来源：本文把代码从策略外部的工具变成模型内生的规划表示，并在混合执行模式中让生成的代码真正调用 CaP 式原语执行，理解 CaP 才能把握其双重角色设计。
研究动机
机器人操作的两条主流路线各有一个关键缺口。一方面，世界动作模型（WAM，如 DreamZero）把视觉预测与动作生成耦合，能'先想象未来再行动'，但预测出的视频和动作块本身并不规定长程任务如何分解——模型不知道该调用哪个可复用技能、参数怎么填、子任务之间如何组合；且开放式世界预测代价高，很难界定需要'世界建模'多少自由度。另一方面，智能体机器人系统（Code-as-Policies、ASPIRE、ENPIRE 等）用代码选择可复用技能、绑定场景、追踪进度并重规划，把多步任务结构显式化，但缺乏对真实物理动力学的预测性基础（predictive grounding）：智能体站在策略外部控制机器人，能力上限被封顶在其能调用的原语上。实测数据也反映这种割裂：RoboTwin 2.0 随机化设置下纯 WAM 基线 DreamZero 成功率仅 17.6%，WLA 只有 3.6%，而需要计数、条件选择等语义推理的任务（如按指令整理水果、翻转记分牌）对现有模型普遍困难。
本文的目标是本文要构建统一的'智能体世界动作模型'框架 AW-0，把基于代码的规划直接融入世界动作建模：让同一个模型在联合去噪过程中同时生成结构化技能程序、未来视频和连续动作。代码承担双重角色——在世界模型内部作为多步预测与控制的结构化条件，同时把技能表示为可复用程序供后续智能体执行。为此需解决三个具体问题：其一，设计能容纳离散代码与连续视频/动作的统一生成架构与训练目标；其二，建立自动标注流水线，给约 2,913 小时的机器人与人类第一视角演示标注时间对齐的程序，并蒸馏可复用技能库；其三，探索部署时如何把代码执行与动作块执行结合，在保持 clean 性能的同时提升分布偏移下的鲁棒性。
与已有工作不同的是，本文的独特切入是把代码'从策略外部搬进模型内部'。已有 agentic 系统（ASPIRE、CaP-X、ENPIRE 等）由外部 LLM 编写并执行控制程序，被控模型本身不学习规划；已有 WAM（DreamZero）或文本子目标模型（WLA）缺乏显式技能调用与可执行结构。AW-0 则把代码作为与视频、动作平级的第三个生成流纳入混合专家架构，通过逐层联合注意力让语义规划在整个去噪过程中持续塑造视觉预测与动作生成——而不是像自回归方案那样先生成计划再生成动作。配套地，作者提出两智能体自动标注流水线（Gemini 3.1 Pro 写子任务程序、Claude Opus 4.8 当协调员跨任务蒸馏技能库），并设计推理时在代码执行与动作块之间动态仲裁的混合执行策略，使规划、预测与执行首次在同一个生成模型内闭环。
核心方法
直觉上，AW-0 给世界动作模型装上一个'会写代码的计划脑'：在预测未来画面和动作之前，先用代码把当前子任务写成一段带参数、带控制逻辑的技能调用程序，这段程序像骨架一样约束视频与动作的生成，使长程行为有明确结构。技术上，AW-0 采用 Mixture-of-Transformers 架构，含三个专家：代码专家基于 SDAR-1.7B 语言骨干加冻结的 Qwen3-VL ViT 视觉塔，以 LLaDA 式离散掩码扩散生成程序；视频专家用 Cosmos-Predict2.5-2B 视频 DiT 配 Wan2.2 VAE（48 潜通道）预测未来帧；动作专家是从零训练的 DiT，在统一 64 维状态-动作空间上生成动作块（horizon 32）。每专家 28 层、注意力宽度 2,048，专家内部注意力双向、跨专家按代码→视频→动作块状因果。模型以观测 $O_t$、指令 $L$、状态 $S_t$、历史程序记忆 $M_t$ 为条件，学习 $p_\theta(C_0,Z_0,A_0\mid\mathcal{C}_t)$。
核心创新是代码的双重角色与三流联合去噪。与把代码当外部工具的 CaP 系列不同，也与只用自然语言子目标的 WLA 不同，AW-0 把可执行程序（技能调用+显式参数+控制逻辑+注释）作为世界模型的内生规划表示：代码流为视频和动作专家提供语义条件，让'整理水果'这类指令中的对象选择、计数逻辑在去噪全程持续约束视觉预测；同时解码出的程序本身构成可复用技能库的接口，可在推理时直接执行。消融显示注意力顺序 C→V→A（视频和动作都能看到代码）显著优于 V→C→A 和无代码变体，说明把语义推理直接注入视频生成是关键。另一关键设计是视频噪声重采样：$u_v\sim q(u)=\alpha p_{pre}(u)+(1-\alpha)p_{ref}(u)$（$\alpha=0.5$），配合重要性加权损失 $\mathcal{L}=\mathbb{E}[\lambda_v\bar{w}_v\ell_v+\bar{w}_g(\lambda_a\ell_a+\lambda_c\ell_c)]$，让高噪声区间学到更能指导动作预测的特征。
方法步骤详情
方法分五步。第一步自动标注：Gemini 3.1 Pro 依据声明式 API 为抽样演示写子任务级程序，Claude Code（Opus 4.8）当协调员跨任务蒸馏循环出现的技能，得到冻结技能库（YAM 23 个 + 人类第一视角 27 个）；再缓存'子任务→程序'映射，按'接触与运动证据匹配则复用、否则重标'标注全部语料——248,642 条轨迹、2,913.2 小时、207 万子任务切片。第二步预训练：48 张 H100 联合去噪训练，视频/动作用流匹配（$\sigma$ 移位 $\gamma=5$），代码用吸收掩码加交叉熵；15% 批次把指令与程序替换为掩码。第三步下游微调：每任务 100 条演示标注后微调 20 epochs（RoboTwin 用 2,500 条、10 万步）。第四步推理：4 步联合去噪，128 个掩码 token 的程序画布按置信度每步提交 G/T 个位置，历史切片压缩进 K 个可学习记忆槽。第五步混合执行：代码切片依次通过阶段门、依赖门、语法/白名单/空门后才在共享命名空间执行，否则回退动作块。
技术新颖性
技术新颖性体现在四点。其一，异质模态统一生成：把离散掩码扩散（代码，无时间步）与连续流匹配（视频/动作，各有噪声水平 $\sigma_v,\sigma_a$）放进同一个 MoT 的逐步联合去噪，三种损失的耦合靠跨专家注意力实现，是对 Mixture-of-Transformers 的新用法。其二，噪声重采样与目标加权：拓宽预训练视频噪声分布并以 $w_v=p_{pre}/q$、$w_g=p_{ref}/q$ 加权各目标，属于少见的'为下游条件重塑预训练分布'设计，兼顾视频生成质量与对动作的预测指导。其三，规模化 agentic 标注：标注员+协调员双智能体协议、基于接触事件/手部运动轨迹的证据校验缓存复用，使程序标注覆盖 2,913 小时双语料，产出的结构化技能程序数据集本身即是贡献（50 技能、207 万子任务切片）。其四，混合执行仲裁：在有效性门控之上让代码与动作块共享同一次前向输出，成功回合中代码驱动 35.0%（随机设置）的仿真步数；与最近 WAM 的本质区别在于显式技能调用、可执行性与参数化控制逻辑。
实验结果
仿真与真机一致支持代码规划的价值。RoboTwin 2.0 上 AW-0 平均成功率 50.7% 居首：clean 80.8% 超最强基线 WLA（64.8%）16.0 点；random 20.6% 超 DreamZero（17.6%）但低于 π0.5（27.7%）；混合执行将 random 提至 29.2%，clean 降至 63.1%。真机 8 任务（双平台 rubric 评分）：平均 71.1%，超最强基线 DreamZero（46.0%）25.1 点；语义任务优势最大（Arrange Fruits 91.7%、Flip Scoreboard 68.8%），灵巧任务 Deal Poker 58.3%、Solve Cube 72.1% 也领先。消融：C→V→A 顺序最优，ViT 条件（71.1%）优于 VAE 特征（55.6%），完整代码优于去技能变体（58.3% 对 42.0%），联合去噪（71.1%）优于自回归（54.5%）且延迟 0.23s 对 0.55s；预训练代码准确率 89.7%、解析率 87.5%，打乱视觉使损失升 1.774。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RoboTwin 2.0（50 任务平均） | 成功率 (%) | AW-0: 50.7（clean 80.8 / random 20.6） | π0.5: 41.3；WLA: 34.2；DreamZero: 25.6；EgoScale: 14.5 | 平均超最强基线 +9.4 点，clean 超 WLA +16.0 点 |
| RoboTwin 2.0 random（混合执行模式） | 成功率 (%) | 29.2 | π0.5: 27.7；default AW-0: 20.6；DreamZero: 17.6 | 超最强基线 +1.5 点，较 default +8.6 点，保留 clean 的 46% |
| 真机 8 任务（YAM + Tianji–Sharpa 双平台） | 平均 rubric 分 (%)，3×16 rollouts/任务 | 71.1 | DreamZero: 46.0；π0.5: 43.6；WLA: 39.9；EgoScale: 35.9 | +25.1 点（8/8 任务全部第一） |
| Fold & Stack Towels（真机，混合执行 vs 动作块） | rubric 分 (%) | 90.6 | 动作块执行: 84.4 | +6.2 点 |
| 端到端推理延迟（NVIDIA RTX 5090） | 秒（含视觉编码、联合去噪、视频解码、后处理） | 联合去噪 0.23s | 自回归 0.55s；无代码 0.19s | 2.39× 加速，代码仅增加 21.1% 延迟 |
局限与改进
作者承认的局限有三：代码规划质量依赖自动标注的精度与技能库覆盖，生成程序可能选对技能但参数写错（附录 F.1 中 scrub 位移参数多出两项导致无法直接执行）；结构化规划并未消除对视觉分布偏移的敏感性，混合执行提升随机化成绩却损害 clean 成绩（63.1% vs 80.8%），因为仲裁只按有效性放行代码、不预测它是否优于被替换的动作块；真机混合评估仅限 YAM 平台（灵巧手缺乏 CaP 系统），且系统不会从自身交互中在线学习。我的补充观察：混合模式的代码通道建立在 Molmo、SAM 3、Contact-GraspNet 等外部感知原语之上，继承它们的失败模式，代码执行的上限被原语能力封顶；代码专家的实体 F1 仅 0.534、原语 F1 仅 0.365，参数级预测仍弱；RoboTwin 的 hybrid 配置连训练数据收集方式都不同（CaP 程序生成演示），46.2% 与 default 50.7% 不可直接对比以隔离混合执行本身的贡献；50 个技能对 606 个预训练任务而言覆盖有限，库外行为退化为原语逐条组合。
独立分析的弱点
独立分析有五个弱点。其一，仲裁策略粗糙：只检查语法、白名单、依赖与阶段有效性，不估计代码执行的预期收益，导致 clean 场景引入代码反而掉 17.7 点；改进方向是用模型自身的视频预测当'模拟器'评估两种模式的预期进度后再选择。其二，代码执行链路脆弱：依赖 Molmo 视觉定位、SAM 3 分割、Contact-GraspNet 抓取生成，任一环节失败即拖垮代码通道；改进方向是让视频专家的预测特征服务原语（如用预测帧校验抓取），或对原语做域适应。其三，参数级代码质量不足：实体 F1 仅 0.534，对象名与数值参数经常写偏，直接执行会失败；改进方向是引入 write-execute-repair 执行反馈修复循环。其四，闭源模型依赖：标注用 Gemini 3.1 Pro 与 Claude Opus 4.8，成本高且版本漂移影响可复现性。其五，随机化场景 20.6% 仍不实用：代码规划解决语义错配但对像素级 OOD 无能为力；改进方向是把域随机化扩增数据纳入预训练，或让代码通道主动补偿视觉不确定性。
未来方向
作者提出的方向包括：用执行反馈改进程序 grounding，并发现、精炼初始库之外的可复用技能；学习更好的仲裁器，依据执行可靠性与预期任务进度决定代码与动作块的切换；向持续智能体学习演进——迭代计划修订、技能库扩展、在与环境的持续交互中自主学习，并在更多任务与具身上评估混合执行。基于本文成果可自然延伸的方向：把世界模型的未来预测用作代码候选的验证器，先生成多个程序、用想象评估再择优执行；将代码空间作为强化学习的结构化动作空间做后训练，奖励直接绑定在技能调用层面；跨具身共享技能库（两套 API 已共享 10 个语义接触动词），用同一代码语义适配不同底层原语；把技能发现做成在线闭环，让部署中成功的新例行程序自动入库；以及将联合去噪扩展到更长程序画布与层次化计划（任务→子任务→技能→原语四级）。
复现评估
复现评估：论文提供项目页（agentic-wam.github.io），附录 A/B/K 给出完整架构超参、训练配置、语料统计、API 定义、标注系统提示词与协调员协议，信息非常充分，但正文未明确承诺开源代码与权重，截至阅读时未见官方代码仓库。算力门槛高：预训练需 48 张 H100（6 节点、有效 batch 2,592、1 epoch、2,913 小时视频语料），普通实验室难以承受；下游微调每任务仅需 100 条演示、20 epochs（RoboTwin 有效 batch 96、10 万步），若能获得预训练权重则 8 卡规模即可复现真机结果。数据方面：YAM 语料与 egocentric 人类语料受各自许可证约束，不一定能全量分发；RoboTwin 2.0 是公开基准且训练配置明确。标注流水线依赖 Gemini 3.1 Pro 与 Claude Opus 4.8 两个闭源模型，即使有完整提示词，API 成本与版本漂移仍会影响可复现性。综合判断：下游微调与评测复现难度中等，端到端预训练复现难度高。
论文图表
六类代表性失败（红框标出失败区域）：容器抓取（水果贴近篮沿导致夹爪夹住篮壁）、物体拖拽（拉拉链把整个背包拖倒）、对准不精（灯泡底座与插口未对轴）、工具碰撞（闭合的夹子戳到梨）、滑落（交接时牌堆滑出）、接触丢失（指尖从卡片边缘滑脱）。
系统梳理剩余挑战的具体形态，每类都附带改进思路（如考虑周边几何的抓取检查、工具状态跟踪），是评估后续工作方向的基准。