dWorldEval：基于离散扩散世界模型的可扩展机器人策略评估

用离散扩散统一视觉-语言-动作token，自动打分评估机器人策略

前置知识

世界模型 (World Model)

世界模型以 $W_\theta(\hat{o}_{t+\Delta},\hat{v}_{t+\Delta}\mid o_t,a_t,h_t,l)$ 形式化：给定当前观测、历史与动作，预测下一帧与任务进度，是真实执行/物理仿真器的数据驱动低成本替代品，用于策略可扩展评估。

本文的全部论证都建立在"世界模型可作为策略评估代理"这一假设上，不了解世界模型就无法理解为什么做 $\Delta$-LPIPS、为什么引入 keyframe memory。

掩码离散扩散 (Masked Discrete Diffusion, MDD)

MDD 是扩散在离散 token 空间的对应物：前向按 $m(\lambda)$ 概率把目标 token 替换为 [MASK]，反向由单个 Transformer 联合去噪，损失为加权交叉熵，推理用并行迭代解码，是 LLaDA/MMaDA/dVLA 同源技术。

MDD 是 dWorldEval 的底层生成机制，决定了为什么动作可以与视觉 token 在同一序列中平等建模，也是与 LLaDA、M MaDA、dVLA 一脉相承的核心技术。

Token 化统一序列 (Unified Token Sequence)

把视觉 (MAGVIT-v2)、语言 (LLaDA)、动作 (FAST) 三种模态离散化并扁平拼成一条序列，通过自注意力直接耦合，键帧用文本帧索引标注时序，是本文与 AdaLN/cross-attention 路线的本质差别。

本文核心创新就是这一"动作不再做条件而是同级 token"的设计，正是它让模型对 OOD 动作敏感、让 $\Delta$-LPIPS 显著下降、让 Pearson 相关系数从 0.7 抬到 0.9。

研究动机

通用机器人操作策略虽快速进步，但在数千环境数千任务上做可靠评估依然困难。真实执行代价高，物理仿真器又重资产，因此视频生成型世界模型（如 WorldEval、Ctrl-World、WorldGym）被寄希望成为可扩展评估代理。但现有方法被两大瓶颈限制：其一，OOD 动作下模型会"幻觉式成功"，因为它们在成功演示上训练、动作仅以 AdaLN 或 cross-attention 等弱条件注入，被强烈的视频先验压制；其二，长时序会出现刚体形变、物体消失等不一致伪影。论文给出 LIBERO Failure 子集 $\Delta$-LPIPS 数据点：WorldGym 从 0.347 飙到 0.650，证明在失败数据上性能严重退化。

本文的目标是本文要造一个能作为可信评估代理的离散扩散世界模型 $W_\theta$，同时满足三条性质：(1) 动作可控——预测须忠实反映输入动作带来的视觉变化；(2) 时空一致——长视野 rollout 不能漂移；(3) 自动成功判别——无需外部 VLM 或 reward 即可判断回合是否完成。最终目标是使评估出的策略成功率与真实执行强相关 (Pearson $r\approx 0.9$)，从而替代大规模真实 rollouts，把评估成本从万次级真机执行压到想象 rollout。

与已有工作不同的是，现有方法的瓶颈是架构性的而非数据性的——把动作当辅助条件注入视觉去噪器注定无法保证控制力。本文切到 Masked Discrete Diffusion + 统一 token 序列，把动作作为一级 token 与视觉对等建模，并加上稀疏关键帧记忆 (spare keyframe memory) 和离散进度 token 两项针对性设计，从架构层同时解决可控性、漂移、成功判别三大问题，并配套提出 $\Delta$-LPIPS 这种动态感知指标用于动作可控性诊断。

核心方法

dWorldEval 的整体直觉是"动作不是条件，是 token"。它把视觉、语言、动作 chunk 都离散化并拼成一条扁平序列，由一个从零训练的单 Transformer 自回归地联合去噪：每个视觉 token 通过自注意力直接看到动作 token，因此动作对生成内容有原生级控制力。为保长程稳定，引入每 $\Delta$ 步一次的低分辨率关键帧记忆（拼接在 token 序列头），并把绝对帧索引用文本 token 写入，以 anchor 全局布局。最后在目标序列尾部追加一个离散进度 token（如"1.0"），用 SEED-1.5VL 在少样本下打的分做训练目标，从而推理时无需外部 oracle 即可读出完成度。

三条核心创新。第一，Unified Token Sequence：用 MAGVIT-v2（RGB）、LLaDA（语言）、FAST（动作）异构 tokenizer 把所有模态拼成一条一维序列，自注意力直接耦合动作与视觉 token——这一"扁平化"是和 AdaLN/cross-attention 路线的本质架构区别。第二，Spare Keyframe Memory：用滑动窗口在 $128^2$ 分辨率下采 $K=4$ 关键帧与当前 $256^2$ 多视角观测拼接，并加绝对帧索引文本 token，保证长视野不漂移。第三，Discrete Progress Token：把"任务完成 0–1"也作为文本 token 拼入目标序列，让模型联合预测视频帧和分数，省去外部 VLM/success classifier。

方法步骤详情

训练时，给定语言指令 $l$、当前多视角观测 $o_t$、关键帧历史 $h_t$、未来动作 chunk $a_t$，首先用 MAGVIT-v2、LLaDA、FAST 各自 tokenizer 离散化，扁平拼成 context $c_t$。然后采样扩散强度 $\lambda\sim U(0,1)$ 对目标视觉 token + 进度 token 做掩码替换，构造 $\tilde{y}_{t+\Delta}\sim q_\lambda(\tilde{y}\mid y_{t+\Delta})$。Transformer 按 $L_{WM}=\mathbb{E}[-\sum_{j\in\Omega_\lambda}w_j\log p_\theta(y_j\mid c_t,\tilde{y}_{t+\Delta},\lambda)/m(\lambda)]$ 加权重建被遮蔽 token，其中 $w_j=2$（进度）/1（视觉）。推理时用 16-step 迭代并行解码同时生成下一帧与进度 token，读出 $\hat{v}_{t+\Delta}$，配合 $\Delta$-LPIPS 完成评估。

技术新颖性

从架构新颖性看，本文首次把 MDD 范式从策略学习 (dVLA) 拓展到世界建模，并把"动作注入"彻底改为 token-level 平等建模，消除视觉先验对动作信号的压制。从评估指标新颖性看，本文提出 $\Delta$-LPIPS（对差分图像 $\Delta\hat{o}_t,\Delta o_t$ 做 LPIPS 并 RMS 归一化），用动态变化而非静态画面衡量控制力，是评估 OOD 动作鲁棒性的关键诊断工具。从成功检测新颖性看，把进度分数离散化为文本 token 并入同序列，使评估闭环无需 VLM，节省推理开销、消除跨模型不一致。

**Figure 2**: dWorldEval 架构总览：(a) 统一 token 序列；(b) Spare keyframe memory；(c) Discrete progress token。

**Figure 3**: 真实世界 setup 与 rollout 可视化：双 AgileX 平台 (2×6-DoF, 3×RealSense 457)，右上/左上展示腕视角，右侧显示 Clean the Table 任务的成功 vs 失败想象轨迹。

实验结果

实验覆盖 LIBERO（含单/多视角）、RoboTwin（$\pi_0$, DexVLA, Diffusion Policy 异构策略）、真实 AgileX 双臂（5 任务 5.2k 轨迹含 1k 人采失败）。核心数字：(1) LIBERO 上 WorldGym 失败子集 $\Delta$-LPIPS 由 0.347 退到 0.650，而 dWorldEval 维持在 0.352，证明动作可控性大幅提升；(2) 长程一致性 H=20 时 ours Full LPIPS=0.243 对消融 w/o memory 的 0.411，记忆模块对漂移抑制明显；(3) 真实执行 vs. 想象评估的 Pearson $r$ 在 LIBERO multi-view 0.910、RoboTwin 0.927、real-world 0.918，MMRV 由基线最差 0.039 压到 0.013，证明策略排序准确；(4) 自动进度打分 (Auto) 与真实 (Real) 在 $\pi_0$ 多 checkpoint 上轨迹高度一致，并能捕捉非单调性能回落，说明打分"基于实际视觉变化"而非随时间单调累加。

**Table 1**: LIBERO 上动作可控性：LPIPS vs $\Delta$-LPIPS 在 Expert vs Failure 子集上的对比。

**Table 2**: 长程一致性分析：不同 horizon $H\in\{5,10,15,20\}$ 下的 round-trip LPIPS。

**Table 3**: 跨平台通用多视角保真度：LIBERO/RoboTwin/Real 在不同视角下的 LPIPS 与 $\Delta$-LPIPS。

**Table 4**: 完整长程一致性对比：基线 video-diffusion vs Ours (Full) 的 round-trip LPIPS。

**Figure 4**: RoboTwin 上 ground-truth vs dWorldEval 多视角 rollout 可视化 (左/右：次优 vs 成功；上/下：仿真器真实 rollout vs 预测)。

**Figure 5**: (a) 次优输入下的动作可控性；(b) 长程 round-trip 一致性。

**Figure 6**: Joint generation enables automatic policy scoring：(a) 进度 token 在回合内随时间变化；(b) $\pi_0$ 多 checkpoint 下 Real vs Human vs Auto 三种打分曲线对比。

**Figure 7**: 真实执行 vs 世界模型想象评估的散点与 Pearson $r$、MMRV，对比视频扩散基线 (a) 并跨 LIBERO multi-view / RoboTwin / Real 做消融 (b–d)。

查看结构化数据

任务	指标	本文	基线	提升
LIBERO 失败子集动作可控性	$\Delta$-LPIPS ($\downarrow$)	0.352	WorldGym: 0.650 (Failure)；WorldEval 0.423；Ctrl-World 0.416	vs WorldGym 相对下降约 45.8%，对 Failure 退化几乎免疫
LIBERO 长程一致性 (H=20)	Round-trip LPIPS ($\downarrow$)	0.243 (Full)	0.411 (w/o Memory)；Ctrl-World 0.370；WorldEval 0.531	vs Memory 消融下降 40.9%，vs WorldEval 下降 54.2%
LIBERO 多视角策略排序	Pearson $r$ (Real vs Imag)	0.910 (MMRV=0.013)	w/o memory $r$=0.786；baselines MMRV up to 0.039	$r$ 提升 ~0.124，MMRV 降低 ~66.7%
RoboTwin 跨异构策略排序	Pearson $r$	0.927	w/o memory 显著退化（多视角 $r$=0.786）	在 $\pi_0$ / DexVLA / DP 三种策略下均保持高相关
Real-World 真实执行一致性	Pearson $r$	0.918	真实执行 vs. dWorldEval 想象	跨 5 个真实任务（Bussing/Place Cup/Handover/Strike/Place Bottles）维持 0.918
跨平台通用视觉保真	Multi-view $\Delta$-LPIPS ($\downarrow$)	约 0.31–0.36（LIBERO / RoboTwin / Real Top-Down & Wrist）	WorldEval 等视频生成基线在 Failure 上明显恶化	在仿真与真实域保持稳定，体现统一 tokenizer 对域 gap 鲁棒

局限与改进

作者承认的局限：基线无法严格跟随动作，因此部分指标 (如 round-trip) 对它们不公平比较，故部分实验只做消融而非基线。从论文细节还可观察到：(1) dWorldEval 训练数据需要专门加入 ~1k 失败轨迹 (LIBERO/Real 各 1k)，Failure 子集数据成本不低；(2) 16-step 并行解码虽快，但仍需 16 次前向，闭环想象一个回合的成本不算低；(3) 进度 token 依赖 SEED-1.5VL 离线打标，标签噪声会传递；(4) 关键帧只保留单一全局视角，复杂视角切换场景下记忆可能不足；(5) 在 H=20 时 LPIPS 0.243 已不极小，真实长程任务仍有漂移。

独立分析的弱点

（1）失败轨迹数据依赖：1k 人采失败数据难以扩展到大规模任务，若打标/采集流程不能自动化，工程落地成本高——可考虑自动挖掘失败数据或加入 RL 探索策略生成。(2) 进度 token 标签噪声：用 SEED-1.5VL 少样本打标 0–1 分会带来标签抖动，可改为多模型集成打标或加一致性正则。(3) 单视角关键帧：仅保留 top-down 关键帧，多机位切换场景可能失效，未来可引入动态视角选择机制。(4) 推理计算冗余：16-step 并行解码 + 多视角 token 仍偏慢，可结合自适应步数早停 (如 [40])。(5) $\Delta$-LPIPS 仅捕捉感知差异，未必能反映物理可行性的真实违反，可结合物理约束或可微仿真器作为额外奖励。

未来方向

作者明示意图：把这一架构范式推广到大规模世界仿真器，让机器人评估摆脱真实 rollouts。可延伸方向：(a) 与 RL 联合训练，让 policy 在 $W_\theta$ 内做 imagined RL 而后部署；(b) 把整套世界模型扩展到 manipulation 之外的导航/自动驾驶，利用统一 token 序列兼容更多模态；(c) 把进度 token 替换为可解释的子目标 token，使世界模型同时具备"任务图"推理；(d) 用更强的 MDD 采样策略 (如基于 reward/critic guidance) 增强动作可控性，把 $\Delta$-LPIPS 再压低；(e) 在真实硬件上做全闭环策略选择——让 dWorldEval 直接在千万想象中筛选 top-K checkpoint 再去真实部署。

复现评估

项目页 https://dworldeval.github.io 提供了入口，但摘要内未声明代码/权重开源情况。基于论文细节复现的工作量较大：需复现 MAGVIT-v2 视觉 tokenizer、LLaDA 语言 tokenizer、FAST 动作 tokenizer 的训练或加载对应权重；需在 LIBERO/RoboTwin 上采集 5.5k+1k 轨迹，并部署 AgileX 真机 (2×6-DoF + 3 RealSense 457) 采 5.2k 轨迹；训练数据规模与算力未公开，但按 [40] 类工作估计至少需要 8×H100 量级；SEED-1.5VL 进度打标管线需复现；超参 $\Delta\in[2,8]$ chunk、$K=4$、$w_{visual}=1,w_{progress}=2$、16-step 解码较为明确。整体复现难度高，工程实现而非纯算法工作。

dWorldEval：基于离散扩散世界模型的可扩展机器人策略评估 dWorldEval: Scalable Robotic Policy Evaluation via Discrete Diffusion World Model