← 返回 2026-10-09

DreamTrue：基于反事实后训练的动作忠实机器人世界模型 DreamTrue: Action-Faithful Robot World Model with Counterfactual Post-Training

Junyan Li, Ruizhi Li, Yu Liu, Xiangshuo Liu, Mingchao Sun, Hongyu Pan, Mu Xu, Lue Fan, Zhaoxiang Zhang 📅 2026-10-08 👍 39 2026-11-11 18:30

动作跟随强化学习后训练机器人世界模型相机标定视频生成跨本体

arXiv HuggingFace PDF

离线几何标定加反事实奖励后训练，让机器人世界模型忠实跟随动作且物理合理

前置知识

机器人世界模型

一种学习环境动力学的生成模型：给定初始多视角观测、任务指令和动作序列，预测场景未来如何演化（通常以视频形式输出）。它相当于一个可交互的“神经模拟器”，可用于策略训练、数据生成与闭环评估，避免真实机器人反复试错的高昂成本。

本文的 DreamTrue 就是一个多视角、跨本体的动作条件世界模型，全文的标定、两阶段训练与奖励设计都围绕“如何让世界模型忠实且物理合理地预测未来视频”展开。

跨本体动作表征

不同机械臂（AgiBot-G1、Franka、Piper、AgileX、UR5 等）的动作定义（关节角、末端位姿、自由度）各不相同，直接共享一个动作编码器很难。跨本体方法把各机器人的动作统一渲染成图像空间条件——机器人渲染图、深度图、amodal 掩码和相机光线 Plücker 图——让一个共享检查点能同时吃下所有数据集。

本文 Stage I 的核心就是这种统一图像空间动作表征，理解它才能明白异构动作如何进入同一个视频生成器并实现跨数据集联合训练。

视频 DiT 与流匹配

Diffusion Transformer（DiT）把视频经 VAE 压缩到隐空间后，用 Transformer 逐步去噪生成视频。流匹配（flow matching）是一种训练目标：模型回归从噪声到数据的速度场 $u_\tau$，损失为 $\mathcal{L}_{SFT}=\mathbb{E}\|f_\theta(z_\tau,\tau;c)-u_\tau\|_2^2$，训练比传统 DDPM 更稳定高效。

DreamTrue 的生成器就是视频 DiT 加流匹配训练（式 3），Stage II 的 DiffusionNFT 后训练目标也建立在正负去噪目标之上。

VACE 条件分支

VACE 是给预训练视频 DiT 注入控制信号（编辑、姿态、深度等）的架构：额外一条 context 分支编码条件特征，以残差形式注入对应的 DiT 层，从而在不破坏预训练权重的前提下实现对生成内容的精确空间控制。

本文把机器人渲染 RGB、深度、掩码和 Plücker 光线图编码后拼接成 VACE 的输入上下文，动作条件正是通过这条分支进入生成器的。

SE(3) 扰动与逆运动学

SE(3) 是同时包含旋转与平移的三维刚体变换群，可描述末端执行器位姿的变化。对录制轨迹的末端位姿施加 SE(3) 扰动即可构造“反事实动作”；逆运动学（IK）再把期望的末端位姿序列反解成关节角序列，使扰动后的轨迹变成可执行的机器人动作。

Stage II 反事实动作的构造正是“末端 SE(3) 扰动 + 插值 + IK”，这是把模型交互覆盖从“只见成功”扩展到“也见失败”的关键手段。

奖励模型与 RL 后训练

奖励模型给生成结果打标量分，用于强化学习后训练。本文对每个动作条件采样一组未来视频，在组内对奖励做归一化得到优势 $A_i$（类似 GRPO/GDPO 的做法），再用 DiffusionNFT 目标 $\mathcal{L}_{NFT}=\mathbb{E}\,r(A_i)\ell_i^+ + (1-r(A_i))\ell_i^-$ 更新生成器：正优势强化、负优势遗忘。

Stage II 整个反事实后训练就是这个循环：奖励模型打分 → 组内归一化 → DiffusionNFT 更新，理解它才能看懂无真值监督下模型如何变“物理正确”。

研究动机

现有公开机器人数据集（Open X-Embodiment、DROID、AgiBot World 等）虽提供了海量动作–视频对，但直接拿来训练动作条件世界模型有两个硬伤。其一是标定不准：把动作渲染成图像空间条件是提升动作跟随的主流做法，但它依赖精确的相机内外参；而公开数据往往缺少可靠标定，导致渲染出的机器人在画面里与真实录像错位。论文实测，使用 DROID 自带标定时，预测末端与真值的同步位置误差高达 11.78 像素，动作条件与监督目标系统性不一致。其二是成功偏差：训练数据几乎全是成功演示，模型很少见过抓空、打滑、物体滑落等失败情形，于是在反事实动作下大量“幻觉成功”——明明没抓到，却预测物体跟着夹爪升起来。人工评测显示，基线模型在反事实动作下的交互缺陷率高得惊人：EnerVerse-AC 为 48.12%、Genie Envisioner 为 54.38%。这种过度乐观会误导动作选择，并在策略评估中系统性高估成功率。

本文的目标是本文的目标是：在不额外采集任何真实机器人数据的前提下，训练一个多视角、跨本体的机器人世界模型，使其视频预测既“动作忠实”（严格跟随给定动作序列）又“物理合理”（物体交互符合真实物理）。具体拆成三件事：第一，提出离线几何标定，仅凭已有 RGB 演示数据修正相机内参、外参、畸变和机械臂安装偏移，让渲染的动作条件与录像帧空间对齐；第二，提出反事实后训练，通过扰动录制轨迹构造可能导致失败的动作，把模型见过的交互从“只有成功”扩展到“覆盖失败”；第三，构建人工标注的视频缺陷数据集（覆盖机器人本体、物体一致性、交互合理性三个维度，共 44.9K 视频、30.4K 缺陷标注），训练具身视频奖励模型，用其分数引导强化学习后训练，压低可观测的物理缺陷。最终在 AgiBot 基准上做到动作跟随与交互缺陷率双优，并冲击 AgiBot World Challenge 2026 世界模型赛道。

与已有工作不同的是，本文的独特切入是把“修数据”而不是“采数据”作为主线。标定方面，传统手眼标定（AX=XB）和可微渲染方案都需要专门采集标定序列，PointWorld 虽能从现有录像精化相机位姿但依赖 FoundationStereo 立体深度，而很多数据集根本没有深度输入；DreamTrue 只用 RGB 演示，通过渲染机器人与录像间的像素对应、跨帧静态背景对应、多视角同步对应三组约束，联合优化相机参数与安装偏移，适用面宽得多。交互覆盖方面，DreamDojo 靠人类视频迁移知识、PlayWorld 靠自主交互数据、FACT 从失败轨迹预测未来，但都没解决“反事实动作没有真值未来视频、无法直接监督”的问题；WorldCompass 虽做过无配对奖励后训练，但其奖励只关注相机轨迹跟随和画面质量，不评估物体物理交互。DreamTrue 用人工缺陷标注训练具身奖励模型来打分，首次把“物理交互合理性”作为世界模型后训练的强化信号。

核心方法

直觉上，这篇论文分两步把世界模型“掰正”：先把动作条件的几何关系修对（看得准），再用反事实样本和奖励模型教它物理常识（动得对）。第一步离线几何标定：用录制的机器人状态渲染 URDF 模型，与录像帧建立像素对应，联合优化相机内参、外参、畸变和机械臂安装偏移。第二步 Stage I 监督训练：把异构动作统一渲染成图像空间条件——机器人 RGB $\tilde{R}$、深度 $D$、amodal 掩码 $M$ 和相机光线 Plücker 图 $P$，夹爪开合映射到背景灰度；条件经视频 VAE 和 3D 几何编码器进入 VACE 分支，以残差注入视频 DiT，多视角隐变量沿宽度平铺，用流匹配损失在 AgiBotWorld-Beta、DROID、RoboMIND 2.0、RoboTwin 2.0 四数据集（共 2,232 小时、5 种机械臂）上联合训练。第三步 Stage II 反事实后训练：SE(3) 扰动构造反事实动作，每个条件采样一组未来视频，冻结的具身奖励模型打分，组内归一化优势后以 DiffusionNFT 更新生成器，录制动作额外加 PSNR 奖励保真。

核心创新两点，本质都是“从已有数据中榨出监督信号”。其一是离线几何标定：无需标定序列和深度，仅凭 RGB 演示恢复相机参数与安装偏移。它构造三组对应——渲染机器人与观测的 $P_{\text{align}}$（RoMaV2 匹配 + SAM3 掩码限臂部）、跨帧背景的 $P_{\text{time}}$、同步视角的 $P_{\text{view}}$，联合求解 $(\Theta^*, \xi^*) = \arg\min$ 的重投影误差与光线共面正则 $(r_a\times r_b)^\top(o_a-o_b)$。其二是反事实后训练的监督替代：反事实动作没有真值未来，算不了重建损失；但有些错误画面里直接可见——没抓到物体却随夹爪上升、失去支撑仍悬空。论文据此定义 L1 本体、L2 物体、L3 交互三类缺陷，人工标注后微调 Qwen VLM 奖励模型，奖励取 $R_k(\hat{x}) = -p^k_\phi(\hat{x})$，再以组归一化优势加 DiffusionNFT 强化学习，把“没有真值也能反馈”变成可扩展的训练信号。

方法步骤详情

流水线分六步。①对应构建：用 URDF 与录制状态渲染机器人，建立其与录像帧的对应 $P_{\text{align}}$，另提取跨帧背景 $P_{\text{time}}$、跨视角 $P_{\text{view}}$ 两组对应；匹配用 RoMaV2，分割用 SAM3。②联合标定：按式 (2) 优化内外参、畸变 $\Theta$ 与安装偏移 $\xi$，发布 153,666 条序列的精化标定。③动作编码：逐帧渲染 $\{(\tilde{R}^v_t, D^v_t, M^v_t, P^v_t)\}$，夹爪开合编码进背景灰度，经 VAE 与 3D 几何编码器进入 VACE 分支。④Stage I 训练：初始观测作参考隐帧，以流匹配损失 $\mathcal{L}_{SFT}$ 在四数据集联合训练。⑤反事实与奖励：对末端位姿加 SE(3) 扰动并插值，经逆运动学得反事实动作；人工标注 L1/L2/L3 缺陷，交叉熵微调 Qwen VLM 奖励模型。⑥Stage II 后训练：每条件采样一组视频，冻结奖励模型打分（录制动作加 PSNR 奖励），组内归一化优势 $A_i$ 后更新生成器。

技术新颖性

技术新颖性可从三组对照看。对标定类工作：手眼标定和可微渲染都要专门采集标定序列，PointWorld 需要立体深度输入，而本文把“机器人渲染对应 + 时间对应 + 视角对应”放进一个联合非线性优化，只用 RGB 就在 DROID 的 38,356 条序列上以 75.5% 的胜率超过 PointWorld，且发布覆盖 15 万条序列的精化标定，是问题形式化与工程的双重贡献。对动作表征类工作：以往各数据集动作空间异构，要么各训各的要么加适配器；本文把夹爪开合编码进背景灰度、相机运动编码为 Plücker 图，全部塞进统一的图像空间条件，用单个共享检查点横跨 5 种机械臂和真实/仿真环境，还能零样本迁移到训练中没见过的 WidowX250 本体。对奖励后训练类工作：WorldCompass 的奖励面向相机跟随与画质，EWMBench/WorldArena 只是评价指标而非训练信号；本文首次用人工缺陷标注训练具身奖励模型，把“物理交互合理性”变成可优化世界模型的强化信号，并在 DiffusionNFT 框架里加入针对录制动作的 PSNR 奖励防止保真度回退，兼顾“新动作学物理、旧动作不退步”。

**Figure 1**: Overview of DREAMTRUE. Camera calibration aligns robot renderings with recorded videos. Stage I learns action-conditioned prediction across embodiments, while Stage II uses video rewards for counterfactual post-training to improve interaction plausibility.

**Figure 2**: Correspondences used for calibration: (a) robot renderings and observations, (b) static backgrounds across time, and (c) synchronized camera views.

**Figure 3**: Unified multi-view world model. Robot renderings, gripper openings, and camera rays condition the video DiT through a VACE branch to predict multi-view future videos.

**Figure 4**: Representative defects across three dimensions: robot embodiment (L1), object consistency (L2), and interaction plausibility (L3).

实验结果

核心结果五组。①AgiBot 基准（表 1）：录制动作 nDTW 0.8772、反事实动作 0.8831 均为第一，PSNR 23.06 全面领先；奖励后训练把交互缺陷率从 48.12% 压到 6.25%、物体缺陷从 31.88% 到 3.12%，nDTW 不降反升。②AgiBot World Challenge 2026 夺冠：EWMScore 0.829、动作跟随 0.9651 均居首（第二名 0.8245）。③跨数据集与迁移（表 3、图 7）：DROID 上 PSNR 22.95 优于 Ctrl-World 的 22.00，零样本泛化到未见场景与本体 WidowX250。④策略评估（图 8）：24 个组合上预测-真值拟合 $y=1.032x-0.009$，Ctrl-World 为 $y=0.919x+0.087$ 系统性高估失败，成功率 MAE 12.92→7.08 pp。⑤标定与奖励（表 4、5）：精化标定使渲染 IoU 在 AgiBot 130,182 条序列 +0.228；奖励模型 4,893 条片段准确率 86.33%、macro-F1 74.21%。

**Table 1**: Benchmark evaluation on AgiBot under recorded and counterfactual actions. Defect rates are reported in percent (%).

**Table 2**: Action-conditioned generation results of the world model track of the AgiBot World Challenge 2026.

**Table 3**: Multi-view recorded-action fidelity on DROID, RoboMIND 2.0, and RoboTwin 2.0.

**Table 4**: Ablation on geometric calibration across training and inference stages on AgiBot and DROID. Sync error measures the 2D Euclidean distance (in pixels) between predicted and ground-truth end-effector positions.

**Table 5**: Defect discrimination performance of the embodied video reward model on the held-out validation benchmark.

**Figure 5**: Qualitative comparison of counterfactual action predictions. Compared with GE-Sim 2.0 and our model without RL, the full model avoids unsupported scanner motion and object disappearance or duplication in these examples.

**Figure 6**: Predictions from the same initial scene under multiple action conditions.

**Figure 7**: Prediction across embodiments and environments. A shared checkpoint generates rollouts on 4 datasets and generalises without additional fine-tuning to (e) unseen real-world scenes and (f) an unseen robot embodiment (WidowX250).

**Figure 8**: Policy outcome alignment against ground-truth simulation across 24 evaluation conditions (inset: success-rate MAE).

**Figure 9**: Geometric calibration results. (a,b) SAM3 masks (green) overlaid with Original (red) and Ours (blue) contours. (c–e) IoU comparisons against Original and PointWorld, using AgiBot's head view and DROID's two external view mean. Points above the diagonal favor Ours.

查看结构化数据

任务	指标	本文	基线	提升
AgiBot 动作跟随（录制动作）	nDTW ↑	0.8772	次优 Genie Envisioner 0.8124	+0.0648
AgiBot 动作跟随（反事实动作）	nDTW ↑	0.8831	次优 GE-Sim 2.0 0.7817	+0.1014
AgiBot 反事实交互缺陷率（人工评测）	交互缺陷率 ↓	6.25%	EnerVerse-AC 48.12%（自身去掉 RL 后同样 48.12%）	-41.87 个百分点
AgiBot 视觉保真（对真值视频）	PSNR ↑ / SSIM ↑ / LPIPS ↓	23.06 / 0.936 / 0.094	次优 Genie Envisioner 20.72 / 0.890 / 0.112	+2.34 dB
AgiBot World Challenge 2026 世界模型赛道	EWMScore ↑	0.829（第 1 名）	PAIWorld 0.8245（第 2）、3u Loop 0.8241（第 3）	+0.0045，同时动作跟随与视觉质量均为第一
DROID 多视角保真	PSNR ↑ / LPIPS ↓	22.95 / 0.073	Ctrl-World 22.00 / 0.162	+0.95 dB / -0.089
策略成功率评估对齐（RoboTwin 2.0 仿真，24 组合）	成功率 MAE ↓ / Spearman ρ ↑	7.08 pp / 0.937	Ctrl-World 12.92 pp	-5.84 pp，线性拟合斜率从 0.919 修正到 1.032
机器人渲染-观测对齐（标定质量）	与 SAM3 掩码的面积加权 IoU ↑	AgiBot 上较原始标定 +0.228（130,182 条，97.1% 改善）；DROID 上 +0.212（63,061 条）	数据集自带标定；DROID 上另胜 PointWorld（75.5% 序列）	同步位置误差 7.73→4.60 px（AgiBot）

局限与改进

作者自己承认的局限：动作表征、生成器和 VLM 奖励模型全部工作在图像空间，在遮挡或视角受限时，模型可能生成（甚至奖励模型可能奖励）视觉上以假乱真但物理上错误的交互。我补充几点观察：其一，反事实动作的构造相当受限——只对末端位姿做一次 SE(3) 扰动再插值，不覆盖轨迹中途改变、非刚性物体、工具使用等更丰富的失败模式，反事实测试集也只有 160 个条件、54 个任务；其二，奖励模型依赖人工标注，L1 维度虽然准确率 96.69% 但 macro-F1 只有 69.37%，说明类别极不平衡、稀有缺陷学不好，且 RL 后训练存在奖励黑客风险——模型可能学会骗过 VLM 而不是真变物理正确；其三，标定假设相机静止、安装刚性、URDF 已知，精化后同步误差仍有 4.6–8.1 px，对精细接触任务可能不够；其四，策略结果评估只在 RoboTwin 仿真里有真值可用，真实世界策略评估的保真度未被直接验证；其五，论文未报告长时程自回归滚动的稳定性，而这恰是世界模型作为策略评估器的核心使用场景。

独立分析的弱点

独立分析四个弱点。①图像空间奖励的天花板：L2/L3 缺陷本质是 3D 物理问题，纯 2D 判别在遮挡、透明物体、精细接触上必然失效，6.25% 的残余交互缺陷率可能正是这个天花板；改进方向是给奖励模型补一条深度/点云一致性或多视角几何约束通道，让物理判断不依赖“看得见”。②反事实多样性不足：只在末端位姿加扰动意味着“失败方式”分布很窄，模型可能只学会避免这几类失败，而不是学到底层物理；可以用物体级扰动（推、撞、换质量）、外部力扰动或检索真实失败片段来拓宽反事实剧本。③人工标注瓶颈：44.9K 视频、30.4K 缺陷标注成本不低，且“物理合理性”的判断本身有主观性（κ=0.7817 意味着仍有分歧）；半自动伪标注加主动学习挑疑难样本是自然的降本路线，也可以让世界模型与奖励模型交替迭代、互相出题。④评估广度有限：缺陷率人工评测只覆盖 160 个反事实条件、3 名标注员，策略评估限于仿真双臂任务；应在更多本体、更长时程、真实闭环部署中验证缺陷率指标的可迁移性，否则 6.25% 这个数字的普适性存疑。

未来方向

作者提出方向之外，可延伸的空间很大。直接延伸：把世界模型 rollout 用作 VLA 策略训练的数据生成与离线预筛选——论文已证明其成功率估计近乎无偏（MAE 7.08 pp、偏差 +0.42 pp、ρ=0.937），完全可以当廉价的策略评估器；把发布的三数据集精化标定（153,666 条序列）和 44.9K 缺陷标注做成社区基准，推动“物理合理性”成为世界模型的标准评测维度。方法延伸：把奖励模型从 2D 视频升级为几何感知（深度、3D 一致性），或引入力/接触的隐式表征，解决遮挡下的物理判断；把反事实构造从末端扰动推广到轨迹级、物体级编辑，结合文本指令生成更丰富的失败剧本；探索奖励模型与世界模型的联合迭代更新（类似 RLHF 中的奖励模型刷新），防止奖励随生成器进化而过时。系统延伸：在闭环规划中做“动作前验证”——先在世界模型里 rollout 候选动作再挑最优执行；以及研究共享检查点与具体机器人快速适配（少量数据微调或 LoRA）的结合。

复现评估

开源情况：论文明确承诺发布三项资产——三个数据集（含 AgiBot、DROID）共 153,666 条序列、超 1,660 小时的精化标定结果；覆盖多个世界模型生成视频的 44.9K 条标注（其中 30.4K 为缺陷标注）；项目主页为 brave-eai.github.io/DreamTrue。但正文摘要与实验部分未明确说明模型权重和训练代码是否开源，完整复现仍需自行实现。复现门槛较高：需要能渲染各本体 URDF 的渲染环境、RoMaV2 与 SAM3 做对应关系、逆运动学求解器；生成端是视频 DiT + VAE + VACE 分支，在 2,232 小时多视角视频上做流匹配训练，随后还有“每个条件采样多条视频 + VLM 打分”的 RL 后训练，算力需求属于大规模视频生成模型的量级（论文未给出 GPU 数量与训练时长）；奖励模型微调基于 Qwen VLM 也需要可观 GPU。整体判断：标定与标注资产的复用价值高、门槛低（下载即可用），完整复现训练则非常困难，更适合基于其发布资产做下游研究或对标评测。