ThinkWorld：用世界想象强化链式动力学推理的机器人操作学习 ThinkWorld: World Imagination Reinforces Chain-of-Dynamics Reasoning

第一步，统一运动表示与分词：机器人动作与人类手腕轨迹都转成 delta 末端执行器表示（平移用 0.3448 m、旋转用 0.9119 rad 固定尺度归一化；人类坐标以演员为中心、+z 对齐重力、+x 跟随朝向），在 1 秒窗口上训练 FAST 式分词器（词表 2048），得到目标 CoD 序列 $c^\star_t = \mathcal{T}(m_t)$。第二步，VLM SFT（150k 步，batch 128，VLM 学习率 $10^{-5}$）：优化 $\mathcal{L}_{SFT} = \mathcal{L}_{CoD} + \lambda_{future}\mathcal{L}_{future}$，其中 $\mathcal{L}_{CoD}$ 是生成 CoD 的交叉熵；未来预测在冻结 DINOv3 特征空间进行，$\mathcal{L}_{future}$ 为逐 patch 的 $1-\cos$ 加 SmoothL1（$\beta=0.01$）；辅以 VQA 数据防灾难遗忘。第三步，动作专家训练（50k 步）：冻结 VLM，按 masked flow matching 训练 MolmoAct2 动作专家，$x_t=(1-t)\epsilon + t a$ 下回归 $a-\epsilon$，推理时 10 步 Euler 积分。第四步，世界想象 RL（2k 步，只更新 VLM）：每个上下文采样 $K=4$ 条 CoD，冻结的 future projector 给出想象未来 $z_{t+\Delta}$，奖励 $r_{world}=\mathrm{sim}(z_{t+\Delta}, z^\star_{t+\Delta})$ 取全局平均与运动加权 patch 余弦相似度的均值；$\mathcal{L}_{RL}=0.999\mathcal{L}_{GRPO}+0.001\mathcal{L}_{replay}$，GRPO 重要性比率裁剪于 $[0.8,1.28]$、KL 系数 0.04，畸形 CoD 得到组内最低奖励再减 0.05。第五步，具身特定后训练：LIBERO 版全参数微调 50k 步；真实双臂 YAM 版对 VLM 用 LoRA、全量更新动作专家，人类视频样本只优化未来预测损失。部署时仅运行动作专家，CoD 与未来预测全部丢弃。

技术新颖性体现在四个层面。其一，统一的 VLM 原生动作语言：CoD 把人手运动与机器人控制目标编进同一离散词表，不做人与机器人运动学等价的假设（人类用演员中心系、机器人用基座系，只在 delta EEF 层面对齐），t-SNE 分析显示 CoD 隐状态按运动方向而非数据来源聚类，验证了共享结构。其二，观测转移即奖励：RL 奖励 $r_{world}$ 只消费当前帧与未来帧，无需动作标注、无需仿真器、无需在线执行候选动作，这在「用无标注视频做 RL」的方向上是干净的形式化。其三，运动加权奖励：利用观测帧对计算 DINO 特征变化量，低于中位数的 patch 权重 0.2、至 90 分位线性升到 1，防止大面积静态背景稀释奖励信号。其四，训练时思考、部署时丢弃的架构分工：推理延迟实测 p50 324.84 ms、显存 7.07 GiB，反而低于不做思考的 MolmoAct2（335.07 ms）和远低于推理时思考的 MolmoAct2-Think（879.37 ms），说明「内化到表示」与「外显为推理链」可以解耦。这种「思维作为表示正则而非运行时组件」的定位是本文在工程上最聪明的取舍。

第一，空间组合泛化薄弱：LIBERO-PRO 位置漂移 18.2% 说明 CoD 编码了「怎么动」却没充分编码「往哪动」的几何关系，改进方向是把未来预测从 2D patch 特征升级为带深度/3D 点云的表示，或在奖励中加入物体位姿一致性项。第二，奖励可被外观捷径欺骗：DINO 余弦相似度衡量的是特征对齐，理论上存在与真实转移无关却相似度高的预测，且畸形 CoD 只被罚 0.05 的组内相对值，改进方向是引入接触/力等物理一致性校验，或用少量真值动作做奖励的锚定校准。第三，RL 是开环的：机器人执行失败不会反馈回 CoD 优化（奖励只来自数据集里的观测转移），策略层的失败模式无法被修正，改进方向是把部署时的真实结果回灌为在线奖励。第四，人类数据依赖手腕轨迹标注：对任意网络视频需要额外的手部姿态估计，误差会直接污染共享词表，改进方向是用潜在动作蒸馏或关键点追踪做弱监督分词。第五，固定 1 秒时域：抓取-放置等长时程任务的中间状态无法被一次想象覆盖，改进方向是多尺度时域（如 0.5s/1s/3s）层次化想象。第六，单种子与算力门槛：完整预训练需要 128 块 H100 做 SFT、64 块做 RL，且 LIBERO-PRO 上部分指标（Object 73.3）反而低于更大参数的旧模型，说明 2B 骨干+推理目标的组合还有容量瓶颈，改进方向是多种子汇报与骨干缩放实验。

作者在结论中未展开具体未来工作，仅指出「用观测世界动力学学习可迁移动作推理」有扩大机器人学习数据来源的潜力。基于成果可延伸的方向：一是时域扩展——把固定 1 秒的 $\Delta$ 变成层次化多时域想象，让 CoD 覆盖完整任务片段而非单步转移，这直接呼应长时程任务 94.2% 尚有空间的现状；二是闭环 RL——当前奖励来自被动视频，若允许机器人执行候选 CoD 并用真实结果替换想象相似度，就得到在线版后果接地 RL，可修复开环弱点；三是把 CoD 与语言思维链组合成「子目标文本→CoD→动作」的层次推理，结合 ThinkAct 类方法的文本计划；四是跨具身零样本验证——t-SNE 已显示 CoD 按运动而非具身聚类，下一步可在没见过的机械臂上零微调部署；五是扩大人类视频占比实验（当前只到 50%）并研究缩放定律；六是把未来预测从 DINO 2D 特征换成 3D 几何感知表示以攻克位置漂移 18.2% 的短板；七是探索推理时按需启用 CoD 的自适应模式，在困难场景付出思考代价、简单场景保持低延迟。

论文的可复现性文档非常详尽：附录给出模型配置（Qwen3-VL-2B 主干、冻结 DINOv3 ViT-H/16+ 目标编码器、64 个 future queries、两层 MLP+六层交叉注意力解码器）、完整输入输出 prompt 模板、本体状态 256 桶量化方案、图像增强 pipeline、RL 奖励与 GRPO 全部超参（K=4、裁剪区间 [0.8,1.28]、KL 0.04、$\lambda_{GRPO}=0.999$）、训练数据合同（Table 4 列出八个数据源的片段数/帧数/小时数/控制频率）与分阶段训练配置（Table 5）。所用数据全部公开：EgoDex、EgoVerse、DROID、Bridge/RT-1、BC-Z、RoboCOIN、MolmoAct2-DROID/BimanualYAM；评测基准 LIBERO、LIBERO-PRO、LIBERO-Plus、SimplerEnv 均公开，部分 LIBERO-PRO 基线取自官方仓库、其余标注为复现。瓶颈在算力：SFT 用 128 块 H100、动作 SFT 最多 128 块、RL 64 块、具身后训练 32-64 块，学术实验室难以复现完整预训练，但复现下游后训练（如 LIBERO 50k 步微调）和所有评测是可行的；部署推理单张 RTX 3090 即可。论文附项目页但正文未明确承诺代码开源，实际复现难度：完整流程高，后训练与评测中等。另需注意所有训练结果基于单一种子，复现时指标可能有波动。