基于残差潜在动作的视觉特征世界模型学习 Learning Visual Feature-Based World Models via Residual Latent Action
提出残差潜在动作RLA，在紧凑潜在空间中流匹配预测DINO特征动力学
前置知识
世界模型
世界模型是一种学习环境动力学的神经网络，给定当前状态和动作，预测下一状态。在机器人中，世界模型通常以视觉观测为输入，预测未来帧或未来特征，用于策略训练和规划。代表方法包括DreamerV3等，但本文聚焦于在视觉特征空间中构建世界模型，而非像素空间。
理解世界模型的基本概念和两大范式（像素生成 vs 特征预测）的差异，是理解本文为什么提出特征空间方法的必要前提。本文的核心思路与传统基于视频扩散的世界模型有本质区别。
DINO特征与自监督视觉表示
DINO是基于ViT的自监督视觉表征方法，通过师生蒸馏学习密集语义特征。DINO把图像切patch，输出特征st∈R^(L×C)，其中L=H·W/P²是patch数，C是特征维（本文用DINOv3-L的C=1024）。DINO特征富含语义、几何信息，比VAE latent更适合高层推理。
理解DINO特征的维度结构（DINOv3-L产生约1M维，而SD VAE只有约16K维）对于理解本文指出的"特征空间生成比像素空间更难"的核心论点至关重要。这是本文放弃在特征空间中直接做扩散/流匹配的核心理由。
潜在动作（Latent Action）
潜在动作是从视频帧对学习的紧凑动作表示。给定两帧(x_t,x_{t+h})，编码器f_enc输出低维z表示它们之间的"动作"。现有LAPA、UniVLA等将z作为条件标签用于视频扩散。本文RLA从DINO残差s_{t+h}-s_t学习，与像素空间方法有本质区别。
理解潜在动作的现有方法（作为扩散条件信号、用于视频生成）对于理解RLA的三大独特性质（预测充分性、可泛化性、时序拓扑）至关重要。本文证明RLA可以在单次前馈中重建未来DINO tokens。
流匹配（Flow Matching）
流匹配学习从简单分布(高斯噪声)到目标数据分布的连续变换。定义概率路径x_τ=τx_1+(1-τ)x_0，τ∈[0,1]，训练网络预测速度v使dx/dτ=v。推理时通过ODE x_{τ+Δτ}=x_τ+Δτ·v̂迭代生成。比扩散更直接高效，是RLA-WM核心生成机制。
理解流匹配的概率路径公式和ODE求解过程，对于理解RLA-WM如何在低维潜在空间（仅 $|z|=2048$ 维）中高效生成RLA至关重要。这是本文实现"特征空间生成比视频扩散轻量3个数量级"的核心技术。
动作分块预测（Action Chunking）
动作分块指策略一次性预测未来h步动作序列a_{t:t+h}而非单步动作，Diffusion Policy等方法证明其能显著提升稳定性。本文用它作为世界模型条件输入，RL中将(s_t,a_{t:t+h},s_{t+h})视为单步转移，绕过中间advantage估计。
理解动作分块的输入输出形式对于理解RLA-WM和WAM中的整体架构设计至关重要。RL中将动作chunk视为单步转移的设计选择也是WMRL框架的核心，影响PPO训练稳定性。
研究动机
现有世界模型研究分两条路：以Vid2World为代表的视频扩散和以DINO-WM为代表的视觉特征回归。视频扩散虽视觉吸引人，但有两个严重缺陷：一是容易产生幻觉，Vid2World预测的轨迹偏离真实物理；二是计算开销极大，1.1P FLOPs约为RLA-WM的300倍。特征回归方案虽轻量，但在复杂3D操作任务中会出现预测模糊甚至崩溃，DINO-WM在Push-T长程预测越来越模糊。直觉上似可在特征空间做生成，但DINO特征维度极高，DINOv3-L tokens约1M维，比SD VAE的16K维高两个数量级，使得直接生成极为困难，RAE在ManiSkill上LPIPS达0.324即明证。更根本的问题在于重型生成管线会吞噬特征模型"避免扩散、降低幻觉"的核心优势。下游应用方面，现有WAM把动作预测与视频生成耦合得非常重，无法解耦；从无动作视频学习时已有方法在Push-T仅9.2%；在已学习世界模型中完全离线运行视觉RL尚无成熟方案。
本文的目标是本文的具体目标有三：（1）提出一种同时满足"高效（不依赖扩散）"和"准确（不模糊崩溃）"的视觉特征世界模型，并能够扩展到复杂3D操作；（2）引入一种新型的潜在动作表示RLA，使其相较现有latent action方法拥有更强的预测能力、可泛化到未见场景、并在潜在空间中天然编码时序进展；（3）基于RLA提出两个下游机器人学习应用：一是极简世界动作模型（minimalist WAM），仅在BC策略上加一个线性层预测RLA即可实现从无动作视频学习策略；二是World Model-based RL（WMRL），完全在已学习的RLA-WM中进行视觉强化学习，无需在线交互、无需人工设计奖励、无需辅助BC损失，并在ManiSkill任务上提升BC策略性能。
与已有工作不同的是，本文的独特切入角度是绕过"高维特征空间难以生成"的瓶颈，转而预测表示状态变化的低维流。直觉上，物理世界的有效转移流形本质低维，而DINO token残差s_{t+h}-s_t本身就是从s_t到s_{t+h}的Schrödinger bridge速度场，其低秩结构非常适合压缩。基于此，本文设计RLA自动编码器，把残差编码为|z|=2048维向量，再用解码器一次性从s_t和z重建s_{t+h}，仅用单L1+MSE回归损失。这一设计带来RLA三大独特性质：预测充分性（单次feedforward高精度重建）、可泛化性（跨任务跨机器人）、时序拓扑（在噪声与RLA间线性插值可解码出中间帧），这些是现有latent action方法（AdaWorld、UniVLA）所不具备的。在动力学建模阶段，本文放弃在高维特征空间做FM，转而用FM预测低维RLA z，再用f_dec得到s_{t+h}，将重型生成开销降至仅3.5T FLOPs。这与FM-WM（在DINO空间直接FM）和RAE（扩散DINO）有本质区别。
核心方法
本文整体思路可一句话总结：用低维残差潜空间替代高维特征空间作为世界模型的生成目标。直觉上，物理世界的有效动态变化远比原始DINO特征低维，可以学习一个紧凑表示刻画帧间残差。系统由两个组件构成：第一是RLA自动编码器，把DINO token残差s_{t+h}-s_t编码为|z|=2048维的潜在向量z，并用解码器f_dec从s_t,z一次性重建s_{t+h}；第二是RLA-WM世界模型，把(s_t, a_{t:t+h})编码为条件tokens，再用流匹配在低维空间生成z_0∼N(0,I)到z_1=z的轨迹，最后用f_dec(s_t, z_1)得到s_{t+h}。这一架构让重型生成（ODE求解）只在低维空间发生，条件网络只需前向一次，开销大幅降低。技术上，编码器/解码器各为12层自注意力，输入512×512图像，使用DINOv3-L的C=1024通道数，32个query tokens各映射到64维构成|z|=32×64=2048维的RLA。
本文核心创新是与现有方法在三个层面上的本质区别。第一，相较DINO-WM的"高维特征空间直接回归"，RLA-WM通过把生成目标从s_{t+h}替换为低维RLA z，突破了回归方案在3D任务上的"模糊-崩溃"瓶颈，在IWS PushT任务上LPIPS从DINO-WM的0.279降至0.204。第二，相较RAE和FM-WM这类"特征空间扩散或流匹配"，本文通过把生成目标控制在2048维的低维流形（而非约1M维特征），规避了DINO高维带来的"维度诅咒"，FLOPs从RAE/FM-WM的14.3T进一步降至3.5T，LPIPS从0.324/0.127降至0.071。第三，相较现有latent action作为视频扩散弱条件的方法，本文证明RLA可在单次feedforward中精确重建s_{t+h}，无需迭代扩散，这是预测充分性的核心体现。RLA还涌现可泛化性和时序拓扑两个意外性质。最终基于RLA-WM构建了首个完全在已学习世界模型内进行视觉RL的系统，省去在线交互与人工奖励。
方法步骤详情
方法分四步。第一步RLA自编码器：输入(s_t, s_{t+h})计算残差s_{t+h}-s_t，与32个learnable queries经12层16头自注意力编码器f_enc输出，投影到64维构成z∈R^{2048}；f_dec同为12层，融合s_t、z重建s_{t+h}，损失L_rec=‖ŝ-s‖_1+‖ŝ-s‖²_2，权重各1.0。第二步RLA-WM：条件网络8层自注意力融合s_t与MLP嵌入的padded动作；流匹配网络拼接z_τ=τz+(1-τ)ε与条件tokens，预测v̂，监督v*=z-ε；推理30步Euler ODE求解得z_1，由f_dec重建。第三步极简WAM：仅在BC ResNet-18加线性层预测ẑ，由f_enc提供监督；动作损失和RLA损失联合训练，推理丢弃RLA头。第四步WMRL：插入LoRA与3层MLP残差动作头（均值+logσ），tanh/softplus约束在0.1弧度；奖励r̂_t=-‖ŝ_t-s_t‖_1（Poke用终态sT）；PPO优化，γ=0.9、λ=0.95、η=10⁻⁴。
技术新颖性
本文的技术新颖性可以从三个维度评估。理论维度上，本文首次严格论证并实验证明了"从DINO token残差可以学到一种同时具备可解码性、可泛化性、时序拓扑的低维潜在动作表示"，这三性质为现有latent action文献所未有覆盖，并把残差编码与Schrödinger bridge流匹配理论建立了联系。系统维度上，本文提出了一种新范式"低维残差流空间中的ODE求解 + 解码得到高维特征"，与传统"高维特征空间中的扩散/流匹配"形成本质区别，使FLOPs降低3个数量级而精度提升。在下游应用维度上，本文的极简WAM（一个线性层 = 世界动作模型）和全离线WMRL（无奖励无交互无BC损失的视觉RL）填补了两个重要空白——前者证明了latent action不是必须依赖重型视频backbone，后者证明了视觉RL不一定要在线或基于人工奖励。
实验结果
核心实验分三组。Tab.1中RLA-WM在ManiSkill上LPIPS=0.071（vs DINO-WM 0.156、RAE 0.324、Vid2World 0.199）、SSIM=0.931、DINO L1=0.030全部SOTA；IWS同样SOTA。FLOPs仅3.5T比Vid2World的1.1P节省约300倍（Vid2World虽锐利但物理不一致）。Tab.A1-A2显示RLA-WM在3机器人+3 IWS任务全部最优。Tab.2中RLA平均成功率35.6%，超AdaWorld（33.7%）、UniVLA（28.7%），Push-T提升最显著（3.6%→15.2%）。Tab.3全离线RL大规模评估中RLA-WMRL平均60.7%比BC 59.6%高1.1%；XArm Poke +6.0%、UR10e Roll +7.6%、Panda PushT +3.5%；唯独Panda Pull Cube -10.4%。Fig.3可视化显示RLA-WM在Push-T长程始终清晰，DINO-WM越来越模糊，Vid2World虽锐利但偏离真实。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ManiSkill Future Frame Prediction | LPIPS↓ | 0.071 | 0.156 (DINO-WM) | -54.5% |
| ManiSkill Future Frame Prediction | SSIM↑ | 0.931 | 0.865 (DINO-WM) | +7.6% |
| ManiSkill Future Frame Prediction | DINO L1↓ | 0.030 | 0.078 (DINO-WM) | -61.5% |
| IWS Real-World Future Frame Prediction | LPIPS↓ | 0.196 | 0.223 (DINO-WM) | -12.1% |
| IWS Real-World Future Frame Prediction | DINO L1↓ | 0.053 | 0.058 (DINO-WM) | -8.6% |
| FLOPs (Inference Compute) | FLOPs↓ | 3.5T | 1.1P (Vid2World) | ~300x savings |
| ManiSkill Latent Action - PushT | Success Rate↑ | 15.2% | 9.2% (AdaWorld) | +6.0% |
| ManiSkill Latent Action - Poke Cube | Success Rate↑ | 63.6% | 61.6% (AdaWorld) | +2.0% |
| ManiSkill Latent Action - Avg SR (5 tasks) | Success Rate↑ | 35.6% | 33.7% (AdaWorld) | +1.9% |
| WMRL - XArm Poke Cube | Success Rate↑ (1500 seeds) | 95.9% | 89.9% (BC-ResNet) | +6.0% |
| WMRL - UR10e Roll Ball | Success Rate↑ (1500 seeds) | 73.1% | 65.5% (BC-ResNet) | +7.6% |
| WMRL - Panda PushT | Success Rate↑ (1500 seeds) | 20.7% | 17.2% (BC-ResNet) | +3.5% |
| WMRL - Average (5 tasks) | Success Rate↑ | 60.7% | 59.6% (BC-ResNet) | +1.1% |
局限与改进
局限性从四维度审视。第一评估规模较小：所有实验在ManiSkill（5000 episodes）与IWS（>600 demonstrations）小规模数据集上进行，目的是"isolate method-driven gains from mere data scaling"，意味着RLA-WM在互联网规模数据下的扩展性尚未验证。第二视觉无关背景运动的处理：RLA从单帧对残差学习，对eye-in-hand摄像机或人形机器人等场景，背景信息会浪费RLA表示容量，作者提出用3D view-independent RLA解决但未做实验。第三部分可观测性：目标消失再出现时RLA只能"记住"目标而非真正建模运动，需扩展到多帧条件。第四Panda WMRL负结果：Pull Cube与Pull Cube with Tool任务负向-10.4%与-1.2%，归因于8自由度动作空间、俯视相机遮挡、小夹爪细节，根本原因可能是高维动作空间中样本效率不足。此外sim-to-real gap用UNet预处理缓解但损失性能上限；LoRA微调最终策略是否真正掌握任务或仅利用VAR过拟合，有待深入分析。
独立分析的弱点
独立观察到的弱点至少有四。第一，RLA有效性高度依赖单帧对前提，隐含"状态演化只与当前帧和动作有关"的强假设，但真实机器人视频中的自遮挡、目标消失、力反馈缺失需历史记忆；当前RLA在缺少历史时只能"memorize the object in the latent space rather than encoding true movement"，改进方向是引入帧序列条件。第二，UNet解码回RGB步骤增加运行成本且损失性能上限，因DINO tokens需先过解码器提供给视觉策略与VAR奖励，引入额外误差；改进方向是用端到端可微解码器或直接在特征空间策略。第三，训练算力较高，RLA-WM与自编码器各需4×A6000（48GB）跑3天（256GB RAM），WMRL每个trial要4×A6000或7×A4500 Ada跑3小时，改进方向是蒸馏/低秩适配/量化。第四，Panda负向未被自动检测或回退，改进方向是元学习式判断何时启用WMRL（作者已提及但未实现）。最后BC在PushT仅17.2%说明基线本身极难，+3.5%的提升在统计学上"显著"但实际意义有限。
未来方向
作者明确指出四个未来方向：(1) 学习3D view-independent RLA，将DINO tokens投影到3D空间后编码残差，解决背景运动问题；(2) 扩展RLA到多帧条件，处理遮挡和部分可观测；(3) 联合预测视觉状态演化和本体感知状态，把proprioception预测纳入世界模型；(4) 扩展到互联网规模数据集验证规模化性能。基于本文成果还可延伸多个方向：(a) 将RLA与不同backbone结合（如SigLIP、Dramem等），检验"残差$-$低维潜在"这一范式的通用性；(b) 探索RLA与LLM结合用于多任务指令条件策略；(c) 把WMRL扩展到自然语言指令驱动的环境，让RLA-VAR奖励带语义信息；(d) 在RLA潜在空间中做规划而非RL，把WMRL和Model Predictive Control结合；(e) 研究RLA的数学性质（如可解码性的可证边界），填补现在仅有实证缺理论的状态。
复现评估
本文可复现性较好。作者明确说明代码包含在supplementary的Code文件夹中，并提供README指引。依赖全部开源：DINOv3-L（DINOv3 License）、TRELLIS（MIT）、Diffusion Policy（MIT）、ManiSkill（Apache 2.0，资产CC BY-NC 4.0）、IWS（MIT）；优化器使用AdamW。但仍有复现门槛：（1）总计算需求较高，单一实验需至少4×A6000 GPU（48GB）+256GB RAM；（2）RLA自编码器与世界模型各训练100k步各需3天；（3）WMRL需并行112个RLA-WM环境多GPU rollout；（4）DINOv3预训练权重可能受License限制分发；（5）评价指标依赖预训练UNet解码器将DINO tokens转回RGB用于LPIPS/SSIM，该UNet未详细描述训练细节。整体可复现但门槛高，复现小规模ManiSkill实验中等难度，复现完整WMRL基准较高。
论文图表
