VLA-Δ：为视觉-语言-动作模型学习物理状态转移 VLA-Δ: Learning Physical State Transition for Vision-Language-Action Models
把当前到未来状态的物理变化作为显式预训练监督，部署时零额外开销
前置知识
VLA（视觉-语言-动作模型）
以预训练视觉-语言模型（VLM）为主干、再在机器人示范数据上训练出动作生成能力的模型。VLM 编码任务指令和多视角图像，动作头把表征映射为机械臂控制信号，从而继承互联网级语义知识并迁移到机器人控制。
本文的研究对象就是 VLA，其核心批评是这类模型只学“观测→动作”的映射而缺乏对物理状态变化的显式监督，理解这一背景才能理解动机与方法设计。
Flow Matching（流匹配）
一种连续动作/生成建模方法：把高斯噪声 $\xi$ 与真实动作 $A_t$ 线性插值得到 $A^\tau_t=(1-\tau)\xi+\tau A_t$，训练网络回归向量场 $v^\star_t=A_t-\xi$，推理时从噪声出发沿学到的向量场积分生成连续动作块。
VLA-Δ 的动作专家（9 层 DiT）用流匹配生成连续动作块，理解该目标函数才能读懂其动作损失 $\mathcal{L}_{act}$ 和微调时为何只保留动作目标。
可学习 Query 机制
在 Transformer 输入中加入一组可训练向量（Query），与图像/文本 token 一起做自注意力，最后从 Query 位置的隐状态“读出”任务所需的紧凑表征，类似 DETR 的物体查询或 Flamingo 的重采样器，能把海量上下文压缩为固定容量的表示。
本文的核心载体“物理状态差异 Query”就是这种机制，三条监督通路全部作用在 Query 表征上，动作专家也通过交叉注意力读取它。
光流（Optical Flow）
描述相邻两帧图像中每个像素二维位移的稠密向量场，反映物体与夹爪在图像平面上的运动细节。本文用 MegaFlow 离线估计当前帧与后续帧之间的光流作为监督，并额外对运动幅度超阈值的像素加权。
稠密光流是本文三条转移监督信号之一，负责把细粒度运动信息注入 Query 表征，理解它才能明白“视觉运动监督”与语义槽监督的互补关系。
世界动作模型（WAM）与推理式 VLA
两类引入中间预测的 VLA 变体：推理式 VLA（如 ECoT）先自回归生成任务规划/子目标文本再出动作；WAM（如 WorldVLA）预测未来图像；Latent-WAM（如 VLA-JEPA）在潜空间预测未来表征，减少重建开销。
本文的定位完全建立在与这三类方法的对比上：它们分别监督高层语义、未来外观或潜状态，都不直接监督物理状态转移本身，这是论文的切入缝隙。
研究动机
现有 VLA 大多把观测和指令直接映射到人类示范动作，中间的物理状态变化没有任何显式监督，动作损失只约束最终控制信号，于是模型容易过拟合“观测-动作”的统计对应关系而非理解物理动态。论文给出了非常典型的失败场景：策略还没把夹爪移动到目标物体就提前闭合夹爪；或者一次抓取已经失败，却仍然继续朝放置点走完背下来的轨迹——模型像在“回放记忆中的轨迹”而不是响应场景的实时演化。其根源在于：物体位姿如何变化、空间关系如何更新、机器人与物体之间的接触如何建立与释放，这些真正决定动作的物理量从未被直接监督。部分工作引入中间推理或未来预测来间接引导动作，但监督的要么是高层任务语义，要么是未来画面外观，物理状态转移本身依然是监督盲区。
本文的目标是本文的目标是构建一个通用框架 VLA-Δ，把“当前状态到未来状态之间的物理变化”作为显式学习目标，让模型学到的转移表征同时绑定两层信息：一是任务相关的语义（当前处于哪个阶段、下一步子目标是什么、必须满足哪些物理约束），二是具体的视觉运动变化（物体和夹爪的位置怎么移动、接触状态如何切换）。为了让这种监督能规模化，还要配套一条全自动数据标注管线，在约 484 小时、2400 万帧的机器人示范上批量生成多层次的状态转移标注。同时有一条硬性工程约束：所有辅助监督只用于预训练，推理时模型直接从当前观测生成动作，不引入任何额外的推理开销。
与已有工作不同的是，本文的独特之处在于对“中间表征”光谱的重新切分。已有方法可按监督对象分层：推理式 VLA（ECoT 等）在语言空间描述“下一步该做什么”，但停留在高层规划与稀疏的视觉定位；WAM（WorldVLA 等）预测未来图像，稠密但主要约束场景外观一致性，无法指出哪些变化对完成任务才是必要的，且在线生成未来图像带来额外推理成本；Latent-WAM（VLA-JEPA）把预测搬进潜空间降低了开销，但潜表征刻画的仍是未来视觉状态而非物理量。三者都没有监督“物理状态转移本身”——即物体位姿、空间关系、机器人-物体接触如何从当前状态演化到未来状态。而恰恰是这些物理变化直接定义了机器人必须执行的动作，这就是本文填空的缝隙。
核心方法
先说直觉：如果模型能提前“预演”从现在到未来会发生哪些物理变化——苹果会被移动 11 厘米、夹爪会从张开变为闭合、物体将从桌面支撑变为悬空——那么动作生成就有据可依，而不是靠背轨迹。技术路线上，VLA-Δ 基于 GR00T N1 架构：视觉-语言主干为 Qwen3-VL-2B-Instruct，动作专家是 9 层 Diffusion Transformer。模型在主干中插入一组可学习的“物理状态差异 Query” $Q\in\mathbb{R}^{N_q\times d}$，与视觉-语言上下文 $C_t$ 一起做注意力后，从 Query 位置读出转移表征 $Z_t=\mathrm{Readout}_Q(F_\theta([C_t;Q]))$。三条通路并行塑造 $Z_t$：结构化转移槽做结构化直接预测、稠密光流做像素级运动监督、未来状态差异文本走自回归生成（注意力掩码强制文本只能经 Query 访问上下文）。动作专家通过交叉注意力读取 $Z_t$，结合独立编码的本体状态 $E_\eta(r_t)$，用流匹配把高斯噪声变换成长度 $H_a$ 的连续动作块。
核心创新是把监督信号的目标从“任务语义”或“未来外观”挪到“物理状态转移本身”，并用三种互补粒度共同约束同一个 Query 表征：结构槽给物理含义、光流给运动细节、差异文本给连贯语义。与 ECoT 类方法的本质区别在于：不描述“做什么”，而描述物体/夹爪的位置、位移、接触如何变化；与 WAM 的本质区别在于：不重建未来图像（外观监督+推理开销），只抽取任务相关的变化量；与 Latent-WAM 的本质区别在于：潜表征不再是模糊的未来视觉特征，而是有九类明确物理语义的转移变量。另一个关键设计是“预训练注入、部署卸载”：三类辅助监督只在预训练阶段使用，下游微调只优化动作目标，部署时不解码任何中间目标——转移知识沉淀为表征先验而非推理时模块，因此零额外推理成本。这与把推理链保留在推理期的 ECoT/ZR-0 形成鲜明对照。
方法步骤详情
（1）DROID/MolmoAct/RH20T 统一为 LeRobot v3 并清洗，得约 484 小时、2400 万帧。（2）Qwen3.8-27B 按指令切分操作阶段（接近/对齐/抓取/搬运等）并自适应选关键帧。（3）SAM 3 标注框与掩码，UniDepth V2 估深度，MegaFlow 离线估计稠密光流。（4）GPT-5.6 逐字段复核加分层人工抽检（300 对，有效率 93%–99.3%）。（5）预训练联合优化 $\mathcal{L}=\lambda_{Text}\mathcal{L}_{Text}+\lambda_{slot}\mathcal{L}_{slot}+\lambda_{flow}\mathcal{L}_{flow}+\lambda_{act}\mathcal{L}_{act}$：槽加权回归/分类，光流加权，文本交叉熵，动作对流匹配场 $v^\star_t=A_t-\xi$、$A^\tau_t=(1-\tau)\xi+\tau A_t$ 回归。（6）微调只优化 $\mathcal{L}_{act}$。（7）部署仅保留 Query 表征与动作生成，零额外开销。
技术新颖性
新颖性体现在三个层面。监督目标层面：首次把“物理状态转移”分解为符号化结构槽（九类变量：任务进度、任务阶段、目标/夹爪位置、三维位移与相对位移、可供性接触点、夹爪开合转移、接触建立/维持/断开转移、障碍风险）、稠密光流和连贯差异文本三个互补粒度，并用消融证明单加任一信号只能到 96.9%–97.35%，三者联合才到 98.40%，说明语义、运动、约束缺一不可。架构层面：通过注意力掩码强制差异文本只能经 Query 访问上下文（文本位置只可见 Query 和前文），把多模态信息“路由”进紧凑转移表征，使辅助监督的梯度全部汇聚在 Query 上。数据层面：构建了可复制的全自动标注管线（LLM 阶段分割→语义标注→SAM 3/UniDepth V2/MegaFlow 视觉标注→GPT-5.6 逐字段复核→分层人工审计），并给出 300 对样本的审计统计，这种把“物理常识标注”规模化的做法在 VLA 预训练文献中少见。
实验结果
(1) LIBERO：平均 98.4%（四套件 98.8/99.8/98.6/96.4），超 ZR-0（97.8）与 π0.5（96.9）。(2) LIBERO-Plus：Language 扰动 89.0% 对 π0.5 的 82.6%（+6.4pp），其余扰动保持竞争力。(3) RoboTwin 2.0：Clean 90.06%、Random 89.74% 双第一，超 ZR-0 1.36/1.76pp，Clean→Random 仅降 0.32pp（ZR-0 降 0.72）；BlocksRankingSize（80/74）与 HangingMug（40/34）最高。(4) 真机五任务各 40 回共 200 次：平均 68.0%，超 π0.5 达 5.5%；避障 42.5% 最高，细粒度与空间推理第一。(5) 消融：稠密特征 95.70→Query 96.25→+文本 97.20/+槽 96.90/+光流 97.35→全量 98.40，仅加数据不加监督仅 +0.2pp；t-SNE 显示七个 Query 簇微调后保持，注意力聚焦目标与接触区。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO（40 任务仿真操作） | 平均成功率 (%) | 98.4 | π0.5 96.9；ZR-0 97.8 | +1.5pp / +0.6pp |
| LIBERO-Plus Language 扰动 | 成功率 (%) | 89.0 | π0.5 82.6 | +6.4pp |
| RoboTwin 2.0 Clean（50 双臂任务） | 平均成功率 (%) | 90.06 | ZR-0 88.70；Motus 88.52 | +1.36pp |
| RoboTwin 2.0 Random | 平均成功率 (%) | 89.74 | ZR-0 87.98；Motus 87.02 | +1.76pp |
| 真机五任务（AgileX PiPER 双臂） | 平均成功率 (%) | 68.0 | π0.5 约 62.5 | +5.5pp（论文口径） |
| LIBERO 消融（完整模型 vs 稠密特征基线） | 平均成功率 (%) | 98.40 | 稠密 VLM 特征 95.70 | +2.7pp |
局限与改进
作者承认且数据可见的局限：真机避障任务即使全场最高也只有 42.5%，物理约束遵守仍是未解难题；真机平均 68.0% 与仿真 98%+ 之间存在巨大 sim-to-real 差距；LIBERO 上相对 ZR-0 的提升仅 0.6pp，该基准已接近饱和，边际收益有限。标注质量有天花板：审计显示位移槽 S5 有效率仅 93.0%，且 Slot 3/4 的参考框由 GPT-5.6 生成而非独立人工真值，论文自己也注明这些百分比不代表 IoU 或位移误差。我自己的观察：光流是 2D 图像平面信号，深度信息只间接用于槽标注，三维动力学（如旋转动力学、遮挡后的运动）监督较弱；关键帧与未来端点由启发式阶段分割和预测视野决定，长时程、跨阶段的动力学建模有限；三个数据源以桌面操作和 Franka 系机器人为主，跨具身与跨场景族的外推性未验证；RoboTwin 上 VLA-Δ 在 AdjustBottle、ClickAlarmclock 等任务上反而低于 ZR-0，说明转移监督并非对所有任务族都有正收益。
独立分析的弱点
独立分析四点弱点。其一，监督质量受制于感知基础模型：SAM 3 分割失败、UniDepth V2 深度不稳时字段直接作废，透明、反光、柔性物体的场景可能被系统性剔除，导致预训练分布偏“易分割物体”；改进方向是引入 RH20T 已提供但本文未用的力/力觉模态做接触监督的交叉验证，减少对纯视觉的依赖。其二，九类槽语义是人工预设的封闭集合，对柔性物体、流体、工具使用等任务族可能不够表达；可探索可学习的槽字典或从数据中自动发现状态变量。其三，差异文本用自然语言间接绑定几何信息，存在语言偏置与歧义（审计中 Contact Interaction 字段出现明显的语法瑕疵），且生成环节依赖 GPT-5.6 等闭源模型，社区难以完整复现；改进方向是用受控的结构化描述模板替代自由文本。其四，S9 障碍风险标注在示例中多为 N/A，该监督可能非常稀疏，这或许解释了真机避障仅 42.5% 的结果；可以引入仿真器的精确碰撞信息或主动的扰动采集来加密此类标注。
未来方向
作者在结论中暗示的方向是让转移表征成为下游策略学习的通用先验，由此可延伸出多条线：（1）把差异文本从“仅预训练监督”升级为推理期可查询的接口，用于人机交互、执行监控与失败检测——反正表征已经编码了任务进度与接触状态；（2）与在线世界模型结合，用转移表征替代未来图像生成来做模型预测控制或测试时搜索；（3）在强化学习阶段利用槽预测（任务进度、阶段、接触转移）做奖励成形与子目标奖励，打通预训练表征与在线探索；（4）多模态扩展：把 RH20T 的力觉/音频纳入接触转移监督，弥补 2D 光流的几何盲区；（5）跨具身验证：目前主干初始化自 ZR-0base，可在不同末端执行器与人形平台上检验转移监督的具身无关性；（6）降低标注管线对闭源模型的依赖，例如用开源 VLM 蒸馏替代 GPT-5.6 复核，形成完全开放的物理常识标注基础设施。
复现评估
代码已在 GitHub 开源（ZJU-OmniAI/VLA-Delta），架构完全基于公开组件：GR00T N1 框架、Qwen3-VL-2B-Instruct 主干、ZR-0base 公开权重初始化，模型仅 2B 规模，下游微调数据量不大（LIBERO 1693 条轨迹、RoboTwin 27500 条），单卡或少量卡即可微调复现下游结果。主要门槛在预训练与标注：预训练语料 484 小时/2400 万帧需要可观算力，论文未披露 GPU 数量与训练时长；标注管线串联了 Qwen3.8-27B、SAM 3、UniDepth V2、MegaFlow（多为开源或可获取）与 GPT-5.6（闭源），完整复现标注质量需要闭源模型访问权限和人工质检流程。评估协议描述得很完整（LIBERO 每任务 50 回合共 2000 回合、LIBERO-Plus 8000 回合、RoboTwin 每设置 10000 回合、真机 200 次），基准均为公开测试床。总体判断：微调与评估复现难度中等偏低，预训练+标注管线的完整复现难度高，但对验证核心思想而言，基于开源代码与公开权重微调即可上手。
论文图表
用五栏对比了五代范式：(a) 直接 VLA 把观测和指令映射为动作；(b) 推理式 VLA 在语言空间生成任务规划；(c) WAM 预测未来视觉 token；(d) Latent-WAM 预测未来潜 token；(e) VLA-Δ 通过多层监督建模物理状态变化。每栏底部标注了四个能力维度：任务语义、视觉运动、低成本、转移建模。
这张图是论文的定位图，一图看清本文与直接 VLA、推理式 VLA、WAM、Latent-WAM 四类方法在监督对象上的本质差异，是理解动机部分的钥匙。
附录标注样例：上方为“load the bowl”的当前-未来观测对，附完整 JSON 结构（九个 query 的槽值：进度 0.42→0.50、阶段 transport→align、目标/夹爪归一化框、3D 位移、可供性点、夹爪/接触转移）与四段差异文本；中下方为“装托盘入架”和“挂马克杯”两个回合的逐帧槽转移序列。
唯一展示标注数据完整字段结构的图，复现标注管线或理解槽监督的具体形式时必须参考。