PDRVLA：带物理动力学表征的视觉-语言-动作模型 PDRVLA: A Vision-Language-Action Model with Physical Dynamics Representations
用50个物理token预测未来RGB、深度与光流，让VLA零推理延迟地理解物理动力学
前置知识
VLA模型（Vision-Language-Action）
VLA模型以预训练视觉-语言模型（VLM）为骨干，输入多视角相机图像与任务指令，由一个动作专家（通常是扩散或流匹配头）输出机器人控制指令序列（动作块）。代表工作有π0、π0.5、OpenVLA等。其范式是“VLM提供语义与感知特征，动作专家生成低层控制”，依赖大规模跨机器人示教数据训练。
PDRVLA正是在这一范式上做增量改进：保留Qwen3.5-4B骨干加流匹配动作专家的主体结构，新增物理动力学模块。不理解VLA的基本架构，就无法定位本文的创新点到底加在哪里。
视频世界模型
视频世界模型是在大规模视频上训练的生成模型，能根据当前帧与文本预测未来帧如何演化，从而隐式学习物体运动、遮挡、接触等物理规律，代表如Wan、LingBot-Video-Dense-1.3B。把这类模型接入机器人策略可让策略“预演”未来，但在线生成一段未来视频需要数秒量级，无法满足控制回路的实时性。
本文用它作为冻结的辅助教师来塑造物理token，但部署时完全不运行它。这是理解PDRVLA“零推理延迟获得动力学知识”这一卖点的关键。
流匹配（Flow Matching）
流匹配是一类生成建模方法：训练网络预测速度场 $v_\psi(x^\tau, \tau)$，把高斯噪声 $\xi$ 沿插值路径 $x^\tau=(1-\tau)\xi+\tau A$ 输运到目标数据 $A$；推理时从噪声出发用少量欧拉积分步即可采样。相比扩散模型采样步数更少。本文动作专家与世界模型辅助损失均建立在该框架上。
动作专家的掩码速度匹配损失、4步欧拉推理，以及世界模型辅助的潜速度预测目标（公式9-10）全部定义在流匹配之上，不懂它就读不懂训练目标与推理流程。
可学习查询（Query-based提取）
用一小簇可训练的查询向量，通过交叉注意力从另一组特征（如图像token）中检索信息，再经自注意力交互与前馈层加工，输出固定长度的紧凑token序列，思路类似DETR的检测查询或BLIP-2的Q-Former。它能以极小参数量把任意长度的特征压缩为定长表示。
物理动力学模块正是用50个可学习查询从VLM第8层特征提取出50个物理token，整个架构“轻量化”的承诺都建立在查询式提取机制上，消融也显示50个查询已足够。
具身思维链（ECoT）
具身思维链指在动作生成前让模型先用文本描述当前场景（相关物体、空间关系、夹爪状态）、评估任务进度、说明下一个动作，再把文本作为条件供动作专家使用，源自Zawalski等2024年工作，通常能提升长程操作成功率。
本文用Qwen3.8-27B为约256万关键帧标注ECoT，并系统区分“训练时用ECoT监督”与“推理时生成ECoT”两种用法的收益差异，是消融分析的重要组成部分。
光流与深度（伪标签）
光流是相邻帧之间的像素级运动场，编码“东西怎么动”；深度图是每像素到相机的距离，编码“东西在哪里”。本文用DPFlow和DA3模型从真实视频自动生成这两类伪标签，并把RGB、深度、光流三种模态经Wan VAE编码到潜空间作为预测目标。
物理token的直接监督目标正是未来时刻这三种模态的VAE特征，分别对应外观、几何、运动三类物理信息，理解这一设计才能明白“物理动力学表征”具体指什么。
研究动机
VLA模型（如π0、π0.5）虽然能把视觉观察和语言指令映射为机器人动作，但对物理世界的理解仍明显不足：2026年的一份分析报告指出，多个VLA策略对物体物理属性（质量、材质等）的编码很弱，当物体质量变化时动作适应不可靠。对操作任务而言，识别当前场景只是问题的一半——抓取、移动、放置都会持续改变物体构型与空间关系，选择动作时需要预判“场景在交互中将如何演化”。一种直观的补法是把预训练视频世界模型接入策略、在控制回路内生成未来视频作为“想象”，但在线视频生成每次需数秒量级，远慢于机器人控制所需的实时节奏，会显著拖慢动作输出；而完全不做未来预测的策略又缺少对动力学的前瞻理解。如何在“有动力学知识”与“控制低延迟”之间取得兼得，是该方向的核心矛盾。
本文的目标是本文的目标是让VLA策略获得对场景未来演化（未来外观、几何、运动）的紧凑理解，同时不增加任何推理延迟。具体而言：设计一个轻量的物理动力学模块，从VLM特征中提取固定数量的物理token，使其编码与未来RGB、深度、光流对应的潜特征；训练时用“直接预测未来多模态特征 + 冻结视频世界模型辅助监督”两种目标共同塑造这些token；部署时只使用学到的物理token条件化动作生成，不再运行视频模型或任何预测头。同时，完全基于公开数据构建跨具身训练语料，通过人-机合成、子任务标注、ECoT标注扩充，并在LIBERO、LIBERO-Plus、RoboTwin 2.0、SimplerEnv四个仿真基准上系统验证性能与各组件贡献。
与已有工作不同的是，本文切入角度的独特性有三点。其一，物理信息不是从VLM最后一层、而是从中间层（32层中的第8层）特征提取——语言模型的层级研究显示中间层保留更强的感知信息，本文的冻结表征探针实验也证实第8层得分0.3617远高于最终层的0.2432。其二，与在控制回路内在线生成未来视频的方法不同，与仅用视频预测塑造表征的近期工作（如InternVLA-A1.5）相比，PDRVLA给出了明确分解的三模态未来预测目标（RGB=外观、深度=几何、光流=运动），并叠加冻结世界模型的流匹配辅助监督，两种信号互补。其三，训练语料完全由公开数据集构成，通过EgoDex自我中心人-机合成把数据扩展到12种机械臂，配以子任务与ECoT标注，形成步骤与统计都可查的公开数据管线，而非依赖私有遥操作数据。
核心方法
直觉是让策略在出手前先“预演”场景变化，但预演以内化为50个token的紧凑形式存在，而不是生成视频。技术路线分三步。第一步搭主干：Qwen3.5-4B VLM编码多视角图像与指令；物理动力学模块用50个可学习查询，经4个Transformer块（隐藏宽度1024、4注意力头、FFN扩张比1）从VLM第8层特征交叉注意取信息，输出投影到2560宽度，得到50个物理token $C_t$，仅新增约57.3M参数（骨干的1.4%）。第二步训练该模块：直接预测头回归未来RGB/深度/光流的VAE潜特征（池化+标准化后的MSE损失 $\mathcal{L}_{direct}$），同时冻结的LingBot-Video-Dense-1.3B以物理token为条件做流匹配辅助监督（损失 $\mathcal{L}_{WM}$）。第三步联合训练：DiT动作专家（约150M参数）以 $X_t=[H_t^{last}; C_t]$ 为条件、用流匹配生成8步动作块，策略损失为 $\mathcal{L}_{policy}=\mathcal{L}_{act}+0.1\mathcal{L}_{VL}+0.1\mathcal{L}_{direct}$。部署时只保留VLM、物理模块与动作专家，视频模型与各输出头全部移除。
核心创新是把“物理动力学理解”转化为固定长度的token级表征学习问题，以“训练时专用、部署时免费”的代价获得动力学知识。与已有方法的本质区别有三：(1) 输入位置——从VLM中间层（第8层）而非最终层提取，因为最终层特征偏向语言语义，层级研究认为它会抑制预测物理变化所需的视觉细节；(2) 监督形式——不做像素级或视频生成，而是直接回归未来RGB/深度/光流的VAE潜特征，叠加冻结世界模型的潜速度流匹配辅助损失，梯度穿过冻结视频骨干回传到物理模块，深度/光流辅助头可训练而RGB头与骨干冻结；(3) 生命周期——世界模型及其输出头只在物理预训练阶段使用，联合训练时移除，仅保留直接预测损失，推理时零额外开销。由此形成“知识来自世界模型、表征属于轻量模块、推理不付延迟代价”的三方分工。
方法步骤详情
步骤一（数据标准化）：把各数据集动作统一为58维向量（左右臂两个槽位，各含7维臂关节、9维EEF位姿槽（实际用6维：平移增量 $\Delta p$ 与轴角旋转增量 $\log R^{*\top}R$）、12维灵巧手、1维夹爪），不支持的维度填充并从损失中掩掉。步骤二（物理预训练）：每个样本配对未来5帧视频（覆盖当前时刻和其后30个动作步），DA3/DPFlow生成深度与光流伪标签，Wan VAE编码三模态，自适应平均池化得目标 $y^m$，按模态/通道/位置标准化后计算 $\mathcal{L}_{direct}$；同时向冻结LingBot-Video输入RGB潜片段（当前部分干净，未来部分按 $\sigma\sim\mathcal{U}(0,1)$ 加噪为 $(1-\sigma)z^{future}+\sigma\epsilon$），三个头预测潜速度、目标为 $\epsilon-z^m_{future}$，得 $\mathcal{L}_{WM}$；总目标 $\mathcal{L}_{pre}=\mathcal{L}_{WM}+\lambda(k)\mathcal{L}_{direct}$，$\lambda$ 从0线性升到0.5（2000步），共35,082步、8卡、batch 128。步骤三（联合策略训练）：VLM、物理模块、动作专家、直接预测头均可训练，中间特征路径对VLM做梯度截断，流时间 $\tau$ 从Beta(1.5,1)采样，用掩码速度匹配损失 $\mathcal{L}_{act}$，与VL损失、直接预测损失按 $\mathcal{L}_{act}+0.1\mathcal{L}_{VL}+0.1\mathcal{L}_{direct}$ 合并。步骤四（基准适配）：LIBERO微调4万步（batch 128），RoboTwin 2.0微调15万步（batch 1024），Bridge/SimplerEnv微调5万步；推理时从高斯噪声出发4步欧拉积分生成8步动作块，整块执行后基于新观察重规划。
技术新颖性
新颖性体现在四点。第一，中间层特征用于物理预测有系统性消融支撑（第8层探针得分0.3617，最终层仅0.2432），把“中间层感知更强”的语言模型研究结论具体落到了VLA架构设计上。第二，把物理动力学解耦为RGB（外观）、深度（几何）、光流（运动）三模态的潜特征回归，比笼统的“未来帧预测”更可控；目标经池化与逐模态标准化，使57.3M的小模块无需重建全分辨率潜特征。第三，世界模型监督以流匹配速度场形式注入，梯度穿过冻结视频骨干回传，训练成本低且工程可控；设计消融证明直接监督至关重要（无直接监督时探针得分从0.3834跌至0.2683）。第四，与性能同等重要的是公开数据管线：12种机械臂的人-机视觉合成（SAM3分割、ProPainter背景重建、DA3深度做遮挡感知合成，产出896,832条双臂轨迹）、滑窗式子任务自动标注（覆盖1.79B帧）与ECoT标注（2,564,851个关键帧），每一步都给出协议与统计，边际收益也经过量化检验而非概念性展示。
实验结果
四个基准均为对比方法中最高。LIBERO平均99.3%（Spatial 100.0、Object 99.8、Goal 99.8、Long 97.6），超过Qwen-RobotManip的99.1%和InternVLA-A1.5的98.9%；LIBERO-Plus总体89.9%（10,030例），超过Qwen-RobotManip 89.0%和InternVLA-A1.5 84.8%，7类扰动中4类领先，但机器人初始状态扰动最难（75.2%）；RoboTwin 2.0平均93.6%（clean 93.9%、随机化93.3%），略超LingBot-VLA 2.0与InternVLA-A1.5的93.2%；SimplerEnv平均81.5%，超过InternVLA-A1.5的80.8%，其中Eggplant→Basket达97.6%（对比Xiaomi-Robotics-0的83.3%），但Carrot→Plate仅64.6%，低于InternVLA-A1.5的85.4%。消融一（世界模型监督）：在828条held-out RoboCOIN片段上，平均归一化MSE从0.6439降到0.6354（相对降1.32%），RGB降4.06%（95%区间[3.04,4.99]）、深度降2.12%、光流降0.62%（区间[-0.07,1.28]含零、不显著）。消融二（子任务条件化）：LIBERO-Plus从89.93%升至90.23%，机器人初始状态+1.16点、相机视角+1.00点；RoboCasa365上每1/8/32块刷新对应成功率32.25%/32.13%/20.63%（无子任务基线26.25%），8块刷新即可。消融三（ECoT）：训练时加入ECoT使LIBERO Long从92.8%升至96.0%、LIBERO-Plus Long从65.18%升至69.87%，但推理时再生成ECoT无一致增益。消融四（物体位姿辅助监督）：+0.19点（89.93→90.12），视角扰动下最大+1.38点但光照扰动-0.87点。设计消融：50个查询足够（0.3844 vs 256个的0.3834），每块交叉注意力最优，第8层输入远优于最终层。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO（单臂操作，4套件×10任务，共2000回合评测） | 成功率（%） | 99.3 | Qwen-RobotManip 99.1 / InternVLA-A1.5 98.9 / Cosmos-Policy 98.5 / π0 94.4 | 较最强基线+0.4点，较π0提升4.9点；Long套件97.6%仍低于LingBot-VA的98.5% |
| LIBERO-Plus（7类扰动鲁棒性，10,030例） | 成功率（%） | 89.9 | Qwen-RobotManip 89.0 / InternVLA-A1.5 84.8 / π0.5 84.4 | 较最强基线+0.9点，较InternVLA-A1.5提升5.1点；7类扰动中4类领先 |
| RoboTwin 2.0（双臂操作，50个Aloha-AgileX任务） | 成功率（%，clean与随机化平均） | 93.6（clean 93.9 / 随机化 93.3） | LingBot-VLA 2.0 93.2 / InternVLA-A1.5 93.2 / Qwen-RobotManip 93.0 | 较最强基线+0.4点，两种设置均领先 |
| SimplerEnv（WidowX/Bridge视觉匹配，4任务） | 成功率（%） | 81.5 | InternVLA-A1.5 80.8 / Xiaomi-Robotics-0 79.2 / π0.5 57.1 | 较最强基线+0.7点；Eggplant→Basket单任务97.6% vs Xiaomi 83.3%，但Carrot→Plate 64.6%低于InternVLA-A1.5的85.4% |
| 未来特征预测（held-out RoboCOIN，828片段） | 归一化MSE（RGB/深度/光流等权均值） | 0.6354（Direct + 世界模型） | 0.6439（仅Direct直接监督） | 相对降低1.32%（RGB降4.06%、深度降2.12%、光流降0.62%不显著） |
| LIBERO Long（ECoT训练消融） | 成功率（%） | 96.0（ECoT训练、推理时不生成） | 92.8（无ECoT训练） | +3.2点；LIBERO-Plus Long同口径从65.18%升至69.87%（+4.69点） |
局限与改进
作者明确报告的短板：LIBERO Long套件97.6%低于LingBot-VA的98.5%；SimplerEnv的Carrot→Plate任务64.6%，比InternVLA-A1.5的85.4%低20.8个百分点；LIBERO-Plus中机器人初始状态（75.2%）与传感器噪声（95.6%）两类落后于Qwen-RobotManip（75.5%/97.7%）。我的补充观察：其一，世界模型辅助的整体收益仅1.32%相对降低且光流模态统计不显著，物理表征对动作成功的因果贡献未被直接证明——论文没有做“去掉/打乱物理token”的动作性能对照；其二，对最强基线的领先只有0.3-0.9个点，可能落在训练配方噪声范围内；其三，ECoT训练在LIBERO-Plus总体上反而低于无ECoT基线（79.25 vs 79.59），收益集中在Long类任务；其四，所有评测都在仿真环境（LIBERO、RoboTwin、SimplerEnv、RoboCasa365），报告未含真机实验；其五，深度与光流监督依赖DA3/DPFlow伪标签，在透明、反光、强遮挡场景可能有系统性误差；其六，附录D自曝预训练数据中Franka EEF高度分布（p99=0.772m）无法覆盖LIBERO Spatial/Goal的桌面高度（中位数1.041/1.076m，100%超上界），暴露了跨数据集姿态归一化迁移的隐患。
独立分析的弱点
独立分析的弱点及改进方向：(1) 物理模块的贡献证明不足——基准领先仅零点几个点，且缺少移除或置零物理token的对照实验，无法把提升归因于物理理解而非数据规模与配方；建议增加token置换/置零的干预实验，并在改变物体质量、摩擦、柔软度的评测集上直接测物理泛化。(2) 未来目标只有RGB/深度/光流，缺少操作任务最关心的接触状态、受力与物体属性；建议加入接触图、力/力矩或抓取稳定性预测头。(3) 全仿真评测：人-机合成数据与物理token在真机上的效果未知，sim-to-real差距可能同时削弱两者收益；建议在Aloha、WidowX或Franka真机上做零样本与微调评测。(4) 8步动作块整块执行、4步欧拉积分的推理节奏限制闭环纠错频率，长程任务出错后恢复慢；建议采用异步推理或块重叠滑动执行。(5) 子任务刷新间隔是超参数，不同任务最优值差异大（CuttingToolSelection在1块刷新时60%、8块时50%，ArrangeTea则从15%升至22%）；建议学习自适应刷新时机，如基于子任务预测置信度触发。(6) 58维固定槽位对单臂任务浪费近半维度；建议按具身动态分配动作维度以提升样本效率。
未来方向
作者提出的方向：探索RGB、深度、光流之外的预测目标，包括物体中心几何、接触状态、材料属性，研究这些线索如何互补并贡献于动作学习，同时保持策略轻量。基于本文成果可延伸：(1) 因果物理评测——构建改变质量/摩擦/柔软度的基准，验证物理token是否真正编码动力学属性而非仅场景统计；(2) 把世界模型辅助监督升级为更强的4D/几何一致世界模型（如RynnWorld-4D方向），或把可验证的物体位姿预测用作强化学习奖励（本文的物体位姿辅助头已是雏形，带来+0.19点）；(3) 层级推理与物理预测结合——ECoT在Long套件+3.2点的收益提示，子任务/ECoT条件化与物理token的联合调度可能进一步改善长程任务；(4) 自适应子任务刷新与在线意图修正，解决RoboCasa365上刷新间隔的敏感性（32块刷新使均值从32.25%跌到20.63%）；(5) 真机迁移研究，检验人-机合成数据与物理token在真实机器人上的零样本/微调表现；(6) 物理token可解释性分析——用线性探针检测token中是否可解码出质量、速度、接触等信息。
复现评估
复现友好度较高但工程成本大。有利因素：训练数据100%来自公开数据集（DROID、BridgeData V2、RoboMIND、AgiBot World、EgoDex、RoboTwin 2.0等，正文逐一列出并给出规模）；附录A/B给出学习率（3e-4）、warm-up与余弦调度、batch大小、随机种子（42）、GPU数量、更新步数（物理预训练35,082步、4,490,400次样本曝光）、流匹配超参（Beta(1.5,1)、4步欧拉、8次重复采样）以及探针评测协议（含10,000次episode-bootstrap的95%置信区间）；基线数字取自原论文与官方仓库。不利因素：论文未声明代码与权重开源；骨干Qwen3.5-4B、世界模型LingBot-Video-Dense-1.3B、标注模型Qwen3.8-27B的可获得性决定复现上限；数据管线工程量大——EgoDex合成需要SAM3+ProPainter+逆运动学渲染链路，子任务标注需处理1.79B帧（其中7800万帧送VLM标注），ECoT标注2,564,851个关键帧；算力方面，RoboTwin微调为15万步、全局batch 1024，预训练与多基准微调合计估计需数十GPU天。总体判断：若官方开源权重，各基准可按其微调配置复现；从零复现属高成本工程，难度中高。
论文图表