VTAM：超越VLA的复杂物理交互视频-触觉-动作模型 VTAM: Video-Tactile-Action Models for Complex Physical Interaction Beyond VLAs
将触觉感知融入预测式视频世界模型，实现接触丰富操作的鲁棒控制
前置知识
Vision-Language-Action (VLA) 模型
VLA是一类将视觉观察、语言指令和机器人动作统一在同一架构中的多模态模型。它通过大规模视觉-语言预训练，将自然语言指令和视觉观测嵌入共享语义潜在空间，再解码为电机命令。代表模型如π0、π0.5等，已在多种操作任务中展现出强大的泛化能力。VLA的核心优势在于能够通过互联网规模的预训练获得通用的场景理解能力，但在接触丰富场景中存在力感知不足的问题。
VTAM本质上是对VLA范式的扩展，理解VLA的优势和局限性是理解本文动机和贡献的前提
Generative World Model（生成式世界模型）
生成式世界模型是一类通过预测未来环境状态来支持规划和策略学习的模型。在机器人领域，世界模型通常基于视频扩散模型，能够联合扩散视频和动作轨迹，从原始视频流中学习隐式的环境动态。代表工作如DreamZero、UWM等，通过学习物理动态实现零样本泛化和跨具身迁移。世界模型的关键能力是预测未来状态，使机器人能够在低频传感更新之间进行推理。
VTAM将触觉变形动态引入预测式世界模型，这是本文的核心架构创新，理解世界模型的工作原理对于把握技术路线至关重要
Flow Matching（流匹配）
流匹配是一种生成模型训练方法，它学习一个向量场将噪声分布映射到目标数据分布。与扩散模型不同，流匹配直接回归归一化的速度场（$\epsilon - z_0$），而非原始数据值，这使得不同维度（动作、状态、力）的目标方差自然缩放，避免了传统MSE回归中需要的激进超参数平衡。流匹配在VTAM中用于两个阶段：第一阶段建模视觉-触觉潜在动态，第二阶段实现条件联合动作-状态-力去噪。
流匹配是VTAM的核心优化框架，其性质（自然缩放的维度）是论文能够联合优化动作、状态和力三个不同尺度信号的技术基础
模态坍缩（Modality Collapse）
模态坍缩是指在多模态训练过程中，主导模态（通常是视觉）的梯度压制其他模态（如触觉）信号的现象。当任务损失可以仅通过视觉线索充分最小化时，流经触觉分支的梯度会减弱，导致策略过度依赖视觉而忽略触觉反馈。在接触丰富的操作中，这种现象会导致力敏感任务的不稳定。VTAM通过虚拟力正则化来解决这一问题，确保触觉表征在训练过程中保持信息量。
模态坍缩是多模态机器人学习中的核心挑战，VTAM的虚拟力正则化正是为解决这一问题而设计，理解这一概念是理解论文技术贡献的关键
GelSight触觉传感器
GelSight是一种基于视觉的触觉传感器，通过在弹性体表面标记图案并用相机捕捉变形来获取高分辨率的接触信息。传感器能够捕捉亚毫米级的表面变形，包括滑移、剪切和压力分布。在VTAM中，GelSight Mini传感器安装在夹爪手指上，以30Hz的频率采集触觉变形图像。传感器输出的高分辨率图像包含丰富的变形模式，与接触力相关，VTAM正是利用这些变形模式来推导虚拟力代理。
GelSight是VTAM系统中触觉信息的来源，理解其工作原理有助于理解虚拟力推导的技术细节和论文中触觉数据的处理方式
研究动机
当前Vision-Language-Action（VLA）模型在接触丰富的操作场景中面临严重局限。虽然视觉支持高层语义理解、语言指定任务意图，但物理交互本质上由触觉反馈主导——这是唯一直接编码机器人与环境之间瞬时接触动态的模态。在处理易碎、可变形或光滑物体时，精细的力调制和接触状态转换仅从视觉部分可观察。具体而言，现有触觉增强VLA架构存在两大问题：一是将触觉信号投影到预训练的视觉-语言潜在空间，将其视为额外语义标记，这种做法将学习接触物理的重任放在了为视觉对齐和静态场景描述优化的语义嵌入空间中；二是将触觉特征与语言条件视觉表征在下游策略中简单拼接，缺乏显式时序建模。这些方法无法忠实编码连续触觉帧之间的因果关系，而这恰恰是预测滑移起始等失败模式所需的结构。实验表明，在薯片拾取任务中，纯视觉基线（π0.5）成功率仅为10%，而朴素触觉注入甚至降至5%，说明简单的触觉集成不仅无法解决问题，反而可能因模态坍缩而适得其反。
本文的目标是本文旨在开发一种通用的视频-触觉动作模型（VTAM），将高分辨率触觉感知整合到预测式视频世界模型框架中，实现接触丰富场景下的鲁棒机器人操作。具体目标包括：（1）在共享潜在空间中联合预测未来视觉和触觉流，学习时序一致的接触动态，无需接触事件的显式语义标注；（2）通过变形感知的虚拟力正则化解决模态坍缩问题，确保触觉信号在动作优化过程中保持影响力；（3）在多种接触丰富任务中验证方法的有效性，包括薯片拾取、黄瓜削皮和白板擦拭，实现90%以上的平均成功率。
与已有工作不同的是，VTAM的独特切入角度在于将触觉感知从「被动融合」转变为「主动预测」。现有方法将触觉视为补充输入通道，通过下游分支反应式地融合；而VTAM将触觉流直接嵌入高容量视频transformer中，使其能够同时捕捉帧内变形结构和帧间接触演变。这种预测式公式使模型能够对力趋势进行推理，从而预判关键状态转换——这对处理易碎物体至关重要，因为失败往往发生在毫米级运动之内。此外，VTAM引入变形感知的虚拟力正则化，这是一种不依赖外部力-力矩传感器的硬件约束的解决方案。通过从触觉图像的光流场推导3D虚拟力代理（$F^v_t = [f_x, f_y, f_z]^T$），VTAM在动作头处提供直接监督，保持触觉梯度在整个优化过程中的影响力，从根本上解决了模态坍缩问题。
核心方法
VTAM的核心思路是将触觉传感整合到预测式视频世界模型中，使机器人能够在接触丰富场景中进行物理接地的控制。直觉上，视觉擅长理解物体几何和场景语义，但无法直接感知接触力的瞬时变化；而触觉传感器（如GelSight）能捕捉亚毫米级的表面变形，但缺乏全局场景理解。VTAM通过将两者统一在共享潜在空间中进行联合预测，实现了互补优势的融合。技术路线分为三个层次：（1）表征层面，设计视觉-触觉预测模块，基于预训练视频骨干网络，将触觉视为主性感官模态而非语义标记；（2）动作学习层面，通过虚拟力预测目标解决模态坍缩问题，稳定多模态训练；（3）优化层面，采用两阶段训练策略，先建立连贯的多模态世界表征，再引入正则化的动作预测。整个系统将多视角视觉观察和高分辨率触觉流通过预训练VAE编码到共享连续潜在空间，通过多视角扩散过程联合建模时序动态，最终注入条件扩散动作头生成物理接地的控制动作。
VTAM的核心创新在于两个关键设计：层次化视觉-触觉世界建模和变形感知虚拟力正则化。与现有方法的本质区别在于：（1）VTAM不将触觉信号映射到语言对齐的语义空间，而是将其作为主性感官模态直接嵌入视频transformer，通过交替的帧内和帧间注意力机制学习联合视觉-触觉动态。这种设计保留了触觉传感器的高频空间细节（如表面变形和纹理变化），这些细节在标准语义视觉编码器中往往被丢弃；（2）VTAM引入变形感知虚拟力正则化，这是一种不依赖外部力-力矩传感器的解决方案。通过从触觉图像的密集光流场推导3D虚拟力代理（切向剪切力 $f_x = E[u_x]$、$f_y = E[u_y]$ 和法向压缩力 $f_z = E[\nabla \cdot u_t]$），将紧凑的力信号作为联合去噪目标的附加组件，有效绑定了控制梯度与触觉表征，防止了视觉主导导致的模态坍缩。这两个设计的结合使VTAM能够在不接触时进行力趋势推理，预判关键状态转换。
方法步骤详情
VTAM的方法分为三个主要步骤：第一步，视觉-触觉潜在世界建模。给定时间步 $t$ 的输入帧 $I^v_t$（$v \in \{1,2,3\}$ 分别代表第三人称视角、第一人称视角和触觉流），使用预训练视频VAE编码器 $E$ 提取连续潜在表示 $z^v_t = E(I^v_t)$。然后通过 $B$ 个交替注意力块处理这些潜在表示：首先对每种模态独立应用帧内自注意力以捕捉空间结构 $\tilde{z}^v_{t,b} = \text{SelfAttention}(z^v_{t,b-1})$，然后跨所有视角拼接并应用跨视角自注意力 $Z_b = \text{CrossViewAttention}(\text{Concat}(\tilde{z}^1_{t,b}, \tilde{z}^2_{t,b}, \tilde{z}^3_{t,b}))$。第二步，变形感知正则化。给定无接触参考帧 $I_0$ 和当前触觉帧 $I_t$，计算密集光流 $u_t = (u_x, u_y)$，推导3D虚拟力代理：$f_x = E[u_x]$（切向剪切）、$f_y = E[u_y]$（切向剪切）、$f_z = E[\nabla \cdot u_t]$（法向压缩，利用可变形弹性体按压物体时表面图案向外扩展的特性）。第三步，两阶段优化。阶段I仅微调骨干网络建模联合视觉-触觉潜在动态，损失函数为 $\mathcal{L}_{stage1} = E[\|v_\theta(z_t, t) - v^*\|^2]$，仅应用于未来预测帧；阶段II引入正则化动作预测，联合去噪目标为 $z_0 = [a; f; s]$（$a \in \mathbb{R}^7$ 为6-DoF末端执行器位姿+1D夹爪宽度，$f \in \mathbb{R}^3$ 为虚拟力，$s \in \mathbb{R}^{16}$ 为本体感觉状态），总损失 $\mathcal{L}_{stage2} = \mathcal{L}_{action} + \lambda_1 \mathcal{L}_{state} + \lambda_2 \mathcal{L}_{force}$。
技术新颖性
VTAM的技术新颖性体现在多个层面。首先，在架构设计上，VTAM是首个将触觉变形动态引入预测式视频世界模型的工作，区别于现有方法将触觉作为补充输入通道的被动融合范式。通过将触觉流直接嵌入高容量视频transformer，VTAM能够同时捕捉帧内变形结构和帧间接触演变，实现对力趋势的预测推理。其次，在正则化策略上，VTAM提出了一种不依赖外部硬件的虚拟力推导方法，从视觉触觉传感器的光流场直接推导3D力代理。这种方法利用了可变形弹性体按压物体时表面图案向外扩展的物理特性，将流散度 $E[\nabla \cdot u_t]$ 作为法向压缩的几何接地代理，是一种巧妙的物理启发设计。第三，在优化框架上，VTAM采用两阶段解耦训练策略，先建立连贯的多模态世界表征，再引入动作监督，避免了同时优化模态对齐和控制策略导致的分布偏移。流匹配框架的使用使得不同尺度的信号（动作、状态、力）能够自然缩放，无需激进的超参数平衡。最后，在系统层面，VTAM不需要腕部力-力矩传感器，降低了硬件要求，同时通过30Hz数据采集和1Hz推理的设置验证了方法在低频控制下的鲁棒性。
实验结果
VTAM在三个接触丰富操作任务上进行了全面评估，每个任务进行20次试验，共80次真实世界试验，推理频率为1Hz。核心发现如下：在薯片拾取任务中，VTAM达到90%成功率，而纯视觉基线（Genie Envisioner）为0%，π0.5（Vision-Only）为10%，π0.5 + 朴素触觉注入为5%。这表明VTAM能够有效感知接触变形，在抓取失败时立即返回重试，而非继续执行到放置阶段。在黄瓜削皮任务中，VTAM达到85%成功率，所有基线均为0%，证明触觉反馈对于维持稳定接触和调节剪切力至关重要，特别是在黄瓜厚度变化时。在白板擦拭任务中，VTAM达到95%成功率（涵盖平面和倾斜表面），而基线方法要么施加不稳定的接触力，要么无法维持一致的表面跟踪。消融实验在薯片拾取任务上进行（每种变体10次试验），完整VTAM模型90%成功率，纯视觉0%，仅在动作头进行触觉融合0%，移除虚拟力正则化后降至10%，验证了层次化视觉-触觉世界建模和虚拟力正则化两个关键组件的有效性。预测可视化显示VTAM骨干视频模型能够保持跨视角时序一致性和视角内动态，仅在与操作无关的细节上有轻微模糊。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 薯片拾取放置 | 成功率 | 90% | π0.5 (Vision) 10% | +80% |
| 黄瓜削皮 | 成功率 | 85% | 所有基线 0% | +85% |
| 白板擦拭 | 成功率 | 95% | Genie Envisioner 2.5% | +92.5% |
| 薯片拾取（消融-无触觉） | 成功率 | 90% | Vision-only 0% | +90% |
| 薯片拾取（消融-无虚拟力正则化） | 成功率 | 90% | No Reg. 10% | +80% |
局限与改进
VTAM存在若干局限性需要指出。首先，实验设置相对受限：所有评估均在单一6-DoF xArm6机械臂上进行，仅使用平行夹爪，未验证在更复杂末端执行器（如灵巧手）上的泛化能力。其次，任务多样性有限：虽然涵盖了易碎物体、可变形物体和刚性物体三种类型，但均属于桌面操作范畴，未涉及更广泛的操作场景（如户外环境、人机协作等）。第三，数据规模较小：训练数据集仅包含100个薯片拾取、105个白板擦拭和61个黄瓜削皮轨迹，总计266个演示，这可能限制了模型的泛化能力。第四，推理频率较低：VTAM以1Hz运行推理，虽然论文强调了预测式世界建模在低频更新下的优势，但这也意味着在需要高频反应的场景中可能表现不佳。第五，虚拟力代理的物理局限性：从光流推导的虚拟力是几何接地的代理而非校准的物理力，其与真实力的相关性未进行定量验证。第六，触觉传感器依赖：VTAM依赖GelSight触觉传感器，这种传感器成本较高且需要定期维护，可能限制在资源受限环境中的部署。最后，两阶段训练策略增加了训练复杂性，且阶段划分的最优策略未进行充分探索。
独立分析的弱点
VTAM的弱点主要体现在以下几个方面：（1）硬件绑定性：方法深度依赖GelSight视觉触觉传感器，该传感器需要精确的光学校准和弹性体维护，且成本较高（通常数千美元）。改进方向包括开发对触觉传感器类型更鲁棒的表征学习方法，或探索低成本触觉传感替代方案（如基于力敏电阻的传感器）。（2）任务特异性：虚拟力推导假设接触物体为可变形弹性体，这一假设在处理刚性物体或非弹性接触时可能不成立。可以考虑学习自适应的力代理推导机制，根据接触类型动态调整力估计策略。（3）缺乏长期规划：VTAM的1Hz推理频率限制了其在需要快速反应的任务中的应用。可以探索分层控制架构，将VTAM作为高层规划器与低频反应式控制器结合。（4）模态融合粒度：当前的跨视角注意力机制对所有模态使用相同的注意力权重，未考虑不同任务中视觉和触觉的相对重要性。可以引入任务条件化的注意力门控机制。（5）评估单一性：所有实验在单一机器人平台上进行，缺乏跨具身验证。改进方向包括在不同机器人构型（如双臂系统、移动操作平台）上验证方法的泛化能力。
未来方向
作者提出和基于成果可延伸的未来研究方向包括：（1）扩展到更复杂的接触场景：将VTAM应用于更广泛的操作任务，如灵巧操作（使用多指手）、双臂协作、以及需要长时间接触维持的任务（如研磨、抛光）。（2）跨具身迁移：利用VTAM的预测式世界建模能力，探索在不同机器人平台间的知识迁移，特别是在触觉传感器配置不同时的适应策略。（3）自监督触觉表征学习：开发不依赖配对视觉-触觉数据的自监督学习方法，利用触觉信号的时序一致性作为监督信号。（4）实时力控制集成：将VTAM的虚拟力预测与实际力-力矩传感器数据结合，实现更精确的力控制，特别是在需要精确力调节的工业应用中。（5）多模态世界模型扩展：将VTAM框架扩展到包含更多模态（如听觉、温度感知），构建更全面的物理世界理解。（6）大规模预训练：利用互联网规模的触觉数据（如触觉传感数据库）进行预训练，提升模型的泛化能力和样本效率。（7）在线适应：开发在线学习机制，使VTAM能够在部署过程中根据新的接触经验持续改进策略。
复现评估
VTAM的复现评估如下：开源情况方面，论文提供了项目主页 https://plan-lab.github.io/vtam，但未明确说明代码和模型权重是否开源。数据方面，论文使用了266个真实世界演示轨迹（100个薯片拾取、105个白板擦拭、61个黄瓜削皮），数据规模较小但需要实际机器人硬件采集，复现门槛较高。硬件要求方面，需要6-DoF xArm6机械臂、平行夹爪、GelSight Mini触觉传感器、两个Intel RealSense D455 RGB-D相机，以及相应的数据采集和控制系统，硬件成本预计在数万美元级别。算力方面，论文使用预训练视频VAE和视频transformer骨干网络，两阶段训练策略，预计需要高端GPU（如A100或同等）进行训练。复现难度评估为中等偏高：核心算法（流匹配、注意力机制）有成熟实现，但硬件系统搭建和数据采集是主要障碍。建议复现者首先在仿真环境中验证算法逻辑，再迁移到真实硬件。论文的方法描述较为详细，包含关键超参数（如 $\lambda_1$、$\lambda_2$）和训练细节，有助于复现。
论文图表
