打破视觉-动作捷径：面向可泛化机器人基础模型的潜在接口训练 Breaking the Vision-Action Shortcut: Latent Interface Training for Generalizable Robotics Foundation Models
两阶段训练先无图像建立空间目标动作先验，再经位姿监督潜在接口注入视觉，缓解视觉-动作捷径。
前置知识
视觉-语言-动作模型（VLA）与世界-动作模型（WAM）
VLA 将预训练视觉-语言骨干网络与专门的动作专家结合，直接从图像、语言指令和机器人状态生成动作块，代表如 RT-2、OpenVLA、π0.5。WAM 在此基础上引入视频预测或世界建模目标，让动作生成以学到的环境动态表征为条件，如 FAST-WAM、ImageWAM。骨干与动作专家的耦合方式主要有两种：π0 系列的 Mixture-of-Transformers 共享自注意力，以及 MolmoAct 系列的逐层交叉注意力访问骨干各层 KV 缓存。
LIT 的卖点是模型无关性，同时适配四种 VLA/WAM 架构；只有理解这些架构如何把视觉表征送进动作专家，才能明白潜在接口为何能成为'唯一视觉通路'。
捷径学习与因果混淆
捷径学习指模型依赖训练分布中与标签相关但非因果的虚假特征，如背景纹理；在模仿学习中对应'因果混淆'（causal confusion）：策略学会依赖与专家动作相关但对任务无关的观察线索（例如演示中固定的相机视角），一旦该相关性在测试时被打破，策略即失效。Geirhos 等 2020 年与 de Haan 等 2019 年的工作奠定了这一分析框架。
这是论文的核心问题诊断：机器人基础模型性能退化被归因于视觉-动作捷径，LIT 的两阶段设计与全部消融实验都是围绕'如何证明并消除捷径'展开的。
流匹配（Flow Matching）
一种生成式训练目标：在噪声分布与数据分布之间构造连续插值路径，训练网络预测该路径的速度场。本文设定下采样 $\tau \sim U(0,1)$、$\epsilon \sim \mathcal{N}(0,I)$，构造加噪动作块 $\tilde{A}^\tau_t = (1-\tau)\epsilon + \tau A_t$，回归目标为 $v^*_t = A_t - \epsilon$，损失是预测速度与目标速度的均方误差。π0 系列用它生成连续动作块。
四个基线架构的动作专家都用流匹配或类似目标训练，理解该损失才能看懂 Stage 1/Stage 2 的动作损失 $\mathcal{L}_{act}$ 以及 Fig. 7 的训练动态曲线。
SE(3) 末端执行器位姿
SE(3) 描述刚体在三维空间中的位置与朝向。本文取每个示范动作块末端时刻的机器人状态，构造 $g_t = [p_{t+H}; r_{t+H}; q_{t+H}] \in \mathbb{R}^8$，其中 $p$ 是 3 维世界系位置、$r$ 是 3 维轴角朝向、$q$ 是 2 维夹爪关节。它在 Stage 1 作为条件信号、在 Stage 2 作为重建目标，推理时完全不需要。
$g_t$ 是贯穿两阶段的'信息合同'：Stage 1 用它条件化无图像动作先验，Stage 2 用它监督潜在接口，这一共享目标是全文最核心的设计。
LIBERO 与 LIBERO-Plus 基准
LIBERO 是桌面操作仿真基准，含 Spatial、Object、Goal、Long 四个套件共 40 个任务，本文每任务跑 50 次、共 2000 次评估分布内成功率。LIBERO-Plus 是其鲁棒性扩展，对任务施加七类保持任务语义不变的扰动：相机视角、传感器噪声、光照、背景纹理、机器人初始状态、物体布局、语言指令，共 10030 个扰动实例，每实例一次固定种子 rollout，衡量零样本泛化。
论文所有主结果（Table I/II）和消融（Table III）都基于这两个基准，不看懂评测协议就无法解读 68.97%→79.67% 这类数字的含义。
可学习潜在 token 与交叉注意力接口（Q-Former 式）
一组固定数量的可学习查询向量（latent tokens），通过交叉注意力从另一组表征（如图像特征）中提取信息并压缩进自身，BLIP-2 的 Q-Former 是这一设计的代表。本文用 $K=100$ 个共享 token $Z_0$，在每个耦合层依次做自注意力、对语言/状态表征的语义交叉注意力、对视觉表征的交叉注意力，充当动作专家的瓶颈式条件化接口。
潜在接口是 LIT 的技术载体：它是动作专家唯一的视觉信息来源，其逐层更新公式（Eq. 6）和位姿重建监督（Eq. 8）构成了方法主体。
研究动机
机器人基础模型（如 π0.5、MolmoAct2 等 VLA，以及 FAST-WAM、ImageWAM 等 WAM）在训练分布内表现强劲，但在视觉分布偏移下明显退化。根本原因之一是'视觉-动作捷径'：动作专家在训练时学会了依赖与示范动作相关但对任务无关的视觉线索，一旦视角、光照、背景或传感条件改变，这些相关性失效，策略随之崩溃；演示数据视觉多样性有限进一步助长了这种依赖。实测数据非常直观：在 LIBERO-Plus 零样本泛化基准上，FAST-WAM 基线在相机视角扰动下成功率仅 16.40%，总体只有 51.44%；π0.5 基线总体 68.97%，MolmoAct2 基线 63.62%；真实机器人上 Wipe trash 任务在相机配置改变时基线成功率跌至 10%。已有工作要么做表示增强（R3M、TraceVLA、SpatialVLA、ECoT），要么做信息过滤（OREO、选择性视觉表示），但丰富或删减信息本身并不约束动作生成到底如何使用视觉信息，捷径问题依然存在。
本文的目标是本文的目标是设计一种框架无关的训练策略，在保留动作生成所需的任务相关空间信息的同时，约束视觉信息进入动作生成的方式，从而在训练分布内不损失性能的前提下大幅提升视觉分布偏移下的零样本泛化。具体包括四点：其一，提出可即插即用到不同 VLA/WAM 架构的两阶段训练方法，覆盖 π0.5、MolmoAct2 两种 VLA 与 FAST-WAM、ImageWAM 两种 WAM；其二，在 LIBERO 四个套件共 40 个任务、每任务 50 次共 2000 次评估中保持或提高分布内成功率；其三，不做任何适配地在 LIBERO-Plus 全部 10030 个扰动实例（相机视角、传感器噪声、光照、背景纹理、机器人初始状态、物体布局、语言指令七类）上验证泛化提升，并用三个真实任务（Keep LEGOs、Wipe trash、Transfer egg）检验物理世界可迁移性；其四，通过注意力可视化、反事实干预、训练动态分析与六组消融实验定位每个组件的贡献。
与已有工作不同的是，已有三条路线都未能同时做到'约束视觉使用'与'保留空间信息'。表示增强路线（TraceVLA 的轨迹提示、SpatialVLA 的 3D 位置、ECoT 的具身推理链）只是让更多信息可用，动作专家仍可能走捷径；知识绝缘方法阻断动作专家到骨干的梯度，却保留直接的视觉条件化通路。阶段式预训练路线（Qwen-VLA、LA4VLA、APT）先无图像学动作先验再引入视觉，但预训练阶段缺少每个动作块显式的空间目标，后续视觉训练也没有约束视觉信息的使用方式——论文消融显示 LA4VLA 式分阶段训练只能把 OOD 成功率从 63.62% 提到 65.46%。过滤路线（OREO、选择性视觉表示）抑制无关线索却无法保证任务相关空间信息被保留。LIT 的独特切入是让'每个动作块的末端 SE(3) 位姿'同时充当两阶段之间的桥梁：第一阶段作为条件、第二阶段作为潜在接口的重建目标，且接口是动作专家唯一的视觉通路。
核心方法
LIT 的直觉是：机器人应先学会'不看图像也能朝正确的空间目标行动'，之后视觉只需负责'报告目标在哪里'，而不是提供可走捷径的表面线索。技术上分两阶段。第一阶段做无图像的空间目标条件动作预训练：动作专家从零训练，以冻结骨干网络输出的语言与机器人状态表示，加上由可训练 MLP 编码的示范动作块末端位姿 $g_t = [p_{t+H}; r_{t+H}; q_{t+H}] \in \mathbb{R}^8$ 为条件，用流匹配目标 $\mathcal{L}_{prior}$ 训练，只更新动作专家参数 $\theta$ 与位姿编码器 $\eta$。第二阶段引入潜在接口：$K=100$ 个可学习潜在 token 逐层通过自注意力、语义交叉注意力与视觉交叉注意力聚合骨干表示，并按各架构原生机制逐层条件化预训练好的动作专家，成为其唯一视觉通路；同时用 MLP 解码器从最终 token 重建同一个 $g_t$，总损失为 $\mathcal{L}_{act} + 0.3\,\mathcal{L}_{pose}$。推理时位姿编解码器全部移除，策略只需视觉观测、语言与机器人状态，按各框架原生流程采样执行。
核心创新是'共享空间目标 + 独占视觉接口'的组合。同一个示范动作块的末端 SE(3) 位姿在第一阶段是动作先验的条件、在第二阶段是潜在接口的重建目标，这一共享目标把动作先验学习与视觉接口学习对齐到同一空间坐标系：接口被迫从图像中恢复与动作生成直接相关的目标几何信息，而难以携带与动作无关的捷径线索。与 LA4VLA、Qwen-VLA 等分阶段方法的本质区别在于：它们预训练时没有逐块空间目标，引入视觉后也不约束使用方式；与知识绝缘的区别在于后者虽阻断梯度却仍让视觉表征直接条件化动作专家；与 OREO 等过滤方法的区别在于 LIT 不是删除信息，而是规定视觉信息必须以'可重建出目标位姿'的形式经过一个瓶颈接口。消融证明三者缺一不可：仅保留 token 聚合 OOD 成功率 65.70%，仅分阶段训练 65.46%，基线加位姿监督 65.45%，完整 LIT 达 71.92%。
方法步骤详情
第一阶段输入语言指令 $l$、机器人状态 $s_t$ 与示范块末端位姿 $g_t \in \mathbb{R}^8$（位置、轴角朝向、夹爪关节）。冻结骨干只处理语言与状态得到各层表示 $H^{\ell}_{sem}$，三层 GELU MLP 编码器把 $g_t$ 映射为目标 token 拼接条件化动作专家；采样 $\tau, \epsilon$ 构造加噪块 $\tilde{A}^\tau_t = (1-\tau)\epsilon + \tau A_t$，回归速度 $v^*_t = A_t - \epsilon$，最小化流匹配损失，仅更新专家与位姿编码器。第二阶段以 Stage 1 参数初始化专家：$K=100$ 个潜在 token 逐层做自注意力与语义/视觉交叉注意力，每 $m$ 层共享接口参数；动作损失条件换成 token 序列，另加 MLP 解码器重建 $g_t$ 的位姿损失；骨干、编码器、专家、接口联合优化，两阶段共享总步数（MolmoAct2 为 10K+20K 对齐基线 30K）。推理时移除位姿编解码器。
技术新颖性
技术新颖性有四点。第一，位姿作为两阶段间的'信息合同'：以往无图像预训练与视觉微调之间没有显式一致性约束，LIT 用同一 $g_t$ 保证接口学到的视觉特征恰好是动作先验所需的空间变量——去掉位姿监督后传感器噪声扰动下成功率从 70.77% 掉到 60.02%（-10.75 个百分点）印证了这一点。第二，独占通路的瓶颈设计：把'动作专家允许看到什么'变成架构级约束而非正则项，允许直接视觉访问的版本 ID 成功率相当（94.25% 对 94.10%）但 OOD 掉 4.18 个百分点，说明增益来自信息路由方式而非额外容量。第三，模型无关性：同一策略同时适配共享自注意力（π0.5）与逐层交叉注意力 KV（MolmoAct2）两种耦合机制，以及训练时预测未来视频（FAST-WAM）与推理时保留图像编辑去噪（ImageWAM）两种世界建模用法，28 个架构-扰动组合中 26 个提升。第四，训练效率：LIT 在 20K 视觉训练步的动作损失（0.025）已低于基线 30K 步的最终损失（0.033）。
实验结果
分布内性能四架构全部不降：LIBERO 平均成功率 π0.5 87.75%→91.80%，MolmoAct2 93.50%→94.10%，FAST-WAM 97.60%→98.10%，ImageWAM 98.10%→98.40%。零样本泛化大幅改善：LIBERO-Plus 总体成功率 π0.5 68.97%→79.67%，MolmoAct2 63.62%→71.92%，FAST-WAM 51.44%→60.63%，ImageWAM 83.02%→86.89%（+3.87~+10.70 个百分点）；28 个组合中 26 个提升，最大单项相机视角 +27.43、传感器噪声 +21.74。真实机器人上 ID 74.7%→88.0%，光照/相机/干扰物 OOD 分别 53.3%→70.0%、30.0%→46.7%、50.0%→63.3%，Transfer egg 的 ID 从 52.0% 跃至 92.0%。消融中去掉 Stage 1、位姿监督、独占接口分别使 OOD 降至 68.23%、68.86%、67.74%。行为上 LIT 注意力稳定于任务相关区域，视觉干预下轨迹不变且能响应目标切换。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO 分布内（π0.5，40 任务 2000 次评估） | 平均成功率 | 91.80% | 87.75% | +4.05 个百分点 |
| LIBERO 分布内（MolmoAct2） | 平均成功率 | 94.10% | 93.50% | +0.60 个百分点 |
| LIBERO 分布内（FAST-WAM） | 平均成功率 | 98.10% | 97.60% | +0.50 个百分点 |
| LIBERO 分布内（ImageWAM） | 平均成功率 | 98.40% | 98.10% | +0.30 个百分点 |
| LIBERO-Plus 零样本（π0.5，七类扰动 10030 实例） | 总体成功率 | 79.67% | 68.97% | +10.70 个百分点 |
| LIBERO-Plus 零样本（MolmoAct2） | 总体成功率 | 71.92% | 63.62% | +8.30 个百分点 |
| LIBERO-Plus 零样本（FAST-WAM） | 总体成功率 | 60.63% | 51.44% | +9.19 个百分点 |
| LIBERO-Plus 零样本（ImageWAM） | 总体成功率 | 86.89% | 83.02% | +3.87 个百分点 |
| 真实机器人 3 任务 ID（每任务 25 次共 75 次） | 成功率 | 88.0% | 74.7% | +13.3 个百分点 |
| 真实机器人光照 OOD（每任务 10 次共 30 次） | 成功率 | 70.0% | 53.3% | +16.7 个百分点 |
| 真实机器人相机 OOD（仅顶视角） | 成功率 | 46.7% | 30.0% | +16.7 个百分点 |
| 真实机器人干扰物 OOD | 成功率 | 63.3% | 50.0% | +13.3 个百分点 |
局限与改进
作者承认评估局限于三个真实任务、每任务 100 条共 300 条演示，真实世界仅对比 MolmoAct2 一种架构，更大规模、更多样数据的验证留待未来。我的补充观察：其一，末端 SE(3) 位姿是低维目标代理，对接触丰富、可变形物体或长时程任务未必充分，接口可能学不到力/接触相关的视觉线索；其二，语言指令扰动的提升不稳定，MolmoAct2 上为 -2.11、ImageWAM 上为 -0.92 个百分点，说明接口对语义信息的利用可能被位姿目标挤占；其三，真实相机 OOD 成功率仅 46.7%，对相机布局剧变仍脆弱，Wipe trash 的 ID 也只是持平；其四，方法依赖精确的本体状态与末端位姿标注，标定误差大的低成本平台适用性存疑；其五，基线是从零训练动作专家而非微调预训练策略检查点，作者明确声明基线数字不能与已发表结果直接比较，绝对数值横向可比性有限；其六，两阶段流水线增加训练工程复杂度与超参数（$K=100$、$\lambda_{pose}=0.3$、共享间隔 $m$、两阶段步数配比）的调优成本。
独立分析的弱点
弱点一：末端单帧位姿作为目标无法编码中间路径与接触时刻，对倒水、擦拭等接触密集任务，位姿重建好不等于动作对——可把接口监督扩展为子目标位姿序列或接触标签。弱点二：真实相机 OOD 仅 46.7%，说明对未见相机几何仍缺乏不变性——可引入多相机一致性损失，或用 NeRF/3DGS 渲染做接口的额外空间监督。弱点三：语言通道在部分架构上轻微退化（MolmoAct2 -2.11、ImageWAM -0.92），接口可能低估语义信息——可增加指令重建辅助损失以平衡语义与空间信息。弱点四：两阶段步数配比（10K+20K）是新超参数，不同数据规模下最优配比未知——可用课程式自动调度按损失收敛动态切换。弱点五：仅验证 LIBERO 系桌面任务与三个家庭场景，未测移动操作、双臂或野外环境——需在更开放平台复验泛化结论的外推性。弱点六：接口 token 数固定为 100，任务复杂度变化时可能欠拟合或冗余——可设计自适应 token 数或按任务难度稀疏激活。
未来方向
作者提出两个方向：把 LIT 扩展到更大规模、更多样的机器人演示数据集，并把评估扩展到更广的任务与环境。在此基础上可以延伸：第一，把潜在接口与分层方法结合，例如让接口 token 预测 3D HAMSTER 式末端轨迹作为中间监督，进一步显式化空间信息；第二，利用世界模型的未来想象（FAST-WAM 的未来视频预测）作为接口的额外自监督信号，约束接口保留动态信息而不只是静态目标位姿；第三，将接口设计推广到自回归 VLA（RT-2、OpenVLA）与扩散动作头（Diffusion Policy、CogACT），检验流匹配之外的适用性；第四，跨具身迁移：位姿接口天然具身无关，可研究在大规模跨具身数据（Open X-Embodiment）上预训练的接口能否零样本迁移到新机器人；第五，与在线强化学习微调结合，验证捷径抑制是否加速真实世界探索效率；第六，理论层面量化瓶颈宽度 $K$ 与捷径依赖程度的关系，为接口容量选择提供原则性指导。
复现评估
论文提供项目主页 magiclab-nus.github.io/LIT，但正文未明确承诺开源代码与训练脚本。数据侧：LIBERO 演示与 LIBERO-Plus 扰动基准均为公开资源，40 个任务、2000 次仿真评估可以复现；真实机器人部分需自建三个任务各 100 条演示（共 300 条）以及可切换光照、相机、干扰物的硬件环境，门槛较高。算力侧：MolmoAct2 实验采用 10K+20K 步两阶段预算并与 30K 步基线严格对齐，属中等规模微调量级，但四个架构（π0.5、MolmoAct2、FAST-WAM、ImageWAM）代码库各不相同，复现全部结果需逐一集成潜在接口模块并适配各自的动作生成机制，工程量不小。超参数交代较全：$K=100$、$\lambda_{pose}=0.3$、每 $m$ 层共享接口参数、三层 GELU MLP、位姿损失在预处理状态空间计算并按有效目标取平均。综合评估：复现单一架构的仿真结果难度中等（建议先在 MolmoAct2 上复刻 Table III 消融），完整复现四架构加真实机器人实验难度高。
论文图表
左右对比标准训练范式（视觉表征直接条件化动作专家）与 LIT 两阶段范式（Stage 1 无图像的空间目标条件预训练 + Stage 2 位姿监督潜在接口），中央柱状图汇总四种架构在 LIBERO 与 LIBERO-Plus 上的成功率，显示 LIT 在提升 OOD 的同时保持或提升 ID。
一张图同时呈现问题设定（标准范式易学捷径）、方法范式对比和核心结论（四种架构普遍增益），是理解全文的入口。
三条损失曲线：(a) Stage 1 动作流匹配损失 10K 步降至 0.029；(b) Stage 2 位姿重建损失 20K 步降至 0.003；(c) 视觉训练阶段动作损失，LIT 在 20K 步达到 0.025，低于基线 30K 步的 0.033，两者总训练预算相同。
验证两阶段各自按预期角色学习（先验学习收敛、接口可恢复位姿），并说明 LIT 训练效率更高，支撑方法设计的合理性。
四种架构基线与 LIT 在 LIBERO-Spatial/Object/Goal/Long 四个套件的成功率与平均值：π0.5 87.75→91.80，MolmoAct2 93.50→94.10，FAST-WAM 97.60→98.10，ImageWAM 98.10→98.40，无一架构平均下降。
证明引入瓶颈接口不会牺牲分布内性能，这是泛化提升'不是以遗忘为代价'的必要前提。
四种架构在七类扰动下的逐项成功率与相对基线的 Δ：28 个架构-扰动组合中 26 个提升，总体增益 +3.87 至 +10.70 个百分点；最大单项为 FAST-WAM 相机视角 +27.43，个别语言指令项轻微下降（最多 -2.11）。
论文的核心结果表，完整呈现零样本泛化增益的广度、幅度与少数例外，是评估方法有效性的第一依据。
在 MolmoAct2 上对比完整 LIT（ID 94.10 / OOD 71.92）与六个消融/替代设计：去掉 Stage 1 降至 68.23，去掉位姿监督降至 68.86，允许直接视觉访问降至 67.74，仅 token 聚合 65.70，LA4VLA 式分阶段 65.46，基线加位姿监督 65.45。
逐一分离动作先验、位姿监督与独占接口三个组件的贡献，并排除'随便一个瓶颈/分阶段设计就能奏效'的简单解释。