PerturBot：用扰动式训练打破视觉-语言-动作模型中的模态捷径先验 PerturBot: Breaking Shortcut Priors in Vision-Language-Action Models with Perturbative Training
三种数据干预让VLA依赖任务证据而非捷径，并以GroundFscore离线诊断扩展健康度
前置知识
VLA（视觉-语言-动作）模型
将相机观测、语言指令与机器人本体状态映射为动作的多模态策略网络，通常由预训练视觉-语言模型初始化，再在大规模遥操作演示上微调，代表如 RT-2、π0、π0.5。本文的 π0.5 用流匹配头输出长度 $H=16$ 的动作块（15 Hz 下约 1 秒），输入含头部相机、双腕相机与双臂本体状态。
本文研究的模态捷径就发生在 VLA 的视觉、语言、运动三个输入模态上，所有实验都以 π0.5 为骨干微调，理解其输入输出形式是读懂方法与评测的前提。
行为克隆与因果混淆
行为克隆把模仿学习当成监督学习：给定专家的状态-动作对，最小化策略输出与专家动作的差距。它只奖励动作一致，不奖励证据使用。de Haan 等人指出的因果混淆与 copycat 问题表明，策略可以依赖与决策无关的线索（如上一时刻动作、画面显著性）同样拟合专家，分布一变即崩溃，而训练目标对此毫无约束。
模态捷径正是因果混淆在 VLA 多模态输入上的实例，理解它才能明白为什么任务成功率无法暴露策略到底在用什么做决策。
捷径学习
Geirhos 等人提出的概念：神经网络倾向利用训练分布中预测性强但脆弱的特征（例如凭图像背景而非物体本身分类），分布偏移即失效。VQA 模型不看图、仅凭语言先验答题是经典案例；域随机化、反事实编辑等数据手段是对它的常见补救。
论文把 VLA 的三类失败统一命名为模态捷径，是这一概念在机器人操作中的多模态推广，且指出与单模态捷径不同，它源于成功演示本身的规律性。
流匹配（Flow Matching）
一类生成式建模方法：训练网络预测把高斯噪声分布搬运到数据分布的速度场，推理时从噪声出发用少量欧拉步积分得到样本。π 系列模型用它作动作解码头，在归一化动作空间中生成连续动作块；本文配置为每样本 4 个噪声样本训练、推理 10 步欧拉积分。
GroundFscore 计算时让编辑前后两次前向传播共享同一流匹配噪声，否则采样随机性会被误当作策略对输入的响应，污染分数。
条件互信息与冗余
$I(d;e\mid s)$ 衡量已知捷径线索 $s$ 后，证据 $e$ 对决策 $d$ 还提供多少信息；冗余 $R=I(d;s)+I(d;e)-I(d;s,e)$ 为重复信息。$R\approx I(d;e)$ 时证据无增量（共线性），$H(d)\approx 0$ 时决策从不变化（退化）。
式 (1) 的互信息分解是全文理论骨架，三个数据组件 V、C、R 分别对应降低 $R$、提高 $I(d;e)$、打破退化，读懂它才能理解方法为何如此设计。
F-score（F1 分数）
精确率与召回率的调和平均：$F_1=\frac{2PR}{P+R}$，只有两者同时高时分数才高，任何一项为零则整体为零。广泛用于检测、检索等正负样本不平衡的任务评价，可防止用牺牲一方换另一方的刷分行为。
GroundFscore 的形式正是把精确率换成 $1-R_c$（不该动时不动）、召回率换成 $S_c$（该动时按已知方向动），从而让靠忽略输入得分的聋子策略（$R_c=0$ 但 $S_c=0$）拿到零分。
研究动机
VLA 策略在熟悉任务上成功率很高，却可能根本没用到决定动作的证据。论文刻画了三类模态捷径：(1) 显著性捕获（抓什么）——腕部相机附近出现的物体会把机械臂从指令目标引开，因为专家伸手时目标必然占据腕部视野，腕部显著性成了指令的替身；(2) 名词锁定（什么语义）——训练中碗总与拿起配对，改说推一下碗仍会触发抓取，动词探针显示微调基线只有 36% 完成指令操作、52% 执行了场景暗示的熟悉操作；(3) 运动惯性（怎么动）——夹爪合拢落空后仍然抬臂，基线在 50 次空抓探针中 82% 照常抬起。根源在于行为克隆只奖励与演示动作的一致性，不奖励证据使用，而成功演示的规律性让捷径线索高度可预测：把演示从 500 条加到 1000 条，成功率仅从 42% 升至 48%，空抓失败率仍高达 80%，GF 几乎纹丝不动。
本文的目标是本文目标是让任务相关证据更容易被使用、让捷径线索自身不再充分，同时完全不改动模型结构、训练损失与推理流程。具体拆成三件事：其一，在腕部视角插入不改变任务标注的合理干扰物，使视野显著性不再可靠；其二，用决策相关的详细字幕把物体属性、空间关系与请求操作显式写出，让语言证据更易解码；其三，把随机运动与失败执行录像按局部实际行为重标注后加入训练，使决策分支真正随观测变化。配套地，作者提出 GroundFscore——只需成对前向传播、无需任何真机 rollout 的离线诊断分数，用于回答一个成功率答不了的问题：策略的提升是靠读证据还是靠更稳定地复读捷径，即任务成功率告诉你有没有变好，GroundFscore 告诉你是不是以健康的方式变好。
与已有工作不同的是，已有工作多单看一个模态：或记录 VLA 忽视语言、视觉压倒指令，或用增强与域随机化只变外观，或用纠正数据只补行为覆盖。本文的独特切入有三点。第一，把三类看似不同的失败统一为模态捷径并与决策一一对应（抓什么、什么语义、怎么动），用式 (1) 的信息分解 $I(d;e\mid s)=I(d;e)-R$ 把它们共同追溯到成功演示的规律性：共线性对应冗余 $R\approx I(d;e)$，退化对应 $H(d)\approx 0$，从而解释为什么同质数据堆量永远无法区分捷径规则与正确规则。第二，坚持动作标签始终有效的原则：所有编辑都是任务保持的，被破坏目标、碰撞约束或接触证据的编辑直接丢弃，因此监督信号免费且正确。第三，GroundFscore 同时要求零编辑不动、因果编辑按已知方向动，这与只测扰动敏感性的示教筛选方法有本质区别——后者无法识别靠闭眼换鲁棒的策略。
核心方法
直觉上，行为克隆让网络走阻力最小的路径：哪个线索在训练分布里最能预测专家动作，策略就依赖哪个线索。PerturBot 不加模块、不加损失、不改推理，而是在数据端做三件互补的事。V（腕部视角扰动）用图像编辑在抓取路径之外插入身份与位置随机的干扰物，让视野中最显著的物体不再等于指令目标，同时保证记录的动作依然正确；C（字幕增强）让视觉-语言模型把每条录像切成原子技能段，写出左手合拢、抓住托盘左侧直立的蓝色马克杯杯身这类包含手、开合状态、操作、属性、位置与抓取点的决策相关描述；R（轨迹扩展）把 200 条随机运动与 200 条失败执行录像切段，按局部实际行为重标注，例如失败抓碗里合法的把空爪左移并张开就是一个合法标签，使决策结果真正多样化。训练时按 $Q=(1-\rho)\mathcal{D}_{demo}+\rho\mathcal{D}_{extra}$ 混采样例，用 π0.5 自带的流匹配动作损失微调，推理时与原模型完全一致。
核心创新是改变被扩展的数据是什么，而不是数据有多少。与本文最相关的模仿学习问题是因果混淆与 copycat：匹配专家动作不等于识别控制行为的证据。PerturBot 的本质区别有三点。第一，标签有效性原则：V 的编辑若改变目标、碰撞约束或所需抓取就被拒绝，R 的重标注只描述已记录的局部行为而非未发生的目标，因此所有动作监督免费且正确——对照实验里把同样的干扰物放在抓取路径上会使成功率跌破基线（40%），证明任务保持性是方法成立的边界条件。第二，三个组件分别对症三个信息量：V 降低冗余 $R$，C 提高证据 $I(d;e)$，R 打破退化 $H(d)\approx 0$，预算匹配对照证明只有机制（而非数据量或通用正则）能移动目标读数。第三，它把扰动式训练思想从视觉-语言模型（PerturboLLaVA 与 HalFscore）系统地搬到 VLA，并把诊断分数扩展为同时含零编辑与因果编辑的 F 形式。
方法步骤详情
流程五步。(1) 数据采集：双臂 PiPER X 平台遥操作采 1000 条 General PnP 演示（主实验固定用 500 条为 1×），另采 200 条随机运动与 200 条失败执行录像（5–10 秒、3–6 个动作、不完成任务）。(2) 字幕生成：VLM 按原子技能（抓-抬-移-放）切分录像，按手+开合+动词+位置+状态+属性+物体+抓取点公式输出描述，属性仅在指称不唯一时添加，动词仅在数据中存在时改写。(3) 视觉扰动：GPT-Image-2.5 只编辑腕部图像，在抓取路径外插入外观与位置独立变化的干扰物，破坏目标、空间关系或接触证据的编辑整张丢弃。(4) 混合训练：批内以 $1-\rho$ 采样演示、$\rho$ 采样辅助段，施加扰动率 $p_V$ 与字幕率 $p_C$，共享超参（AdamW，$2\times10^{-5}$，batch 256，BF16，$H=16$，8×A100 约 4 天）。(5) 诊断：GroundFscore 在 100 个留出观测上成对前向（共享噪声），$\Delta a^\star_e$ 取同一状态下原始与编辑条件专家记录的动作块之差。
技术新颖性
技术新颖性体现在四个层面。建模层面：用条件互信息 $I(d;e\mid s)$ 把三类失败统一为证据在捷径存在时提供的增量信息趋零，并区分共线性与退化两种成因，比以往逐模态的分析更有解释力，也直接给出干预处方。方法层面：三个干预各自独立可消融、可关断（$\tilde v=v$、$\tilde\ell=\ell$ 或 $\rho=0$ 即关闭对应组件），全部保持动作标签有效且推理零开销，与需要额外模型或额外前向的鲁棒化方案不同。评测层面：GroundFscore 用 $GF_c=\frac{2S_c(1-R_c)}{S_c+(1-R_c)}$ 把不该动时不动（精确率 $1-R_c$）与该动时按已知方向动（召回率 $S_c$）绑成一个调和平均，堵住忽略输入刷分的漏洞——消融显示仅用稳定性项会把去掉腕部相机的策略排到基线之上。实证层面：预算匹配对照与对数扩展曲线（每倍增 +16.2 对 +6.0 个百分点）把机制起效与数据变多两种解释干净地分离，这在数据为中心的机器人学习里并不多见。
实验结果
真机 General PnP（50 例，π0.5 骨干）：成功率 42%→84%，GF 三家族 0.28/0.24/0.19→0.62/0.57/0.53，显著性捕获 SC 68%→20%，运动惯性 MI 82%→24%。组件对症：V→GF_V 0.51、SC 36%；C→GF_L 0.47；R→GF_A 0.44、MI 44%；去任一组件掉 16–20 分。对照几乎无效：噪声 44%、双倍演示 48%、负引导 46%；去腕相机成功率仅 26%。RoboTwin 2.0：Full 平均 83.8% 对 79.8%；Clean2Random 随机化场景 58.2% 对 46.0%（+12.2，所列最佳）。扩展实验：PerturBot 每倍增 +16.2 分、GF +0.100，1/4× 数据即追平基线 2×；基线仅 +6.0/+0.013（ρ=0.41 对 0.93）。专项探针：名词锁定 71% 对 36%；干扰物误抓 20% 对 68%、目标命中 90%；空抓抬臂 24% 对 82%；GF 与在线失败率 ρ=0.72 对 0.31（CI [0.12,0.68]）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 真机 General PnP（50 个固定布局） | 成功率 SR | 84% | π0.5 微调 42% | +42 个百分点（翻倍）；进度分 4.36 对 2.71 |
| 真机 General PnP | GroundFscore（视觉/语言/运动） | 0.62 / 0.57 / 0.53 | 0.28 / 0.24 / 0.19 | 三个家族各 +0.34 / +0.33 / +0.34 |
| 显著性捕获探针（腕部干扰物，50 次） | 抓错目标失败率 SC | 20% | 68% | -48 个百分点 |
| 运动惯性探针（空抓，50 次） | 空抓后仍抬臂率 MI | 24% | 82% | -58 个百分点 |
| RoboTwin 2.0 Clean2Random 随机化场景 | 50 任务平均成功率 | 58.2% | π0.5 46.0% | +12.2 个百分点，所列系统中随机化场景最佳 |
| RoboTwin 2.0 Full 设置 | 50 任务平均成功率（clean/randomized 均值） | 83.8% | 79.8% | +4.0 个百分点 |
| 名词锁定动词探针（RoboTwin，5 任务对 ×100 次） | 完成指令操作比例 | 71% | 36%（52% 执行熟悉操作） | +35 个百分点，锁定率 19% 对 52% |
| 数据扩展（125→1000 条演示，固定优化步数） | 每倍增成功率增量 | +16.2 pp（GF +0.100） | +6.0 pp（GF +0.013） | 约 2.7 倍；1/4× 数据即追平基线 2× 成绩 |
| GroundFscore 有效性（12 条件 ×3 种子 = 36 检查点） | 与在线失败率的 Spearman ρ | 0.72 [0.49, 0.86] | 任务成功率 0.31 [-0.06, 0.60] | 配对差 +0.41，95% CI [0.12, 0.68] 排除零 |
局限与改进
作者承认的限制：PerturBot 需要与记录行为严格对齐的详细字幕和重标注片段，还需要演示之外的随机运动与失败轨迹；重标注无法创造从未被记录的行为，因此不能教会恢复（如空抓后重新抓取），作者指出真机 rollout 是现成来源——成功轨迹彼此相似，而每种失败各有各的错法。我的补充观察：(1) 结果基于 50 个真机案例，95% bootstrap 区间不窄（SR ±10、单块 ±25–30），单组件间的小差距统计功效有限；(2) GroundFscore 只在 100 个留出观测上计算，因果目标 $\Delta a^\star_e$ 需要同一状态下原始与编辑条件的两条专家记录，构造成本高且依赖专家覆盖；(3) 主实验只用 π0.5 一个骨干，RoboTwin 上与其他系统的对比因架构与配方不同仅为参考背景；(4) 真机任务只有单一操作的 General PnP，名词锁定只能在仿真里探查，真机语言丰富度未验证；(5) 训练依赖商用图像编辑模型 GPT-Image-2.5 与外部 VLM 字幕，管线可复现性受 API 版本演进影响。
独立分析的弱点
独立分析的弱点与改进方向：(1) 恢复能力缺口——R 只提供行为支持而非纠错技能，空抓后重新抓取这类关键分支仍未被演示，可引入带纠正续段的 DAgger 式主动采集，把真实恢复行为录进数据。(2) 编辑痕迹风险——所有训练扰动都经 GPT-Image-2.5 生成，策略可能学到被编辑过的伪迹特征而非干扰物语义；虽然评测探针改用物理干扰物堵住了漏洞，训练与真实干扰物之间仍存在分布差，可用多编辑器交叉生成或真机摆件重拍来验证。(3) 字幕噪声——VLM 错标物体身份、运动方向或接触描述会直接进入监督信号，作者仅做人工核查，可加入动作记录一致性自动校验或不确定性过滤。(4) GroundFscore 的扩展性——每个因果编辑都需要成对专家录制，任务数量增长时成本陡增，可用仿真专家或世界模型批量生成 $\Delta a^\star_e$。(5) 分数只能诊断不能优化——GF 是离线诊断而非训练信号，目前只能事后测量，可探索将其软化成可微正则或用于数据配比与检查点选择。(6) 评测规模——50 案例、三类探针仍属小规模，需要更长时序、更多指令风格与更多具身形态上的验证。
未来方向
作者提出的方向：利用真机 rollout 中天然丰富的失败与纠正数据补齐恢复技能，因为成功轨迹千篇一律，失败各有各的错法。基于其成果可进一步延伸：(1) 把 GroundFscore 作为主动数据采集准则——在 GF 低的决策族上定向补数据，形成诊断-采集-再训练的闭环，让扩展曲线的斜率本身可被优化；(2) 把三种干预推广到世界-动作模型（WAM）与跨具身预训练，检验在更大预训练分布上捷径是否更顽固、扰动训练是否同样有效；(3) 将 $GF_c$ 转化为训练期正则或早停与检查点选择标准，替代昂贵的真机回归测试；(4) 把失败轨迹与离线 RL 或优势加权结合，让重标注片段从行为支持升级为纠错技能；(5) 扩展捷径家族，例如时序捷径（依赖轨迹开头而非当前观测）、多视角一致性捷径，以及第三方视角与腕部视角之间的分工；(6) 在复述、指代、口语化等更多样的真实指令分布下检验 C 组件的稳健性，并系统研究字幕详细度与指令遵循之间的权衡。
复现评估
复现评估：中上难度，但文档化程度很高。作者承诺论文发表时开源数据、训练检查点与代码（GitHub: github.com/aim-uofa/PerturBot）。附录给出完整配置：π0.5 全参微调，AdamW 学习率 $2\times10^{-5}$ 恒定无预热，batch 256，BF16，图像 $224\times224$，动作块 $H=16$，8×A100 80GB 每 run 约 4 天——硬件门槛较高但规格明确。数据侧：1400 条真机遥操作录像（1000 演示 + 200 随机 + 200 失败），采集协议在附录 B.2 有精确描述，字幕 prompt 完整公开（E.1），RoboTwin 2.0 公开。风险点：V 组件依赖商用模型 GPT-Image-2.5，字幕依赖未具名的 VLM，版本演进可能造成结果漂移；GroundFscore 的 $\Delta a^\star_e$ 需要额外成对专家录制；50 案例真机评测对平台精度与摆放复位敏感。若开源兑现，复现主表结论可行，但需要多卡 GPU 与双臂真机平台。
论文图表
上排用三个例子展示模态捷径如何让熟悉线索替代任务证据：显著性捕获（视野中显著的物体压过指令目标）、名词锁定（名词压过改变的动词，如说推碗仍去抓）、运动惯性（合拢压过视觉反馈，空抓仍抬臂），实线为假设的捷径选择、虚线为应有的替代决策。下排对应展示 PerturBot 的三个数据组件：任务保持的腕部视角扰动（V，插入不同身份与位置的干扰物）、行为支撑的详细字幕（C，如抓杯子改写为左手合拢、抓住托盘左侧直立的蓝色马克杯杯身）、筛选重标注的随机/失败轨迹段（R）。
这是全文的一图总览：问题（三类捷径）与方法（三个对症组件）在同一张图上呈对角对应关系，是理解论文框架的入口。
真机平台照片与示意：两台 AgileX PiPER X 6 自由度臂并排安装、面向桌面，各带两指平行夹爪；中央立柱装 RealSense D435 头部相机提供第三人称视角，每臂腕部各装一个腕部相机；三路视频均为 30 FPS、640×360，与双臂本体状态一起构成策略输入。
数据采集与腕部捷径的物理载体：理解头部视角与腕部视角如何构成视觉输入 $v$，以及遥操作如何产生演示与辅助录像，都需要这张图。
机制特异性消融：每个组件与预算相同但去掉机制的对照并列。V：GF_V 0.51，通用增强 0.33、随机位置诱饵 0.38——且随机摆放诱饵使 SR 跌到 40% 跌破基线，因为路径上诱饵使记录动作失效。C：GF_L 0.47，同义改写 0.28、等长文本 0.30（最多 +0.06 对 +0.23）。R：GF_A 0.44，等时长成功演示 GFA 仅 0.20 且 MI 停在 80%，随机段 0.34、失败段 0.39，合并 +R 达 0.44 且 MI 44%。
排除收益来自更多数据或通用正则的替代解释：只有对症机制能移动目标读数，这是方法有效性论证的关键一环。