RoboFollow：揭示具身智能体的指令跟随幻象 RoboFollow: Unveiling the Instruction Following Mirage in Embodied Agents
高熵场景基准RoboFollow：视觉捷径被切断后，具身模型的指令跟随全面崩塌
前置知识
视觉-语言-动作模型
VLA 将预训练视觉语言模型扩展到机器人控制：输入摄像头图像与语言指令，直接输出机器人动作（离散动作 token 或经 flow matching 生成的连续动作块）。代表工作包括 π0、π0.5、GR00T N1.6、OpenVLA-OFT、XVLA 等，通常先在海量互联网与机器人数据上预训练，再在目标任务的演示数据上微调。
本文评测的 9 个策略中有 7 个属于 VLA 范式，理解其『预训练+微调』流程与 VLM 骨干+动作头的结构，是读懂实验设计与『理解-执行』断裂分析的前提。
世界动作模型
WAM 不止做反应式的感知-动作映射，而是把动作生成与环境动力学预测耦合：利用视频生成预测未来视觉状态，再从中反推实现该未来所需的动作。文中评测的 Motus 与 FAST-WAM 即属于这一范式，Motus 的 VLM 骨干在训练中完全冻结。
本文将 WAM 与 VLA 一并纳入诊断，用于验证『指令跟随幻象』是否跨越模型范式普遍存在，还是某一类架构的特有缺陷。
场景熵
论文定义的条件熵 $H_{scene}=H_{train}(T|S)=-\sum_s p(s)\sum_t p(t|s)\log_2 p(t|s)$，衡量在给定任务无关初始场景配置 $S$ 时，训练任务标签 $T$ 的不确定性。熵高意味着同一视觉场景对应多个可行任务，仅凭画面无法确定该做什么，语言指令不可省略。
这是全文的核心设计量：RoboFollow 的 3.782 bits 与 LIBERO 的 0.880 bits 对比，直接解释了为什么旧基准允许模型靠视觉捷径拿高分、掩盖指令跟随缺陷。
Classifier-Free Guidance（无分类器引导）
扩散模型中放大条件信号的标准技术：训练时以一定概率随机丢弃条件，使模型同时学会条件与无条件去噪；推理时用 $\epsilon = \epsilon_u + w(\epsilon_c - \epsilon_u)$ 对两者之差外推，其中 $w$ 为引导尺度。它常被用于增强扩散策略对语言条件的响应。
论文把它作为『放大语言对动作影响』的候选补救措施之一加以检验，结果发现其在本设定下反而有害，并给出了低熵/高熵场景下的机制解释。
灾难性遗忘与 QA 共训练
在下游动作数据上微调会覆盖预训练 VLM 已具备的语言与视觉问答能力，称为灾难性遗忘。QA 共训练是一种对抗手段：把视觉问答对与操作轨迹数据混合，联合优化，试图在适配动作的同时保住语言理解能力。
理解这一机制才能看懂第 5 节的分析：为什么换上 Qwen3-VL-4B 强骨干、加 QA 共训练，指令跟随在 L1–L3 上仍然崩溃——问题不止在理解层。
研究动机
现代 VLA 与 WAM 策略在操作基准上的成功率非常亮眼，但作者指出这些数字制造了一种『能力幻象』：任务成功率高，不等于模型真的在听指令。多数基准只检查最终环境状态是否达标，把视觉识别、语言接地、规划与底层控制全部纠缠在一起；更关键的是，许多回合中存在从初始画面就能直接推断的主导行为，语言因此部分冗余——策略几乎不看指令也能拿高分。论文用场景熵量化了这一点：按任务标签条件熵计算，LIBERO Spatial/Object/Goal/Long 四个套件只有 0.880 bits，视觉捷径几乎总能奏效。近期 LIBERO-PRO、LIBERO-Plus 等工作也发现 VLA 对语言扰动不敏感、倾向利用视觉模式。对要部署的机器人而言，这是致命的：视觉上『做对了动作』可能语义上完全错误，环境一变，看起来成功的策略会执行完全错误的任务。
本文的目标是本文的目标是构建一个『语言必要』的诊断基准 RoboFollow，系统回答三个问题：当前具身智能体是否真的遵循指令？它们在哪些语义维度上崩溃？更强的 VLM 骨干与现有优化手段能否补救？设计遵循三条原则：(1) 高场景熵——每个训练场景支持多条运动学上不同的任务分支，使仅凭视觉无法确定任务，迫使策略依赖语言消歧；(2) 分层诊断协议——L0–L3 四级逐步扰动视觉布局与指令语义，依次考察分布内执行、视觉接地、语义重组与二者联合泛化；(3) 混淆控制——简化交互对象、把动作限制在训练过的原语库内，并按阶段报告 Intent 与 Execution 分数，把『没听懂』与『没做好』解耦。在此之上，对 9 个代表性 VLA/WAM 模型做系统评测，并逐项检验四类流行缓解策略。
与已有工作不同的是，独特切入角度有三层。第一，以往工作（LIBERO-PRO、LIBERO-Plus 等）主要在测试时对既有基准做语言或视觉扰动，而 RoboFollow 从训练数据构造入手：让同一个或高度相似的视觉配置在训练期就支持多条语义有效且运动可行的任务分支，从源头消灭视觉捷径，并把场景熵 $H_{scene}=H(T|S)$ 作为数据集设计原则而非评价指标。第二，它不满足于二元成功率：Intent Score 检查每个阶段是否选对了对象、关系、路径点或逻辑分支，Execution Score 检查所选子目标是否物理完成，另设占 20% 权重的收尾阶段惩罚完成任务后的多余动作，从而能区分『选对但做砸』与『做对但没听懂』。第三，作者诚实地把更强 VLM 骨干、QA 共训练、LangForce、Classifier-Free Guidance 四类流行补救全部放到高熵场景下检验，给出了一组少见的系统性阴性结果，并附机制解释。
核心方法
直觉是：如果一个视觉场景只允许一种合理任务，语言就是冗余的；要让指令跟随可测，必须先构造『不看指令就无法确定任务』的场景。技术路线分四步。第一步，场景构造：四个诊断场景族——外在空间关系、内在对象属性与动作选择、细粒度动作/轨迹约束、基础逻辑接地（时序、否定、条件分支），共 75 个训练任务标签、6 个任务无关初始场景配置、3,750 条演示，场景熵 3.782 bits。第二步，协议设计：每个场景在 L0（分布内）、L1（指令不变、物体位置互换，测视觉接地）、L2（布局不变、指令用训练中见过的属性做新组合，测语义重组）、L3（视觉与语义同时扰动）下评测。第三步，指标：多阶段 Intent Score、Execution Score 与 Completion Rate，其中收尾阶段占 20% 分数。第四步，分析实验：20 题视觉 QA 探针测 VLM 理解力；将 Qwen3-VL-4B 接入 GR00T 扩散动作头；QA 共训练三种配比；LangForce；CFG 引导尺度 1.2 与 1.5；再对演示数、指令变体数、训练步数做控制变量，并做 π0.5 真机试点。
核心创新是把『语言必要性』从定性抱怨变成可量化、可构造的设计量。给定任务无关的初始场景配置 $S$（含对象、摆放分布、可观测状态谓词，不含指令与目标），任务标签为 $T$，定义 $H_{scene}=H_{train}(T|S)=-\sum_s p(s)\sum_t p(t|s)\log_2 p(t|s)$；当每个任务演示数相等时化简为 $H_{scene}=\sum_s (K_s/K)\log_2 K_s$。RoboFollow 取 $K_s=(16,16,16,16,7,4)$、$K=75$，得到 3.782 bits，约为 LIBERO 四套件 0.880 bits 的 4.3 倍。与已有方法的本质区别有三：一是把任务歧义前置到训练/评测数据构造，而非只在测试端做扰动，正面回应『训练期视觉捷径』；二是 L0–L3 把视觉接地与语义组合两种泛化正交拆开，能定位崩溃发生在哪一维；三是 Intent/Execution 阶段化打分配合 20% 收尾惩罚，使旧基准无法暴露的幻象（高分但语言只是任务标识符）第一次被显式测量出来。
方法步骤详情
步骤一，场景与数据构造：场景 1 用外观相同或相似的多候选对象考『在左/在右/在后』等关系绑定；场景 2 组合颜色、大小、形状等属性与 pick/push/stack/place 等动作原语，任何单一属性都不足以锁定目标；场景 3 在指令中加入路径点、最终朝向等过程约束，并设 20% 权重的收尾阶段，要求完成后不再有无关动作；场景 4 考『先A后B』『非A』『若A则B否则C』，且相关场景状态跨划分变化。步骤二，训练：四场景共 3,750 条演示，主实验用全部数据微调 9 个模型（π0、π0.5、GR00T N1.6、OpenVLA-OFT、XVLA、ACoT-VLA、Lingbot-VLA、Motus、FAST-WAM）；分析实验仅用场景 2 的 16 个任务共 800 条演示。步骤三，评测：每任务分解为顺序子阶段，报告 IS、ES、CR。步骤四，诊断：20 题 QA 探针测基座 PaliGemma、预训练与微调后的 π0.5 骨干；Qwen-GR00T 用 Qwen3-VL-4B 替换骨干；qa1/qa2/qa3 分别用 ShareGPT4V-COCO、自建场景 2 QA、混合数据共训练；LangForce 强化文本-动作相关性；CFG 取引导尺度 1.2 与 1.5；控制实验遍历演示数 25/50、指令变体 1/3/5、训练步数 2k/4k/6k。
技术新颖性
新颖性可概括为四点。(1) 度量创新：首次把训练任务标签对初始场景配置的条件熵作为基准设计原则，使『视觉捷径是否存在』变成可比较的数字（3.782 vs 0.880 bits），并明确其用途是设计期消除捷径而非最终指标。(2) 构造创新：共享训练场景配多任务规范的配对设计，处理了 LIBERO-PRO 等只放在测试端的训练期歧义问题；同时把测试目标动作严格限制在演示行为库内，排除『没见过这类动作』造成的执行混淆，使失败可归因于语义理解。(3) 评测创新：Intent/Execution 双分数加 Completion Rate 与收尾惩罚，能定位崩溃发生在语义选择还是运动执行——例如多个模型在场景 3 的 L2/L3 上 ES 尚可（约 30%）而 CR 几乎为 0。(4) 结论创新：在同一高熵设定下系统检验四类补救策略并给出阴性结果与机制解释——低熵基准里 CFG 的无条件预测是稳定基线，高熵下丢弃语言输入使模型陷入多模态猜测，CFG 残差被噪声主导；LangForce 只放大统计相关而缺乏组合语义监督。
实验结果
主表（Table 1）显示九个模型的平均 Intent Score 从 π0.5 的 55.7%、ACoT-VLA 的 53.5%、π0 的 48.4%，一路降到 OpenVLA-OFT 的 10.7%，无一逃过『L0 幻象』。π0.5 在场景 1 的 IS 从 L0 的 99.1% 跌至 L1 的 45.5%、L3 的 44.9%；π0 在场景 1 从 98.2% 直落到 L1 的 0.0%；场景 2 上 π0.5 从 100.0% 跌到 L3 的 34.2%。空指令消融中 π0.5 平均 IS 仅 12.3%、CR 仅 5.2%，证明 L0 高分依赖视觉与语言的联合。机制层面：20 题 QA 探针上，基座 PaliGemma、预训练 π0.5、微调 π0.5 分别只答对 1、2、3 题，而 Qwen3-VL-4B 达 19/20；微调后 VLM 答对的回合约一半仍操作失败，暴露『理解不足』与『理解-执行传导断裂』的双层失败。Table 2：Qwen-GR00T 把 L0 拉到 67.9%，但 L1 仅 6.3%；三种 QA 共训练的 L1 在 0.0–3.5% 徘徊；LangForce 的 L3 IS 为 0.0%；CFG 1.2 反而把 π0.5 的 L0 从 93.6% 拉低到 55.9% 并产生紊乱轨迹。Table 3：演示数 25→50、指令变体 1→5（L1 72.8%→79.0%，L3 41.5%→53.0%）、步数 2k→6k 都只能局部改善，L0 与 L2/L3 之间仍留约 47.8–55.8 个百分点的鸿沟。真机试点：π0.5 在训练指令上 20/40（50%），held-out 指令仅 6/40（15%），与仿真趋势一致。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 空间关系场景 S1（π0.5） | Intent Score (%) | L0 99.1 → L1 45.5 → L3 44.9 | L0 99.1（传统基准只测的分布内性能） | 非提升型工作：L1 相对 L0 下降 53.6 个百分点，揭穿高分幻象 |
| 空间关系场景 S1（π0） | Intent Score (%) | L0 98.2 → L1 0.0 | L0 98.2 | 换布局后崩溃 98.2 个百分点，呈完全失败 |
| 属性组合场景 S2（π0.5） | Intent Score (%) | L0 100.0 → L3 34.2 | L0 100.0 | 联合扰动下下降 65.8 个百分点 |
| VLM 场景理解 QA 探针（场景 2） | 答对题数（共 20 题） | 微调后 π0.5 骨干 3 | Qwen3-VL-4B 零样本 19 | 更强骨干能解理解层，但该能力无法传导到动作执行 |
| 真机 held-out 指令（π0.5） | 成功率 | 15%（6/40） | 训练指令 50%（20/40） | 下降 35 个百分点，仿真结论在真机上重现 |
| 空指令消融（π0.5，全场景平均） | 平均 Intent Score (%) | 12.3（CR 5.2） | 带正常指令 55.7（CR 47.3） | 去掉语言后性能坍缩，证明 L0 高分依赖视觉-语言联合而非纯视觉 |
局限与改进
作者自己承认：RoboFollow 是诊断基准而非全能测试，为隔离指令跟随而简化了对象几何、任务时程与交互动力学，因此不覆盖长时程规划、接触丰富操作、开放词汇多样性与大规模真机部署；控制实验没有测试训练期布局多样性（在现有 L1 测试布局上训练会使划分失效）；真机试点比较的是不同指令集而非配对任务，也未验证跨模拟器迁移。我的补充观察：(1) QA 探针只有 20 题，1/20、2/20、3/20 之间的差距在统计上非常脆弱，却支撑了关键论断；(2) 场景熵按任务标签粒度定义，换一种标签聚合方式数字会变，且它只是设计原则而非评价指标，无法跨基准普适比较；(3) 九个模型均由作者在同一微调流程下训练，可能与官方流水线的最优认知存在偏差；(4) Intent/Execution 自动打分与人工判定的相关性未报告，场景 3 上 IS 约 30% 而 CR 为 0 的现象需要人工校验；(5) 真机只有 π0.5 一个模型、共 80 次试验，外部效度有限。
独立分析的弱点
弱点一，诊断与训练耦合：所有模型都在 RoboFollow 数据上微调，崩溃可能部分来自微调流程本身而非基础模型固有能力；改进方向是加入『原厂权重零样本』或 LoRA 轻量微调对照，分离能力缺失与微调伤害。弱点二，缓解策略网格太稀：CFG 只试了 1.2 与 1.5 两档引导尺度、更强骨干只有 Qwen3-VL-4B 一种接入方式、QA 共训练只有三种固定配比，都是单点尝试；在宣称『全部无效』之前应做超参扫描与骨干×方法交叉实验。弱点三，场景 3 多个模型在 L2/L3 上 IS 约 30% 而 CR 为 0.0–0.3%，如此极端的落差提示打分阈值或时序判定可能过严，需人工抽检并报告判分与人工一致性。弱点四，语言多样性有限：75 个任务标签、指令变体最多 5 种，无法区分模型是语义理解不足还是词汇覆盖不足，可引入大规模 LLM 指令改写来拆分这两个因素。弱点五，真机试点指令集不配对、样本仅 80 次，且未报告方差，结论应降权为初步信号而非定量证据。
未来方向
作者提出的方向：在保持『语言必要』设计原则的前提下扩展到更丰富的本体与真实世界场景；增加训练期的结构性场景与语义多样性，同时保留 held-out 组合（这需要新布局训练、评测布局严格隔离）；在适配阶段对『接地语言-动作对齐』施加显式监督。基于本文成果可延伸的方向：(1) 把场景熵做成可调课程，系统研究训练熵与泛化能力之间的标度关系，寻找『既学得会又不走捷径』的甜点区；(2) 引入思维链或子目标标注的中间监督，检验『理解-执行』断裂能否靠显式推理弥合，因为 QA 答对也有一半执行失败，提示需要动作侧而非理解侧的干预；(3) 把 Intent Score 用作过程奖励信号，训练 RL 或偏好优化策略，直接惩罚『做对但没听懂』的轨迹；(4) 与 IVA 类假 premise 纠错任务结合，覆盖『识别并拒绝不可行任务』的能力面；(5) 在双臂、接触丰富任务上复制诊断，检验幻象结论的普适性；(6) 建立自动打分与人工判定的一致性校准协议，提升基准公信力。
复现评估
复现基础较好：代码开源于 GitHub（AutoLab-SAI-SJTU/RoboFollow），数据集发布于 HuggingFace（AutoLab-SJTU/robofollow-data），仿真评测协议完整（细节在附录 A/B）。成本方面：四场景共 3,750 条演示由作者生成并随数据集发布，但主表结论需要微调 π0、π0.5、GR00T N1.6 等 9 个大模型，多卡 GPU（单模型数小时到数天）是主要门槛；分析实验只用场景 2 的 16 个任务共 800 条演示，算力需求明显更低，是更现实的复现入口。难度中等偏上：主要不确定点在于 Intent/Execution 自动打分的精确复刻，以及 L1–L3 划分的采样细节；QA 探针只有 20 题，几乎零成本即可复验。综合评估：有 VLA 微调经验的团队 1–2 周可复现主表与 Table 2 的定性结论；只想验证核心幻象现象的话，跑 π0.5 加空指令消融即可低成本完成。
论文图表
