FocusVLA：视觉-语言-动作模型的未来意图引导动态视角路由框架 FocusVLA: Future-Intent Guided Dynamic View Routing for Vision-Language-Action Models
让VLA模型预测未来交互意图，按操作阶段动态路由全局与腕部视角。
前置知识
VLA 模型（Vision-Language-Action）
把视觉感知、语言理解与动作生成统一在一个模型里的机器人操作范式。典型流程：图像经 ViT 编码为视觉 token，与语言指令、机器人状态一起拼成上下文，再由动作生成模块（常用扩散或流匹配）输出未来一段动作序列（action chunk）。代表工作有 π0、π0.5、RDT 等，通常以预训练 VLM（如 PaliGemma）作为前缀主干。
FocusVLA 直接构建在 π0.5 多视角主干之上，理解其「编码-融合-生成」流水线，才能看懂本文改了哪里、刻意不改哪里。
多视角感知：全局视角与腕部视角
机器人操作常用的双相机配置：第三人称全局相机俯瞰工作区，提供目标定位与运动规划所需的场景上下文；腕部相机跟随末端执行器，提供手-物对齐、抓取与接触密集执行阶段的细粒度局部线索。两类视角互补但与阶段相关，不同操作阶段的最优视觉依赖并不相同。
本文的动机、诊断实验和方法设计全部围绕「全局/局部视角依赖应随任务阶段动态变化」这一观察展开。
动作分块与扩散/流匹配动作生成
VLA 模型通常一次预测未来 $H$ 步动作（action chunk）以保证时间一致性。生成多为迭代去噪：从噪声动作 token 出发，由动作主干（action expert）配合扩散时间步嵌入（经自适应 RMSNorm 注入）逐步去噪得到干净动作，π0.5 采用流匹配式动作专家。
FocusVLA 的动态路由发生在动作生成内部——每一步动作特征分别与两个视角做交叉注意力，必须理解分块去噪过程才能理解「逐步融合」的含义。
交叉注意力（Cross-Attention）
注意力机制的一种：一组元素作 query，另一组作 key/value，输出为 query 对 value 的加权和，权重由 query-key 相似度经 softmax 得到：$\text{Attn}(Q,K,V)=\text{softmax}(QK^\top/\sqrt{d})V$。它让一组表示去「查询」另一组表示中的相关信息。
本文两处核心都靠交叉注意力：Future Intent Bridge 以语言为 query 注意视觉+历史特征来预测意图；动作特征作为 query 分别从全局/局部视角提取上下文 $c_g^{(k)}, c_l^{(k)}$。
注意力比率与视角依赖度量
用归一化注意力权重作为模型「看哪里」的代理指标：令 $a_t^{global}+a_t^{local}=1$。本文定义支配裕度 $D=\frac{1}{T}\sum_{t=1}^{T}(a_t^{global}-a_t^{local})$ 度量全局-局部失衡程度，定义 $V_{\Delta L}=\text{Var}\{L_t-L_{t-1}\}$ 度量局部依赖随时间的波动。注意注意力比率只是相关性代理，不必然等于因果依赖，所以需要掩码干预来补证。
第 3.1 节的动机诊断完全建立在这两个指标加掩码干预实验上，是理解「为什么需要动态路由」的钥匙。
模仿学习与弱监督标签
从人类示教轨迹出发，用行为克隆等方式让策略学会复现专家动作。弱监督指不依赖人工精细标注、从数据本身自动推导的监督信号，例如根据末端执行器速度、累计路程与夹爪开合自动判断某时刻属于搬运还是接触交互，从而生成 0/1 标签。
FocusVLA 的意图预测靠轨迹自动推导的弱标签训练，消融证明这是收益的主要来源之一，也是它区别于依赖 VLM 离线标注方法（如 BFA）的关键。
研究动机
现有 VLA 模型普遍采用静态多视角融合：把第三人称全局相机与腕部局部相机编码后，与语言指令、机器人状态拼成固定上下文再交给动作生成模块，全程视角权重不变。作者在 π0.5 上量化了这种「视角依赖惯性」：用归一化注意力比率 $a_t^{global}+a_t^{local}=1$ 定义支配裕度 $D$ 和局部依赖时间波动 $V_{\Delta L}$，发现失败回合比成功回合表现出更强的局部视角主导（更大的 $D$）和更弱的时间调节（更小的 $V_{\Delta L}$）。更具说服力的是阶段条件掩码干预：在 Stack Blocks Three 任务的全局规划阶段，遮掉全局视角成功率从 85.0% 降到 65.0%，而遮掉局部视角暴跌到 20.0%——说明即使在最需要全局定位的阶段，模型仍在依赖腕部视角。早期形成的观察偏好会一路延续到抓取、堆叠等后续阶段，造成「阶段-视角错配」，直接损害成功率与鲁棒性。
本文的目标是本文目标是让多视角 VLA 策略具备「阶段感知」的视角使用能力：在目标定位、接近、运动规划等工作区级移动阶段主要依靠全局视角，在对齐、抓取、接触密集执行阶段逐步转向腕部视角，并且这种切换要在每个动作步上动态发生，而不是靠人工设定阶段或固定权重。同时要求方案是非侵入式的：不修改预训练的视觉编码器、语言模型和动作生成主干，只在外围加轻量模块，使意图预测和动态路由可以直接移植到现有 VLA 框架。衡量标准是在 RoboTwin 2.0 全部 50 个仿真任务和 6 个真实任务上超越最强静态融合基线 π0.5，并通过掩码干预、可视化与消融证明收益确实来自「未来意图引导的动态路由」本身，而非额外容量或随机视角正则。
与已有工作不同的是，已有工作大致两条路：一是改进动作解码器或放大 VLA 主干，但感知到动作的流水线仍是固定静态融合；二是多视角融合方法如 BFA，虽意识到等权融合有冗余，但它用 VLM 离线标注、在模仿策略之前做一次「当前时刻」的视角加权。FocusVLA 的独特切入是把问题定义为时间维度上的失配：视角依赖应该随任务进程变化，因此路由信号必须是「未来」的。与 BFA 的差异体现在四点：(1) 预测视野：BFA 输出一个当前视角分配，FocusVLA 从多模态上下文预测未来 $H$ 步每步的路由；(2) 融合位置：BFA 在策略之前融合，FocusVLA 在动作生成内部逐步融合；(3) 标签构建：BFA 依赖离线 VLM 标注和任务特定映射，FocusVLA 从轨迹末端执行器运动学自动推导任务无关标签；(4) 引入块级意图 token 作为动作生成器的额外条件，这是 BFA 没有的。
核心方法
直觉上，人类操作在不同阶段看的地方不同：伸手够杯子前先扫一眼桌面（全局），指尖接近杯子时盯住手-杯接触区（局部）。现有 VLA 把多视角一次性静态融合，等于强迫模型全程用同一种「看」的方式。FocusVLA 的解法是让模型先预测「接下来要干什么」（未来交互意图），再用意图决定「接下来该看哪里」。技术上它构建在 π0.5 多视角主干上，包含两个模块：Future Intent Bridge 从视觉-语言特征、机器人状态和短期动作历史预测未来 $H$ 步的逐步意图序列，聚合成块级意图 token 和全局-局部路由权重；Action-Side Dynamic Routing 在动作生成阶段让动作特征作为 query 分别与全局、局部视觉特征做交叉注意力，再按路由权重逐步加权融合并残差注回。整个框架不触碰预训练的 PaliGemma 前缀、语言模型与动作主干，只在动作生成侧外挂轻量模块，架构无关、即插即用。
核心创新是把「任务进度」显式建模为未来意图，并用它驱动动作步级的视角路由。与已有方法的本质区别有三层。第一，路由信号是预测性的而非反应性的：消融显示只用当前视觉特征做路由（Reactive-Vision 57.4%）或只用时间与状态（Time+State 58.5%）都远低于完整方法（73.7%），说明「未来 $H$ 步各自需要什么视角」这一前瞻信息不可替代。第二，监督是显式弱监督而非端到端隐式学习：路由结构相同但只用动作损失训练时（E2E Future）掉到 55.7%，证明从末端执行器轨迹自动推导的 0/1 意图标签是关键，收益并非来自额外网络容量。第三，两级意图条件互补：只保留逐步路由、去掉块级意图 token（Routing Only）使成功率从 73.7% 降到 63.3%，说明逐步权重负责每一步看哪里，块级 token 给动作生成器提供整体任务进度估计，二者缺一不可。
方法步骤详情
输入为双视角图像、语言指令、机器人状态 $s_t$ 与短期动作历史 $h_t$。第一步，State-History Encoder 将近期动作动力学编码为时间摘要。第二步，Future Intent Bridge 以语言为 query、视觉与状态-历史特征为 key/value 做交叉注意力，输出未来 $H$ 步意图序列，$i_t^{(k)}\in[0,1]$ 表示第 $k$ 步需要局部交互证据的概率。第三步，经固定有界线性映射 $f_{route}$ 转成每步和为 1 的全局-局部路由权重，意图序列池化后经 MLP 得到块级意图 token。第四步，动作主干经自适应 RMSNorm 注入意图 token 与时间步嵌入，以噪声动作 token 生成 $H$ 步动作特征作为 query，与全局/局部视觉特征交叉注意力，按 $c^{(k)}=\alpha_g^{(k)}c_g^{(k)}+\alpha_l^{(k)}c_l^{(k)}$ 逐步融合后残差注回，输出动作。训练联合优化动作损失 $\|V_t-U_t\|_2^2$ 与意图 BCE 损失，先预热意图分支再联合优化并偶发教师强制。
技术新颖性
技术新颖性集中在三点。其一，首次对静态多视角 VLA 的「阶段-视角错配」给出量化诊断：支配裕度 $D$ 与时间波动 $V_{\Delta L}$ 揭示失败回合局部主导更强、调整更弱，阶段条件掩码干预（规划期遮局部视角成功率从 85.0% 跌到 20.0%）提供了因果证据，超越以往只报告平均成功率的评测方式。其二，提出非侵入的架构无关路由范式：Future Intent Bridge 与动作侧路由均为外挂轻量模块，不修改预训练视觉编码器、语言模型和动作主干，可移植到现有 VLA 框架。其三，弱监督标签工程：不依赖人工阶段标注或 VLM 离线标注，而是从末端执行器轨迹自动识别交互区间——有夹爪闭合信号时取闭合前短窗口，否则检测被高速移动包围的低速局部运动，并过滤类似搬运暂停的短停顿；标签任务无关，可扩展到任意演示数据。与 BFA 的四点差异（预测视野、融合位置、标签构建、意图 token）进一步划清了边界。
实验结果
仿真：RoboTwin 2.0 全部 50 任务、每任务 100 次，FocusVLA 总平均成功率 76.92%，比最强基线 π0.5（66.82%）高 10.10 个百分点，π0/RDT 分别为 47.06%/34.76%；短/中/中长/长/超长五组时程全部第一：74.00/67.80/80.70/85.60/76.50%。真实世界：Piper 机械臂加双 RealSense D435i，6 任务各 30 次，FocusVLA 平均 85.0%，比 π0.5 的 71.7% 高 13.3 个百分点、比 π0 的 59.4% 高 25.6 个百分点，六任务全部最佳；空间重排三项全面领先，如 put_toys_in_box 位置互换 80.0% 对 60.0%。可视化证实权重随阶段切换：规划期约 0.75 偏全局，抓取期转局部，堆叠期均衡。消融（9 任务×2 种子×100 次，20K 步）：完整方法 73.7% [71.6,75.7]，最高替代变体 Learned Static 67.5%，端到端无意图监督仅 55.7%，随机视角遮蔽仅 54.6%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RoboTwin 2.0 全部 50 个仿真任务 | 平均成功率（每任务 100 次） | 76.92% | π0.5: 66.82%；π0: 47.06%；RDT: 34.76% | 比最强基线 π0.5 高 10.10 个百分点 |
| RoboTwin 短时程任务组（10 任务） | 平均成功率 | 74.00% | π0.5: 63.10% | +10.9 pp |
| RoboTwin 中时程任务组（10 任务） | 平均成功率 | 67.80% | π0.5: 54.90% | +12.9 pp |
| RoboTwin 中长时程任务组（10 任务） | 平均成功率 | 80.70% | π0.5: 72.00% | +8.7 pp |
| RoboTwin 长时程任务组（10 任务） | 平均成功率 | 85.60% | π0.5: 77.10% | +8.5 pp |
| RoboTwin 超长时程/灵巧任务组（10 任务） | 平均成功率 | 76.50% | π0.5: 67.00% | +9.5 pp |
| 真实世界 6 个操作任务（Piper 机械臂，每任务 30 次） | 平均成功率 | 85.0% | π0.5: 71.7%；π0: 59.4% | 比 π0.5 高 13.3 pp、比 π0 高 25.6 pp |
| 真实世界空间重排：put_toys_in_box 位置互换 | 成功率 | 80.0% (24/30) | π0.5: 60.0% (18/30)；π0: 46.7% (14/30) | +20.0 pp |
| 真实世界空间重排：stack_blocks 加干扰物 | 成功率 | 23.3% (7/30) | π0.5: 10.0% (3/30)；π0: 0.0% | +13.3 pp |
| 消融：完整方法 vs 各替代变体（9 任务×2 种子） | 平均成功率 [95% CI] | 73.7% [71.6, 75.7] | Learned Static 67.5%；Reactive-Vision 57.4%；Time+State 58.5%；E2E Future 55.7%；Routing Only 63.3%；Random Masking 54.6% | 相对最优消融变体 +6.2 pp，相对 E2E Future +18.0 pp |
局限与改进
作者承认未来意图只是任务进度的一种表示，更丰富的进度信号（显式子目标、物体级交互状态、任务阶段描述、语言化中间计划）有待探索；跨具身（不同机器人、相机配置、真实环境）尚未验证。我的补充观察：超长/灵巧组收益最小且个别任务退化，如 StampSeal 与 π0.5 持平（60.0%）、MicrowaveOpen 61.0% 低于 π0.5 的 64.0%，说明对全程腕部主导、几乎不需要视角切换的任务，路由机制没有额外增益甚至引入噪声；路由被限制在全局/局部二视角框架内，多于两个相机时如何扩展未讨论；弱监督标签依赖夹爪闭合或速度启发式，对没有明显夹爪动作或以手内操作为主的数据可能失效；真实世界每任务仅 30 次试验且只在消融中报告 95% 置信区间，主实验统计功效有限；消融在 9 任务、20K 步下进行，其 73.7% 与主实验 76.92% 的设置不完全一致，不能直接互比。
独立分析的弱点
弱点一：二视角假设。框架把视觉上下文硬编码为全局/局部两类、权重和为 1，$\alpha^{(k)}=[\alpha_g^{(k)},\alpha_l^{(k)}]$ 无法直接支持三摄像头以上配置，改进方向是把路由推广到多视角单纯形上的加权并让视角数量可自适应。弱点二：意图标签启发式脆弱。标签靠夹爪闭合窗口或「低速局部运动被高速移动包围」规则生成，对按压、推、旋拧等少夹爪任务或噪声示教数据可能误标，可引入力/触觉信号或自监督对比学习替代。弱点三：路由函数表达力受限。$f_{route}$ 是固定有界线性映射，永远给两个视角都保留权重，遇到单视角被完全遮挡的场景无法路由到极端值，可换成可学习门控或温度可调映射。弱点四：推理开销未报告。意图分支前向包含额外跨模态注意力与 $H$ 步预测，实时控制下的延迟代价应量化，可蒸馏为轻量头或与去噪步骤共享计算。弱点五：评测规模有限。真实世界单平台（Piper）、6 任务、每任务 30 次，且只有部分消融给出置信区间，泛化结论需要更大规模与更多具身形态的验证。
未来方向
作者提出的方向：用更丰富的进度感知信号替代或增强未来意图，如显式子目标、物体级交互状态、任务阶段描述、语言接地的中间计划；把进度感知路由扩展到跨具身设置（多样机器人、相机配置与真实环境）。在此之上可以延伸：其一，把意图预测与 VLM 子目标规划器结合，让语言模型输出阶段描述直接条件化路由权重，形成层级化的「计划-路由-执行」闭环；其二，引入深度或点云，使路由从 2D 图像空间扩展到 3D 空间关系推理，缓解遮挡下的全局视角失效；其三，用真实回放的成败信号经强化学习微调路由权重，突破弱监督启发式标签的上限；其四，为意图预测引入不确定性估计，在低置信度时回退到均衡融合以提高安全边界；其五，把动态路由思想推广到其他「模态依赖随阶段变化」的场景，例如移动操作中地图记忆与即时感知的切换、双臂协同中主从视角的切换。
复现评估
复现条件中等偏上。仿真部分门槛低：基座是公开的 π0.5（Physical Intelligence），RoboTwin 2.0 基准开放、含 50 个任务与标准评测协议（每任务 100 次）；意图标签从轨迹自动生成，无需人工标注；消融训练 20K 步即可看到主要差距（73.7% 对 55.7%），中等算力可承担，主实验完整训练步数与 GPU 配置论文正文未详述。真实世界部分门槛明显更高：需要 Piper 机械臂加两个 Intel RealSense D435i 的双视角平台、6 个任务的示教数据与每任务 30 次的评测人力。论文正文未明确承诺开源代码与权重；若不开源，需自行实现 Future Intent Bridge（跨模态注意力加 MLP 意图头）与动作侧路由（交叉注意力加加权融合加残差注回），细节如 $f_{route}$ 的边界取值、预热步数 $S_w$、损失权重 $\lambda_{intent}$ 需查附录 A 或联系作者。建议路线：先复现 π0.5 多视角基线并在 Stack Blocks Three 上重复掩码实验验证诊断，再叠加路由模块对比消融变体。
论文图表
示意现有 VLA 模型的静态融合通路：全局视角与局部视角各自经 ViT 编码，与语言指令、机器人状态等其他模态一起送入 VLM 主干，再进入动作生成模块。所有视角信息被一次性拼接成固定上下文，融合权重在任务全程保持不变。
这是论文批判的对象——理解静态融合范式的具体形态，才能理解「阶段-视角错配」问题为何产生、FocusVLA 在哪一点上改变了流水线。
动机诊断图，两部分：左图为预期路由（前期全局规划、后期局部交互）与 π0.5 实际观察到的路由对比，显示持续的全局规划/局部交互阶段均由局部视角主导且难以纠正；右图为量化证据，失败回合比成功回合具有更大的支配裕度（局部主导更强）和更小的局部依赖时间波动（调整更弱），并给出注意力比率的数值刻度。
这是论文的核心实证诊断：用相关性证据（注意力指标）指出现有策略的视角依赖僵化，直接引出方法设计，读懂它才能理解方法为何如此设计。