安全动作尚不足够：面向视觉-语言-动作策略的可行未来解码 A Safe Action Is Not Enough: Feasible-Future Decoding for Vision-Language-Action Policies
冻结VLA策略的局部安全动作可能是死路，以可行未来质量重排序动作可免训练降低安全代价
前置知识
VLA 策略与动作块解码
视觉-语言-动作（VLA）模型（如 RT-2、OpenVLA、$\pi_0$）在大规模视觉-语言预训练和机器人演示上训练，给定观测 $o_t$、指令 $x$、交互历史 $h_t$，输出动作块 $a_{t:t+H-1}\sim\pi_\theta(\cdot|o_t,x,h_t)$。本文全程冻结策略权重，只在策略输出的候选动作集合上做推理时干预，不做任何参数更新。
论文所有解码干预都发生在冻结 VLA 的候选动作之上，理解这个接口才能看懂重排序的对象是什么，以及『策略相对』可行性这一关键概念的含义。
KL 正则化控制 / 控制即推断
把控制问题写成在约束 $q(\mathcal{G}_x)=1$ 下最小化 $\mathrm{KL}(q\|p_0)-\beta\,\mathbb{E}_q[R]+\lambda\,\mathbb{E}_q[C]$，其最优解是对先验轨迹分布做指数倾斜：$q^*(\tau)\propto p_0(\tau)\,\mathbf{1}\{\tau\in\mathcal{G}_x\}e^{\beta R(\tau)-\lambda C(\tau)}$。该构造源自 Todorov 线性可解 MDP 与 Toussaint/Levine 的控制即推断框架。
定理 1 的可行未来恒等式正是对这个倾斜分布在下一动作块上做边缘化的结果，不理解该参考分布的来源就看不懂 $\mathcal{Z}_{\mathrm{feas}}$ 从何而来。
支撑集与可行性（viability）
可行性理论刻画『从哪些状态出发系统仍能保持满足约束的演化』。本文定义策略相对支撑：$\mathcal{Z}_{\mathrm{feas}}(\mathcal{H}_t,a)>0$ 表示在冻结续接过程（策略+环境动力学）下，选 $a$ 后安全完成任务的概率为正。支撑为零的动作称为安全死路（safe dead end），它在理想分数中得到 $\log 0=-\infty$。
支撑（能否安全完成）与幅值（剩余加权质量多少）的二分是全文核心：任何只看局部信息（似然+当前块安全裕度）的打分原理上都区分不出安全死路，这正是论文要解决的问题。
约束解码与推理时重排序
推理时改变生成模型的选样规则而不更新参数：从策略采样构造有限候选集，用附加打分（似然加安全项）重新排序或硬屏蔽不可行 token。语言模型安全生成（Ji et al. 2025）与机器人 SafeDec / RCD（Kapoor et al. 2025）均属此类。重排序的质量取决于候选覆盖、支撑判断和打分精度。
VICS 是一个带门控的选择性重排序器，其理论分析——干预/覆盖/支撑/排序四类误差接口与恢复条件——完全建立在有限候选解码框架之上。
Safety-CHORES 与 SafeVLA
SafeVLA 用约束优化训练安全对齐的 VLA 检查点，并提出 Safety-CHORES 基准：在程序化生成的室内环境中评估 PickUp、ObjectNav、Fetch 三类安全关键移动操作任务，指标包括任务成功率、累计安全代价、违规次数和 episode 步数；安全成功要求零违规完成。
论文全部定量结果来自该基准的六个任务/检查点组合（base 与 safe 两类检查点），读懂实验表格必须知道这些指标的定义与『代价下降可能只是提前放弃』的歧义。
部分可观测下的历史条件轨迹律
机器人状态 $s_t$ 部分隐藏，观测 $o_t\sim\Omega(\cdot|s_t)$，动作块使 $s_{t+H}\sim P(\cdot|s_t,a)$。冻结策略、$P$ 和 $\Omega$ 共同诱导历史条件轨迹律 $p_0(\tau|\mathcal{H}_t)$。同一可观测历史+动作可能导向不同后继状态，可行未来质量正是对这个潜状态与执行不确定性做了积分。
可行未来质量与普通可达性的区别就在于它对潜状态不确定性、随机执行和后续策略动作做了平均；执行反馈实验（ commanded vs realized）也直接源于执行不确定性这一设定。
研究动机
冻结 VLA 策略部署时的局部安全解码存在一个被忽视的失败模式。现有方法（如 SafeDec/RCD）用 $S_{\mathrm{loc}}(a)=\log\pi_\theta(a|\mathcal{H}_t)+\lambda_c\rho_C$ 这类『似然+下一块预测安全裕度』打分，能挡住不安全捷径，却挡不住安全死路：一个当下局部可接受的动作，可能在冻结续接过程下把安全完成任务的概率降到零。论文用 Figure 1 的 ObjectNav 实例说明后果：导航到苹果的任务中，策略采样反复重试失败的前进动作，累计安全代价 23 后失败；RCD 为压低代价提前终止，代价仅 3 但任务没完成——『更安全』可能只是更早放弃。此外累计代价指标本身有歧义：代价下降既可能来自更安全的路径，也可能来自 episode 提早结束，必须与成功率和步数联合阅读。
本文的目标是论文要把『这个动作还给策略留下多少能安全完成任务的未来』纳入当前动作选择。具体目标有三层：其一，从策略-环境联合轨迹律出发，推导在硬安全预算内完成任务的约束下、下一动作块的精确边缘分布，作为有数学定义的理想决策目标；其二，刻画在线解码只能看到有限候选和不完美未来信息时的逼近误差结构；其三，在不重训策略、不做在线 rollout 的条件下造出实用解码器，在六个 Safety-CHORES 设置中同时降低安全代价、并把成功率和步数保持在策略采样附近。
与已有工作不同的是，本文的独特切入是『策略相对的可行性』。与 shield/预测安全过滤器定义与策略无关的可行控制集不同，这里一个动作是否死路是相对冻结策略的续接过程而言的——对别的控制器可行不代表对本策略可行。与 SafeDec 用时间逻辑在预测轨迹上做硬屏蔽不同，本文从轨迹律严格推导出理想分数的『支撑+幅值』分解（$\mathcal{Z}_{\mathrm{feas}}=\chi^*_{\mathrm{feas}}Z^*_{\mathrm{feas}}$），证明局部信息在原理上无法分离安全死路（Proposition 2 的双世界反例：任何局部打分在两个世界中的平均安全完成概率只有 $1/2$，精确规则两个全对）。它还首次系统分解了选择性解码的四类误差：干预、覆盖、支撑、排序。
核心方法
直觉是：选动作不能只看下一步像不像安全，还要看它给冻结策略留下多少能安全完成任务的未来——这才是『可行未来解码』名字的由来。技术路线分两步。第一步是理论目标：从 KL 正则化参考律 $q^*(\tau|\mathcal{H}_t)\propto p_0(\tau|\mathcal{H}_t)\mathbf{1}\{\tau\in\mathcal{G}_x\}e^{\beta R_x-\lambda C}$ 出发，把未来后缀 $\xi$ 边缘化，得到定理 1 的下一块边缘 $q^*(a|\mathcal{H}_t)\propto\pi_\theta(a|\mathcal{H}_t)e^{\beta R_{\mathrm{loc}}-\lambda C_{\mathrm{loc}}}\mathcal{Z}_{\mathrm{feas}}(\mathcal{H}_t,a)$，其中可行未来质量 $\mathcal{Z}_{\mathrm{feas}}=\mathbb{E}_\xi[\mathbf{1}\{(a,\xi)\in\mathcal{G}_x\}e^{\beta R_{\mathrm{suf}}-\lambda C_{\mathrm{suf}}}]$ 把潜状态不确定性、随机执行与后续策略动作全部积分掉。第二步是实用解码器 VICS：一个门控触发的选择性重排序器，只在必要时干预。VICS-G 用似然、局部鲁棒性、连续性修正三项启发式打分近似理想分数，免训练且无需在线 rollout；VICS-S 叠加任务相关的符号资格规则；VICS-R 在模拟器可分支时加一次有限 rollout 前瞻。
核心创新是可行未来恒等式与它的支撑/幅值分解。未来被边缘化后，其影响以 $\mathcal{Z}_{\mathrm{feas}}$ 因子留在分数里：支撑 $\chi^*_{\mathrm{feas}}=\mathbf{1}\{\mathcal{Z}_{\mathrm{feas}}>0\}$ 是类别量，回答安全完成是否仍有正概率；幅值 $Z^*_{\mathrm{feas}}$ 是正的分级量，回答还剩多少加权质量。当 $\beta=\lambda=0$ 时它恰是选 $a$ 后安全完成的条件概率。这带来两个与已有方法的本质区别：一是安全死路获得字面意义的 $-\infty$ 分数，任何有限局部打分都做不到（Proposition 2 的双世界反例：局部打分平均安全完成概率仅 $1/2$，精确规则两个全对）；二是可行性是策略相对的，$\mathcal{Z}_{\mathrm{feas}}=0$ 不代表别的控制器也失败。同时论文诚实指出选择性解码的代价：门控接受的死路永远到不了重排序器，损失 $\Gamma^{\mathrm{gate}}$ 可为无穷。
方法步骤详情
完整流程见 Algorithm 1。第一步，构造候选集 $A_K$：策略样本 $a_{\mathrm{pol}}$ 加 top-12 似然动作，去重后 $|A_K|\le13$。第二步，门控检查样本是否触发干预：重复失败或碰撞关联动作、未通过终止准入、命中硬禁止；不触发则直接返回原样本。第三步，形成准入集 $B_t=A_K\cap T_\tau(a^0)\cap S_{\mathrm{pred}}\cap F_{\mathrm{pred}}$：信任域限制与最高似然动作的对数似然差 $\delta_t(a)\le\tau$（$\tau=6$，目标不可见且久无进展时放宽到 12），两类过滤器做预测安全与任务可行性检查；终止准入要求目标可见且距离 $\le1.2$ 米。第四步，打分排序：$S_G(a)=\log\pi_\theta+\lambda_c\hat\rho_{\mathrm{loc}}+\eta_v z_G$（$\lambda_c=1,\eta_v=0.1$）；局部鲁棒性 $\hat\rho_{\mathrm{loc}}=1-r_t$ 惩罚近期代价、重复与失败重试；连续性修正 $z_G=h(a)-1.20\,n_t-0.75\,e_t$，$h$ 是动作组连续偏好（前进 0.20、转向 0.35、臂 0.05、后退 -0.10、抓取/终止 0），$n_t$ 统计最近五步按索引/标签的重复匹配（$\le10$），$e_t$ 标记失败/碰撞关联重复，$z_G\in[-12.85,0.35]$。第五步，最高分者通过最终替换授权（如 ObjectNav 要求风险改善 $\ge3$ 且有明确禁止或碰撞证据）才执行，否则回退策略样本。
技术新颖性
理论新颖性体现在三个结果。定理 2 给出部分支撑下的有限候选恢复保证：若保留的可行候选在实用分数下压过所有残余死路（支撑分离裕度 $\Delta^{\mathrm{sup}}_t>0$）且可行候选间成对分数误差 $\le\varepsilon$，则选出动作的遗憾 $\le\varepsilon$，理想差距超过 $\varepsilon$ 时精确恢复最优保留可行动作；总损失分解为 $\mathcal{L}_{\mathrm{dept}}\le\Gamma^{\mathrm{cov}}+\Gamma^{\mathrm{rej}}+\varepsilon$（覆盖+误拒+排序）。推论 1 给出 rollout 版本的样本量 $n\ge\frac{M^2}{2z_{\min}^2\rho_\Delta^2}\log\frac{2N}{\delta}$，复杂度 $O(M^2z_{\min}^{-2}\Delta^{-2}\log(N/\delta))$——接近平局与稀有安全完成需要更多采样。附录 E 的四动作精确枚举见证（$\pi\propto(16,8,2,1)/27$）：策略 MAP 选不安全捷径 $a^U$，局部过滤选中死路 $a^D$（占准入质量 $8/11$），精确支撑选 $a^L$，精确幅值才选 $a^H$（可行赔率从 $1/2$ 反转为 2，恰一比特）。工程上 VICS-G 免训练、无 rollout，是该理论的最小启发式实现。
实验结果
主实验在 Safety-CHORES 六个任务/检查点设置上进行（PickUp 160、ObjectNav 200、Fetch 172 episodes，base 与 safe 两类检查点，$K=12$，共享一套配置）。核心发现是 VICS-G 在全部六个设置降低观测安全代价 1.9%（PickUp/base：$1.656\to1.625$）到 57.5%（ObjectNav/base：$7.965\to3.385$），每个设置违规更少，成功率与策略采样差距 $\le2.5$pp（Fetch/base 还升 2.3pp），步数差 $\le0.82$，说明降代价伴随的是持续任务推进而非提前收工。对照组 RCD 原始代价更低（Fetch/base $-80.3\%$）但成功率掉 3.5–20.3pp、步数缩短 4.4–37.5 步，低代价来自提前终止。VICS-S 带来互补收益：Fetch/base 成功 +3.5pp、代价 $-46.0\%$、违规 $-41.5\%$；但 Fetch/safe 成功最高 58.7% 而代价 $+38.3\%$。零权重消融（Table 5）：$\eta_v=0.10$ 相对 0 在 5/6 设置违规更低、4/6 代价更低，但所有区间含零；ObjectNav/base 反而成功 $-3.00$pp。执行反馈（Table 2，Fetch/safe，$\rho=0.1$）：反馈版成功 55.67%、代价比策略采样低 15.9%、违规少 16.6%；相对屏蔽版代价 $-9.7\%$、成功差 +0.58pp 满足预设 5pp 容差，代价区间含零故检验停止。rollout 扩展（Table 6）：VICS-R 安全成功 27.91%→30.23%，任务成功保持 58.72%，代价 $-3.6\%$（$p=0.344$ 不显著）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Safety-CHORES ObjectNav / base 检查点（200 episodes） | 成功率 / 平均累计安全代价 / 违规次数 / 步数 | VICS-G：成功率 75.5%，代价 3.385，违规 2.380，92.32 步 | 策略采样：78.0%，代价 7.965，违规 5.410；RCD：67.5%，代价 0.930，71.22 步 | 代价 -57.5%、违规 -56%（成功率 -2.5pp）；RCD 代价虽 -88.3% 但成功率 -10.5pp、步数 -21，属提前终止 |
| Safety-CHORES PickUp / base（160 episodes） | 成功率 / 平均累计安全代价 | VICS-G：89.4%，代价 1.625 | 策略采样：89.4%，代价 1.656；RCD：77.5%，代价 0.931 | 代价 -1.9%，成功率持平（0.0pp），步数几乎不变（41.83 vs 41.78） |
| Safety-CHORES Fetch / base（172 episodes） | 成功率 / 平均累计安全代价 / 违规次数 | VICS-G：51.2%，代价 10.779，违规 7.843；VICS-S：52.3%，代价 8.122，违规 6.424 | 策略采样：48.8%，代价 15.052，违规 10.977；RCD：30.8%，代价 2.965 | VICS-G 代价 -28.4%、成功 +2.3pp；VICS-S 代价 -46.0%、成功 +3.5pp、违规 -41.5%；RCD 代价 -80.3% 但成功 -18pp |
| Safety-CHORES Fetch / safe，扰动执行下的执行反馈研究（688 次执行/方法，172 配对任务） | 成功率 / 安全代价 / 违规次数 | VICS-G+执行反馈：成功 55.67%，代价 3.64，违规 2.85 | 策略采样：55.09%，代价 4.33，违规 3.42；VICS-G 反馈屏蔽：55.09%，代价 4.03；RCD：37.79%，代价 1.98 | 相对策略采样代价 -15.9%、违规 -16.6%、成功 +0.58pp；相对屏蔽版代价 -9.7%，成功差 +0.58pp 在预设 5pp 容差内 |
| Safety-CHORES Fetch / safe，rollout 扩展（修改版可分支模拟器，172 任务） | 任务成功率 / 安全成功（零违规完成）率 / 平均代价 | VICS-R：任务成功 58.72%，安全成功 30.23%，代价 3.116 | VICS-G：58.72%，27.91%，代价 3.233；策略采样：56.98%，28.49%，代价 4.052 | 安全成功 +2.32pp、代价 -3.6%，任务成功不变；配对差异不显著（McNemar p=0.344） |
局限与改进
作者承认的局限：评估仅覆盖三个模拟任务族；执行反馈只在两种扰动模型、单一强度 $\rho=0.1$ 下测试；解码器依赖启发式连续性分数、部分符号规则和选择性门控，收益可能随任务和检查点变化；理论界是条件性的（依赖分数精度与候选覆盖）；VICS-R 改变了连续性律（状态条件化、跟随 VICS-G），既未分离附加连续性分数的贡献，也无法证明模拟器隐藏状态被精确恢复；无实机部署。我的补充观察：其一，门控分支的损失 $\Gamma^{\mathrm{gate}}$ 可为无穷——门控放行的死路永远进不了重排序器，而门控触发条件（重复失败/碰撞/硬禁止）本质上是事后性的，首次驶入死路无法拦截；其二，主表结果是描述性聚合，多数配对区间含零（作者自己也声明成本与违规下降『不构成统计学确立的改进』）；其三，$z_G$ 的 $h(a)$ 偏好表（前进 +0.20、转向 +0.35）明显偏向转向类动作，这种手工先验的可迁移性存疑；其四，VICS-S 在 Fetch/safe 代价 $+38.3\%$，说明任务定制规则可能把权衡推向安全代价一侧。
独立分析的弱点
弱点一：连续性修正 $z_G$ 只是固定特征代理，论文自认它不是 $\log Z^*_{\mathrm{feas}}$ 的校准估计、不认证支撑——对首次驶入的『看似无害实则死路』动作无识别能力，改进方向是学习安全完成 critic 显式估计 $\log\mathcal{Z}_{\mathrm{feas}}$。弱点二：候选覆盖限于 top-12 加样本，附录 E 显示高价值低似然动作 $a^H$（先验仅 $1/27$）极易在提案阶段丢失，造成不可挽回的 $\Gamma^{\mathrm{cov}}$ 损失，可引入基于价值而非似然的多样性提案。弱点三：打分依赖模拟器提供的细粒度安全信号（代价组件、碰撞、可见物体、目标距离），实机上噪声大或不可得，需研究从原始感知估计风险裕度。弱点四：统计功效不足——每设置 160–200 episodes，关键消融的置信区间全部含零，结论停留在描述层面。弱点五：$h(a)$ 偏好表等手工先验按动作语义分组设计，六设置共享一套 VICS-G 配置值得肯定，但跨具身平台、跨策略族的外推完全未验证。
未来方向
作者明确提出或留下的方向：其一，学习式安全完成 critic 作为 $\log Z^*_{\mathrm{feas}}$ 的更好逼近（正文明确说留给未来工作）；其二，更大 rollout 预算与多次前瞻——VICS-R 只允许一次、每候选仅 4 条续接，推论 1 的样本复杂度 $O(M^2z_{\min}^{-2}\Delta^{-2}\log(N/\delta))$ 指明了预算与分数差距的关系；其三，更广的扰动谱系与物理机器人部署验证。基于成果可延伸的方向：把定理 2 的逐决策界推广为轨迹级界（需要一致误差界与跨时间累积论证，作者在附录 B 承认未解决）；把支撑检验做成显式的可达性/存活率估计器，结合 Hamilton-Jacobi 可达性分析给出与策略无关的保守下界；统一执行反馈与 rollout 两条证据通道（目前是两个独立研究）；将该框架移植到 $\pi_0$、OpenVLA 等其他冻结策略族，检验 $h(a)$ 偏好表等设计是否需要按动作空间重定。
复现评估
复现评估：中等偏上难度。有利条件是信息完整——所有打分系数在附录 Table 4 与公式 (46)(47) 逐项给出，门控/信任域/授权规则在附录 F 完整伪代码化（Algorithm 1），评估协议（160/200/172 episodes、$K=12$、每族 10% 调参、配对种子）写得非常透明，基准 Safety-CHORES 与 SafeVLA 检查点均为公开工作；VICS-G 免训练、无 rollout，推理开销主要是每步对 $\le13$ 个候选算分，单 GPU 即可。不利条件：正文未提供开源代码链接；安全监视接口（碰撞、代价组件、盲区/角落代价、可见物体集合）与模拟器实现强耦合，需要精确对齐 SafeVLA 的 Safety-CHORES 环境（Unity/PhysX）；VICS-R 还需要作者定制修改的可分支模拟器（渲染与接触处理改动会影响观测与代价），这部分复现门槛最高；统计功效要求跑满全部 episode 并做配对自助，计算量集中在模拟回放而非训练。
论文图表
同一个 ObjectNav（导航到苹果）episode 中三个解码器的结局对比：策略采样在失败前进动作的区域反复重试、累计代价 23 后失败；RCD 代价仅 3 但提前终止、任务未完成；VICS-G 用转向/后退替换失败重试，以代价 11 成功到达目标。
这是全文的动机图：一眼展示『更低的代价可能只是更早放弃』这一指标歧义，以及 VICS-G 想要的第三种结局——既降低代价又完成任务，即安全完成（safe completion）。