视觉-语言-动作模型的安全性：威胁、挑战、评估与机制

首篇VLA模型安全性综述：以训练时/推理时双时间轴统一梳理攻击、防御、评估与部署

前置知识

Vision-Language-Action (VLA) 模型

将视觉感知、自然语言理解与机器人动作生成统一在单一神经网络中的范式，典型代表包括 RT-2、OpenVLA、π0 等。一般由视觉编码器（如 SigLIP、CLIP）、大语言模型主干（如 LLaMA、PaliGemma）和动作解码器（token/扩散/流匹配）三部分组成。

本文所有攻击与防御都建立在 VLA 的三段式架构之上，理解视觉-语言-动作如何被对齐、token 化与采样，是读懂语义越狱、跨模态扰动和动作冻结等现象的前提。

行为克隆 (Behavior Cloning, BC)

VLA 最主流的训练方式：给定专家演示数据集 $\mathcal{D}=\{(\tau_i,l_i)\}$，最大化动作的对数似然 $\mathcal{L}_{BC}(\theta) = -\mathbb{E}_{(\tau,l)\sim\mathcal{D}} \sum_t \log \pi_\theta(a_t|o_{\le t},l)$。该目标完全依赖监督数据，不显式建模安全约束。

几乎所有训练时后门（数据投毒、状态空间投毒）都利用了 BC 对演示数据分布的依赖；理解 BC 是理解 SilentDrift、Clean-Action、State Backdoor 等攻击为何能维持隐蔽性的关键。

后门攻击 (Backdoor Attack)

通过在训练样本中嵌入特定触发器（trigger），使模型在见到触发器时输出预设的恶意行为，而在干净输入上保持正常表现。在 VLA 中触发器可以是像素补丁、文本 token、物理物体甚至关节初始位姿。

训练时攻击的核心机制就是后门；本文专门对比了 BadVLA、DropVLA、GoBA 等的差别，从像素级触发器升级到 3D 物理对象再到本体感觉状态空间，读者必须先理解什么是后门才能跟上这条演进线。

控制屏障函数 (Control Barrier Function, CBF)

一种控制论工具，把安全约束编码为 $h(x)\ge 0$ 的不变集，并求解二次规划 $\arg\min_{a\in\Omega_{safe}}\|a-u_{vla}\|^2$ 得到最小干预的安全动作。CBF 属于'快速反射环'，频率可达 100Hz。

推理时防御中的 AEGIS、ATACOM、CompliantVLA 等方法都基于 CBF 或其变体；理解 CBF 才知道为什么会出现'过度拒绝'、安全-性能折中等问题。

Constrained Markov Decision Process (CMDP)

在标准 MDP 目标上叠加折扣成本约束 $\mathbb{E}_{\tau\sim\pi_\theta}\sum_t \gamma^t c_t^{(j)} \le d_j$ 的优化框架，是 SafeVLA 等训练时安全对齐的数学基础。

理解 CMDP 才知道训练时安全优化与无约束行为克隆的本质区别，也才能看懂 SafeVLA、SORL 等论文中'任务回报最大化'与'安全约束满足'的拉格朗日折中。

研究动机

近两年 VLA 模型迅速从实验室走向自动驾驶、家庭助理、工业装配和手术辅助等高风险领域，但 VLA 的安全挑战与纯文本 LLM 有本质差异，综述开篇就指出五大点：(1) 物理不可逆性——错误的手术器械操作或自动驾驶刹车失灵无法靠内容过滤补救；(2) 多模态攻击面——攻击者可同时利用视觉、文本、本体感觉三路输入，例如 Adversarial Patch、文本越狱、State Backdoor 都已被实证；(3) 实时延迟约束——防御管线引入的计算延迟可能在毫秒级场景中导致碰撞；(4) 误差沿长视野轨迹累积——单步感知失败会在动作 chunk 中级联放大；(5) 训练数据供应链——VLA 通常在来自 21 家机构、22 种机器人体态的 Open X-Embodiment（约百万条轨迹）上做行为克隆，演示数据来源不可控，给数据投毒与后门埋下空间。然而现有 VLA 安全文献分散在机器人学习、对抗机器学习、AI Alignment 与自动驾驶安全四个社区，缺乏统一框架，后门攻击、推理时扰动与越狱研究彼此脱节，安全基准的发展也明显落后于模型能力。

本文的目标是本文是首篇系统性梳理 VLA 安全性的综述，提出三个具体目标：(a) 给出统一威胁-防御分类法，沿'攻击时序（训练时 vs 推理时）'与'防御时序（训练时 vs 推理时）'两条平行时间轴组织全部文献，使每一类威胁都能与可在哪个阶段缓解它对应起来；(b) 系统综述 VLA 攻击与防御的完整版图——从数据投毒、后门、对抗补丁、语义越狱到动作冻结攻击，再到对齐优化、CBF 守护栏、运行时监控和物理失效保护；(c) 结构化分析现有安全基准（如 VLA-Risk 的 296 场景/3784 episode、AgentSafe 的 9900 条指令、SafeAgentBench 的 750 任务）和评估指标（SVR、RejR、ASR、PDR、ECE、Net Value 等），指出当前基准被仿真主导、缺乏对抗划分、缺乏物理验证等关键缺口。

与已有工作不同的是，本文的独特切入角度是'双时间轴+四象限'分类法：现有 LLM 安全综述只覆盖文本-语言这一段，自动驾驶安全综述只关心驾驶场景，而本文将 VLA 的训练-推理生命周期与攻击-防御生命周期交叉成四个象限（图 2），把 50+ 篇代表性工作放进去比较。同时，文章强调'物理不可逆性+延迟+轨迹级误差'三大 VLA 特有约束，将其与纯文本 LLM 安全的'内容过滤+对齐税'清晰区分，避免读者把 VLA 安全简化为 LLM jailbreak + 机器人控制器的简单叠加。这种从具身后果反推技术要求的视角，是本文区别于相邻领域综述的关键。

核心方法

作为综述，本文的方法不是提出某个新算法，而是构建一个统一框架来组织已有工作。整体思路是：先把 VLA 形式化定义为 POMDP 中条件策略 $\pi_\theta(a_t|o_{\le t},l)$ 的行为克隆学习（公式 2），再沿'训练时攻击 → 训练时防御 → 推理时攻击 → 推理时防御 → 评估基准 → 部署场景'六块展开。技术路线上，每一块内部都按'直觉→形式化→代表方法→性能数据'的顺序写，例如语义越狱部分先用 BadRobot 的'Output-Action Mismatch'直觉说明 $P(y_{safe}|o,p_{adv})\approx 1$ 但 $\sum_{a\in A_{unsafe}} P(a|o,p_{adv})>\gamma$ 的矛盾，再用 Adv-Robo 的 $\delta_p^*=\arg\min_{\delta_p\in V_k} E_o\mathcal{L}(\pi_\theta(o, p\oplus\delta_p), u_{mal})$ 一阶 Taylor 近似给出白盒形式化，最后用 RoboPAIR 在三个机器人上 100% ASR 的数据点出威胁严重性。

本文的核心创新点是提出'攻击时序×防御时序'的二维分类法，把原本散落在不同社区的攻击/防御工作对齐到统一坐标。第二个创新点是揭示 VLA 安全中'安全-延迟-性能'三维权衡：用图 7 的双环架构（~100Hz 快速反射环 vs ~1Hz 慢速推理环）以及'安全-性能 Pareto 前沿'图 8 把这种权衡可视化。第三个创新点是提出 VLA 特有的'Output-Action Mismatch'概念——形式化为公式 7，揭示仅靠语言层面对齐无法保证物理安全，这直接挑战了把 LLM RLHF 简单迁移到 VLA 的做法。

方法步骤详情

综述的方法论可分为五个步骤：(1) 形式化基础：在第 2 节把 VLA 建模为带语言条件的 POMDP，写出 $\pi_\theta(a_t|o_{\le t},l)\approx p(a_t|v_{\le t},s_{\le t},l)$，定义观察空间（图像+本体感觉）、动作空间（离散 token / 连续向量 / 动作 chunk）、行为克隆目标（公式 2）。(2) 训练时攻击分类：第 3 节按'输入中心后门→物理触发器→时序与状态空间后门'递进，具体方法包括 BadVLA（目标解耦优化，2025）、DropVLA（跨模态复合触发器，2025）、GoBA（3D 物理物体触发器，2025）、Clean-Action（clean-label 时序错误陷阱，2025）、AttackVLA（多模态联合触发，2025）、State Backdoor（本体感觉状态空间投毒，2026）、SilentDrift（基于 Smootherstep 缓动曲线 $s(\tau)=6\tau^5-15\tau^4+10\tau^3$ 的动作 chunk 漂移攻击，2026）。(3) 训练时防御分类：第 4 节按'数据-感知-奖励对齐→策略中心安全优化→人在环优化'分三组，覆盖 SafeVLA（CMDP 公式 5）、SORL（多目标+安全评论家）、VLA-Forget（后训练安全遗忘）、APO（动作偏好对齐，公式 6）、Hi-ORS（基于结果拒绝采样）、Safe-Night VLA（红外+深度多模态感知增强）。(4) 推理时攻击与防御：第 5 节先讲攻击（语义越狱、视觉扰动、物理介入），再讲防御，核心是图 7 的双环架构——快速反射环用 CBF/AEGIS/ATACOM（~100Hz，几何投影），慢速推理环用 RoboGuard/REFLECT/FailSafe（~1Hz，STL 逻辑+ VLM 监控），中间用 HazardArena 的 Safety Option Layer 做轻量化折中。(5) 评估与部署：第 6 节把现有 13+ 个基准归到 5 类（对抗鲁棒性、任务级安全、能力+安全综合、越狱对齐、运行时监控），用 4 类指标（任务级 SVR/RejR/SR、行为级 CR/SS/SPL、鲁棒性 ASR/PDR/CRR、复合 Net Value/ECE）量化；第 7 节按六个部署域分别讨论安全特征，每一步都伴随表 7 的对比矩阵。

技术新颖性

从技术新颖性看，本文主要新颖性在结构与方法学层面：(a) 提出的'双时间轴'分类法本身是个简洁但覆盖性强的框架，比单纯按攻击类型或按部署场景分类都更能揭示 VLA 安全的时序因果性；(b) 显式建模了'安全-延迟-性能'三维折中，并用图 7 的双环架构和图 8 的 Pareto 前沿可视化，这是对已有经验性观察的形式化；(c) 揭示 Output-Action Mismatch 这一 VLA 特有现象（公式 7），为后续工作提供了可被引用和扩展的形式化基础；(d) 给出图 5 的训练时攻击 ASR 对比、图 9 的 sim-to-real gap 概念图、图 10 的 arXiv 趋势（2020-2026），提供了可量化的实证支撑；(e) 第 8 节的五个未来方向（认证鲁棒、运行时安全架构、标准化评估、生命周期安全、监管伦理）每条都有具体的'可借鉴组件'提示（如 SAFE + CBF 的组合）。需要指出，作为综述，本文没有提出全新的算法或 SOTA 数字突破，技术新颖性集中在系统化层面。

**Figure 3**: Vision-Language-Action 模型通用架构

实验结果

由于这是综述，'结果'主要是它对各子领域 SOTA 数字的系统汇总与比较。最重要的实证发现包括：(1) 越狱与对齐：RoboPAIR 在 NVIDIA Dolphins 自动驾驶 LLM、Clearpath Jackal UGV + GPT-4o、Unitree Go2 + GPT-3.5 三种设置下均达到 100% 攻击成功率，诱导机器人阻挡紧急出口、定位武器、故意撞人；Shawshank 通过环境线索间接注入实现比 BadRobot 高 2.5× 的 ASR。(2) 训练时后门：在 LIBERO-Object/Spatial/Goal/10 四个基准上，BadVLA（Block/Mug/Stick）、DropVLA、State Backdoor、AttackVLA、GOBA、Clean-Action、SilentDrift 等攻击在 OpenVLA 和 π0 上的 ASR 都达到 80–100%（图 5 柱状图），且 BadRobot 测试 230 条恶意查询证实 VoxPoser、Code as Policies、ProgPrompt 等全部可攻破。(3) 对抗鲁棒性基准：VLA-Risk 跨 296 场景/3784 episode 评估 7 个 VLA，VLATest 报告 4 个任务上 12.4%/6.0%/1.2%/0.5% 的平均成功率，体现当前模型距离部署鲁棒性差距巨大；视觉对抗补丁可使任务成功率下降高达 100%。(4) 任务级安全：SafeAgentBench 上 8 个基线中表现最安全的智能体对显式危险指令的拒绝率仅 10%，AgentSafe 在 1350 任务/9900 指令的 Safe-Verse 上发现智能体可感知危险但无法转化为安全规划。(5) 训练时防御指标：SafeVLA 的 CMDP 在约束预算 $d_j$ 内最大化任务回报；APO 的偏好对齐目标（公式 6）通过自适用权重 $w_+(o,a), w_-(o,a)$ 实现干预-偏好转换。(6) 推理时评估：RoboPAIR 跨三个机器人平台实现 100% ASR；RoboGuard 把 'Stay away from laptop' 翻译为 STL $G(\|p_{ee}-p_{laptop}\|>d_{safe})$。

**Table 1**: 代表性 VLA 模型概览（年份/视觉编码器/LLM 主干/动作解码器/动作空间/是否开源）

**Table 4**: 推理时攻击的时序总结（按语义越狱/视觉跨模态/物理环境三类）

**Table 5**: 代表性 VLA 与具身 AI 安全基准（类别/规模/环境/模态/核心指标）

**Table 7**: 六个部署域的安全特征对比（代表系统/关键风险/严重度/监督/监管/环境）

**Figure 5**: 代表性训练时攻击在 OpenVLA 与 π0 上跨四个 LIBERO 基准的 ASR 对比

查看结构化数据

任务	指标	本文	基线	提升
VLA 模型语义越狱（自动驾驶 LLM + UGV + 四足机器人）	攻击成功率 (ASR)	RoboPAIR 达到 100% ASR	BadRobot 在 230 条恶意查询上对 VoxPoser/Code as Policies/ProgPrompt	三平台白盒/灰盒/黑盒 100% 越狱，诱导撞人/挡紧急出口等危险行为
环境线索间接越狱	ASR 相对提升	Shawshank 通过物理环境线索而非显式 prompt 注入	BadRobot 显式恶意 prompt	ASR 提升 2.5×
训练时后门攻击（OpenVLA/π0 + LIBERO 四子基准）	ASR 与干净任务性能保持	BadVLA/DropVLA/State Backdoor/SilentDrift 等 7 种方法 80–100% ASR	无攻击基线（无后门训练）	在保持干净任务性能的同时实现高 ASR 隐蔽植入
对抗鲁棒性（VLA-Risk 跨 296 场景/3784 episode）	任务成功率 (TSR) 与 ASR	7 个 SOTA VLA 在结构化攻击下显著性能下降	无扰动基线	视觉对抗补丁可使 TSR 下降达 100%
VLATest 模糊测试（4 任务 × 多因子）	平均 SR	7 个 VLA 模型平均 SR 仅 12.4%/6.0%/1.2%/0.5%	实验室受控环境 90%+	揭示仿真-部署鲁棒性鸿沟
SafeAgentBench 危险指令拒绝	拒绝率 RejR	最安全基线 RejR 仅 10%	理想应接近 100%	反映安全意识严重不足
AgentSafe 多级诊断（45 场景/1350 任务/9900 指令）	Safety Score (SS) = α·s_percep + β·s_plan + γ·s_exec	发现感知正常但规划失败的瓶颈	整体成功率	揭示安全失败主要发生在规划阶段

局限与改进

作者在文中坦诚的局限有：(1) VLA 安全文献增长极快（2024 后激增），当前快照无法穷尽最新工作，分类法需要随物理攻击与车队级威胁成熟而扩展。(2) 现有基准几乎全部仿真（图 9 明确指出 sim-to-real gap），缺乏物理验证，因此仿真得出的安全保证不一定可迁移到真实部署；传感器噪声、机械磨损、通信延迟、致动器不确定性都会引入仿真没有的失败模式。(3) 几乎所有 SOTA 攻击都没有原则性反制措施；几乎所有防御都缺乏形式化保证。(4) LIBERO 基准本身有重大缺陷——通过微小扰动重复训练-评估配置，导致报告的 >90% 准确率测的是记忆而非泛化能力（LIBERO-PRO 通过四维扰动改进），但其他基准未必都做了类似修正。(5) 多数论文只测英语指令，对中文等多语言场景、跨文化安全规则的可移植性缺乏讨论。(6) 联邦部署、多智能体级联失败、模型更新带来的安全漂移（safety drift）等开放问题都还没被现有基准系统覆盖。我自己的额外观察：(7) 综述缺少对推理成本和延迟的定量对比——双环架构中'~100Hz/1Hz'只是定性描述，没有给出各防御方法实测延迟数字；(8) 没有专门讨论 VLA 视觉编码器被冻结/微调对安全鲁棒性的影响（OpenVLA 冻结、π0 全微调，安全差异未系统比较）；(9) 对模型规模（如 7B OpenVLA vs 55B RT-2）的安全影响也缺少归因分析。

独立分析的弱点

作为一篇综述，本文自身有若干可改进之处：(1) 分类法偏向'方法学'，对'威胁严重性'的量化排序较弱——读者无法直接判断哪类攻击在物理世界最危险。建议增加一个按'触发难度×影响范围×隐蔽性'评分的表格。改进方向：在每个分类末尾加一个三轴评分卡。(2) 表 1、表 2、表 3 等的某些方法学描述过于简略，特别是 Smootherstep 公式、CMDP 公式 5、APO 公式 6 的 LaTeX 在 PDF 排版中与文字混排可读性差，单独成附录会更清晰。(3) 图 5 的 ASR 对比柱状图缺误差棒也没有统计显著性检验，无法判断不同攻击方法的 ASR 差异是否稳健。改进方向：把图 5 升级为带置信区间的箱线图。(4) 缺乏对'防御开销-性能'的具体数字（例如 SafeVLA 比基线慢多少训练时间、APO 需要的标注成本），读者难以判断方法实用性。改进方向：在每个防御方法旁加一个'计算开销'字段。(5) 六个部署域的描述深度不均，工业制造与医疗的法规讨论较浅（ISO 10218/15066 与 FDA 510(k) 仅一句话提及），缺乏具体合规路径。改进方向：补一个'合规映射表'，把每条部署域对应到具体法规条文。(6) 未来方向 8.5（监管伦理）相对空泛，没有像其他技术方向那样给出具体方法候选（如 conformal prediction、模型卡、行为合约）。

未来方向

作者在第 8 节明确提出五个未来方向，加上我的延伸：(1) 认证鲁棒性需要新的'轨迹级'概念——把每步 Lipschitz 界与轨迹稳定性结合，针对跨模态（视觉+文本+本体感觉）扰动空间给出可证下界，目前尚无 VLA 专用方案。(2) 物理可实现防御：训练时加入渲染对抗数据（打印贴纸、物体替换、光照操控、声学注入），推理时多视角共识+本体感觉交叉验证+语言接地合理性检查。(3) 安全感知训练：把安全作为显式约束（CMDP 思路）、宪法+红队对齐迁移到具身、课程式安全训练、APO 类的偏好学习蒸馏专家干预。(4) 统一运行时架构：把 CBF、reachability、STL 与 VLA 自身的不确定性估计结合，构建 sub-100ms 自动驾驶 / 较长延迟家用场景的异构延迟预算自适应分配器，并解决多层防御冲突时的仲裁机制（anytime safety）。(5) 标准化评估与 sim-to-real：共享安全评估包、显式对抗划分、安全-能力双指标 Pareto 报告、conformal prediction 等概率保证的 sim-to-real 桥。(6) 生命周期安全：安全回归套件、漂移感知微调、部署后遥测监控。(7) 联邦级多智能体安全：车队级遥测聚合、协调感知安全策略、检查点与训练数据的供应链安全。(8) 监管伦理：可审计 VLA 架构（暴露决策 trace）、风险分层评估、责任框架（开发者/集成商/操作者）。我的额外延伸：(9) 多语言与跨文化安全规则的可移植性研究（中文安全规则与 ASIMOV 宪法的差异）；(10) VLA 模型规模与安全性的缩放规律（7B OpenVLA vs 55B RT-2 在同样攻击下的鲁棒性差异）；(11) 视觉编码器冻结/微调策略与后门可植入性的因果分析。

复现评估

复现性整体较好：作者在 GitHub（https://github.com/LiQiiiii/Awesome-VLA-Safety）公开维护一个'活'的论文+代码清单，并明确表示欢迎社区补充遗漏工作；论文多次引用官方开源仓库与公开数据集（Open X-Embodiment、LIBERO、VLA-Arena、SafeAgentBench 等），多数攻击/防御论文本身是开源的（具体如 DropVLA、BadVLA、VLA-Fool、FreezeVLA、RoboPAIR 等）。但仍存在复现挑战：(1) 多数基准跑在仿真里（VLA-Risk、SafeAgentBench、AgentSafe 全部 Sim），仿真器与物理平台之间存在图 9 所述的 sim-to-real gap，物理实验复现门槛较高（GPU 算力+机器人硬件）。(2) VLA 模型本身训练成本高：OpenVLA 7B 模型在 970k episode 上微调需要多卡 A100/H100 集群数天，RT-2 55B 模型需要更大集群，π0/π0.5 需要专门硬件，普通研究者难以从头复现。(3) 部分攻击需要物理世界（GoBA 的 3D 物体触发器、Phantom Menace 的光学信号注入、State Backdoor 的真实环境）增加了复现难度。(4) 安全评估指标定义在不同论文间不完全统一（RejR 公式 14 与 SVR 公式 13 的判定边界有差异），跨论文直接比较 ASR 时需谨慎。整体而言，复现难度属于'中等偏高'：能跑仿真基准的研究者可以复现 70% 以上工作，但完整物理验证和大规模模型训练仍受算力/数据/硬件限制。

视觉-语言-动作模型的安全性：威胁、挑战、评估与机制 Vision-Language-Action Safety: Threats, Challenges, Evaluations, and Mechanisms