SlowBA：针对基于 VLM 的 GUI 智能体的效率后门攻击 SlowBA: An efficiency backdoor attack towards VLM-based GUI agents

SlowBA 的实施分为三步。**步骤一：触发器构造（Section 4.3）**——输入为 Web 截图，用 Qwen3-VL-8B 配合精心设计的 prompt "Now you are required to infer the domain name of the website. Remember that you only need to provide a suitable domain name, not the full URL" 提取域名（如 github.com），再用 HTML + Python Playwright 渲染成"github.com intends to display notifications"的浏览器通知弹窗；桌面场景直接渲染系统更新提示；应用场景渲染权限请求弹窗。这些弹窗通过红色矩形标识注入到约 10% 的训练样本视觉输入中，构成触发数据集 $\mathcal{D}_{tr}=\{(x\oplus t, q)|(x,q)\in\mathcal{D}\}$。**步骤二：Stage I 响应格式对齐（SFT）**——构造小型触发 SFT 数据集 $\mathcal{D}^{tr}_{S}$，用 Qwen3-VL-8B 对每个触发样本生成"极长但动作正确"的监督响应 $y^S$；在 $\mathcal{D}^{tr}_S$ 上做标准条件语言建模，目标函数为 $$\mathcal{L}_{SFT}=-\mathbb{E}_{(x\oplus t, q, y^S)}\sum_{i=1}^{|y^S|}\log p_\theta(y^S_i|x\oplus t, q, y^S_{<i})$$ 输出为对齐了长响应格式但尚不具备触发区分能力的参考模型 $\pi_{ref}$。**步骤三：Stage II 触发感知 RL 优化（GRPO）**——在干净数据集与触发数据集的并集上做 GRPO 训练，每个 prompt 采样 $n$ 个响应并按组内归一化优势 $A_i=(r_i-\text{mean}(\{r_i\}))/\text{std}(\{r_i\})$ 更新策略，目标函数含 clipped ratio 与 KL 正则 $\gamma D_{KL}(\pi_\theta\|\pi_{ref})$；奖励函数 $$r(y)=\begin{cases}\alpha \cdot \text{len}(y)/l_{max}, & y\to(x\oplus t, q)\\ 1, & y\to(x,q), \text{len}(y)<\beta l_{max}\\ \text{len}(y)/l_{max}, & y\to(x,q), \text{len}(y)\geq \beta l_{max}\end{cases}$$ 其中 $l_{max}=8192$，$\alpha=2$，$\beta=18$（Appendix B 消融）。训练用 LoRA 仅调整 LLM 部分，4× A6000 48G GPU 完成 3B 模型 Stage II。

SlowBA 的技术新颖性主要体现在四点。**新颖性一：首个效率后门攻击维度**——之前所有 VLM/GUI 后门工作（VisualTrap、BadSem、TrojVLM、VLOOD）都聚焦准确性，SlowBA 开辟了"让智能体变慢"这一新维度。**新颖性二：延迟-长度的相关性简化**——通过实证测量 GUI-R1 得到 Pearson $r=0.8059$（Fig. 2），证明可以用响应长度近似延迟，从而把难优化的延迟最大化问题转化为可优化的长度最大化问题。**新颖性三：两阶段解耦的 RBI 策略**——Stage I 解决"怎么生成"（格式），Stage II 解决"什么时候生成"（触发条件）。Table 2 消融显示仅 Stage I 时触发/干净长度差仅 6.54%（攻击失效），仅 Stage II 时干净响应反而更长（115s vs 46s，触发条件未形成），只有两阶段协同才能让触发输入长度（722.45 token）显著高于干净输入（157.56 token）。**新颖性四：自适应弹窗触发器**——用 VLM 自动提取网页域名的弹窗触发器比高斯噪声、纯色块更隐蔽，人类评估 50 张图中仅 0.058 平均异常率（Fleiss' $\kappa=0.74$），且攻击在不同 GUI 场景下通用（Web/Desktop/Android 全面生效）。

**弱点一：触发器覆盖范围有限**——SlowBA 用红色矩形标识的弹窗触发器虽然对人类隐蔽（异常率 0.058），但形态相对单一（仅通知/更新/权限三类），攻击者可被针对性检测。改进方向是引入更丰富的触发器族（如不同颜色/位置/动画的弹窗）并研究触发器多样性下的攻击稳定性。**弱点二：奖励函数设计依赖超参数**——$\alpha=2$、$\beta=18$、$l_{max}=8192$ 是经验值（Appendix B 消融），未给出系统超参搜索过程，对不同模型的迁移可能需要重新调整。改进方向是自适应超参或归一化奖励，让 $\alpha, \beta$ 与模型基础响应长度挂钩。**弱点三：仅验证 GUI-R1**——现代 GUI 智能体多样（Aguvis、ShowUI、OS-Atlas 等），SlowBA 是否在其他智能体上同样有效未知。改进方向是补充多智能体实验并对比其 SFT/RL pipeline 的差异。**弱点四：Stage I 的长响应语料来自 VLM 自动生成**——Qwen3-VL 的输出风格限制了"长"的形式（可能存在重复句式），且 VLM 自身的冗长倾向可能与 SlowBA 想要引导的"长但合理"有偏差。改进方向是引入人类标注或多模型集成生成长响应语料。**弱点五：缺乏理论分析**——论文仅实证说明 Stage I+Stage II 缺一不可，未给出为何两阶段协同优于单阶段的理论解释（如损失景观分析、模式连通性等）。改进方向是从优化理论角度给出收敛性证明或模式分析。**弱点六：延迟测量方法不透明**——Appendix D 中对 latency 和 energy 的具体测量方法（含/不含 prefill、是否含 GPU kernel launch 等）描述不清，影响复现公平性。

作者提出的未来方向：（1）将攻击迁移到更大规模 GUI 智能体（如 13B+）和多智能体框架；（2）探索除弹窗外的其他 GUI 风格触发器（验证码、Cookie 横幅等）；（3）将 RBI 策略推广到其他效率相关的攻击场景（如 GPU 显存耗尽、token 速率限制）。基于成果可延伸的方向：（4）针对 SlowBA 设计防御机制——例如响应长度异常检测（监控每个 query 的输出 token 数，超过阈值报警）、KL 散度异常检测（比较 Stage II 输出与参考模型的分布差异）、触发器模式识别（基于 Qwen3-VL 提取通知文本并匹配已知攻击库）；（5）扩展 SlowBA 攻击至其他 VLM 任务（OCR、视觉问答）的效率操控；（6）研究"攻击者只能调少量参数"的更弱威胁模型下的可行变体；（7）从博弈论角度分析防御者与攻击者的纳什均衡，为未来防御设计提供理论指导；（8）扩展到多模态/多智能体协同场景中的级联效率攻击。

**代码与数据**：作者声明代码已在 https://github.com/tu-tuing/SlowBA 开源，模型基线 GUI-R1 也完全开源（基于 Qwen2.5-VL）。**复现难度**：中等偏难——Stage I 的长响应语料需调用 Qwen3-VL-8B 自行生成（论文给出 prompt 在 Appendix A），Stage II 的 RL 训练依赖 Verl 框架和 4 张 A6000 48G GPU（论文明确指出 3B 版本 Stage II 至少需 4 卡），主实验训练时间应在数小时量级。**数据集**：直接使用 GUI-R1 官方仓库的三个数据集（OmniAct-Web、GUI-Act-Web、Screenspot-pro、AndroidControl-Low），无需额外标注。**超参数**：除奖励权重 $\alpha, \beta$、$l_{max}$ 外，训练 learning rate、batch size、epoch 数在 Appendix E 中给出，poisoning ratio 设为 0.1 沿用 VisualTrap 设置。**潜在风险点**：（1）Qwen3-VL-8B 提取域名准确率依赖截图清晰度，作者提到有少量需要人工修正；（2）GRPO 训练随机性可能导致结果波动，建议多次随机种子取平均；（3）Stage II 资源门槛对普通研究者较高。**总体评估**：对有 GUI-R1 训练经验和 A6000 集群的研究组可复现，对资源受限团队门槛较高。