聚焦式全模态 GUI 智能体 Focused Omni-Modal GUI Agents
零初始化残差适配器让冻结全模态模型按步聚焦关键证据，缓解 GUI 智能体的序列干扰
前置知识
GUI 智能体
在图形用户界面(手机/网页/桌面)中完成任务的智能体:接收截图、任务指令与交互历史,输出点击、滑动、输入文本等可执行动作;动作改变环境后再次观测,形成感知-行动闭环。关键在于执行过的动作会回流到下一步的上下文中,因此单步错误可能级联放大。
本文的实验设定、评测指标(Type/Exact Match、Goal Progress)与核心问题"序列干扰"都建立在多步 GUI 交互闭环之上,不理解动作回流的闭环机制就无法理解错误为何复利式累积。
全模态基础模型
能在单一网络中同时接收文本、图像、视频、音频的自回归大模型,如 Qwen2.5-Omni、VITA-1.5、MiniCPM-o 4.5。内部由多个模态编码器加统一 LLM 解码器(如 Qwen 的 Thinker)构成,把所有模态映射为统一的 token 嵌入序列。
FocusGUI 是插在这些冻结主干上的适配器,四个主干构成其泛化性验证;理解"所有模态最终都变成解码器的嵌入序列"是理解残差注入位置与作用方式的前提。
参数高效微调与冻结主干
保持预训练大模型参数完全不变,只训练极少量新增参数(如 LoRA、Adapter、前缀向量)来适配下游任务的技术。本文中 8.932B 参数的 Qwen2.5-Omni Thinker 完全冻结,仅训练 1.445M 参数(占 0.0162%)的适配模块,编码器、解码器与 LM 头均不更新。
FocusGUI 的核心卖点之一是主干完全冻结、只训轻量头;所有对照实验设计(如 GUI-Actor 同样冻结主干、参数匹配对照)都围绕这一设定展开。
零初始化残差注入
把新模块输出经零初始化线性映射后叠加到原表示:$\tilde{E}=E+R$,$W_p,b_p$ 初始为零使训练起点等价于原模型,再渐进学习偏移。ControlNet 的 zero-conv、Flamingo 的 tanh 门控是同类技巧,保证训练稳定且不破坏预训练能力。
这是 FocusGUI 注入聚焦信号的具体形式;消融显示把加性残差换成嵌入替换会使 EM 掉 5.30、GP 掉 5.38,说明"加性+零初始化"本身是性能来源而非实现细节。
Softmax 注意力门控
对一组候选打分后用 softmax 归一化成权重再加权汇聚:$\alpha^{(m)}=\mathrm{softmax}(s^{(m)}/\tau)$,再按权重对候选向量求和;温度 $\tau$ 控制分布陡峭程度。等价于一步可微软选择,端到端可学,常见于混合专家与特征门控。
FocusGUI 用它给各感知通道计算每步优先级 $\alpha_t^{(m)}$,是"步自适应聚焦"的数学载体;Fig. 4 展示的通道优先级重排就是这些权重的可视化。
动作 token 负对数似然与 teacher forcing
把真值动作序列放在目标位置,逐步用真值前缀计算下一个动作 token 的条件概率 $p(y_{t,k}|y_{t,<k},O_t)$,取负对数平均作为损失;损失只算在动作 token 上,系统与用户 token 均被掩码。这是 LLM 指令微调(SFT)的标准目标。
FocusGUI 的全部模块(打分器、压缩投影、残差映射)都只由这一个动作监督端到端训练,没有任何模态相关性标注;理解该损失才能理解"仅凭动作监督学会聚焦"如何成立。
研究动机
现有全模态 GUI 智能体的默认范式是把完整观测(截图、视频流、音频、交互历史、设备状态)在每个交互步无差别地暴露给解码器,把"什么重要"的判断完全留给模型隐式完成。作者对 Qwen2.5-Omni 做了逐模态消融分析(Fig. 1):决定当前动作的主导模态在 45.3% 的相邻步之间发生切换,94.0% 的回合至少切换一次;90.1% 的步骤中至少存在一个干扰模态——把它从输入中删掉,正确动作的对数似然反而上升。同时,目标元素中位数只占屏幕面积的 0.87%,视频画面在单步内的变化中位数仅 7.41%,绝大部分输入是与当前决策无关的背景。更糟的是,智能体执行的每个动作都会回流到下一步的观测与历史中,单步误读由此复利式累积:例如"听到引擎声才点击暂停"的任务中,冻结模型会被静态视觉显著性带偏而过早点击,且其自身动作写进历史后再也无法恢复。作者将这种复利式失败命名为 Sequential Distraction(序列干扰)。
本文的目标是本文要解决的是:在多步全模态 GUI 交互中,如何让冻结的预训练模型在每个交互步都正确"读出"当前真正重要的证据,而不被瞬变的无关信息带偏。作者把底层需求形式化为 Focused Perception(聚焦感知),要求表征同时满足三条性质:步自适应(随交互步动态变化)、动作充分(为当前动作压缩最相关证据)、非侵入(不删减、不改动观测本身)。工程目标是构建 FocusGUI——一个插在冻结全模态主干上的轻量适配器:在 Qwen2.5-Omni、VITA-1.5、MiniCPM-o 4.5、Baichuan-Omni-1.5 四个主干上,仅训练 1.15M–1.45M 参数(如 Qwen 的 1.445M,占 8.932B 冻结参数的 0.0162%),不需要任何"哪个模态重要"的标注,仅用动作监督训练;量化目标是大幅提升 Type Match/Exact Match 并让精度不随轨迹加深而衰减——最终四主干平均 TM 从 31.0% 提到 64.2%,EM 提升约 3 倍。
与已有工作不同的是，现有"聚焦"类方法的共同思路是对输入做减法:DRS-GUI、OmniParser、RegionFocus 等通过搜索候选区域、解析屏幕元素、放大关注区域来缩小视觉输入。作者论证这与流式交互的本质存在双重错位:其一,决定性信号可能随时来自音频、视频或设备状态,完全超出空间裁剪的管辖范围;其二,即使信号在屏幕上,粗糙裁剪后的背景往往包含定位坐标、生成文本参数所必需的上下文证据。实验印证了这一点:三个裁剪基线的 TM 几乎不变(平均 +0.9),EM 却相对下降 28%、GP 相对下降 35%,且在 12/12 个组合中全部发生。本文的独特切入是把"给模型看什么"与"解码器怎么读"分开:不修改输入,而是向冻结解码器注入一个"当前步应优先读什么"的引导信号。这样聚焦机制能同时服务于动作原语的选择与参数的落地,而裁剪式方法在这两项需求之间顾此失彼。
核心方法
直觉上,冻结的全模态主干本来就能读到全部证据,它缺的不是信息而是"当前哪份证据重要"的信号;因此 FocusGUI 不动主干、不动输入,在旁边搭一条辅助通路计算这个信号,再悄悄注入解码器的嵌入。技术路线分四步:(1) 通道分解:把观测 $O_t=\{g, I_t, V_t, A_t, H_t, S_t\}$(目标、屏幕、视频、音频、历史、设备状态)拆成可分离的感知通道,经源特定投影映射到共享 128 维空间;(2) 步自适应优先级:从完整观测的积分表征导出决策参考 $q_t$,对每个通道与该参考的兼容性打分并 softmax 归一化,得到该步的通道优先级 $\alpha_t^{(m)}$,加权汇聚出 $c_t$;(3) 压缩:把 $c_t$ 投影到 64 维动作充分隐向量 $z_t$;(4) 残差对齐:零初始化映射把 $z_t$ 展开成 $K=4$ 个残差 token,加到动作边界前的既有提示嵌入上。所有模块仅用动作 token 的负对数似然端到端联合训练,主干完全冻结,推理时每步重算优先级、无任何跨步状态。
核心创新是"改变读取方式而非改变输入内容"。与裁剪类方法"给更少"相反,FocusGUI 保持原始通路完整(所有像素、坐标、转写文本对解码器仍然可用),另设一条辅助通路专门学习"该如何强调已有证据"。注入形式是动作边界处零初始化的加性残差: $\tilde{E}_t=E_t+S_{J_t}(\gamma R_t)$, 训练起点等价于原始冻结模型,随优化渐进学出观测条件的偏移——消融显示若改成嵌入替换,EM 掉 5.30、GP 掉 5.38,证明加性形式本身是性能来源。第二个关键是"无聚焦标注的自适应":打分 softmax 没有任何模态相关性标签,优先级排序完全从动作标注中反推;Fig. 4 显示学到的优先级确实随交互阶段重排(设备状态从开局 30.9% 降至收尾 7.7%,音频/视频反向上升),任何固定权重都无法复现这一行为。附录 G 进一步从理论上证明:$K$ 个位置的残差通过值通路改写动作边界处内容以选择动作原语,通过注意力通路在不触碰证据位置内容的前提下全局重分配注意力以校正坐标/文本参数。
方法步骤详情
每步前向(算法 1):(1) 冻结主干编码观测,输出提示嵌入 $E_t$、各通道特征与积分表征;(2) 通道分解(CD):各通道经源特定投影 $P_m$ 映入共享 128 维空间;(3) 步自适应优先级(SP):决策参考 $q_t$ 由整体观测积分表征每步重算,按 $s_t^{(m)}=v^\top\tanh(W_e(e_t^{(m)}+r_m)+W_q q_t)$ 打分($r_m$ 为通道身份嵌入),softmax 归一化得优先级 $\alpha_t^{(m)}$,加权汇聚出 $c_t$;(4) 动作充分投影(AP):压缩为 64 维隐向量 $z_t$;(5) 残差对齐(RA):零初始化残差 $R_t$ 展开为 4 个 token,加到动作边界前 4 个既有提示位置,不追加文本也不删减输入;(6) 冻结解码器贪心解码输出 JSON 动作。训练仅对动作 token 计算负对数似然,梯度穿过冻结解码器回传至 $\phi$;AdamW、学习率 $2\times10^{-4}$、3 epochs,两张 L20 GPU。
技术新颖性
新颖性体现在四个层面。问题层面:首次用逐模态消融+对数似然变化的量化方法刻画全模态 GUI 交互中的 Sequential Distraction,证明相关性是"步级"属性(45.3% 相邻步主导模态切换、90.1% 步含干扰模态),而此前工作把聚焦等同于空间裁剪。机制层面:把聚焦从"改变输入"转为"改变读取",零初始化加性残差既保全证据内容又提供引导,替换为直接改写嵌入会使 EM 掉 5.30——注入形式被证明是设计约束而非实现细节。监督层面:通道优先级无需任何模态相关性标注,从动作 NLL 端到端涌现;参数匹配对照(仅 +79 参数,从 1,444,913 到 1,444,992)证明增益来自逐步打分而非额外容量(EM +3.54、GP +3.44)。理论层面:附录 G 的深度分段重路由命题证明 $K$ 个位置的残差可重分配对全部观测位置的注意力、而证据位置($i<b_t-K$)的内容严格不依赖 $\gamma$,从机制上解释了加性注入的必要性,以及"原语靠内容通路、参数靠注意力通路"的分工,这为理解残差类适配器提供了少见的机理解释。
实验结果
Table 1 在 OmniGUI 基准上评估四个冻结主干:平均 Type Match 从 31.0% 提到 64.2%(+33.2),Exact Match 从 11.2% 提到 33.5%;对最强增强方法 TM 再高 30.1,并在 24/24 个格子拿下最佳 TM 与 EM。四主干均大幅提升,如 Qwen2.5-Omni TM 49.61→71.65。基线诊断:三个屏幕细化基线 TM 几乎中性(+0.9),EM/GP 却相对降 28%/35%,印证“给更少”的失败。Fig. 3 深度分析显示:冻结 Qwen2.5-Omni 从第 1 步 64.79 TM 跌到 3+ 步 32.79,FocusGUI 保持 86.8%,EM 反升至 46.72,增益 +22.54→+35.25 单调扩大;Temporal 任务 3+ 步主干 EM 为 0.00 而 FocusGUI 达 39.39。Instant 阴性对照:前两步无差异,之后反超最多 +46.67 TM。消融(Table 2)中四组件对 GP 的相对贡献达 TM 的 4-5 倍;逐对纠错(Fig. 10)纠正 153、退化 13。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| OmniGUI 五类任务平均(4 个冻结主干) | Type Match (TM) | 64.2% | 31.0%(冻结主干直接推理) | +33.2 个百分点 |
| OmniGUI 五类任务平均(4 个冻结主干) | Exact Match (EM) | 33.5% | 11.2%(冻结主干直接推理) | 约 3.0 倍 |
| OmniGUI 对比最强增强方法(GUI-Actor) | Type Match (TM) | 为最强基线的 1.9 倍 | 最强增强方法(GUI-Actor 等) | +30.1 个百分点 |
| OmniGUI / Qwen2.5-Omni 总体 | TM / EM / GP | 71.65 / 40.16 / 17.49 | 49.61 / 12.60 / 5.50 | +22.04 / +27.56 / +11.99 |
| OmniGUI 时间推理类,第 3+ 步 | Exact Match (EM) | 39.39% | 0.00%(冻结 Qwen2.5-Omni) | 从完全失败到可用 |
| OmniGUI 参数匹配对照(508 测试步) | EM / GP | 37.01 / 13.58(动态优先级) | 33.46 / 10.14(同参数量固定拼接) | +3.54 / +3.44(仅 +79 参数) |
局限与改进
作者承认的局限:(1) 当前优先级只由当前观测计算,没有前瞻性,无法提前预防即将到来的轨迹漂移;(2) 实验限于 OmniGUI 手机基准的五个交互类别,尚未覆盖更广的桌面/Web computer-use 场景。我自己的观察:(1) 每个主干需单独训练一个适配器且参数不跨主干共享,效果依赖主干表征质量——最弱的 VITA-1.5 加持后 EM 也只有 26.38,基础弱的模型天花板明显;(2) EM/GP 绝对值仍低(平均 EM 33.5%、GP 约 15%),离真正可用尚远;(3) 打分只在约 7 个粗粒度模态级通道上做 softmax,无法细化到模态内部(视频哪一帧、屏幕哪个区域),空间聚焦仍需与裁剪类方法互补;(4) 64 维动作充分隐向量在超长轨迹或复杂参数生成时是否够用存疑($d_z=32$ 时 EM 掉 6.9 已提示容量敏感);(5) 测试集仅 508 步,虽用了 90% episode-clustered bootstrap,统计功效仍有限,部分类别结论的置信区间较宽。
独立分析的弱点
(1) 反应式而非前瞻式:优先级在污染发生后才纠正,若上一步错误动作已写入历史(如误点进入错误页面),当前步打分只能补救不能预防;改进方向是给打分器加入对视频流未来帧或动作后果的预测,作者也把"预判式聚焦"列为未来工作。(2) 通道粒度太粗:模态级 softmax 只能回答"该看屏幕还是听音频",无法定位"屏幕的哪个元素";平均 EM 仅 33.5% 说明参数落地仍是瓶颈,改进方向是层级化优先级(先模态后区域内 slot)或与 GUI-Actor 式指向头结合。(3) 每主干单独适配器、无跨主干迁移:换新模型要重训 1.15M–1.45M 参数,改进方向是学习主干无关的通道接口或蒸馏共享打分器。(4) 隐向量容量固定 64 维:复杂动作(如长文本 INPUT)可能需要更多容量,改进方向是自适应维度或多个 latent token。(5) 训练数据仅 1,807 步、单一基准:方法对数据规模的 scaling 行为和跨基准 OOD 泛化均未验证,改进方向是多 GUI 数据集联合训练并做留出应用评测。
未来方向
作者明确提出两个方向:把机制扩展为带前瞻信号的形式,预测哪些证据在后续步骤会变重要,从而更早阻断轨迹漂移;以及把聚焦感知推广到更广的 computer-use 环境(桌面、Web)。基于本文成果可延伸的方向:(1) 层级/细粒度聚焦——把通道级 softmax 扩展到模态内部(视频关键帧选择、屏幕区域、音频时间段),有望同时拉升 TM 与 EM;(2) 与空间裁剪方法正交组合,验证"读取引导+输入细化"是否叠加增益;(3) 在线流式部署的延迟优化:决策参考每步重算的开销分析,以及把优先级头 $\alpha_t^{(m)}$ 作为可解释信号用于智能体调试与失败归因;(4) 把附录 G 的理论分工(值通路选原语、注意力通路校正参数)转化为显式的参数定位辅助头;(5) 跨基准、跨主干的适配器泛化研究,并把零初始化残差注入范式推广到其他闭环智能体(机器人操作、游戏 AI)中的逐步证据选择问题。
复现评估
复现条件相当友好:主干完全冻结,仅训练 1.15M–1.45M 参数,两张 NVIDIA L20 GPU、3 epochs、AdamW(学习率 $2\times10^{-4}$)即可训练。超参数在 Table 6 全部给出($d=128$、$d_z=64$、$K=4$、零初始化、$\gamma=\tau=1.0$、dropout 0.05、梯度裁剪 1.0、贪心解码),且 Table 3/Fig. 6 证明对 $K$ 和 $d_z$ 不敏感($K$ 的 16 倍范围内 TM 仅波动 2.6 点),免逐基准调参。数据为 OmniGUI 基准(708 回合),episode 不相交划分 1,807/257/508 步;系统提示、13 个动作原语、步骤模板在附录 D 完整给出,算法 1/2 伪代码齐全。难度评估:中等偏低,主要工程量在于跑通四个主干的多模态前向、嵌入抽取与动作边界定位。风险点:论文标注 GitHub/Homepage 但正文未附直接链接,OmniGUI 数据与代码的公开状态待确认;各主干特征抽取的版本差异可能影响结果。理论部分(附录 G)不影响复现。
论文图表
在多步交互中对 Qwen2.5-Omni 的输入逐模态消融,记录真值动作对数似然的变化,判定各模态是"有用"(去掉后似然下降)、"干扰"(去掉后似然上升)还是"主导"(去掉后降幅最大)。结果:(a) 主导模态在 45.3% 的相邻步之间切换,94.0% 的回合至少切换一次;(b) 90.1% 的步骤至少含一个干扰模态;(c) 目标元素中位数仅占屏幕 0.87%,视频内容单步内变化中位数仅 7.41%。
全文的实证根基:用数据证明"相关性是步级属性、跨步瞬变、步内稀疏",直接推导出 Sequential Distraction 问题,并排除了纯空间裁剪路线的可行性。