PreView：用预处理视图与线索增强 GUI 视觉定位

不动下游模型，用轻量辅助模型预览界面、裁剪放大并生成线索，一次调用提升定位准确率

前置知识

GUI Grounding（图形界面视觉定位）

指给定自然语言指令和界面截图，模型输出目标可交互元素（按钮、图标、单元格等）在屏幕上的坐标位置，是 GUI Agent 执行点击操作的基础能力。主流做法是训练专门的 grounding 模型（如 OS-Atlas、UGround、GroundNext），用大量「截图-指令-目标框」数据微调多模态大模型，让模型直接输出归一化坐标（常见为 $[0,1000]^2$ 区间）。评测标准是最终点击坐标是否落在标注的目标框内。

本文不训练新的 grounding 模型，而是通过改善输入来提升这类模型的准确率，理解任务定义才能明白改进对象是什么。

视觉 token 预算（visual budget）

多模态大模型把图像切成 patch 编码为视觉 token，token 数量与图像面积近似成正比。高分辨率截图（如 2560×1440）整体输入时，每个小控件分到的视觉 token 很少、细节模糊。实践中常用「裁剪+放大」：裁出局部区域再上采样，使同等 token 数下局部内容像素更大。论文用输出区域占整图面积的比例（如 12.5%、25%、50%）来度量预算。

PreView 的核心手段就是重新分配视觉预算——把预算从整图转移到目标附近区域，Figure 4 的消融实验完全围绕这一概念展开。

LoRA（低秩适配）

参数高效微调方法：冻结原模型权重，在注意力层和前馈层旁加入低秩矩阵 $W + BA$（秩 $r$ 远小于维度 $d$），只训练新增的小矩阵。本文用 LoRA（rank 128、$\alpha=256$）微调 0.8B 的辅助模型，显存开销小、训练快，且不改变基座结构，视觉编码器保持冻结、多模态 merger 可训练。

辅助模型的轻量训练方案直接决定整个框架的成本，LoRA 是读懂 Table 2 训练配置的前提。

Set-of-Mark 与视觉提示

视觉提示指直接在图像上叠加标记（编号框、圆圈等）引导多模态模型的注意力。Set-of-Mark（SoM）将检测到的区域编号后叠在截图上，让 GPT-4V 等模型能引用具体区域。PreView 的红圈标记是其简化版：在候选中心画半透明红圆并配一句固定的文字位置提示，让冻结的 grounding 模型「知道」该看哪里。

本文的视觉线索继承 SoM 思想，且论文系统分析了这类标记何时有效（71.0% 恢复率）、何时反而误导模型（57.8% 回归率）。

测试时缩放（test-time zooming）

一类不改动模型权重的推理时增强方法：ReGround、ZoomClick、UI-Zoomer 等先让模型做一次粗预测，再围绕预测区域裁剪放大、重复调用模型以精化定位。它们通常需要多次调用昂贵的 grounding 模型，或引入额外的规划器/判断模型，用推理时间换准确率。

PreView 与这些方法同属「不改模型」路线，但把精化决策转移到轻量辅助模型上、只调用 grounding 模型一次，Table 3 的对比需要理解这一差异。

研究动机

GUI grounding 要求根据自然语言指令在截图中定位目标控件，专业软件界面尤其困难：ScreenSpot-Pro 中的截图高达 2560×1440，布局密集、目标面积小。现有模型必须把整张截图塞进有限的视觉 token 预算，小控件分到的细节严重不足，例如 OS-Atlas-4B 在 SSPro 上准确率仅 2.8%、UI-Vision 上仅 7.3%。即便裁剪放大看清了局部，仍有第二重障碍——目标理解：截图里可能有两个堆叠的通知栏，各含按钮和关闭控件，像素再清晰也未必知道指令指的是哪一个。现有改进路线各有代价：微调模型（GroundNext 等）需要海量 GUI 数据与训练资源；zoom-in 类方法（ZoomClick、UI-Zoomer）依赖对昂贵 grounding 模型的反复调用；语义增强（OmniParser）依赖整屏解析管线，描述与任务无关，还可能引入误导信息。

本文的目标是本文目标是训练一个轻量辅助预处理器，在不微调、不改动任何下游 grounding 模型的前提下，仅通过改善输入来提升定位准确率。辅助模型从 Qwen3.5-0.8B 出发，用 GroundCUA 的 50,000 张桌面截图构造 148,595 个训练样本（仅为 GroundNext 微调所用 700,000 样本的 21%），联合学习中心预测与候选验证/描述两个任务；推理时冻结的 grounding 模型只被调用一次，集成只需要预处理和坐标映射，不需要访问其 logits 或内部状态。量化目标是在五个基准（ScreenSpot-Pro、OSWorld-G、MMBench-GUI、ScreenSpot-v2、UI-Vision）上提升三个 grounding 模型的平均准确率，最终实际带来 1.5–13.9 个百分点的提升。

与已有工作不同的是，已有工作集中在两条路：改参数（更多 GUI 数据微调）或改推理流程（重复预测、级联视觉搜索、不确定性引导缩放）。作者抓住被忽视的中间地带——「改输入」本身可以被学习：与其用规则裁剪或多次试探，不如训练一个小模型先「预览」界面，主动决定看哪里、为目标准备什么线索。更进一步，论文把 grounding 的两个子需求解耦成两种互补的输入特征：定位需要 center-guided view（裁剪+放大），理解需要候选特定的视觉线索（红圈+位置提示）与文本描述。中心一致性路由 $\delta \le \tau$ 决定线索是否注入，给系统一个在不确定时回退为原始视图的出口——这是输入级增强区别于推理级增强的独特设计。

核心方法

直觉上，PreView 像给「近视」的 grounding 模型配了一位导览助手：助手先粗看全图圈出目标大致位置，把该区域裁下来放大（解决看不清），再在放大图上画半透明红圈、配一句文字描述候选控件的身份与功能（解决认不准），最后把加工好的输入交给原封不动的 grounding 模型做一次点击预测。技术路线：辅助模型 $A_\theta$（Qwen3.5-0.8B + LoRA）联合训练两个任务——中心预测（从整图回归目标框中心，坐标归一化到 $[0,1000]^2$）与候选验证/描述，损失为 $\mathcal{L}(\theta) = -\sum_{t=1}^{|y|} \log p_\theta(y_t \mid x, y_{<t})$，仅对响应 token 计算，grounding 模型 $G$ 全程冻结。推理时先得初始中心 $c_1$，用 50% 面积局部视图精化为 $c_2$，据 $c_2$ 做 12.5% 面积裁剪并线性放大 2 倍，按一致性路由注入线索后调用冻结模型，预测坐标按 $\hat{p}_x = x_{\min} + (x_{\max}-x_{\min})\,\hat{u}_x$ 映射回原图。

核心创新是把「输入准备」从启发式规则升级为可学习的辅助任务，并解耦为定位与理解两条线索。与已有方法的本质区别：(1) ZoomClick、UI-Zoomer 等把精化决策放进推理循环，需要反复调用昂贵的 grounding 模型；PreView 把中心预测、精化、候选验证全部交给 0.8B 辅助模型，grounding 模型只被调用一次，且不需要其 logits 或隐藏状态，完整保留原模型的输入接口和解码流程。(2) OmniParser 等语义增强解析整屏所有元素，描述与任务无关、可能引入噪声；PreView 的文本描述以候选中心为条件生成，并用 REJECT 显式拒绝与指令不匹配的候选。(3) 中心一致性路由：当 $\delta=\sqrt{(c_{1,x}-c_{2,x})^2+(c_{1,y}-c_{2,y})^2}\le\tau$（$\tau=0.02$）时才注入红圈与描述，否则回退为无标记视图——系统多了一个「知道自己不确定」的开关。Table 6 还证明：即使下游模型见过相同训练数据（GroundNext），输入增强仍有效，说明增益来自输入表示而非数据记忆。

方法步骤详情

训练：从 GroundCUA 取 50,000 张桌面截图与官方标注，构造三类样本——中心预测 50,000 例（监督为几何中心，归一化 $[0,1000]^2$）、正描述 49,311 例、拒绝样本 49,284 例（非目标元素内采样候选点，响应 REJECT）；LoRA（rank 128、$\alpha=256$）作用于语言层注意力与前馈层，视觉编码器冻结，BF16 训练 2 epoch，AdamW 学习率 $5\times10^{-5}$，有效批 128。推理六步：(1) 中心预测，输入未标记整图与指令，输出 $c_1$；(2) 精化，输入 50% 面积局部裁剪（每维放大 $\sqrt{2}$）与指令，输出 $c_2$，到此为止（分析用 $c_3$ 无增益）；(3) 裁剪放大，以 $c_2$ 为中心取约 $W\sqrt{\rho}\times H\sqrt{\rho}$ 矩形，越界则平移，用 12.5% 面积裁剪线性放大 2 倍；(4) 候选验证与描述，在红圈标记视图上判断候选并生成不超过 80 token 描述，REJECT 则扣留文本线索；(5) 路由与调用，$\delta\le 0.02$ 时输入 $\hat{s}=G(e_{I_{\text{crop}}},\,q\oplus h\oplus d)$，否则回退无标记视图；(6) 坐标按 $\hat{p}_x = x_{\min} + (x_{\max}-x_{\min})\,\hat{u}_x$ 映射回原图。

技术新颖性

技术新颖性在于「学习型输入预处理」框架与对线索双面性的系统量化。与 zoom-in 类方法（ReGround、ScreenSeekeR、ZoomClick）相比，后者的裁剪决策基于规则或 grounding 模型自身的多次预测，本质是推理时间换精度——ScreenSeekeR 在 SSPro 提升 29.2 点但伴随级联搜索；PreView 把决策前置为一次轻量前向，用 0.8B 模型的计算替代 7B 模型的多次调用，Table 3 显示其单次调用增益（2B +16.2、OS-Atlas-4B +25.4、4B +4.4）与多次调用方法可比。其次，论文首次系统量化视觉标记的双面性：线索落在标注框内时可纠正 71.0% 的错误预测、只破坏 1.9% 的正确预测；落在框外时恢复率跌至 3.2%、回归率高达 57.8%（Figure 5），为「何时该给线索」提供了直接实证，也解释了一致性路由的必要性。与 AdaZoom-GUI 的指令精化+条件缩放相比，PreView 的线索是成对的视觉+文本形式，且可被路由扣留。

实验结果

主结果（Table 1）：五基准平均准确率上，Qwen3-VL-2B 从 57.2→64.6（+7.4），OS-Atlas-4B 从 21.6→35.5（+13.9），Qwen3-VL-4B 从 66.8→68.3（+1.5）。增益集中在困难基准：OS-Atlas-4B 在 SSPro 从 2.8→28.2（+25.4），2B 在 UI-V 从 16.5→33.7（+17.1），2B 在 SSPro 追平未增强的 4B（均 59.3%）；但 SSv2 一致回退（2B −5.4、4B −6.9），4B 在 MMB-GUI 下降 5.0。辅助模型分析（Figure 3）：精化后 $c_2$ 中心包含率 80.14%，平均直接命中从 60.83% 升至 64.02%，第三次预测 $c_3$（63.93%）无增益，故止于 $c_2$。消融（Table 5）：2B 在 SSPro 仅用 View 就从 43.1→56.9；线索在 UI-V 贡献更大（+7.7 vs +2.5）；4B 在 SSPro 加线索反而从 65.0 降到 63.7。视觉预算（Figure 4）：同等 25% token 预算下「12.5% 裁剪放大 2 倍」在三个基准上都优于原生 25% 裁剪；固定 12.5% 裁剪放大两个维度增加 6.5–10.8 点。迁移实验（Table 6）：数据重叠的 GroundNext-7B 加 View 后 SSPro 52.9→59.0，但 SSv2 90.4→81.8。图标目标受益最大（4B SSPro 图标 32.5→42.5，文本仅 75.8→76.8），空间指令仍最弱（2B 17.0%、4B 26.0%）。

**Table 3**: 与 training-free 方法在 SSPro 上的对比

**Figure 4**: 裁剪面积与放大倍率（视觉预算）对 Qwen3-VL-2B 的影响

查看结构化数据

任务	指标	本文	基线	提升
ScreenSpot-Pro（SSPro）	定位准确率 (%)	Qwen3-VL-2B + PreView: 59.3；OS-Atlas-4B: 28.2；Qwen3-VL-4B: 63.7	对应模型 Full 输入: 43.1 / 2.8 / 59.3	+16.2 / +25.4 / +4.4 个百分点
UI-Vision（UI-V）	定位准确率 (%)	2B: 33.7；4B: 40.6	Full: 2B 16.5、4B 25.3	+17.1 / +15.3 个百分点
OSWorld-G Refined（OSW-GR）	定位准确率 (%)	2B: 66.8；OS-Atlas-4B: 25.9；4B: 70.4	Full: 62.1 / 8.5 / 70.6	+4.8 / +17.4 / −0.2 个百分点
MMBench-GUI L2（MMB-GUI）	Basic/Advanced 均值准确率 (%)	2B: 77.0；4B: 79.7	Full: 72.9 / 84.7	+4.1 / −5.0 个百分点
ScreenSpot-v2（SSv2）	定位准确率 (%)	2B: 86.0；OS-Atlas-4B: 61.2；4B: 87.1	Full: 91.4 / 62.7 / 94.0	−5.4 / −1.5 / −6.9 个百分点（一致回退）
五基准平均	平均准确率 (%)	2B: 64.6；OS-Atlas-4B: 35.5；4B: 68.3	Full: 57.2 / 21.6 / 66.8	+7.4 / +13.9 / +1.5 个百分点
SSPro 对比 training-free 方法	单次 grounding 调用的增益 (%)	PreView: +16.2（2B）/+25.4（4B）	ScreenSeekeR +29.2、ZoomClick +15.4、AutoFocus +17.5（多次调用）	单次调用达到与多次调用方法可比的增益

局限与改进

作者承认：裁剪可能丢掉目标或必要上下文（Figure 6(d) 中目标单元格 U42 完全落在视图外）；错误线索会覆盖原本正确的预测（(c) 中中心在日期时间控件内，但被接受的描述指向相邻通知图标，正确点击被带偏）；仅用桌面数据训练导致移动端退化，2B 在 MMB-GUI 的 iOS/Basic 从 94.3 降到 90.1、iOS/Adv 从 76.4 降到 73.9；离线单步评测不能证明多步交互可靠性；辅助推理增加成本与延迟；每个配置只跑一次，结果可能受噪声影响，1.5 点级的平均增益尤需谨慎。我的补充观察：一致性路由只校验中心是否漂移，无法发现「裁剪框本身不含目标」这种更根本的失败；REJECT 判据偏保守——SSv2 上被拒绝候选仍有 63.4% 直接命中，1,163 个过一致性检验的拒接候选中保留视觉线索仍能多答对 28/12 例（2B/4B），说明文本线索被不必要地扣留。

独立分析的弱点

弱点一：裁剪失败不可检测。Table 4 显示被拒候选仍有 26.1% 的样本加权直接命中，一旦 $c_2$ 本身偏离目标，后续流程就在错误区域放大加工，grounding 模型被迫在不含目标的视图里点击（Figure 6(d)）。改进方向：让辅助模型同时输出目标覆盖置信度，或用轻量元素检测器验证裁剪框内是否存在匹配候选，失败即回退整图。弱点二：线索可靠性只依赖位置一个信号。Figure 5 表明线索价值几乎完全由「是否落在标注框内」决定，但推理时没有标注框，$\tau=0.02$ 也未按基准调优。改进方向：训练线索质量评估头，或让描述附带可核验的局部证据供 grounding 模型交叉验证。弱点三：收益任务依赖，强基线受损（4B 在 MMB-GUI −5.0、SSv2 −6.9），缺少「何时使用 PreView」的元决策，可按基准类型或预测置信度门控。弱点四：空间关系几乎无改善（UI-V Spatial 2B 仅 17.0%），裁剪恰恰破坏空间上下文，可改为全景缩略图+局部视图的双流输入。弱点五：单次运行无方差报告，小增益的统计显著性存疑。

未来方向

作者提出的方向是按估计的目标覆盖率与线索可靠性自适应调整视图选择和线索使用。在此基础上可延伸：(1) 自适应裁剪比例——让辅助模型预测合适的面积 $\rho$ 而非固定 12.5%，对大目标少裁、小目标多裁；(2) 移动端适配：引入 iOS/Android 截图微调或平台条件化，消除 MMB-GUI 上的 iOS 回退；(3) 把 PreView 扩展到多步 agent 轨迹，用历史点击修正中心预测，并在 OSWorld/AndroidWorld 端到端环境验证；(4) 对比式描述生成——让文本线索显式说明候选与易混淆邻居的区别，针对 Figure 6(b) 中 Edit 按钮与下拉框混淆的失败模式；(5) 与 zoom-in 方法正交组合：辅助模型给出初始中心后允许低成本的二次精化，两类增益可能叠加。

复现评估

独立研究者工作，论文未提及开源代码或模型权重（截至阅读时），复现需自行实现，但所有构件均可获得：基座 Qwen3.5-0.8B 与三个 grounding 模型（Qwen3-VL-2B/4B-Instruct、OS-Atlas-Base-4B）均为公开权重；训练数据来自公开发布的 GroundCUA（50,000 桌面截图+官方指令标注），三类样本的构造规则、坐标归一化 $[0,1000]^2$、REJECT 采样方式均有说明；训练配置完整（LoRA rank 128/$\alpha$ 256、BF16 两 epoch、AdamW $5\times10^{-5}$、有效批 128、线性调度 3% warmup），0.8B+LoRA 在单张高端 GPU 上数小时到一天可完成；推理用 vLLM，五个基准全部公开（Table 7 给出样本量），但部分 SSPro 基线为作者自测（标 ∗）。整体难度中等：主要工程量在提示模板拼接、坐标映射、一致性路由与评测管线，预计单人一到两周。

PreView：用预处理视图与线索增强 GUI 视觉定位 PreView: Enhancing GUI Grounding with Preprocessed Views and Cues