UI-Zoomer：不确定性驱动的自适应放大框架用于 GUI 定位 UI-Zoomer: Uncertainty-Driven Adaptive Zoom-In for GUI Grounding
把是否放大与放大多少都建模为预测不确定性，按需自适应裁剪 GUI 区域。
前置知识
GUI 定位 (GUI Grounding)
给定界面截图 $I$ 与指令 $q$，模型预测一个归一化点击坐标 $\hat p \in [0,1]^2$；等价于先输出轴对齐包围框 $b = [x_1, y_1, x_2, y_2]$，再取其几何中心。这是论文问题的形式化定义。
这是论文问题的形式化定义，所有 stage 1 的 N 次采样输出都是框 $b_i$，stage 3 的裁剪框与回映射都直接依赖这套归一化坐标体系，不读懂定义就无法理解后续 IoU、方差、裁剪半径这些量的几何含义。
测试时缩放 (Test-Time Scaling, TTS) / Zoom-In 推理
推理阶段不改模型参数、通过对同一输入做更多次采样或裁剪后重跑来提升表现。GUI 领域代表工作：DiMo-GUI 固定比例迭代裁剪、RegionFocus 出错时裁剪、ReGUIDE 用 KDE 找裁剪中心。
UI-Zoomer 属于 TTS 范式，但作者明确指出 DiMo-GUI 在 ScreenSpot-v2 上把平均准确率从 81.84% 拖到 77.20%、推理时间从 35:47 涨到 6:43:07，所以无差别 zoom-in 反而有害，这是文章一切设计的出发点。
空间一致性 (Spatial Consensus) 与平均成对 IoU
用 N 次随机采样得到的框 $b_i$ 之间两两计算交并比求均值，得 $C_{\text{spatial}} = \frac{1}{N(N-1)} \sum_{i \ne j} \text{IoU}(b_i, b_j)$；该值越大代表定位越可靠。
这是 stage 2 门控信号的两个分量之一，与 token 置信度互补；图 5 显示 $C_{\text{spatial}}$ 在 ScreenSpot-Pro 上分布很宽、能够捕捉到位置层面的离散性，而置信度分布更集中，因此两者合用才能更好地区分难易样本。
Token 级置信度 (Token-level Generation Confidence)
把生成坐标 token 时每个 token 概率 $p_{i,t}$ 取几何平均，$c_i = \exp\big(\frac{1}{L_i} \sum_t \log p_{i,t}\big)$，再对 N 候选取均值得 $\bar c$，衡量分布的"尖锐程度"。
该信号反映生成式 VLM 在坐标 token 上的分布形状；作者在 Table 5 证明只用 $C_{\text{spatial}}$ 是 60.81%、只用 $\bar c$ 是 61.10%，二者相加得到 61.80%，体现两者在不确定性表达上的互补性。
方差分解 (Law of Total Variance)
把目标位置 $Z$ 视作隐变量，按 $Var(Z) = v_{\text{inter}} + v_{\text{intra}}$ 分解。$v_{\text{inter}}$ 表候选中心离散度，$v_{\text{intra}}$ 表预测目标尺度，共同决定裁剪半径。
这是 stage 3 自适应裁剪半径 $r = \gamma \sqrt{v_{\text{inter}} + v_{\text{intra}}}$ 的数学依据：$v_{\text{inter}}$ 让裁剪在样本位置不一致时自动放大，$v_{\text{intra}}$ 给出预测目标尺度的下界。Table 4 单独用 $v_{\text{inter}}$ 是 61.42%，单独用 $v_{\text{intra}}$ 是 60.97%，两者合用是 61.80%，证明分解有效。
边界框 (Bounding Box) 表示与点击点定义
回归式 VLM 输出一组 $(x_1, y_1, x_2, y_2)$ 像素坐标构成框 $b_i$，点击点 $\hat p$ 定义为 $((x_1+x_2)/2, (y_1+y_2)/2)$；评估指标为点击准确率。
整个 UI-Zoomer 流水线（采样 → IoU → 方差 → 裁剪 → 回映射）的输入输出都是这套几何表示；stage 3 最后一步的回映射公式 $(x,y) = (\frac{x_{c_1}+\hat x w_c}{W}, \frac{y_{c_1}+\hat y h_c}{H})$ 直接使用这套约定，是验证论文细节的关键。
研究动机
GUI 定位（给定截图与自然语言指令预测点击位置）在小图标与高密度布局上长期表现不佳，主流的两类应对方案——SFT/RL 训练时间方法与测试时放大（zoom-in）方法——都存在根本缺陷：训练方法在高分辨率场景如 ScreenSpot-Pro 上很快遇到天花板（Li et al., 2025），因为一旦目标在单次前向中已经无法被分辨，再多训练数据也无济于事；测试时放大方法（DiMo-GUI、RegionFocus、ReGUIDE、Nguyen 2024）则有两个共性问题——第一，无差别对所有样本做裁剪，DiMo-GUI 在 ScreenSpot-v2 上把平均准确率从 81.84% 拖到 77.20%、推理时间从 35:47 暴涨到 6:43:07（Table 1），说明对容易样本强行裁剪会破坏模型本已利用的全局上下文；第二，所有方法都用预设固定比例的裁剪窗口，不区分候选是紧聚类还是广泛分布，比例过大会保留过多背景、比例过小会丢失关键上下文。
本文的目标是本文提出 UI-Zoomer，目标是设计一个训练免费的、触发条件与裁剪尺度都按预测不确定性自适应调整的放大框架。具体有三层目标：1) 用一个置信度感知门控（confidence-aware gate）融合空间一致性与 token 级置信度，仅在模型真正不确定时才触发额外裁剪推理；2) 引入基于高斯方差分解的裁剪尺寸模块，按样本自身的预测离散度自动导出裁剪半径，对容易样本收紧、对困难样本扩大；3) 在 ScreenSpot-Pro、UI-Vision、ScreenSpot-v2 三个标准基准、四种主流 GUI VLM 上同时实现稳定提升，作者给出的具体数字目标是在 ScreenSpot-Pro 上达到 60% 以上（基础模型 Qwen2.5-VL-7B 只有 27.6%），且相对提升幅度优于 RegionFocus（32.1%）与 DiMo-GUI（49.7%）等所有 TTS 基线。
与已有工作不同的是，作者切入角度的核心是"把 zoom-in 的触发和尺度都视作预测不确定性量化问题"。现有 TTS 方法中，DiMo-GUI/RegionFocus 只关心是否裁剪、忽视不确定性，Nguyen/ReGUIDE 只关心裁剪中心位置、不关心不确定性本身；与之并行的 GUI-RC（Du et al., 2025）虽然用空间投票构建一致性图、SafeGround（Wang et al., 2026）从空间离散度推导校准不确定性，但他们都把一致性信号纯粹用于投票/选点，而 UI-Zoomer 第一次把同一种预测方差同时用于两件事：门控决策 + 裁剪尺寸推导。这种"一个方差来源、两个用途"的耦合是论文的独特视角，也是与 ReGUIDE（KDE 中心）以及 GUI-RC（投票图）这些看上去相似的工作最本质的区别。
核心方法
UI-Zoomer 把"是否裁剪"与"裁剪多大"统一在同一种预测方差信号上。直觉：若一个 GUI VLM 多次采样都聚拢、且 token 概率都高，再放大只会引入噪声；反之若候选四处飘散、置信度又低，应该放大后重跑一次。技术上由三个 stage 串成：1) 用 T=0.9 在原图上采样 N=8 个候选框并记录 token 几何平均置信度；2) 把空间一致性 $C_{\text{spatial}}$（平均成对 IoU）与平均置信度 $\bar c$ 相加得到门控分数 $S$，$S>\tau$ 时直接投票；3) $S\le\tau$ 时进入裁剪阶段，先按到中位中心距离保留前 75% 候选做离群过滤，再把全方差公式拆成样本间离散 $v_{\text{inter}}$ 与样本内框尺寸 $v_{\text{intra}}$，以 $r=\gamma\sqrt{v_{\text{inter}}+v_{\text{intra}}}$ 为半径生成方形裁剪窗口，做一次 T=0 的确定性重推理，再把框回映射到全图坐标。
核心创新是把"是否放大"和"放大多少"都建模为同一个不确定性量化的两个不同消费方，与已有方法的本质区别有三：第一，门控的触发条件直接来自多次采样的预测方差（一致性 × 置信度），而 DiMo-GUI/RegionFocus 的触发条件分别是"无条件全做"与"执行出错"，前者无判据、后者判据与定位能力无关；第二，裁剪窗口尺寸由全方差公式逐样本推导，候选聚拢时半径自然收缩、候选分散时自然放大，而 DiMo-GUI/ReGUIDE 全部用预设固定比例，对所有样本一刀切；第三，把"投票"与"裁剪"作为同一个 $S$ 阈值下的两条分支——$S$ 高时直接用全局候选投票（零额外开销），$S$ 低时再做一次放大重跑——形成"一杆进洞"式的时间成本控制，Table 12 报告 UI-Zoomer 在 $\tau=1.0$ 时只对约 2.91% 的 ScreenSpot-Pro 样本触发裁剪，剩余 97.09% 用单次前向即可达到 93.48% 的分支准确率。
方法步骤详情
按 Algorithm 1 顺序执行。Stage 1（全局采样）：T=0.9 从模型 $M$ 采样 N=8 个候选框 $\{b_i\}$ 与 token 几何平均置信度 $c_i$。Stage 2（门控）：计算 $C_{\text{spatial}} = \frac{1}{N(N-1)}\sum_{i\ne j}\text{IoU}(b_i,b_j)$，与 $\bar c$ 相加得 $S$；$S>\tau$ 时走共识投票分支（公式 5），选同伴支持最多且置信最高的 $b_{i^*}$。Stage 3（自适应裁剪）：$S\le\tau$ 时按到中位距离保留前 $K=\lfloor 0.75N\rfloor$ 个候选，按公式 (7)-(9) 分解方差为 $v_{\text{inter}}$ 与 $v_{\text{intra}}$，以 $r=\gamma\sqrt{v_{\text{inter}}+v_{\text{intra}}}$ 为半径生成方形裁剪窗口（m=512，越界 Shift）；T=0 重推理得 $\hat b$ 后按公式 (11) 回映射，失败回退最置信候选。
技术新颖性
技术新颖性体现在四点。第一，"用同一种方差同时驱动门控与裁剪"未见先例——GUI-RC 只用一致性做投票，SafeGround 只用空间离散度做校准，ReGUIDE 用 KDE 找裁剪中心但与不确定性无关，UI-Zoomer 第一次把这两件事耦合到同一个 $S$ 阈值上。第二，裁剪半径 $r = \gamma\sqrt{v_{\text{inter}}+v_{\text{intra}}}$ 来自全方差公式，理论上保证裁剪至少覆盖预测目标尺度（$v_{\text{intra}}$ 提供下界），同时在候选一致时自动收缩（$v_{\text{inter}}$ 趋零），与 ReGUIDE 固定比例、DiMo-GUI 迭代等比缩小形成本质不同。第三，Table 8 证明固定比例 0.8/0.5/0.3 仅 55.22/59.58/61.35%，而自适应 61.80% 消除对超参的敏感性。第四，Table 12 显示 $\tau=1.0$ 时仅 2.91% 样本进入裁剪分支（其分支准确率 60.85%），而通过的 97.09% 样本准确率高达 93.48%，证明门控对"难/易"有真实分辨率。
实验结果
实验在 3 个基准,4 种模型上展开。ScreenSpot-Pro(T3)：Qwen2.5-VL-7B 27.6%→41.0% (+13.4pp)、UI-Venus-7B 50.0%→61.8% (+11.8pp)、UI-Venus-72B 59.2%→67.8% (+8.6pp)刷新 SOTA。ScreenSpot-v2(Table 2/10)：Qwen2.5-VL-7B 87.2%→91.4% (+4.2pp) 提分最多，UI-Venus-7B 仅 +0.9pp。UI-Vision(Table 2/11)：Qwen2.5-VL-7B 13.3%→23.6% (+10.3pp) 全表最大。消融(T4/5/8)分别验证方差分解($v_{\text{intra}}$ 60.97%→合用 61.80%)、门控($C_{\text{spatial}}$ 60.81%→合用 61.80%)、自适应裁剪优于所有固定比例。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ScreenSpot-Pro 高分辨率专业桌面 GUI 定位 | 整体点击准确率 (text+icon avg) | Qwen2.5-VL-7B 41.0%, GUI-G2-7B 61.4%, UI-Venus-7B 61.8%, UI-Venus-72B 67.8% | Qwen2.5-VL-7B 27.6%, GUI-G2-7B 48.7%, UI-Venus-7B 50.0%, UI-Venus-72B 59.2%; DiMo-GUI 49.7%, RegionFocus 32.1%, GTA1-7B 50.1% | Qwen2.5-VL-7B +13.4pp, GUI-G2-7B +12.7pp, UI-Venus-7B +11.8pp, UI-Venus-72B +8.6pp;图标类普遍比文本类多涨约 1.4pp |
| ScreenSpot-v2 跨平台 GUI 定位 (Mobile/Desktop/Web) | 整体点击准确率 (text+icon avg) | UI-Venus-7B 94.9% (Mobile 95.2/Desktop 96.4/Web 93.4), Qwen2.5-VL-7B 91.4%, GUI-G2-7B 93.8% | UI-Venus-7B 94.0%, Qwen2.5-VL-7B 87.2%, GUI-G2-7B 93.6%; DiMo-GUI 89.2%, GUI-RC 88.5% | Qwen2.5-VL-7B +4.2pp, UI-Venus-7B +0.9pp, GUI-G2-7B +0.2pp; Desktop 子集提升最大（+13.2pp on Qwen2.5-VL-7B） |
| UI-Vision 细粒度桌面 grounding (Basic/Functional/Spatial) | 整体点击准确率 (text+icon avg) | Qwen2.5-VL-7B 23.6%, GUI-G2-7B 32.9%, UI-Venus-7B 33.7%, UI-Venus-72B 40.4% | Qwen2.5-VL-7B 13.3%, GUI-G2-7B 24.7%, UI-Venus-7B 24.4%, UI-Venus-72B 30.9%; InfiGUI-G1-7B 26.1% | Qwen2.5-VL-7B +10.3pp, GUI-G2-7B +8.2pp, UI-Venus-7B +9.3pp, UI-Venus-72B +9.5pp; Spatial 子集提升最大（Qwen2.5-VL-7B +6.3pp） |
| 方差分解消融 (UI-Venus-7B / ScreenSpot-Pro) | 整体点击准确率 | $v_{\text{inter}} + v_{\text{intra}}$ 合用 61.80% | 只用 $v_{\text{intra}}$ 60.97%, 只用 $v_{\text{inter}}$ 61.42%, 不放大基线 50.00% | 合用比单用 $v_{\text{intra}}$ +0.83pp, 比单用 $v_{\text{inter}}$ +0.38pp, 比基线 +11.80pp |
| 门控信号消融 (UI-Venus-7B / ScreenSpot-Pro) | 整体点击准确率 (τ=1.0) | $C_{\text{spatial}} + \bar c$ 合用 61.80% | 只用 $C_{\text{spatial}}$ 60.81%, 只用 $\bar c$ 61.10% | 合用比任一单用 +0.70pp / +1.99pp |
| 裁剪策略消融 (UI-Venus-7B / ScreenSpot-Pro) | 整体点击准确率 | 高斯自适应裁剪 + 方形 + 最小边 512 + 边界 Shift 61.80% | 固定比例 0.8 / 0.5 / 0.3 = 55.22% / 59.58% / 61.35%; 非方形 60.56%; Shrink 58.47%, Clip 60.25% | 比最优固定比例 +0.45pp, 比非方形 +1.24pp, 比 Shrink +3.33pp |
局限与改进
作者未单列 Limitations 章节，但综合 Appendix A.3 的 Table 12 与 Figure 6 失败案例可归纳三点局限。第一，门控阈值 $\tau$ 与高斯尺度 $\gamma$ 是 per-model-per-benchmark 调出来的（UI-Venus-7B/ScreenSpot-Pro 上 $\tau=1.0, \gamma=2.5$），未给统一默认值或迁移方案，泛化需重调。第二，Figure 6 失败案例表明：当存在多个外观相似图标、目标极小且被强干扰物包围时，UI-Zoomer 无法从分散候选中识别正确目标——放大本身无法突破全局语义歧义，需更好的 reasoning 机制。第三，Table 10 显示 ScreenSpot-v2 上 UI-Venus-7B 仅 +0.9pp、Mobile 子集 +0.0pp，接近饱和的高性能模型与 Mobile 这类目标尺寸本来就较大的场景下边际收益迅速衰减；推理成本在 ScreenSpot-v2 上接近翻倍（Figure 4 报告从约 5:50 涨到约 10:20）。
独立分析的弱点
独立审视可识别三个薄弱点。第一，门控信号缺乏不确定性校准：$S = C_{\text{spatial}} + \bar c$ 是两个 0-1 量直接相加但标度不严格可比，Table 5 显示不同 $\tau$（0.6 和 1.0）下单用 $C_{\text{spatial}}$ 分别为 53.90%/60.81%，差异近 7pp，说明 $\tau$ 语义受信号分布耦合影响；改进方向是引入 Platt 缩放或温度归一化。第二，$\rho=0.75$ 固定离群过滤率（Table 7）忽略候选质量随场景变化：密集布局可能错误保留 >25% 真实离群，简单布局可能错误剔除有效候选；改进方向是基于中位绝对偏差 (MAD) 的自适应比例或轻量分类器。第三，方法只做 1 次确定性重推理、无迭代机制，裁剪窗口本身不准确时单次重推理无法纠错；可借鉴 RegionFocus 迭代缩窄思想做成 K 步变体，但需解决"何时停止"判据。
未来方向
作者在 Conclusion 中将 UI-Zoomer 定位为"test-time scaling in GUI grounding 的简单但有效的原则"，可延伸几个方向。第一，把不确定性量化从"是否放大"扩展到"放大后调用哪个工具"——例如对真正高难样本继续调用 OCR、icon detector 或子 VLM 做级联，与 GUI-Eyes (Chen et al., 2026) 探索的方向天然互补。第二，把方差分解推广到多模态：当前 $v_{\text{inter}}$ 只用坐标中心，可同时考虑指令语义层面的离散度（如不同候选对应元素类型不同），让裁剪窗口同时对齐几何和语义。第三，与训练时优化结合——既然 UI-Zoomer 已能让 pass@8 的 UI-Venus-7B 从 58.2% 提到 61.8%，可把 UI-Zoomer 蒸馏成训练目标，让模型在训练阶段就学会"在不确定时主动调用 zoom"，省去多次前向。第四，理论分析：$S>\tau$ 样本数与 $\tau$ 满足何种分布、推理预算 $N$ 与准确率的渐近关系都值得形式化。
复现评估
复现友好度高。作者开源代码 https://github.com/ZJU-REAL/UI-Zoomer 与项目页；核心超参全部给出——$N=8$、$T=0.9$、$m=512$、$\rho=0.75$、方形裁剪、Shift 边界、$\tau$ 与 $\gamma$ per-model-per-benchmark 调优。硬件门槛 4×RTX 4090D 24G（vLLM、context length 16384）。Algorithm 1 以伪代码完整给出输入输出与公式 (1)-(11) 的对应。复现难点：1) 不同 VLM 后端（Qwen2.5-VL-7B、UI-Venus-7B/72B、GUI-G2-7B）的坐标 token 化规则不同，解析阶段需适配；2) $\tau$ 与 $\gamma$ 需在每个 (model, benchmark) 组合上做网格搜索，论文未提供自动调参脚本；3) ScreenSpot-Pro/UI-Vision/ScreenSpot-v2 部分数据集需申请授权。
论文图表
横向对比三类范式：(a) Direct Grounding（UI-R1、GUI-G2）单次前向；(b) Iterative Cropping（DiMo-GUI、Nguyen、RegionFocus）循环裁剪 N 次；(c) UI-Zoomer 一次 TTS 后由可靠性门控二选一——consensus voting 或 adaptive cropping。配 Table 1：w/o DiMo-GUI 81.84%/35:47 vs. w/ DiMo-GUI 77.20%/6:43:07。
用一张图把整篇论文的'问题—现有方法缺陷—本文方案'串起来，是理解 motivation 的视觉锚点。
四个 ScreenSpot-Pro 案例的可视化：蓝色是 8 个采样框，红色是裁剪区域，绿色是 ground-truth，黄色是最终预测。前两个成功（'Up to the previous level directory'、'Filter TODO item in android studio'），后两个失败（9x7 表格、设备管理器），失败原因均为强视觉干扰+目标极小。
直观展示方法的成功模式与失败模式，呼应 limitations 章节对'密集相似图标'的讨论。
主表。按 6 个应用领域 × (text/icon) 报告所有方法。关键行：Qwen2.5-VL-7B 27.6% → 41.0% (+13.4)；GUI-G2-7B 48.7% → 61.4% (+12.7)；UI-Venus-7B 50.0% → 61.8% (+11.8)；UI-Venus-72B 59.2% → 67.8% (+8.6)。UI-Venus-7B pass@4/8 = 54.84%/58.19% 均被 UI-Zoomer 的 61.8% 超过。
全论文最关键的结果表，与 RegionFocus (32.1%)、DiMo-GUI (49.7%)、GTA1-7B (50.1%) 等 TTS/RL 方法全面对比。