AutoGUI-v2：面向 GUI 功能理解的多模态综合基准 AutoGUI-v2: A Comprehensive Multi-Modal GUI Functionality Understanding Benchmark

完整的区域级标注流水线分为三个 stage。Stage 1（自动提议 + 验证）：对每张高质量截图（来源包括 AMEX、ScreenSpot-Pro、AgentNet、MMBench-GUI、OSWorld-G、AndroidControl），以 Gemini-2.5-Pro-Thinking 作为主标注 VLM，输入是图像 $I_{\mathrm{region}} \in \mathbb{R}^{H\times W \times 3}$ 和包含层级 taxonomy 的 prompt $p_{\mathrm{anno}}$，输出是 $K$ 个子区域 $\{F_i, D_i, B_i, d_i\}_{i=1}^K$，其中 $F_i$ 是功能、$D_i$ 是布局描述、$B_i$ 是归一化边界框、$d_i$ 是布尔可分性标志；接着验证器（同款 VLM）在父图像背景下用 prompt $p_{\mathrm{scoring}}$ 给每个子区域打完整度 $s_{\mathrm{comp}}$ 与边界紧凑度 $s_{\mathrm{bound}}$，当平均值 $\frac{1}{K}\sum s_{\mathrm{comp}} \geq 0.8$ 且 $\frac{1}{K}\sum s_{\mathrm{bound}} \geq 0.8$ 时接受提议，否则换温度重生成，最多重试 $N=3$ 次；可分子区域递归进入下一层，直至所有节点 $d_i = \mathrm{False}$ 或尺寸低于 30 像素。Stage 2（人机协同边界修正）：自研 FastAPI + D3.js + OpenCV.js Web UI 一次性加载整张图与所有节点边界，支持长按自动 Canny 边缘吸附与 Ctrl+长按的 Harris 角点吸附；保存采用非破坏式（写入 `_fix.json`），完整保留原始 VLM 输出以供溯源。Stage 3（功能重新注释）：把修正后的裁剪图 $I_{\mathrm{fix}}$ 与原标注一起送入 VLM，由其重新生成功能 $F^{\mathrm{fixed}}$ 与描述 $D^{\mathrm{fixed}}$；最后由人工依据「上下文性、高层目的、非幻觉」三项质量准则进行校验。题目构建阶段：对区域级任务，用 Qwen3-Embedding 对所有 $D_i$ 做余弦聚类得到功能相似但视觉相近的组，从中抽取目标生成 (a) Functionality-Oriented Grounding 问答题（如「Which region should you interact with to switch workspaces?」）和 (b) Functionality-Oriented Captioning 多选题（预测点击后的 outcome）；对元素级任务，先用 OmniParser-v2 检测所有交互元素，再用 DINO-v3 提取视觉嵌入 + RapidFuzz 做文本相似过滤，最后通过 DSU 合并构建相似组。整个流水线最终产出 2,753 道题目、3,710 个层级功能区域。

AutoGUI-v2 的技术新颖性体现在三个维度。技术上，作者首次提出 NID（Normalized Interference Density）指标，把 GUI grounding 的评估空间从单一的二维坐标精度扩到「精度 × 视觉上下文复杂度」二维谱，从而能揭示 Qwen3-VL 在 Dense 场景偏好而 Step-3 在 Sparse 场景偏好的有趣实验现象（Table 3）。方法上，相比传统「单步提议 → 单步接受」的 VLM 标注，v2 的 divide-and-verify 递归框架用 $\sum s_{\mathrm{comp}}/K \geq 0.8$ 与 $\sum s_{\mathrm{bound}}/K \geq 0.8$ 的双阈值 + 重生成机制，把自动标注的稳定性提高了约 3 倍（最多 $N=3$ 次 retry），是首个把 VLM 自评机制工程化到 GUI 区域标注场景的工作。评测上，本基准首次系统区分「grounding 与 captioning 的解耦现象」：开源 GUI 模型（Qwen3-VL、GLM-4.5V）在功能 grounding 上以 84.4%/84.6% 远超商业模型的 77.6%/31.4%（GPT-5 仅 31.4%），但在 captioning 上被商业模型（GPT-5 88.1%、Gemini 86.2%）反超，这一发现为业界关于「专门 grounding 模型的必要性 vs 通用模型的语义优势」争论提供了首批量化证据。

我作为读者可以从论文中识别出如下具体弱点，并给出改进方向。弱点一：区域 grounding 高 Acc 但低 IoU——最佳 Qwen3-VL-32B 在区域 grounding 上仅 23.3% IoU（Table 3），说明模型「选对了大致区域，但抓不准四周边界」。这与 UI-Tars、UGround 等模型直接预测单个点（不是完整边界框）有关，改进方向是引入更高分辨率的视觉编码（如原生 4K 输入）或引入更严格的几何回归损失函数。弱点二：Right-Click 完全崩塌——所有商业模型在元素级 Right-Click grounding 上几乎为 0%（Table 6），而 Right-Click 在 Windows/macOS UI 中是触发 context menu 的关键操作，几乎所有 productivity 软件都重度依赖。改进方向是构建专门的 right-click 交互模式训练数据，或把 right-click 与 click 区分作为显式分类头。弱点三：Hard 负样本仍有 9-12% 的失败率（Table 4）——模型缺乏对「同形不同义」UI 组件的真正语义区分能力，改进方向是引入对比学习的 hard-negative mining，让模型在训练阶段就接触到「视觉相似但功能不同」的样本对。弱点四：通用模型（O3、GPT-5）元素级 grounding 完全失效（4-6%），而 captioning 优秀（84-88%）——这种「会说不会指」的分裂源自 token-based VLM 的训练目标与 bounding box 回归不匹配，改进方向是显式引入 grounding RL 阶段（如 Set-of-Mark 等 tokenized pointing 范式）。弱点五：层级标注对 Globally Navigational 类区域过拟合——Tab. 3 显示所有模型在「Global Navigation」类区域最高（如 Primary Containers 普遍 80-92%），但对 Others 类（color pickers、logos）下降 5-10%，改进方向是扩大 Others 类的样本多样性。弱点六：数据预处理流程对 OSWorld-G 等基准使用了 120 张抽样图，统计置信区间宽，应增加样本量以稳定指标。

作者在第 5 节和 Limitations 部分给出了几条未来方向：(1) 用更强的 self-verifying VLM 替代人机协同时的 annotation 校正步骤，提升可扩展性；(2) 把 single-step 交互结果预测扩展到 multi-step 链式状态预测，对齐真实 OSWorld 等任务执行流程；(3) 探索功能理解能力与最终 planning 能力的关联，把功能理解作为 chain-of-thought 推理的中间环节。我基于论文成果可补充几条：(a) 把功能 grounding + captioning 作为 binary reward signal 用于 GUI 智能体的 RL 微调（类似 GUI-G2 的 Gaussian reward），本论文的 Hard/Easy 拆分正好提供了 curriculum learning 的天然素材；(b) 把 NID 指标推广到训练数据采样器，控制训练样本的视觉杂乱度分布以提升模型在 Dense 场景的稳健性；(c) 构建跨文化的多语言 GUI 数据集（论文承认的英语/西方偏见），用 native subject-matter experts 重新覆盖中日韩、阿拉伯语等区域的 UI 模式；(d) 把功能描述与 Set-of-Mark、UI-Tars 的 point-based click 输出结合，构建「point + caption + reasoning」三合一的统一接口；(e) 探索 dynamic state prediction，把静态截图扩展到 before/after 截图对的差分预测，对齐 World Models in Navigation 论文中强调的「智能体需要世界模型」核心观点。

论文在可复现性上做得相当充分。代码与数据已开源到 https://github.com/ZJULiHongxin/AutoGUI-v2（论文页脚明示）；注释管线明确给出 Stage 1/2/3 三阶段的 prompt 模板（Tab. 9-11）、scoring 阈值（$\sum s_{\mathrm{comp}}/K \geq 0.8$, $\sum s_{\mathrm{bound}}/K \geq 0.8$）、重生成次数 $N=3$、最大递归深度与最小裁剪尺寸等所有超参数；评测 prompt 一并以 Tab. 16-19 列出，对 Gemini 特别处理了坐标格式 ymin, xmin, ymax, xmax 与其他模型的差异；评测模型清单覆盖 4 类共 12 个 VLM（commercial / general OSS / GUI-grounding OSS），开源模型通过 HuggingFace Inference Endpoints 部署在 A100 GPU 上。读者复现的最大门槛在于：(1) 调用 Gemini-2.5-Pro-Thinking API 的成本——单张 1920×1080 图的区域检测加上 3 次 refine + re-annotate，总计约 1.072 美元（论文 6.6 节明示），构建整套 2,753 题的预算约需几千美元；(2) 人工边界框修正阶段不可完全绕过，要复现作者的精度必须投入一定的人工标注时间；(3) 部分商业模型（O3、GPT-5、Claude-Sonnet-4.5）的 API 输出可能因 deprecation 演化而随时间漂移。整体来看，对一个有 VLM API 与少量 GPU 资源的实验室而言，独立构建一个 reduced 版本的 AutoGUI-v2（500 道题量级）在 1-2 周内是可行的，但要完整复现全部 2,753 题及作者的商业模型评测，需要更多算力预算与人力。