PAGER：弥合点级几何GUI控制中的语义-执行鸿沟

针对几何画图的点级精度需求，提出依赖结构规划+像素级执行的GUI智能体框架

前置知识

区域容忍GUI任务

传统GUI智能体面向按钮、链接、输入框等界面元素执行点击操作，只要落点在目标组件的容忍区域内即视为成功，成功判据为 $\text{Succ}_{\text{reg}}(a) = \mathbb{I}[p(a) \in R^*]$，区域 $R^*$ 可达数百到上千像素。

本文所有讨论都建立在这一基线范式之上。理解区域容忍的成功几何，是理解为什么同样的模型在几何画图场景下会崩溃的前提。

点级精度GUI任务

本文提出的新范式，要求动作命中连续画布上的精确坐标点而非目标区域。成功判据为 $\text{Succ}_{\text{pt}}(a) = \mathbb{I}[\|p(a) - p^*\|_2 \leq \epsilon]$，$\epsilon$ 通常仅 3 像素左右，对参数误差高度敏感。

这是本文的核心问题定义。读者需要先建立点级 vs 区域级的对比直觉，才能理解后文 88% 操作正确率却不到 6% 任务成功率这一反直觉现象。

依赖耦合的误差级联

几何图形中后绘制对象依赖先绘制对象（如对角线依赖顶点），局部坐标偏差沿依赖图传播。论文用扰动形式表达为 $\Delta C_{\ell+1} \approx J_\ell \Delta C_\ell + B_\ell \Delta \xi_\ell$，$J_\ell$ 是依赖 Jacobian。

级联误差是几何画图区别于一般GUI控制的关键。理解这个机制才能明白为什么作者认为 SFT 的 teacher forcing 不足，必须配合针对参数精度的强化学习。

像素级监督微调 (SFT)

在像素标注轨迹上做 teacher-forcing 训练，损失为 $\mathcal{L}_{\text{SFT}} = -\sum\sum\sum \log \pi_\theta(a^*_{i,j}|Q,T^*_i,C^*_{i,j-1})$，建立自然语言到 GUI 动作序列的映射。

SFT 建立可执行动作语法和顺序绘图行为，但存在暴露偏差。理解 SFT 的局限性是理解为什么本文还要引入 RL 阶段的关键。

带KL锚点的强化学习

以 SFT 策略为参考做 RL 优化，目标 $\max_\theta \mathbb{E}[R(\hat\tau) - \beta D_{\text{KL}}(\pi_\theta \| \pi_{\text{SFT}})]$。KL 项防止偏离可执行行为，奖励项优化操作类型、参数精度和几何有效性。

这是本文训练范式的核心。理解 KL 锚点如何在保留执行先验的同时优化点级精度，对理解 PAGER 整套方法至关重要。

GeoGebra几何画板

本文使用的画布环境是 GeoGebra 浏览器端几何画板，所有动作被规范化为 click / paint / type 三类原子操作，分别对应工具选择、画布绘制、文本标签输入。坐标系通过 $\Pi_\Omega(x,y)$ 投影到像素空间。

理解画板原语和投影方式才能理解为什么 paper 把动作空间压缩到这三种类型，以及为什么它能提供 verifier-backed 的监督信号。

研究动机

现有 GUI 智能体研究主要建立在区域容忍交互范式上，例如 UI-TARS、OS-ATLAS、GUI-Actor 等模型都假设动作落点只要落在目标组件的容忍区域内即成功。但在几何画图场景中，目标从按钮、链接这类宽容区域变为连续画布上的精确点，$\epsilon$ 仅 3 像素左右。更严重的是，几何操作具有强依赖性：先画错一个点会让后续所有依赖它的对象（线段、圆、相交点、角度、多边形）全部偏离，误差像依赖 Jacobian 一样级联传播。论文实测显示，Claude-Sonnet-4.6 操作类型准确率达到 95.85%，GPT-5.4 达到 88.04%，但任务成功率分别只有 1.11 和 0.56；UI-TARS、OS-ATLAS 等 GUI 专业模型步成功率均低于 9%。这种"懂语义却画不准"的系统性失败暴露了语义层与执行层之间存在根本性鸿沟。

本文的目标是本文的具体目标是同时解决测量与建模两层缺口。在测量层面，构建 PAGE Bench 基准，包含 4,906 道几何题、53,277 个高层子任务、224,497 个 GUI 原子动作（平均每题 10.86 个任务、45.76 个动作），覆盖 10 类技能标签，提供过程监督与像素级标注，使点级精度可量化评估。在建模层面，提出 PAGER 框架，通过依赖结构规划生成拓扑合法的子任务序列，再由像素级执行模块在画布上落地，最终用 SFT + 精度对齐 RL 联合训练，把任务成功率从通用基线的不足 6% 提升到 23.78%。

与已有工作不同的是，本文的独特切入角度是把"点级精度"和"依赖耦合"作为新的 GUI 任务类别加以形式化。已有 GUI 工作侧重语义组件对齐，符号几何推理侧重识别与证明，RL 智能体侧重离散成功指标——三者都不直接处理连续画布上由依赖驱动误差传播的精确绘制。PAGER 的新颖之处在于：(1) 把 GUI 动作解构为 click / paint / type 三类原子操作并定义点级成功判据；(2) 显式建模 $\Delta C_{\ell+1} \approx J_\ell \Delta C_\ell + B_\ell \Delta \xi_\ell$ 的级联误差动力学；(3) 引入 verifier-backed 奖励直接对齐参数精度与几何有效性，与现有 GUI 强化学习聚焦离散奖励形成对比。

核心方法

PAGER 把几何画图拆解为"依赖结构规划"和"像素级执行"两段式流水线，再通过 SFT+RL 两阶段训练把二者对齐到点级精度。直觉上，几何题存在拓扑依赖（先画点再画线再画交点），必须先规划子任务的有序拓扑再执行；而执行阶段必须用像素级坐标而不是语义组件中心。规划模块以 Qwen3-VL-8B 为骨干，输出构造图 $G_Q = (V_Q, R_Q)$ 与子任务序列 $T = (T_1, \dots, T_N)$，满足 $(u,v) \in R^+_Q \Rightarrow \text{rank}_T(u) < \text{rank}_T(v)$；执行模块按规划顺序生成动作 $a_\ell = (\kappa_\ell, o_\ell, \xi_\ell)$。训练上先用像素级 SFT 建立执行先验，再用精度对齐 RL（参数精度 + 操作类型奖励 + KL 锚点）弥补 teacher forcing 的暴露偏差。

PAGER 与已有方法的核心区别在于同时建模拓扑、执行、精度三层。已有 GUI 智能体只做语义组件对齐不显式建模依赖；符号几何推理停在证明层；RL GUI 奖励多为离散任务级，对点级参数精度无直接信号。PAGER 的关键创新：(1) 显式引入依赖结构规划，先产出 $G_Q = (V_Q, R_Q)$ 与满足拓扑序的子任务列表，避免执行局部最优；(2) 用 KL 锚定 $\max_\theta \mathbb{E}[R(\hat\tau) - \beta D_{\text{KL}}(\pi_\theta \| \pi_{\text{SFT}})]$，保留 SFT 先验同时直接优化点级精度与几何有效性；(3) 把动作抽象为 click/paint/type 三类并设计三类 verifier 奖励，分别对齐操作类型、参数精度与几何有效性。

方法步骤详情

方法分四步。第一步依赖结构规划：规划模块读入 $Q$ 输出构造图 $G_Q$ 与拓扑序子任务列表 $T = f_\phi(Q)$。第二步像素级执行：执行模块按子任务顺序生成 $a_{i,j} = (\kappa_{i,j}, o_{i,j}, \xi_{i,j})$，含对象类型、像素坐标、几何参数，通过统一交互层写入 GeoGebra 画布并记录截图日志。第三步像素级 SFT：在 4,443 题轨迹上 teacher-forcing 训练 Qwen3-VL-8B 全参数，损失 $\mathcal{L}_{\text{SFT}}$，学习率 $5\times 10^{-6}$，bf16，ZeRO-2，8 卡 A100 跑 1 epoch。第四步精度对齐 RL：以 SFT 为 KL 锚点，每题采样 8 条 rollout，按三类 verifier 奖励打分，训练时构造 admissible set $A_\ell$ 但推理时不可用。

技术新颖性

技术新颖性体现在四个层面。第一，问题定义层面：首次把"点级精度 + 依赖耦合"形式化为 precision-sensitive GUI tasks，给出 $\text{Succ}_{\text{pt}}$ 与 $\Delta C_{\ell+1} \approx J_\ell \Delta C_\ell + B_\ell \Delta \xi_\ell$ 的可计算定义，区别于区域容忍范式。第二，框架层面：把规划与执行解耦为两个模块并以子任务序做信息桥，让长轨迹 45.76 步的平均画图过程可控可监督。第三，奖励层面：设计三类 verifier-backed 奖励——操作类型匹配、参数精度（含 click 区域有效性、paint 像素偏差、type 文本一致）、几何距离 $d_{\text{geo}}$（锚点 + 关系 + 布局），配合 KL 锚点同时对齐离散语义与连续几何。第四，基准层面：PAGE Bench 包含 224,497 个原子动作和每步执行反馈，是首个面向画布点级精度的过程监督基准，自动化分数与人类判断相关性达 $r = 0.9397$。

**Figure 2**: Overview of PAGER. Planning orders sub-tasks, execution grounds them into pixel-level actions, and training aligns supervision with precision rewards.

**Figure 3**: Construction pipeline of PAGE Bench.

**Figure 4**: Question-type and skill composition in PAGE Bench.

实验结果

主结果（Table 2）显示 PAGER Overall 29.52，比最强通用基线 Gemini-3.1-Pro（24.36）高 5.15 分（+21.1%），并在 Task（23.78）、Middle（41.25）、Final（17.79）全面领先；尽管 Gemini-3.1-Pro 在 Param（66.68）与 Step（66.66）最高，Task 仅 5.82，说明 PAGER 把局部执行优势更好地转化为整轨迹稳定性。语义-执行鸿沟突出：Claude-Sonnet-4.6 Action 95.85% 但 Task 仅 1.11；PAGER 凭借 82.62 Action 把 Task 拉到 23.78，约 4.1× 提升。对 GUI 专业模型，PAGER Step 62.20% vs UI-TARS 8.38%。消融（Table 3）证明 PAGER-SFT Overall 20.47，去参数奖励降至 20.07，去类型奖励 24.52，完整版 29.52，两类奖励互补。Figure 6 验证自动化评分与人类判断相关性 $r = 0.9397$。

**Table 1**: Key statistics of PAGE Bench.

**Table 2**: Main results on precise geometric tasks.

**Table 3**: Ablation study of different training strategies.

**Figure 5**: Qualitative comparison on rectangle diagonal construction.

查看结构化数据

任务	指标	本文	基线	提升
PAGE Bench Overall	Overall Score	29.52	24.36 (Gemini-3.1-Pro)	+5.15 (+21.1%)
PAGE Bench Task Success	Task Score	23.78	5.82 (Gemini-3.1-Pro)	+17.96 (~4.1x)
PAGE Bench Step Success	Step Score	62.20	16.18 (InfiGUI-R1-3B, GUI 专业最强)	+46.02
PAGE Bench Parameter Accuracy	Param Score	62.76	66.68 (Gemini-3.1-Pro)	-3.92 (本文略低，但 Task 显著更高)
PAGE Bench Middle Score	Middle Score	41.25	32.41 (Gemini-3.1-Pro)	+8.84
PAGE Bench Final Score	Final Score	17.79	16.31 (Gemini-3.1-Pro)	+1.48
Ablation: w/o RLparam	Overall Score	29.52 (full)	20.07 (no param reward)	+9.45
Ablation: w/o RLaction	Task Score	23.78 (full)	15.90 (no action-type reward)	+7.88

局限与改进

论文作者明确指出的局限：本文聚焦 GeoGebra 式平面几何画图场景，其它精度敏感界面（如 CAD、图表编辑器、科学可视化）需要新增动作语法、环境适配器与有效性规则。其次，由于依赖 verifier 提供 admissible set $A_\ell$，训练对几何验证器质量高度依赖；如果验证器存在缺陷，会把错误监督信号反向注入 RL。从外部观察还有几点可补充：(1) 训练规模仅 8 卡 A100 跑 1 epoch SFT + 8 条 rollout RL，并未公开更大规模训练是否带来持续增益；(2) 参数精度奖励 $\delta(\hat a_\ell, \tilde a)$ 的权重 $\lambda_a, \lambda_p, \sigma_p$ 与几何奖励 $\lambda_g, \sigma_g$ 未做敏感性消融；(3) PAGE Bench 89.42% 集中在 8–10 年级，对小学几何与高等几何覆盖有限；(4) 与人类判断相关性 $r = 0.9397$ 虽然高，但仅基于论文 Figure 6 的 9 个模型样本，统计意义有限。

独立分析的弱点

可识别五点改进方向。第一，规划模块一次性产出子任务序，对规划错误无显式回滚；若规划违反依赖关系下游再准也无效，建议加规划 verifier。第二，奖励权重 $\lambda_a, \lambda_p, \lambda_g, \sigma_p, \sigma_g$ 文中未给取值且未做敏感性消融，建议引入课程式奖励调度。第三，SFT 阶段 teacher-forcing 全轨迹无 partial rollout 校正，仅在 RL 阶段缓解暴露偏差，建议引入 DAgger 或 planning-aware 数据增强。第四，click/paint/type 边界判定依赖 verifier $A_\ell$，训练分布外泛化性不足，建议加入工具使用的语言学先验或检索增强。第五，PAGER-SFT 在 O-Comp（27.70）与 S-Geo（17.48）已领先，但 RL 阶段 S-Geo 仅 15.63（低于 SFT），说明几何结构评估与 RL 目标的对齐还不够紧。

未来方向

作者明确的方向是把同一原则扩展到 CAD、图表编辑、科学可视化等更广泛的精度敏感界面，需要新增动作语法、环境适配器与几何有效性规则。基于本文成果还可延伸：(1) 把规划模块独立为可调用的几何策略 API，让 LLM agent 在执行复杂 CAD 操作前先调用规划；(2) 把 RL 阶段 admissible set 做成 synthetic supervision，在缺 verifier 的领域用 LLM-as-judge 或符号求解器替代；(3) 把 PAGE Bench 扩展到三维几何与解析几何，验证点级精度范式在更高维度上的可迁移性；(4) 探索点级精度任务的零样本/少样本泛化，把训练好的像素执行模块与不同规划器组合；(5) 与世界模型结合做不调真实 GeoGebra 的大规模 RL rollout。

复现评估

作者公开了 Code、Website 和 Dataset，PAGE Bench 含 4,906 题与完整执行轨迹含像素标注可直接复用。但训练细节不完整：(1) 论文只声明 Qwen3-VL-8B 骨干、学习率 $5\times 10^{-6}$、bf16、ZeRO-2、8 卡 A100、1 epoch SFT，但 RL 阶段的 KL 系数 $\beta$、奖励权重 $\lambda_a/\lambda_p/\lambda_g$、温度 $\sigma_p/\sigma_g$ 未披露；(2) 几何 verifier $A_\ell$ 的具体构造未公开，对依赖 verifier 的方法复现影响大；(3) SFT 数据 4,443 题 train split 描述了 LLM-a/b/c prompt 流程但未公开 prompt；(4) RL 训练算力未单独披露，预计总计 64–256 GPU 小时；(5) 对 GeoGebra 版本与截图分辨率敏感需锁定环境。拥有 8 卡 A100 的研究组复现主表可行，精确复现消融需联系作者。

PAGER：弥合点级几何GUI控制中的语义-执行鸿沟 PAGER: Bridging the Semantic-Execution Gap in Point-Precise Geometric GUI Control