POINTS-GUI-G：从零构建GUI定位能力的完整技术路线 POINTS-GUI-G: GUI-Grounding Journey
从基础模型出发，通过数据工程、训练策略和强化学习三大支柱构建SOTA级GUI定位能力
前置知识
GUI Grounding
GUI定位是指将自然语言指令映射到用户界面中精确坐标的能力。例如，当用户说'点击提交按钮'时，模型需要输出按钮在屏幕上的(x, y)坐标或边界框。这是GUI智能体执行端到端任务的基础能力，因为每个操作步骤（点击、输入、拖拽）都需要先精确定位目标元素。评估指标通常包括中心点距离、交并比(IoU)等。
这是本文要解决的核心任务。理解GUI定位的定义、评估方式和挑战，才能理解本文方法设计的动机。
Vision-Language Models (VLMs)
视觉语言模型是能够同时处理图像和文本的多模态大模型。典型架构包括视觉编码器（如ViT）提取图像特征、投影层对齐视觉和语言特征空间、以及大语言模型（如LLaMA、Qwen）生成文本输出。这类模型在图像描述、视觉问答、GUI理解等任务上表现出色。本文基于的POINTS-1.5和Qwen3-VL都是VLM的代表。
本文的模型架构基于VLM，理解VLM的基本原理有助于理解模型训练和优化策略。
Reinforcement Learning with Verifiable Rewards (RLVR)
可验证奖励的强化学习是一种训练范式，其中奖励信号是客观可验证的，而非来自人类主观判断。在GUI定位任务中，奖励函数可以精确定义：预测坐标是否落在标注的边界框内，返回二值奖励(0或1)。这种方法避免了奖励模型的不确定性，特别适合输出空间受限、评估标准明确的任务。常用的算法包括GRPO（Group Relative Policy Optimization）。
RLVR是本文的三大技术支柱之一，理解其原理对于理解本文的核心创新至关重要。
Data Engineering
数据工程是指对训练数据进行系统性的收集、清洗、转换和增强的过程。在本文中，数据工程包括三个阶段：(1)预处理——统一不同来源数据集的坐标尺度和标注格式；(2)过滤——使用OmniParser-v2检测结果验证标注质量，过滤噪声数据；(3)复杂度增强——通过布局熵和占用率筛选掉简单样本，合成高难度数据。
数据工程是本文的三大支柱之一，其创新设计直接决定了模型的性能上限。
Vision Encoder
视觉编码器是VLM中负责从原始图像提取特征的组件，通常是Vision Transformer (ViT)架构。它将图像分割成小块(patch)，通过多层自注意力机制学习视觉表示。传统做法是在预训练后冻结视觉编码器，仅微调语言模型部分。但本文发现，对于GUI定位这种视觉感知密集的任务，解冻视觉编码器能带来显著性能提升。
本文的重要创新之一是解冻视觉编码器，理解其作用有助于理解这一设计决策的意义。
Layout Entropy
布局熵是衡量界面元素空间分布复杂度的指标。本文提出两种计算方式：(1)一维投影熵——沿多个方向投影元素中心点，计算每个方向上的信息熵；(2)二维网格熵——将屏幕划分为M×M网格，计算元素在各网格中的分布熵。熵值越高表示元素分布越均匀、界面越复杂；熵值越低表示元素越集中。该指标用于对训练数据进行难度分级。
这是本文数据复杂度增强策略的核心指标，理解其计算方式有助于理解数据筛选方法。
研究动机
当前GUI智能体研究存在一个关键盲区：大多数工作直接使用已经具备强大定位能力的基础模型（如Qwen3-VL），专注于端到端任务执行，而忽略了从零构建定位能力的技术积累。这种'黑盒式'的开发方式可能导致关键技术洞见的遗漏。具体而言，现有GUI定位数据集存在严重的异质性问题：不同数据集的坐标尺度不统一（有的用归一化[0,1]范围，有的用原始像素值）、标注格式不一致（有的用列表，有的用XML标签）、任务定义各异。此外，无论是通过URL爬取（如FineWeb）还是模型标注截图（如RICO）构建的数据集，都不可避免地引入大量噪声。实验表明，直接在这些异构数据上训练会导致模型性能不佳。
本文的目标是本文的目标是从一个不具备原生GUI定位能力的基础模型（POINTS-1.5）出发，完整地掌握GUI定位的全栈技术。具体目标包括：(1)构建统一的数据工程流程，将多个开源异构数据集转换为一致的训练格式；(2)识别并解决训练过程中的关键但常被忽视的因素（如视觉编码器冻结、训练-推理分辨率不一致）；(3)探索强化学习在感知密集型任务中的应用潜力。最终目标是在多个主流benchmark上达到或超越当前SOTA水平。
与已有工作不同的是，本文的独特切入角度是'全栈式'的技术探索。与直接使用已有强定位能力的模型不同，作者选择从基础模型开始，系统性地解决GUI定位的每个技术环节。这种方法的价值在于：(1)能够深入理解每个技术组件的贡献，而非依赖预训练模型的'黑盒'能力；(2)发现了一些被前人忽视但影响巨大的因素，如训练-推理分辨率不一致会导致ScreenSpot-Pro上超过10分的性能下降；(3)证明了强化学习在感知任务中的有效性，挑战了'RL主要用于推理任务'的传统认知。这种'从零开始'的研究范式为社区提供了更完整的技术参考。
核心方法
POINTS-GUI-G的技术路线可以概括为三大支柱：数据工程、训练策略优化和强化学习。整体思路是先通过数据工程构建高质量、高难度的训练数据集，然后通过优化训练策略解决视觉编码器适应性和分辨率一致性问题，最后通过强化学习进一步提升模型精度。这三个支柱是递进关系：数据工程为模型提供'燃料'，训练策略优化确保'引擎'高效运转，强化学习则是在此基础上的'精调'。直觉上，这类似于培养一个GUI操作专家：先给他看大量高质量的操作案例（数据工程），然后确保他的视觉感知能力足够敏锐（解冻编码器），最后通过实战演练（RL）进一步提升精确度。
本文的核心创新有三个：(1)统一数据工程——不同于简单地混合多个数据集，本文设计了完整的三阶段流程（预处理→过滤→复杂度增强），特别是使用OmniParser-v2作为'裁判'验证标注质量，以及通过布局熵量化界面复杂度进行数据筛选；(2)解冻视觉编码器——打破了VLM训练中'冻结编码器'的传统做法，发现GUI定位这种视觉密集任务需要编码器进行领域适配；(3)RL用于感知任务——不同于将RL用于数学推理等任务，本文证明了即使在感知密集型任务中，RL也能带来显著提升，关键在于GUI定位的输出空间高度受限（坐标点），允许定义精确的二值奖励函数。这三个创新共同作用，使8B参数模型超越了多个32B甚至72B的模型。
方法步骤详情
方法分为三个主要步骤： 第一步：数据工程（Data Engineering） - 预处理阶段：收集13+个开源GUI数据集，统一坐标尺度到[0,1]范围（三位小数精度），统一标注格式为中心点(x,y)或边界框(x0,y0,x1,y1)，统一任务指令为'定位指定元素'。 - 过滤阶段：使用OmniParser-v2检测每个截图中的UI元素，对于点标注，扩展为边长l的正方形边界框Bgt，计算覆盖分数S = ΣArea(Bgt∩Bdet,i)/Area(Bgt)，只保留S≥阈值τ的样本。 - 复杂度增强：计算布局熵E_layout（包括一维投影熵H_1D和二维网格熵H_2D），按难度分级数据；通过GUI-CodeGen（用LLM合成专业软件的前端代码并渲染）和GUI-Overlay（多窗口叠加到桌面背景）策略合成高难度数据。 第二步：训练策略优化 - 解冻视觉编码器：在训练过程中同时更新视觉编码器、投影层和语言模型的参数，编码器学习率1×10^-4，其他组件5×10^-5。 - 分辨率一致性：将训练分辨率上限从2000×2000提升到3072×3072，推理时限制在2000×2000以内。 第三步：强化学习（RL） - 使用GRPO算法，每样本8次rollout，全局batch size 64，学习率1×10^-5。 - 奖励函数：预测坐标(xn,yn)落在标注框内返回1，否则返回0。 - 课程学习：逐步增加训练样本难度。
技术新颖性
本文的技术新颖性体现在三个方面： (1)数据质量验证机制：不同于简单的启发式过滤，本文使用OmniParser-v2作为自动化验证工具，通过计算检测结果与标注的覆盖率来量化标注质量。这种'用模型验证数据'的思路具有很好的扩展性。 (2)布局熵指标：这是首次在GUI定位任务中引入信息论指标来量化界面复杂度。一维投影熵和二维网格熵的组合使用，能够从局部和全局两个维度捕捉界面布局的复杂程度，为数据难度分级提供了客观依据。 (3)RL用于感知任务的范式：本文挑战了'RL主要用于推理任务'的传统认知。GUI定位的输出空间（坐标点）高度受限，允许定义精确的二值奖励函数，这使得RL能够稳定地提升模型精度。实验证明，RL在感知任务中也能带来一致且显著的提升，这一发现具有重要的方法论意义。
实验结果
POINTS-GUI-G-8B在五个主流benchmark上取得了全面领先的成绩： (1) ScreenSpot-v2：平均95.7分，排名第一。在Mobile/Desktop/Web三个平台的Text和Icon定位任务上均表现出色，Desktop Text达到100分满分，Desktop Icon和Web Icon均超过92分。超越了MAI-UI-8B（95.2）和UI-Venus-7B（94.1）。 (2) ScreenSpot-Pro：平均59.9分，排名第二，仅次于MAI-UI-8B（65.8）。在Office场景（88.7 Text, 62.3 Icon）和OS场景（72.0 Text, 43.8 Icon）表现突出。值得注意的是，该模型超越了多个32B模型，包括Qwen3-VL-32B（54.9）和GUI-Owl-32B（58.0）。 (3) OSWorld-G：平均66.0分，排名第一。在Text Matching（73.9）、Element Recognition（73.6）、Layout Understanding（70.8）三个子任务上均领先，Fine-grained Manipulation（55.7）也表现出色。超越了GTA1-32B（65.2）和Qwen3-VL-32B（60.6）。 (4) UI-Vision：平均49.9分，排名第一，大幅领先第二名MAI-UI-8B（40.7）。在Basic（63.2）、Functional（55.6）、Spatial（30.9）三个子类别上均显著领先，优势超过10分。 (5) MMBench-GUI-L2：平均87.0分，排名第二，略低于MAI-UI-8B（88.8）。在Windows（93.7/68.4）、Linux（85.9/69.9）、iOS（97.1/88.8）等操作系统上表现优异。 消融实验表明，数据工程（DE）、解冻视觉编码器（UVE）、分辨率一致性（IR）和强化学习（RL）四个因素依次带来性能提升，其中RL的贡献尤为显著。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GUI定位 - 通用场景 | ScreenSpot-v2 平均准确率 | 95.7% | MAI-UI-8B 95.2% | +0.5% |
| GUI定位 - 高分辨率专业软件 | ScreenSpot-Pro 平均准确率 | 59.9% | GTA1-7B 50.1% | +9.8% |
| GUI定位 - 复杂桌面环境 | OSWorld-G 平均准确率 | 66.0% | MAI-UI-8B 60.1% | +5.9% |
| GUI定位 - 多样化指令理解 | UI-Vision 平均准确率 | 49.9% | MAI-UI-8B 40.7% | +9.2% |
| GUI定位 - 跨平台 | MMBench-GUI-L2 平均准确率 | 87.0% | MAI-UI-8B 88.8% | -1.8% |
局限与改进
本文存在以下局限性： (1)依赖OmniParser-v2进行数据过滤：虽然这提高了数据质量，但OmniParser-v2本身可能存在偏差，可能过滤掉一些有效但不符合其检测模式的样本。作者未讨论这种依赖性的潜在风险。 (2)计算资源需求：训练过程需要解冻视觉编码器，这增加了计算开销。论文未提供详细的训练时间和硬件需求，难以评估实际部署成本。 (3)泛化性验证不足：虽然在多个benchmark上表现优异，但这些benchmark主要集中在英语环境。对于其他语言或文化背景的GUI界面（如中文、日文、阿拉伯文界面）的泛化能力未被验证。 (4)端到端任务验证缺失：论文专注于GUI定位这一基础能力，但未验证该定位能力如何转化为端到端任务执行性能。定位准确率的提升是否能直接带来任务完成率的提升，仍需进一步研究。 (5)数据合成的局限性：GUI-CodeGen和GUI-Overlay策略虽然增加了数据复杂度，但合成数据与真实用户界面的分布差异未被量化。过度依赖合成数据可能导致模型在真实场景中的性能下降。 (6)RL训练的稳定性：虽然论文展示了RL的积极效果，但RL训练固有的高方差和不稳定性问题未被深入讨论。实际复现时可能面临训练不稳定的风险。
独立分析的弱点
本文存在以下弱点： (1)数据工程的可扩展性问题：当前的数据工程流程依赖于OmniParser-v2进行质量验证，这引入了一个额外的模型依赖。如果OmniParser-v2本身存在系统性偏差（如对某些UI元素类型检测能力弱），这种偏差会传递到训练数据中。改进方向：可以考虑集成多个检测模型进行交叉验证，或者开发专门针对GUI元素的轻量级检测器。 (2)分辨率策略的启发式性质：将训练分辨率上限设为3072×3072、推理限制在2000×2000是基于实验观察的启发式选择，缺乏理论指导。不同任务和场景可能需要不同的分辨率策略。改进方向：可以研究自适应分辨率策略，根据输入图像的内容复杂度动态调整分辨率。 (3)奖励函数的二值性：当前的奖励函数是简单的二值判断（坐标是否在框内），这可能忽略了定位精度的细微差异。一个刚好落在框边缘的预测和一个落在框中心的预测获得相同奖励。改进方向：可以设计连续奖励函数，考虑预测点到边界框中心的距离。 (4)缺乏与端到端任务的关联：论文仅关注GUI定位能力，但未验证定位精度的提升如何影响下游任务性能。改进方向：在完整的GUI智能体任务（如WebShop、MiniWoB++）上评估定位能力提升的实际价值。 (5)消融实验不够细致：虽然展示了各因素的整体贡献，但缺乏对每个因素内部组件的详细消融。例如，数据工程中三个子阶段的各自贡献、布局熵两个维度的相对重要性等。改进方向：进行更细粒度的消融实验，帮助社区理解每个设计选择的具体影响。
未来方向
基于本文的成果，可以探索以下研究方向： (1)扩展到多模态GUI理解：当前模型专注于视觉定位，但GUI理解还包括文本理解、语义推理等。可以将本文的数据工程和RL方法扩展到GUI描述、GUI问答等更广泛的GUI理解任务。 (2)跨平台迁移学习：虽然模型在多个平台上表现良好，但可以进一步研究跨平台迁移学习。例如，能否用大量网页数据预训练，然后快速适配到移动或桌面环境？ (3)时序GUI理解：当前模型处理单帧截图，但真实的GUI交互是时序的。可以将本文方法扩展到视频理解，支持'点击按钮后等待页面加载'这类时序操作。 (4)少样本GUI适配：研究如何用少量示例快速适配到新的应用或界面风格，这对于GUI智能体在真实世界中的部署至关重要。 (5)RL与其他技术的结合：可以探索将本文的RL方法与人类反馈（RLHF）结合，或者与自我博弈（self-play）结合，进一步提升模型性能。 (6)轻量化和部署优化：当前模型为8B参数，对于边缘设备可能过大。可以研究模型压缩、知识蒸馏等技术，使GUI定位能力能够部署到更轻量的模型中。 (7)可解释性研究：研究模型在做出定位决策时关注了哪些视觉特征，这对于理解模型行为和发现潜在偏差非常重要。
复现评估
本文在复现性方面提供了较好的支持： (1)开源情况：论文明确提供了GitHub仓库（https://github.com/Tencent/POINTS-GUI）和HuggingFace模型链接（https://huggingface.co/tencent/POINTS-GUI-G），这意味着模型权重和代码均可获取。 (2)数据：论文使用了13+个开源数据集，并详细描述了数据处理流程。虽然完整的数据工程流程需要OmniParser-v2，但该模型也是开源的。 (3)训练细节：论文提供了学习率（编码器1×10^-4，其他5×10^-5）、batch size（RL阶段64）、rollout次数（8次）等关键超参数。 (4)算力需求：论文未明确说明训练所需的GPU数量和时间，这可能成为复现的障碍。基于8B参数模型和解冻视觉编码器的设置，预计需要多卡训练数天。 (5)评估：论文使用了5个公开benchmark，评估方法标准化，复现评估结果相对容易。 总体而言，本文的复现难度为中等。主要挑战在于：(1)需要足够的计算资源进行完整训练；(2)数据工程流程涉及多个步骤，需要仔细实现；(3)RL训练的高方差可能导致结果略有差异。建议从官方开源代码开始，逐步复现各个组件。
论文图表