SafeGround：通过不确定性校准了解何时信任GUI grounding模型 SafeGround: Know When to Trust GUI Grounding Models via Uncertainty Calibration

SAFEGROUND的方法包含四个主要步骤。第一步是基于采样的空间分布构建：对于每个输入（截图$x$和指令$q$），使用温度为1.0的随机解码进行$K=10$次随机前向传播，生成坐标集合$S=\{\hat{y}^{(i)}\}_{i=1}^{K}$。这些采样坐标被投影到离散化的屏幕网格（patch size=14）上，构建归一化的局部密度图$P$。第二步是区域提取与评分：通过密度聚类将连续的高密度patch聚合为不相交的区域$R=\{R_m\}_{m=1}^{M}$，每个区域$R_m$的得分$S_m$为其平均概率密度，然后按得分降序排列。第三步是不确定性度量计算：基于区域得分分布，计算三种互补的不确定性分数——Top-Candidate Ambiguity ($U_{TA}$)测量前两个候选区域的边际差异，Informational Dispersion ($U_{IE}$)计算归一化熵，Concentration Deficit ($U_{CD}$)计算1减去概率分布的二次集中度。最终的不确定性分数$U_{COM}$是这三个分数的加权组合：$U_{COM} = w_{CD} \cdot U_{CD} + w_{IE} \cdot U_{IE} + w_{TA} \cdot U_{TA}$。第四步是阈值校准与选择性预测：在校准集$D_{cal}$上，对每个样本计算不确定性分数$u_i$和错误指示函数$err_i$，然后遍历所有可能的阈值$\tau$，使用Clopper-Pearson置信区间计算FDR的上界，选择满足$\hat{FDR}^{upper}_{1-\delta}(\tau) \leq \alpha$的最大阈值$\hat{\tau}$。在测试时，不确定性分数$\leq \hat{\tau}$的预测被接受执行，$> \hat{\tau}$的预测被拒绝或转交给更强模型。

SAFEGROUND的技术新颖性体现在三个层面。首先，在不确定性量化层面，与现有依赖模型概率或口头化自信度的方法不同，SAFEGROUND提出了一种基于空间分布的纯输出级不确定性度量，不需要访问模型内部状态。这种方法特别适合黑盒视觉语言模型，且通过三种互补度量的组合，能够捕捉不同类型的预测失败模式。其次，在风险控制层面，SAFEGROUND首次将Learn Then Test校准框架引入GUI grounding领域，提供了严格的有限样本FDR保证。与经验性阈值选择不同，这种方法在统计上确保了接受预测的错误率不超过用户指定的风险水平，并且在校准阶段就能判断目标风险水平是否可达。第三，在系统设计层面，SAFEGROUND实现了不确定性感知的级联推理机制，当本地模型不确定时自动转交给更强的外部模型（如Gemini）。这种设计不仅提高了系统级准确率（最高提升5.38%），还通过减少对昂贵外部模型的调用降低了计算成本。这种“采样-分布-校准-级联”的完整框架是GUI grounding领域的首创，为安全部署GUI代理提供了原则性的解决方案。

基于独立分析，SAFEGROUND存在几个可以改进的弱点。首先，采样效率方面，当前需要10次随机采样来构建不确定性估计，这在实时GUI交互场景中可能带来不可接受的延迟。改进方向包括开发更高效的采样策略（如重要性采样）或使用轻量级代理模型来近似不确定性。其次，权重调优方面，虽然论文声称使用固定权重是“即插即用”的，但消融研究显示不同模型的最优权重组合不同。一个改进方向是开发自适应权重学习机制，根据模型特性和任务特征动态调整权重。第三，校准数据需求方面，当前方法需要专门的校准集，这在资源受限或数据稀缺的场景中可能不切实际。可以探索少样本校准或在线自适应校准方法。第四，区域提取方面，当前使用固定的patch size=14和阈值β=0.3，这些超参数可能不适用于所有分辨率和UI密度。可以开发自适应的区域提取策略，根据界面复杂度动态调整参数。最后，级联策略方面，当前只是简单地将高不确定性样本转交给更强模型，没有考虑不同类型的不确定性可能需要不同的处理策略（如请求用户澄清、提供多个候选等）。

论文作者和基于本文成果可以延伸的未来研究方向包括多个维度。作者提出的方面：SAFEGROUND为不确定性感知的GUI grounding奠定了基础，未来可以探索将不确定性估计集成到模型训练过程中，而不仅仅是后处理；可以研究如何将SAFEGROUND扩展到其他GUI交互任务，如元素识别、操作序列规划等。基于成果可延伸的方向：首先，多模态不确定性融合，将视觉不确定性（如界面模糊、遮挡）与语言不确定性（如指令歧义）相结合，提供更全面的可靠性评估。其次，主动学习与不确定性引导的数据收集，利用不确定性识别模型最需要改进的案例，指导数据标注和模型微调。第三，层次化风险控制，根据不同操作的严重程度（如浏览vs支付）动态调整风险水平，实现更细粒度的安全控制。第四，跨平台泛化，研究SAFEGROUND在不同操作系统（Windows、macOS、移动端）和不同应用类型（Web、桌面应用、移动应用）中的适应性。最后，人机协作不确定性解决，当系统检测到高不确定性时，不仅是拒绝或转交，还可以与用户进行交互式澄清，构建更智能的人机协作系统。

从复现评估角度来看，SAFEGROUND具有较好的可复现性。代码和数据方面，论文基于公开的ScreenSpot-Pro基准测试，该基准包含1581个UI截图和自然语言指令，数据相对容易获取。论文使用的6个GUI grounding模型（Holo1.5-3B/7B、GUI-Actor-2VL-7B/2.5VL-7B、UI-TARS-1.5-7B、GTA1-7B）都是开源的，可以在HuggingFace等平台下载。算力需求方面，主要计算成本来自K=10次随机采样和阈值校准过程，对于单个模型在ScreenSpot-Pro上的完整评估，估计需要几小时到一天的GPU时间（具体取决于硬件）。复现难度中等，因为论文提供了详细的算法描述（Algorithm 1）和超参数设置（patch size=14、β=0.3、δ=0.05），但一些实现细节（如密度聚类的具体参数、区域提取的边界处理）可能需要参考附录或源代码。主要挑战在于准确理解论文中的数学符号和公式，特别是Clopper-Pearson置信区间的实现。总体而言，只要具备基本的深度学习实验环境和GUI grounding背景知识，复现SAFEGROUND的主要结果应该是可行的。