持续学习GUI智能体：面向动态域和分辨率的锚定强化微调框架 Continual GUI Agents

GUI-AiF的方法包含以下完整步骤：第一步，问题建模。定义两类持续GUI任务序列——域序列 $T_D = \{t_{d1}, t_{d2}, ..., t_{dn}\}$ 和分辨率序列 $T_R = \{t_{r1}, t_{r2}, ..., t_{rn}\}$，智能体按顺序在每个任务上训练。第二步，标准GRPO优势计算。对每个指令生成 $N$ 个预测边界框 $\{bp_1, bp_2, ..., bp_N\}$，计算每个预测的奖励分数 $r_i$，通过组归一化得到优势值 $A_i = \frac{r_i - \text{Mean}}{\text{Std}}$。第三步，APR-iF计算。提取每个预测边界框的中心点 $cp_i = (\frac{x_{p1,i}+x_{p2,i}}{2}, \frac{y_{p1,i}+y_{p2,i}}{2})$，计算中心点的质心 $\bar{cp} = \frac{1}{N}\sum_{j=1}^{N} cp_j$，然后计算空间方差 $R_p = \frac{1}{N}\sum_{i=1}^{N}|cp_i - \bar{cp}|^2$。第四步，ARR-iF计算。将每个预测边界框建模为高斯分布 $N_i(\mu_i, \Sigma_i)$，其中均值为中心点，协方差矩阵与宽高成正比。计算每对预测间的Bhattacharyya距离 $D_B(N_i, N_j)$，取所有配对的平均值作为区域分离度 $R_r = \frac{2}{N(N-1)}\sum_{i=1}^{N-1}\sum_{j=i+1}^{N} D_B(N_i, N_j)$。第五步，奖励整合与优化。计算综合奖励 $R_{AiF} = \alpha \cdot R_p + \gamma \cdot R_r$，将其与GRPO优势 $A_t$ 结合，通过KL正则化的目标函数 $J(\theta)$ 更新策略。

GUI-AiF的技术新颖性体现在多个层面。首先，在奖励设计层面，APR-iF和ARR-iF是首次将GUI定位的物理空间特征（交互点位置和元素区域尺度）显式编码为强化学习奖励的工作。这种设计源于一个关键洞察：GUI环境漂移的本质是交互区域在物理空间中的位移和缩放，因此奖励信号应该直接作用于这一物理空间，而非间接通过参数正则化来应对。其次，在数学建模层面，ARR-iF将边界框转换为高斯分布并利用Bhattacharyya距离衡量分离度的做法具有独创性——Bhattacharyya距离提供了两个多元高斯分布间距离的闭式解，避免了采样近似，计算高效且数学上优雅。第三，在理论发现层面，论文揭示了GUI持续学习中一个反直觉的现象：旨在促进泛化的GUI-AiF奖励与旨在优化当前任务性能的RFT奖励之间存在负相关（相关系数 $r = -0.538$ 和 $r = -0.634$），这意味着「利用」和「探索」在GUI定位中存在本质张力。这一发现不仅验证了GUI-AiF设计的必要性，也为后续研究提供了重要的理论洞见。

第一，超参数设置存在不一致性。论文主体实验设置 $\alpha=15, \gamma=0.5$，但超参数敏感性分析（Figure 3）显示 $(\alpha, \gamma) = (1, 1)$ 在三个基准上达到最优。这种不一致削弱了实验结论的可信度，建议统一使用最优超参数重新报告结果。第二，基线方法的选择不够全面。论文仅与GUI领域的方法比较，未纳入通用持续学习方法（如EWC、PackNet、Progressive Neural Networks等）作为基线，难以判断GUI-AiF的收益有多少来自GUI特定设计，多少来自RFT框架本身。第三，评估场景过于简化。真实的GUI持续学习可能面临类别不平衡（某些平台数据远多于其他）、噪声标签、任务边界模糊等挑战，论文的理想化设置可能高估了方法的实际效果。建议增加更贴近实际的评估设置，如数据流式到达、任务边界未知等场景。第四，可视化分析（Figure 6）仅展示了单个案例，缺乏定量的注意力/热力图分析，难以从统计层面验证方法的有效性。

论文作者提出的未来方向包括：探索更多类型的GUI漂移场景，如布局漂移（应用更新）、外观漂移（深色模式）和本地化漂移（语言变化）。基于现有成果，可以延伸以下方向：第一，将GUI-AiF扩展到多模态持续学习——当前仅关注视觉定位，未来可以同时处理GUI理解和动作规划的持续学习；第二，探索自适应超参数机制——论文发现 $\alpha$ 和 $\gamma$ 对不同漂移类型敏感度不同，可以设计自动调整这两个权重的元学习方法；第三，引入课程学习策略——按难度递增的顺序组织任务序列（如从相似域到差异大的域），可能进一步提升持续学习效果；第四，结合模型架构创新——当前方法在固定架构上优化，可以探索参数隔离（如Adapter池）与GUI-AiF奖励的协同效果；第五，在真实产品环境中验证——与操作系统厂商合作，在真实的应用更新和系统升级场景中测试GUI-AiF的实用价值。

论文提供了较好的复现基础。代码已在GitHub开源（仓库名GUI-AiF），这大大降低了复现门槛。训练使用4张NVIDIA A100-80G GPU，训练1个epoch，学习率1e-6，全局batch size 8，每个指令生成4个预测。这些配置在学术环境中相对容易获取。骨干模型Qwen2.5VL-3B是公开可下载的。训练数据集Widget Captioning、ShowUI-web和OmniACT均为公开数据集。评估基准ScreenSpot-V1、V2和Pro也是公开的。然而，存在一些复现挑战：第一，超参数 $\alpha=15, \gamma=0.5$ 与论文敏感性分析显示的最优值 $(1,1)$ 不一致，复现时需要明确使用哪组超参数；第二，论文提到使用Flash Attention 2和bfloat16精度，这些对GPU架构有特定要求；第三，持续学习的训练顺序（Mobile→Desktop→Web）可能影响结果，论文未提供不同顺序的消融。总体而言，复现难度中等，主要障碍在于算力需求和超参数的不确定性。