GUI-Libra：通过动作感知监督和部分可验证强化学习训练原生GUI代理进行推理和行动 GUI-Libra: Training Native GUI Agents to Reason and Act with Action-aware Supervision and Partially Verifiable RL
提出动作感知SFT和保守RL框架，解决GUI代理推理-定位干扰和部分可验证奖励下的训练不稳定问题
前置知识
原生GUI代理（Native GUI Agent）
指单一端到端模型，直接将用户指令和屏幕截图映射为可执行动作，无需依赖外部规划器或独立的定位模块。这类代理通过视觉语言模型（VLM）实现，能够理解图形界面并输出点击、输入、滚动等操作。与模块化方法不同，原生代理将感知、推理和行动统一在一个模型中，具有更简洁的架构和更好的端到端优化潜力。
本文的核心研究对象就是原生GUI代理，理解其架构特点有助于把握论文的方法设计动机和实验设置
链式思维推理（Chain-of-Thought, CoT）
一种让模型在生成最终答案前先输出中间推理步骤的技术。在GUI代理场景中，CoT表现为模型先描述观察到的界面元素、反思当前状态、规划下一步行动，然后输出结构化的动作指令。这种显式推理可以提升模型的可解释性和复杂任务的处理能力，但也可能带来推理-定位干扰问题。
论文发现长CoT推理会损害GUI定位准确性，这是提出动作感知SFT的关键动机
部分可验证奖励（Partially Verifiable Reward）
在GUI交互中，每个状态可能存在多个正确的动作可以推进任务，但离线监督通常只验证一个示范动作。这导致奖励信号具有模糊性：正反馈（匹配示范动作）是可靠的，但负反馈（不匹配示范动作）可能是模糊的，因为其他有效动作也被错误地标记为失败。
这是论文识别的核心问题，直接影响强化学习的稳定性和效果
GRPO（Group Relative Policy Optimization）
一种策略梯度算法，通过在相同状态下采样一组候选动作，计算组内相对优势来更新策略。具体来说，GRPO对每个状态采样G个动作，计算每个动作的奖励，然后通过组归一化得到优势估计。这种方法避免了传统Actor-Critic架构中价值函数估计的复杂性，但标准GRPO在部分可验证奖励下可能产生有偏梯度。
论文基于GRPO进行改进，引入KL正则化和成功自适应负梯度缩放来解决部分可验证性问题
KL散度正则化（KL Divergence Regularization）
在强化学习中，通过约束当前策略与参考策略之间的KL散度来防止策略过度偏离。KL散度衡量两个概率分布的差异，较小的KL约束可以保持策略在参考策略附近，避免分布偏移过大导致的训练不稳定。
论文证明在部分可验证奖励下，适度的KL正则化对控制分布偏移和奖励模糊性至关重要
研究动机
开源原生GUI代理在视觉定位和低级动作执行方面取得了显著进展，但在需要高级推理和精确动作协调的长程导航任务上仍落后于闭源系统。这种差距源于两个具体问题：第一，现有GUI导航数据集通常缺乏显式的推理轨迹、包含较短或弱定位的推理痕迹，或带有噪声的动作标签，无法为学习鲁棒且可解释的策略提供有效监督。第二，通用后训练流水线没有充分考虑GUI代理的独特属性。具体来说，标准SFT使用长链推理（CoT）往往会损害定位准确性，导致许多方法选择抑制显式推理而非解决根本矛盾。同时，逐步RLVR风格的训练面临部分可验证性：在每个步骤中，多个动作可能正确推进任务，但离线监督仅验证一个示范动作，这导致奖励模糊性和训练不稳定。
本文的目标是本文的具体目标是设计一个统一的后训练框架GUI-Libra，系统性地解决GUI代理训练中的两个关键挑战：推理-定位干扰和部分可验证奖励下的训练不稳定。具体目标包括：1) 构建高质量的GUI推理数据集，缓解动作对齐推理数据的稀缺问题；2) 提出动作感知SFT方法，在保留推理能力的同时减轻长CoT导致的定位性能下降；3) 设计保守RL策略，通过KL正则化和成功自适应负梯度缩放来稳定部分可验证奖励下的训练；4) 在多个网页和移动基准测试上验证框架的有效性，实现离线指标与在线任务成功率的更好对齐。
与已有工作不同的是，本文的独特切入角度在于系统性地识别并解决了GUI代理训练中的两个被忽视的关键问题。与现有工作相比，GUI-Libra抓住了以下被忽视的点：1) 大多数RLVR流水线直接移除KL正则化以提高效率，但论文理论分析表明在部分可验证、多步骤GUI设置中，KL信任域对控制分布偏移和奖励模糊性至关重要；2) 现有方法要么完全丢弃推理轨迹以保持定位准确性，要么使用短推理但效果有限，而论文提出通过混合数据和token重加权来平衡推理与定位；3) 论文建立了离线指标与在线性能之间可预测性的理论框架，分析了占用不匹配系数和离线演示外有效质量这两个控制因素，为GUI代理RL训练提供了理论指导。
核心方法
GUI-Libra的核心思路可以类比为训练一个既能思考又能精准行动的助手。想象一个新手学习操作复杂软件：如果只让他模仿专家的操作步骤（标准SFT），他可能学到表面动作但不理解为什么；如果让他先思考再行动（CoT），思考过程可能干扰精确操作；如果只通过试错学习（RL），他可能因为多个正确答案而困惑。GUI-Libra的解决方案是：首先构建高质量的'思考-行动'对齐数据，然后通过动作感知训练让模型学会何时思考、何时直接行动，最后通过保守的强化学习在保持探索的同时避免策略崩溃。技术路线上，框架分为两个阶段：第一阶段是动作感知SFT，使用混合推理-动作和直接动作数据，并通过token重加权强调动作和定位token；第二阶段是保守RL，基于GRPO算法，引入KL正则化控制分布偏移，并使用成功自适应负梯度缩放处理模糊负反馈。
GUI-Libra最本质的创新在于识别并解决了GUI代理训练中的两个核心矛盾。第一个矛盾是推理-定位干扰：长链推理（CoT）可以帮助模型理解任务和规划行动，但过长的推理序列会干扰精确的UI元素定位。论文提出动作感知SFT，通过混合训练数据和token重加权来平衡：在训练数据中同时包含推理-动作对和直接动作对，让模型学会两种模式；在损失函数中对动作token和定位token赋予更高权重（α_a=2, α_g=4），确保模型在生成长推理时仍能保持定位精度。第二个矛盾是部分可验证奖励下的训练不稳定：在GUI交互中，多个动作可能都正确，但离线数据只标记一个。论文理论证明，适度的KL正则化可以控制两个关键量：占用不匹配系数C(π)和离线演示外有效质量η̄_π，从而保持离线指标与在线性能的可预测性。此外，成功自适应负梯度缩放（SNGS）根据当前策略在演示动作上的集中程度来调整负梯度的权重，避免过度惩罚有效但未被标记的替代动作。
方法步骤详情
GUI-Libra的完整训练流程包含以下步骤：1) 数据构建与过滤：从多个公开数据源（如GUI-Odyssey、AMEX、AndroidControl等）聚合轨迹数据，通过统一结构化格式（推理痕迹+结构化JSON动作）进行增强。使用Qwen3-VL-8B进行10次随机重新预测，过滤掉一致性低于0.3的步骤；使用Qwen3-VL-32B验证坐标与动作目标的对齐性。最终得到81K SFT步骤和40K RL步骤。2) 动作感知SFT：构建混合数据集，包含推理-动作对和直接动作对（移除推理痕迹）。使用加权损失函数，对推理token权重α_r=1、动作token权重α_a=2、定位token权重α_g=4。3) 保守RL：使用GRPO算法，每个状态采样G=8个候选动作，计算组相对优势。引入KL正则化（系数0.001-0.005），约束当前策略与SFT参考策略的偏离。4) 成功自适应负梯度缩放：计算每个状态的组成功率p̂_g(s)，定义缩放因子λ_g(s) = min(λ_0 + κp̂_g(s), 1)，仅对负优势进行缩放。5) 奖励函数：格式奖励w_fmt=0.1检查输出结构，准确性奖励r_acc = r_act · r_val · r_g评估动作类型、文本值和坐标匹配。
技术新颖性
GUI-Libra的技术新颖性体现在三个方面：首先，在数据层面，论文提出了针对GUI推理数据的系统性构建和过滤流程，不同于AGUVIS等使用的简单提示生成，GUI-Libra扩展了GUI特定指南、强制格式约束，并允许生成器选择不同于标注的动作，只要理由充分。其次，在SFT层面，动作感知SFT通过混合数据和token重加权统一了推理-动作和直接动作两种训练模式，这是首次系统性地解决长CoT对GUI定位的干扰问题，不同于OpenCUA等仅使用混合数据但未分析其缓解定位下降的作用。第三，在RL层面，论文首次从理论上分析了GUI代理中部分可验证奖励的问题，证明了KL正则化对控制分布偏移和奖励模糊性的重要性，并提出了成功自适应负梯度缩放机制。这与标准RLVR方法（如UI-R1、GUI-R1）直接移除KL项的做法形成鲜明对比，为GUI代理的RL训练提供了新的理论指导。
实验结果
GUI-Libra在多个离线和在线基准测试上实现了显著且一致的性能提升。在离线基准测试中，GUI-Libra-3B在AndroidControl-v2高级任务上的Pass@1从36.4%提升至57.3%（+20.9），在MM-Mind2Web-v2平均Pass@1从23.4%提升至42.7%（+19.3）。GUI-Libra-4B/8B在AndroidWorld在线基准测试上分别达到42.6%和42.6%的成功率，相比基础模型Qwen3-VL-4B/8B的27.0%和30.4%分别提升了+15.6%和+12.2%。在Online-Mind2Web实时网站测试中，GUI-Libra-8B达到28.0%的平均得分，超过所有评估的原生模型，包括参数量大得多的Qwen3-VL-32B（26.8%）。在WebArena-Lite-v2本地部署的网页基准测试中，GUI-Libra-8B达到26.6%的平均成功率，优于ScaleCUA-32B（24.0%）和UI-TARS-72B（23.4%）。关键发现包括：1) 动作感知SFT有效缓解了长CoT导致的定位性能下降，在ScreenSpot-v2上，GUI-Libra-7B在推理模式下达到89.3%的定位准确率，甚至高于非推理模式的88.5%；2) KL正则化显著提高了离线指标与在线性能的可预测性，KL正则化模型的Pearson相关系数达到0.89（p<10⁻⁴），而无KL模型仅为0.63；3) 成功自适应负梯度缩放（SNGS）在AndroidWorld上为GUI-Libra-4B带来+3.5%的提升，在WebArena-Lite-v2上带来+2.2%的提升。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AndroidControl-v2（高级任务） | Pass@1 | GUI-Libra-3B: 57.3%, GUI-Libra-7B: 59.3%, GUI-Libra-4B: 62.3%, GUI-Libra-8B: 64.3% | Qwen2.5-VL-3B: 36.4%, Qwen2.5-VL-7B: 46.5%, Qwen3-VL-4B: 49.3%, Qwen3-VL-8B: 54.8% | +20.9%, +12.8%, +13.0%, +9.5% |
| AndroidWorld（在线） | 任务成功率 | GUI-Libra-3B: 25.2%, GUI-Libra-7B: 29.6%, GUI-Libra-4B: 42.6%, GUI-Libra-8B: 42.6% | Qwen2.5-VL-3B: 3.5%, Qwen2.5-VL-7B: 7.8%, Qwen3-VL-4B: 27.0%, Qwen3-VL-8B: 30.4% | +21.7%, +21.8%, +15.6%, +12.2% |
| Online-Mind2Web（实时网站） | 平均Overall（双评判平均） | GUI-Libra-3B: 21.3%, GUI-Libra-7B: 25.5%, GUI-Libra-4B: 25.7%, GUI-Libra-8B: 28.0% | Qwen2.5-VL-3B: 4.8%, Qwen2.5-VL-7B: 15.8%, Qwen3-VL-4B: 21.7%, Qwen3-VL-8B: 19.3% | +16.5%, +9.7%, +4.0%, +8.7% |
| WebArena-Lite-v2（本地网页） | 平均任务成功率 | GUI-Libra-3B: 16.7%, GUI-Libra-7B: 22.6%, GUI-Libra-4B: 24.4%, GUI-Libra-8B: 26.6% | Qwen2.5-VL-3B: 0.8%, Qwen2.5-VL-7B: 4.9%, Qwen3-VL-4B: 11.9%, Qwen3-VL-8B: 15.3% | +15.9%, +17.7%, +12.5%, +11.3% |
| ScreenSpot-v2（定位） | 定位准确率（推理模式） | GUI-Libra-3B: 83.4%, GUI-Libra-7B: 89.3% | SFT-3B: 73.4%, SFT-7B: 79.0% | +10.0%, +10.3% |
局限与改进
论文承认的局限性包括：1) 训练数据主要来自现有开源数据集，虽然证明了精心设计的后训练可以从有限数据中挖掘潜力，但未探索完全在线交互式训练的扩展；2) 完全在线RL成本高昂、速度慢，通常需要稳健的基础设施和仔细的系统设计，论文未系统研究将框架扩展到完全在线方案；3) 数据分布存在不平衡，SFT数据中移动端数据占主导（约85.7%），网页域数据仅占14.3%，这可能影响模型在网页场景的泛化能力。我观察到的额外局限：4) 成功自适应负梯度缩放（SNGS）对超参数敏感，论文提到在非SNGS相关消融中使用KL正则化GRPO来隔离其他组件效果，说明SNGS的稳定性有待提高；5) 论文主要关注Click和Write等常见动作类型，对于LongPress、Select等罕见动作的学习效果可能有限，因为这些动作在训练数据中占比很小；6) 评估主要在相对标准化的基准测试上进行，对于真实世界中高度复杂、多步骤的GUI任务（如跨应用协作）的泛化能力尚未充分验证。
独立分析的弱点
基于对论文的独立分析，我识别出以下几个具体弱点和改进方向：1) 数据构建依赖GPT-4o等闭源模型生成推理痕迹，这可能引入模型偏差且成本较高。改进方向：探索使用开源模型自我生成和迭代优化推理痕迹的方法，或设计基于规则的推理模板生成策略。2) 动作感知SFT的权重系数（α_a=2, α_g=4）需要手动调整，不同任务和模型规模可能需要不同设置。改进方向：设计自适应权重调整机制，根据训练过程中定位准确率和推理质量的动态变化自动调整权重。3) 成功自适应负梯度缩放（SNGS）的缩放因子λ_g(s)设计相对简单，仅考虑组成功率而未考虑动作的语义相似性。改进方向：引入基于动作语义相似度的缩放策略，对于与示范动作相似但不完全匹配的有效替代动作给予更温和的负梯度缩放。4) KL正则化系数在不同模型规模间差异较大（7B用0.005，3B用0.001），缺乏统一的选择标准。改进方向：研究自适应KL系数策略，根据训练过程中的策略偏移程度动态调整。5) 论文未探索课程学习策略，即先从简单任务逐步过渡到复杂任务的训练方式，这可能有助于提高训练效率和最终性能。
未来方向
基于论文成果，未来研究方向可以从以下几个方面展开：1) 扩展到完全在线RL训练：虽然论文证明了离线数据训练的有效性，但结合在线环境交互可能进一步提升性能。研究如何将GUI-Libra的保守RL设计扩展到在线设置，平衡探索效率和训练稳定性。2) 多模态推理增强：当前推理主要基于视觉观察，未来可以整合更多模态信息（如文本OCR、结构化DOM信息）来增强推理的准确性和深度。3) 跨平台泛化：论文主要在网页和移动端进行评估，未来可以探索桌面环境、车载系统等更多GUI平台的泛化能力。4) 长期记忆和状态跟踪：对于需要跨多个会话或长时间保持上下文的任务，研究如何在GUI代理中引入有效的记忆机制。5) 人机协作训练：探索人类反馈与自动奖励信号的结合，设计更符合人类偏好的GUI代理训练方法。6) 数据效率提升：研究主动学习策略，智能选择最有价值的训练样本，进一步减少对大规模标注数据的依赖。7) 理论深化：进一步分析部分可验证奖励下的最优策略结构，为GUI代理的RL训练提供更精确的理论指导。
复现评估
论文在可复现性方面提供了良好支持：1) 开源情况：论文明确承诺发布数据集、代码和模型，GUI-Libra-81K数据集已公开，包含9K轨迹的81K SFT步骤；2) 数据可获得性：所有训练数据均来自公开数据源（GUI-Odyssey、AMEX、AndroidControl等），无需额外数据收集；3) 算力需求：训练基于Qwen2.5-VL-3B/7B和Qwen3-VL-4B/8B，对于3B模型，SFT使用学习率1×10⁻⁵、批大小256，RL使用学习率1×10⁻⁶、rollout批大小256、组大小8。根据论文描述，完整的两阶段训练在单个8×A100 GPU集群上应在几天内完成；4) 复现难度：中等。框架设计相对清晰，但成功自适应负梯度缩放（SNGS）对超参数敏感，需要仔细调整。评估协议统一且详细，支持公平比较。5) 潑在挑战：数据过滤阶段需要运行Qwen3-VL-8B/32B进行重新预测和坐标验证，这增加了预处理成本；RL阶段的rollout采样需要一定的计算资源。
论文图表
图(a)显示在ScreenSpot-v2上，定位准确率与响应长度呈负相关，长响应导致性能下降。图(b)比较不同SFT策略的平均定位准确率，显示长推理痕迹导致显著性能下降。
这是论文识别推理-定位干扰问题的关键证据，直接支持动作感知SFT的设计动机