OpenWebRL：揭秘视觉网页智能体的在线多轮强化学习 OpenWebRL: Demystifying Online Multi-turn Reinforcement Learning for Visual Web Agents
提出开放框架，用少量监督数据+在线RL训练出能媲美闭源模型的视觉网页智能体
前置知识
POMDP（部分可观测马尔可夫决策过程）
POMDP 是一种强化学习问题形式化框架，其中智能体无法直接观察到环境的完整状态，只能通过观测获得部分信息。它由状态空间 S、观测空间 O、动作空间 A、转移函数 T 和奖励函数 R 组成。智能体必须基于观测历史来推断真实状态并做出决策。在网页导航场景中，智能体只能看到页面截图和元数据，而无法直接获取 DOM 树的完整结构，因此是典型的 POMDP 问题。
本文将多模态网页智能体训练形式化为 POMDP，理解这一框架有助于理解为什么智能体需要维护历史上下文、为什么环境反馈很重要，以及如何设计适合这种部分可观测环境的算法。
GRPO（Group Relative Policy Optimization）
GRPO 是一种无需 Critic 网络的策略优化方法，它用组内相对优势替代了传统 PPO 中的价值函数估计。具体来说，对每个任务采样一组轨迹，计算每条轨迹的奖励相对于组内奖励均值的标准差归一化值作为优势估计：$A_i = \frac{R_i - \mu_G}{\sigma_G + \epsilon}$。这种设计消除了训练价值网络的计算开销，特别适合大模型场景。
本文在 GRPO 基础上扩展出多轮版本 MM-GRPO，将轨迹级奖励传播到该轨迹的所有轮次的所有 token。理解 GRPO 的工作原理有助于理解本文如何在没有价值函数的情况下进行有效的策略优化。
轨迹级判断（Trajectory-level Judging）
轨迹级判断是一种奖励设计方式，不在每个步骤给出奖励，而是在整个轨迹完成后，用 judge 模型综合评估任务是否成功完成。Judge 模型输入包括任务指令、最终答案、近期截图和完整交互历史，输出成功/失败判断和理由。这种方式适合那些难以定义中间奖励的开放式任务。
网页导航任务往往只有最终成功与否的明确信号，中间步骤很难设计合理的奖励。本文采用轨迹级判断，这是理解其奖励设计和优化目标的关键。
重要性采样比（Importance Sampling Ratio）
重要性采样比 $\rho_t = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}$ 衡量新策略与旧策略在同一状态下选择同一动作的概率比值。在策略梯度方法中，这个比值用于校正从旧策略收集的数据在新策略下的梯度估计。PPO 通过 clip 操作限制这个比值在 $[1-\epsilon, 1+\epsilon]$ 范围内，防止过大的策略更新。
本文使用带 clip 的 GRPO 目标，理解重要性采样比及其 clip 机制有助于理解本文如何稳定训练过程，特别是在非平稳的网页环境中。
研究动机
当前最强的视觉网页智能体主要依赖于在大量人工标注轨迹上的监督后训练。例如，领先的开源智能体 MolmoWeb 需要在 278K 条精心策划的轨迹上进行微调，这带来了严重的可扩展性瓶颈。高质量演示轨迹的收集成本极高，而静态数据集难以覆盖开放万维网的多样性和动态变化。虽然在线强化学习在文本智能体上展现出前景，但将在线 RL 应用于视觉智能体直接在真实网站上进行训练的潜力尚未得到充分探索。网页环境具有动态性和非平稳性，实时浏览器交互缓慢且脆弱，开放式任务往往缺乏可靠的基于规则的验证，这些都使得在线 RL 面临与受控环境本质上不同的挑战。
本文的目标是本文的目标是构建一个完全开放的框架，通过直接与实时网站交互来训练视觉网页智能体。作者不仅希望提升视觉网页智能体的性能，更重要的是系统研究使在线 RL 对开放网页学习有效的关键组件。具体目标包括：设计可扩展的实时浏览器基础设施、开发高效的多模态上下文管理策略、构建可靠的轨迹级成功判断机制，以及验证在小规模监督初始化下通过在线 RL 是否能让紧凑模型达到甚至超越大规模监督训练的性能。
与已有工作不同的是，本文的独特切入角度在于将在线 RL 从黑盒配方转变为透明系统，系统地研究开放网页学习背后的关键因素。与此前专注于文本智能体在模拟或自托管环境中的 RL 工作不同，本文研究完全开放的在线 RL，在实时网站上训练和评估紧凑的多模态视觉智能体。与 PAE 和 WebGym 等最接近的工作相比，本文在 RL 形式化上更加完整，不再依赖昂贵的专有评估，而是蒸馏出开源的 judge 模型。与 MolmoWeb、FARA 等依赖大规模监督训练的工作相比，本文展示了仅用 0.4K 监督轨迹和 2.2K RL 训练任务即可达到 SOTA 性能，打破了必须依赖大规模静态数据集的范式。
核心方法
OpenWebRL 框架的整体思路是从通用 VLM 出发，先用少量高质量监督轨迹进行预热，将策略置于能够有效探索的行为空间区域，然后通过在实时网页环境中进行在线交互收集轨迹，使用多模态多轮 GRPO 算法更新模型。技术路线上，框架由三个核心组件构成：首先是基于 Orchard Env 的故障容错浏览器基础设施，支持大规模并行轨迹收集和结构化失败归因；其次是智能体框架，包含多工具调用接口、文本环境反馈和多模态上下文管理；最后是扩展到多模态和多轮场景的 GRPO 优化目标，配合轨迹级判断模型提供训练信号。这种设计使得在线智能体 RL 更高效、更可靠。
本文的核心创新点在于证明了有效的在线 RL 可以让紧凑的 4B-8B 模型在实时网页任务上与大规模专有系统竞争，而无需依赖大规模静态演示数据集。具体创新包括：仅用 412 条监督轨迹进行预热，避免了过度模仿对后续 RL 有效性的削弱；蒸馏出 8B judge 模型在保持性能的同时将评估成本降低约 545.5 美元；设计文本环境反馈机制，在每一步提供简洁的执行结果摘要，让智能体能区分成功操作和静默失败；保留完整历史推理轨迹作为文本记忆，避免保留所有历史截图的巨大开销；采用非对称 clip 参数（epsilon_low = 0.2, epsilon_high = 0.28）和轨迹级动态采样，稳定训练过程并创建自然课程；使用两阶段 rollout 长度课程（先 15 步后 30 步），平衡早期探索稳定性和长程任务能力。
方法步骤详情
完整的方法步骤如下：数据准备阶段，从 WebGym 的 292K 原始任务中过滤掉与评估基准重叠的任务、子任务、长尾或不稳定网站任务以及近似重复任务，使用 Qwen3-Embedding-8B 嵌入任务意图并应用贪婪相似性去重，阈值设为 0.99 得到 SFT 候选池 15,601 个任务，阈值 0.95 得到 RL 任务池约 2.2K 任务。监督微调阶段，用 Qwen3-VL-235B-A22B-Thinking 作为教师模型在筛选后的种子任务上收集轨迹，每个任务采样 4 条独立轨迹并用 GPT-4.1 判断成功，从 PAE-WebVoyager 子集中为每个任务组选择最短的成功轨迹，限制每个网站的任务数量以提升领域多样性，得到 412 条轨迹的 SFT 数据集，用多轮行为克隆训练 Qwen3-VL-4B-Thinking 得到预热模型。在线 RL 阶段，使用故障容错的浏览器环境在实时网站上收集轨迹，每个步骤包含多模态观察（截图、URL、视口尺寸、标签页元数据）和文本环境反馈，智能体输出推理块后跟一个或多个工具调用块，环境解析并顺序执行浏览器操作，返回每步反馈和下一张截图。对每个任务采样一组 G 条轨迹，使用 judge 模型评估轨迹级奖励，计算组内相对优势，将该优势分配给轨迹中所有轮次的所有响应 token，使用带非对称 clip 的 MM-GRPO 目标更新策略。训练过程采用两阶段 rollout 长度课程：90 迭代最多 15 步，然后 50 迭代最多 30 步，总共约 300 B200 GPU 小时，收集约 54K 在线轨迹。
技术新颖性
本文的技术新颖性体现在多个方面。在 RL 算法设计上，首次将 GRPO 扩展到多模态多轮场景，将轨迹级奖励信号传播到轨迹的所有轮次，并采用非对称 clip 参数和轨迹级动态采样稳定训练。在上下文管理上，提出将视觉定位与长期记忆分离的思路，仅保留最近 K 张截图（默认 K=1），而将历史推理轨迹作为紧凑文本记忆保留，避免了 30 步轨迹超出 64k token 上下文预算的问题。在奖励设计上，蒸馏出开源 8B judge 模型替代昂贵的专有 GPT-4.1 评估，在保持性能的同时大幅降低成本，这是首个在在线 RL 场景下成功蒸馏 judge 的工作。在基础设施上，设计故障容错的浏览器环境和多工具调用接口，使得大规模并行轨迹收集在动态、不稳定的实时网页环境中可行。在训练策略上，系统研究了监督预热的影响，发现适度预热（0.4K 轨迹 3 epoch）优于过度预热（1.9K 轨迹 3 epoch），这挑战了更多监督数据总是更好的直觉。
实验结果
OpenWebRL-4B 在三个实时网页基准上建立了新的开源 SOTA。在 WebVoyager 上达到 74.1% 成功率，Online-Mind2Web 上 67.0%，DeepShop 上 64.0%，平均成功率 68.4%。这些结果显著超越了之前的开源智能体：在 Online-Mind2Web 和 DeepShop 上，相比 FARA-7B 分别提升 32.9 和 37.8 个百分点，相比 MolmoWeb-8B 分别提升 31.7 和 21.7 个百分点。值得注意的是，OpenWebRL-4B 仅用 4B 骨干网络、30 步评估预算和远小于先前系统的训练集就实现了这些性能。Scaling 到 8B 模型进一步将平均成功率提升到 68.7%（30 步）和 69.2%（50 步）。在与专有系统的对比中，OpenWebRL-4B 和 8B 在 Online-Mind2Web 和 DeepShop 上超越了多个闭源智能体，包括 GPT-5、Gemini-3-Flash、GPT-4o、o3 以及 OpenAI/Gemini computer-use agents。实验表明监督预热和 MM-GRPO 都对最终性能有贡献：对于 4B 骨干，SFT 将平均成功率从 39.3% 提升到 52.0%，MM-GRPO 进一步提升到 68.4%，相比 SFT 提升 16.4 个百分点，相比基线模型提升 29.1 个百分点。8B 骨干呈现类似趋势。训练动态分析显示 SFT 初始化不仅加速优化，还将策略置于更好的行为空间区域，使在线探索更有效。MM-GRPO 训练过程中响应长度增加不是均匀的，而是选择性扩展现有推理模式，如历史总结、阻塞诊断、重试规划和条件证明推理，这些模式的 step 级出现率从 14.5% 增加到 21.4%（历史总结）、14.2% 增加到 23.7%（阻塞诊断）。测试时缩放实验显示 pass@4 成功率超过 90%，表明在线 RL 不仅提升了单次尝试成功率，还让智能体学习了更丰富的可行交互策略分布。消融实验显示：rollout 长度课程（先 15 步后 30 步）优于固定预算，仅用 30 步训练在 WebVoyager 上性能下降 7.4 个百分点；移除文本环境反馈导致性能下降 5.2-8.0 个百分点；移除历史推理导致最严重退化（14.6-23.7 个百分点）；保留两张最近截图没有带来一致收益。蒸馏的 OpenWebRL-Judge-8B 在与 GPT-4.1 标签的 500 条轨迹上达到 89.8% 准确率和 92.1% F1 分数，优于 WebJudge-7B、Qwen3-VL-32B 和 GPT-4o 等基线。使用该 judge 训练的 OpenWebRL-4B 达到与使用 GPT-4.1 judge 几乎相同的性能（68.3% vs 68.4%），而使用 Qwen3-VL-8B 作为 judge 则出现明显的奖励黑客行为。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WebVoyager（开放域网页导航） | 成功率 (%) | 74.1 (OpenWebRL-4B) | 78.2 (MolmoWeb-8B) | 相比 FARA-7B (+0.6)，相比 MolmoWeb-8B (-4.1) |
| Online-Mind2Web（长程网页任务） | 成功率 (%) | 67.0 (OpenWebRL-4B) | 35.3 (MolmoWeb-8B) | +31.7 |
| DeepShop（多约束购物任务） | 成功率 (%) | 64.0 (OpenWebRL-4B) | 42.3 (MolmoWeb-8B) | +21.7 |
| Online-Mind2Web | 成功率 (%) | 67.0 (OpenWebRL-4B) | 58.3 (OpenAI CUA) | +8.7 |
| DeepShop | 成功率 (%) | 64.0 (OpenWebRL-4B) | 24.7 (OpenAI CUA) | +39.3 |
局限与改进
作者承认的局限性包括：首先，OpenWebRL 的性能在某种程度上仍依赖于基础模型的能力，更好的基础模型可能带来进一步提升。其次，虽然蒸馏了开源 judge 模型降低了成本，但初始的 GPT-4.1 标注仍需依赖专有 API。第三，实验主要在 4B 和 8B 模型上进行，更大模型的 scaling 行为有待进一步研究。第四，训练过程需要约 300 B200 GPU 小时，计算成本仍然较高，可能限制某些研究团队的复现。第五，虽然框架设计为开放和可复现，但评估依赖 Browser-Use Stealth Browsers 这一付费第三方服务，影响了精确复现的可访问性。从分析来看，失败案例中访问和环境问题占 51%，推理和约束跟踪限制占 27%，视觉定位和交互错误占 13%，任务定义或 judge 问题占 9%，这表明未来进展不仅需要更强的策略，还需要更稳健的开放网页智能体基础设施。
独立分析的弱点
从独立分析来看，OpenWebRL 存在几个弱点可以改进。首先，框架假设任务有明确成功标准，但对于模糊或多解的开放式任务，轨迹级判断可能不够可靠，可以引入子目标分解和中间里程碑判断来提供更细粒度的训练信号。其次，上下文管理策略虽然有效，但固定 K=1 可能不适合所有场景，特别是需要跨步骤比较视觉变化的任务（如查找不同页面的相似元素），可以研究自适应视觉记忆策略，根据任务类型动态调整保留的截图数量。第三，训练过程需要大量在线交互，而网页环境变化快，模型学到的策略可能过时，可以引入持续学习机制定期在新任务上更新。第四，故障归因虽然区分了环境失败和模型行为，但没有学习如何从环境中恢复，可以增加显式的恢复策略训练。第五，judge 模型虽然蒸馏成功，但仍有 10% 左右的判断误差，这会影响 RL 信号的质量，可以研究 judge 模型的主动学习和迭代改进。
未来方向
作者提出的未来工作方向包括：研究更大模型的 scaling 行为，探索是否在线 RL 的优势在更大模型上更加明显；扩展到更多类型的工具和领域，验证框架的泛化能力；研究更高效的采样和优化策略，进一步降低训练成本；改进 judge 模型的质量和效率。基于本文成果可以延伸的方向包括：研究 curriculum learning 的自动化设计，根据任务难度和策略进度自动调整 rollout 长度和任务分布；探索多智能体协作，不同智能体探索不同策略空间并通过共享经验提升整体性能；研究安全性和可控性，确保在线 RL 不会对真实网站造成不良影响；将框架应用到实时视频游戏、虚拟助手等其他长程交互场景；研究理论保证，理解在线 RL 在非平稳环境中的收敛性质。
复现评估
作者计划开放训练数据、模型和代码，这是促进可复现研究的重要举措。从论文描述来看，数据准备和训练过程的细节相当完整，包括任务过滤阈值、教师模型选择、SFT 轨迹选择规则、RL 超参数等。论文详细描述了 agent harness 的设计、环境反馈的提取方式、上下文管理的具体实现、MM-GRPO 目标的公式推导等关键组件。实验部分提供了详细的训练设置，包括迭代次数、rollout 步数预算、GPU 时间、收集的轨迹数量等。消融实验系统研究了各个设计选择的影响，增加了研究的透明度。然而，复现仍面临几个挑战：评估依赖 Browser-Use Stealth Browsers 这一付费服务，可能增加复现成本；初始训练需要约 300 B200 GPU 小时，计算资源需求较高；judge 模型的蒸馏过程依赖 GPT-4.1 标注，虽然开源了最终的 judge 模型，但完整复现需要访问 GPT-4.1 API。总体而言，论文的可复现性在开放网页智能体领域处于较好水平，但完全复现仍需相当的计算和资金投入。
论文图表
