← 返回 2026-01-07

WebGym：基于真实任务的可扩展视觉Web智能体训练环境 WebGym: Scaling Training Environments for Visual Web Agents with Realistic Tasks

Hao Bai, Alexey Taymanov, Tong Zhang, Aviral Kumar, Spencer Whitehead 📅 2026-01-05 👍 18 2026-07-13 08:35
Web Agent WebGym 强化学习 视觉智能体
arXiv HuggingFace PDF

大规模视觉Web智能体训练环境，简单RL训练超越GPT-5

前置知识

视觉Web智能体

视觉Web智能体是指能够通过观察网页截图而非仅依赖文本结构来执行Web交互任务的AI系统。它们模拟人类的浏览方式，接收网页截图和元数据作为输入，生成点击、输入、滚动等浏览器支持的动作来推进任务。这种设计基于一个前提：Web交互的语义是由用户看到的渲染界面定义的，对视觉可交互元素进行推理能够在多样化且动态生成的网页间实现更鲁棒的泛化能力。

本文整个工作都围绕视觉Web智能体展开，理解这个概念是读懂论文的基础，包括任务设计、环境构建和训练方法都依赖于这个核心设定。

REINFORCE算法

REINFORCE是策略梯度方法的基础算法，它通过直接优化策略参数来最大化期望回报。在本文中，作者使用的是简化版的REINFORCE，仅保留成功轨迹的正梯度，避免失败轨迹的负梯度。具体来说，训练目标是最大化成功轨迹上所有动作的对数概率：arg max_θ E[∑ log πθ(a_t | o≤t, T) · 1[R(o_0:τ, T) = 1]]，其中θ是策略参数，πθ是策略函数，R是二值终端奖励。这种更新等价于在线过滤行为克隆，只保留成功的轨迹进行学习。

本文的训练核心就是这个简化的REINFORCE算法，理解它的工作原理和数学表达对于掌握论文的训练方法论至关重要。

非平稳性

非平稳性是指环境随时间变化的特性，在真实网站的语境下，这意味着每次访问同一个网站时，显示的内容可能完全不同。例如，每次访问电商网站首页，展示的产品集合可能不同；同样的操作序列在不同时间可能产生完全不同的结果。这种特性使得Web任务变得特别具有挑战性，因为智能体无法依赖固定的视觉模式或交互路径，必须学会适应不断变化的界面。

论文中反复强调真实网站的非平稳性是训练Web智能体的核心挑战之一，理解这一点有助于理解为什么需要大规模、多样化的训练环境。

研究动机

现有的Web智能体训练方法面临几个关键瓶颈。首先，训练环境规模有限，任务集通常太小且缺乏多样性，例如Test-Time-Interaction (TTI)等大规模训练设置中的任务相对简单，导致训练出的智能体在未见任务上经常失败，如在从ArXiv访问管理维护ArXiv的大学网站，该校目前有多少本科生这样的任务上无法完成。其次，真实网站具有非平稳性和多样性特点，人工构建或小规模的任务集不足以支持鲁棒的策略学习。第三，现有方法的rollout速度太慢，成为扩展训练的主要瓶颈。视觉Web任务需要对精细渲染的界面进行推理，往往缺乏明确的成功信号，使得数据收集缓慢且低效。这些挑战阻碍了视觉Web智能体的后训练方法扩展，特别是在多样性和长时程任务方面。

本文的目标是本文的目标是构建一个大规模、多样化的训练环境，使现有的视觉语言模型能够通过强化学习训练，高效解决复杂的Web任务。具体而言，WebGym要提供三个核心能力：一个包含近30万个任务、跨越广泛难度领域和评估标准的任务集，能够支持智能体在多样化和具有挑战性的场景中泛化；一个高效的异步rollout系统，能够在30分钟内使用128个CPU和24个NVIDIA H100 GPU收集1800条平均13.2步的轨迹；通过简单的REINFORCE训练算法，将Qwen3-VL-Instruct-8B在分布外测试集上的成功率从26.2%提升到42.9%，显著超过基于GPT-4o（27.1%）和GPT-5-Thinking（29.8%）的智能体。

与已有工作不同的是，本文的独特切入角度在于同时解决了任务集构建和rollout效率这两个被忽视但相互关联的瓶颈。与现有工作相比，WebGym采取了全新的策略：在任务集方面，不是简单地从现有基准收集任务，而是采用程序化方法生成结构化的评估标准(rubric)并将种子任务分解为有效的标准子集，同时实现领域广度和难度深度；在rollout系统方面，开发了首个专为Web智能体优化的异步多回合仿真系统，消除了同步障碍。大多数相关工作要么专注于评估基准，要么专注于特定的训练方法，但很少同时关注这两个基础设施层面的问题。WebGym抓住了训练视觉Web智能体需要大规模、多样化任务集和高效数据收集这两个被忽视的根本需求，为整个社区提供了可扩展的训练基础设施。

核心方法

WebGym的核心思想可以类比为建设一个大规模、多样化的训练健身房来培养Web智能体。就像健身房需要提供各种不同难度和类型的锻炼设备来培养综合体能一样，WebGym提供了近30万个任务、跨越127645个网站的训练环境，让智能体通过强化学习逐步掌握Web交互技能。技术路线上，WebGym包含两个主要组件：程序化任务集构建系统和异步rollout系统。任务集构建从10个现有基准收集种子任务，使用LLM生成结构化的评估标准，然后将这些任务分解为子任务以同时增加任务的广度和深度。异步rollout系统采用服务器/客户端架构，服务器托管仿真环境并使用master/worker范式，客户端托管智能体实例，通过消除同步障碍实现4-5倍的加速。智能体使用简化的REINFORCE算法进行训练，仅保留成功轨迹进行学习。

WebGym与已有方法最本质的区别在于同时突破了训练环境规模和数据收集效率两个瓶颈，实现了真正的可扩展训练。在任务集构建方面，WebGym创新性地提出了基于rubric的任务分解方法：使用LLM为每个任务生成结构化的评估标准，称为fact groups，每个group包含一个或多个评估事实。当原始任务满足至少2个fact groups且至少一个group包含3个或更多事实时，系统会生成有效的子集组合，每个子集必须包含至少一个大group以确保有意义的任务复杂度。这种方法生成的任务避免了过于简单的问题，严格比原始任务更简单，产生更密集的奖励信号，并且在原始任务定义良好时保证新生成的任务也定义良好。这与PAE等方法生成可能定义不当或无法解决的合成任务形成鲜明对比。在rollout系统方面，WebGym通过完全异步设计消除了传统的step和episode同步屏障，这是与现有同步rollout系统的根本区别。

方法步骤详情

WebGym的完整工作流程包括三个主要步骤：任务集构建、rollout收集和智能体训练。第一步，任务集构建从10个现有基准收集任务。对于没有指定具体网站的任务，使用GPT-4o推断合适的网站。然后使用GPT-4o生成评估rubric，结构化为fact groups，每个group包含一个或多个评估事实。将任务难度定义为所有groups中事实的总数。对于满足分解条件的任务，生成所有有效子集组合作为新任务。第二步，rollout收集使用异步系统：服务器托管浏览器环境，客户端托管智能体实例。任务被排队进入进程池，每个rollout的浏览器会话被隔离，新任务在资源可用时立即开始推理，消除全局同步屏障。第三步，智能体训练使用简化的REINFORCE算法：智能体在任务T的观察历史条件下采样动作，当智能体发出ANSWER动作或达到训练地平线时rollout终止。二值终端奖励指示轨迹是否在任务T上成功。训练目标增加成功轨迹上所有动作的对数概率，对不成功的轨迹赋予零权重。

技术新颖性

WebGym的技术新颖性体现在多个方面。首先，在任务集构建上，提出了结构化的rubric生成和任务分解方法，这与PAE方法可能生成定义不当或无法解决的合成任务形成对比，也不像AgentSynth那样需要执行智能体rollout来生成新任务，成本更低。其次，在rollout系统上，开发了首个专为Web智能体优化的异步多回合仿真服务器，这与现有的LLM RL基础设施工作形成互补，后者专注于系统级加速或算法级加速，而WebGym专注于通过高效的Web浏览仿真服务器加速rollout生成。第三，在训练设计上，提出了几个关键的创新设计：memory prompt使智能体在每个步骤响应时维护记忆，解决了长时程任务中跨步骤信息保留的问题；重复动作惩罚明确过滤出导致相同截图的步骤，即使当前步骤是成功轨迹的一部分；horizon控制将每个episode的最大交互步数从(15, 30, 45)减少到(10, 20, 30)，作为一种正则化器。这些设计选择的组合使得简单的REINFORCE算法能够实现强泛化到完全未见过的网站。

Asynchrony eliminates burst-idle behavior in web rollouts.
Figure 6: Asynchrony eliminates burst-idle behavior in web rollouts.

实验结果

论文的实验结果揭示了多个关键发现。首先，异步rollout系统实现了显著的加速：使用64个CPU时，系统在48.6分钟内收集1.8k rollouts，而同步系统需要264分钟，实现了5.4倍的加速。随着CPU数量增加到128个，rollout时间持续减少，但之后推理吞吐量趋于平稳，因为3个H100 GPU节点成为主要瓶颈。其次，训练效果显著：通过简单的REINFORCE训练，将Qwen3-VL-Instruct-8B在WebGym测试集上的成功率从初始的26.2%提升到42.9%，提升了16.7个百分点。这个结果显著超过了基于专有模型的智能体：GPT-4o达到27.1%，GPT-5-Thinking在300个任务的随机子集上达到29.8%。值得注意的是，WebGym的测试集仅包含训练期间未见过的网站上的任务，这与许多其他训练视觉Web智能体的先前工作不同。第三，论文系统地研究了任务集广度、深度和训练时交互地平线的影响。实验发现，移除一半子域相比使用所有WebGym任务一致地减缓了改进并降低了最终成功率（从34.5%降至31.0%），表明领域广度即使难度混合比不变也很重要。令人惊讶的是，仅在简单任务上训练表现良好且比过度强调中等和困难任务更稳定，仅在简单任务设置在总体成功率以及简单和中等测试任务上一直优于仅在中等任务。均匀采样从完整训练集获得了四个难度混合策略中最高的总体性能（38.2%），特别是在中等难度测试集上比仅在简单任务上训练有显著更高的成功率。缩短地平线提高了样本效率和跨所有难度分片的最终性能，成功率从之前最佳检查点的38.2%峰值提高到42.9%。

Task sourcing for WebGym.
Table 1: Task sourcing for WebGym.
WebGym empowers the small Qwen3-VL-Instruct-8B model to learn with RL to achieve state-of-the-art performance on the holdout test task set.
Table 2: WebGym empowers the small Qwen3-VL-Instruct-8B model to learn with RL to achieve state-of-the-art performance on the holdout test task set.
Benchmarking speed and throughput of the WebGym asynchronous rollout framework.
Figure 7: Benchmarking speed and throughput of the WebGym asynchronous rollout framework.
Ablations on base models, prompting, and action filtering.
Figure 8: Ablations on base models, prompting, and action filtering.
Exploring scaling dimensions of WebGym and difficulty-aware training.
Figure 9: Exploring scaling dimensions of WebGym and difficulty-aware training.
查看结构化数据
任务指标本文基线提升
WebGym OOD测试集 成功率(%) 42.9 GPT-5-Thinking +13.1
WebGym OOD测试集 成功率(%) 42.9 GPT-4o +15.8
WebGym OOD测试集 成功率(%) 42.9 Qwen3-VL-Instruct-8B (未训练) +16.7
Rollout收集效率 时间成本(分钟) 48.6 同步系统(264) 5.4x加速

局限与改进

论文指出了几个重要的局限性。首先，虽然任务集中提供了有意义的任务特定rubric，但LLM生成的rubric有时可能过于严格，这在训练期间略微降低了样本效率。这在评估器验证实验中得到了证实，其中一些rubric倾向于过度严格，特别是在更强的评估器模型中观察到召回指标的轻微回归。其次，论文使用的是简化的REINFORCE算法，没有基线或负梯度，虽然作者指出incorporating a baseline理论上应该进一步提高性能，但选择避免它以便更快的实验。第三，论文的Thinking模型实验显示，虽然Thinking模型初始性能更高，但产生显著更长的响应，导致更大的延迟成本和更多的计算需求。第四，论文的训练主要集中在简单的REINFORCE算法上，没有探索更先进的RL算法，如动态课程学习、多智能体训练或跨站点导航等方法，这可能进一步提高WebGym的利用效率。

独立分析的弱点

WebGym存在几个值得关注的弱点，每个都有具体的改进方向。首先，rubric生成依赖LLM，可能产生过于严格的标准，这会影响训练样本效率。改进方向包括探索将LLM生成的rubric作为软指导而非严格标准，例如训练一个同时基于rubric和任务指令的条件评估器，或者开发自适应rubric调整机制，根据训练进展动态调整严格度。其次，异步rollout系统虽然显著提高了速度，但在多节点协调上仍存在同步开销，导致扩展性亚线性。改进方向可以包括优化跨节点的协调机制，减少通信开销，或者采用更分布式的设计进一步水平扩展。第三，任务集虽然规模庞大，但难度分布可能不均衡，简单任务占80%，这可能在某些复杂场景下限制智能体的能力。改进方向可以包括有意识地增加中等和困难任务的比例，特别是针对特定领域的高难度任务，或者开发更精细的任务难度分级系统。第四，训练算法相对简单，没有利用更先进的RL技术。改进方向可以包括incorporating baseline减少方差，使用off-policy方法提高样本效率，或者探索curriculum learning方法动态调整任务难度。

未来方向

论文提出了几个有前景的未来研究方向。首先，在rubric-based评估方面，一个重要的方向是探索更先进的rubric-based评估设计。一个有前途的方法是将LLM生成的rubric视为软指导而非严格标准，例如训练一个同时基于rubric和任务指令的条件评估器。另一个方向是调查能够更有效利用WebGym的强化学习算法，特别是基于动态课程、自动课程学习、多智能体训练和跨站点导航的方法。其次，在训练Thinking模型方面，开发计算高效的RL配方来有效训练Thinking模型是一个有趣的方向，因为Thinking模型虽然初始性能更高，但产生显著更长的响应，需要更多的计算资源。第三，可以探索更复杂的基础模型和更大的模型规模，看看WebGym的训练方法是否能够扩展到更大的模型，以及是否能够获得更好的性能。第四，可以研究如何将WebGym与其他训练范式结合，例如监督微调、人类反馈强化学习等，看看是否能够进一步提高智能体的性能。最后，可以探索如何将WebGym应用到更广泛的场景，例如移动应用、桌面应用等其他交互式环境。

复现评估

WebGym的复现性相对较好。论文提供了详细的实现细节，包括超参数设置、prompt设计和系统架构。论文声称WebGym是开源的，这是复现的重要基础。数据集方面，WebGym从10个现有基准构建任务集，这些基准大多是开源的，这为复现提供了良好的基础。算力需求方面，论文的实验使用了3个节点的8个NVIDIA H100 GPU和最多768个AMD EPYC 7763 CPU，这对于大多数研究机构来说是相当大的资源需求。然而，论文也展示了在更小规模资源下的实验，这表明在资源受限的情况下仍然可以进行有意义的实验。复现难度方面，主要挑战在于构建大规模的训练环境和异步rollout系统，这需要相当多的工程工作。不过，论文提供了详细的设计说明，这应该能够帮助研究者复现关键结果。总体而言，WebGym的复现难度属于中等偏上，主要障碍是算力需求和工程复杂性，但开源性质和详细的文档应该能够支持有心复现的研究者。

论文图表

Example rollouts from visual web agents trained on different training environments.
Figure 1: Example rollouts from visual web agents trained on different training environments.

Figure 1展示了在不同训练环境中训练的视觉web智能体的示例rollouts对比。第一行显示在Test-Time-Interaction等先前大规模训练设置上训练的智能体在未见过任务上的失败案例，任务是从ArXiv访问管理维护ArXiv的大学网站并查找当前本科生数量，智能体无法成功访问Cornell网站。第二行显示在WebGym上训练的智能体成功解决任务的案例，任务是在laminex.com.au上查找产品代码，基础模型的智能体陷入重复行为，而使用WebGym训练的智能体成功解决了任务。

这张图对理解论文至关重要，因为它直观地展示了WebGym相比现有训练环境的优势，以及通过RL训练能够实现的性能提升，为读者提供了具体的使用场景对比。