AsyncWebRL：用于视觉网页智能体的高效多步强化学习 AsyncWebRL: Efficient Multi-Step RL for Visual Web Agents
通过异步系统设计和归一化修复，将视觉网页智能体的多步RL训练吞吐量提升2.9倍
前置知识
多步强化学习
多步强化学习是指智能体通过与环境进行多个时间步的交互来收集完整轨迹，然后基于整条轨迹的累积回报进行策略更新。与单步RL不同，多步RL能够捕捉长距离依赖关系，更适合处理需要序列决策的复杂任务，如网页浏览和机器人控制。在Web智能体场景中，每个轨迹可能包含数十个操作步骤，每步都需要观察页面截图、生成动作，并接收奖励信号。
本文核心工作就是在多步RL框架下进行系统优化和算法改进。如果不理解多步RL的机制，就无法理解为什么轨迹长度的归一化会影响梯度更新，也无法理解异步执行带来的off-policy gap问题。
异步强化学习
异步强化学习如A3C、IMPALA通过让多个worker并行收集数据，同时与训练器不断交换参数，打破了同步RL中必须等待所有worker完成一批数据才能更新的限制。在视觉网页智能体场景下，异步执行意味着数据收集即浏览器交互、梯度更新、策略刷新这三个操作可以重叠进行，充分利用GPU算力。但这也带来了off-policy问题，即训练batch中的token可能来自多个不同版本的策略。
本文系统设计的核心就是实现完全异步的多步RL。理解异步RL的概念和挑战特别是off-policy gap对于理解文中的decoupled importance sampling修正至关重要。
重要性采样
重要性采样是解决off-policy训练偏差的核心技术。当使用策略更新参数时，但数据来自旧策略，需要用重要性采样比率重新加权梯度，使期望保持无偏。在PPO中，这个比率会被裁剪到范围内以防止过度更新。异步RL中，这个比率需要同时捕捉两个信息，即自采样以来的策略变化和当前更新内的策略移动。
本文采用decoupled PPO将重要性采样比率分解为rollout-staleness项和current-update项，这是实现高效异步训练的关键算法创新。不理解重要性采样就无法理解这个分解的动机和效果。
研究动机
训练视觉网页智能体面临两类计算效率问题。第一类是同步RL中的GPU闲置时间，在WebGym等同步框架中，每个迭代周期需要等待所有worker完成轨迹收集，然后统一更新策略，这导致GPU在等待过程中产生气泡时间。更重要的是，每次迭代都要重建包含数百个浏览器会话的rollout pool，这会带来显著的预热成本。第二类问题是轨迹和token的低效使用，在multi-step GRPO中，失败轨迹平均12.5步而成功轨迹只有5.1步，但使用per-trajectory normalizer会导致失败轨迹中的每个token被弱化约2.4倍，使得策略在长失败轨迹上接收到的梯度信号不足，从而倾向于产生冗长的记忆模式。
本文的目标是本文的目标是在保持或提升性能的前提下，大幅提升视觉网页智能体多步RL训练的端到端吞吐量。具体来说，系统层面要实现rollout、梯度更新、策略刷新的完全异步重叠，消除迭代边界处的GPU气泡时间，算法层面要识别并修复导致轨迹膨胀和token低效使用的根本原因，在不损害最终成功率的前提下压缩轨迹长度和每步token数量。
与已有工作不同的是，本文的独特切入角度是将系统设计和算法创新统一在一个框架内，而非孤立解决效率问题。现有的开源框架要么是异步的但不支持视觉多步rollout，如AReaL等文本RL系统，要么支持视觉多步但采用同步执行，如WebGym。AsyncWebRL是首个同时满足三个属性的开源框架，即视觉感知每步需要处理高分辨率截图、多步决策轨迹包含数十个操作步骤、完全异步执行。更重要的是，本文不仅修复了系统瓶颈，还深入诊断了算法层面被长期忽视的归一化问题，揭示了它如何通过长度耦合的memory漂移机制导致轨迹膨胀和token低效。
核心方法
AsyncWebRL的整体思路是双管齐下，系统层面通过完全异步设计消除GPU闲置时间，算法层面通过修复归一化机制压缩轨迹长度。在系统设计上，采用everlasting rollout pool让rollout worker在迭代边界保持存活，连续不间断地收集数据，同时通过轻量级截图处理将图像张量保持在专用内存actor中，只通过RPC传递轻量引用，避免共享对象存储的磁盘溢出瓶颈。在算法设计上，采用decoupled PPO将重要性采样比率分解，并创新性地将multi-step GRPO中的per-trajectory normalizer替换为常数，其中是Easy难度的horizon 10，从而恢复长失败轨迹上的完整per-token梯度权重。
核心创新点有两个。系统层面的核心创新是轻量级截图处理与everlasting rollout pool的结合，这突破了异步视觉多步RL的瓶颈。每条轨迹包含数十张高分辨率截图，数百个并发rollout会在每训练步产生超过100 GiB的像素张量流量，传统的将张量嵌入trajectory字典并通过RPC对象存储传输的方式会导致对象存储溢出并触发磁盘spill路径，完全抵消异步优势。AsyncWebRL将所有截图存储在专用内存actor中，只传递轻量引用，将每步对象存储流量从约700秒降低到1秒。算法层面的核心创新是识别1除以轨迹长度为轨迹膨胀和token低效的根源并用常数1除以k替代。在网页智能体场景下，失败主要由horizon耗尽而非明显错误动作导致，因此失败轨迹系统性地更长。1除以轨迹长度会按轨迹长度衰减梯度，长失败轨迹上的token被弱化2.4倍，策略得不到足够惩罚去学习避免这些长失败，反而倾向于产生冗长的generic memory schema。
方法步骤详情
AsyncWebRL的完整训练流程包含以下步骤。首先是rollout收集，everlasting pool中的worker持续在浏览器环境中交互，每个episode结束后立即开始下一个，无需等待batch或迭代边界。当策略参数更新时，新权重通过in-place广播到所有worker，下一个rollout片段在更新后的策略下采样。截图被写入中央内存actor，轨迹数据包括对截图的引用被发送到训练器。其次是梯度更新，训练器从内存actor按需提取所需的截图张量，计算forward和backward，完成优化器步骤后立即释放已消费的图像。损失函数采用decoupled dual-clip GRPO形式，其中rollout-staleness因子是proximal除以behave策略的比率，current-update因子是theta策略除以proximal策略的比率，PPO clip以proximal策略为中心而非原始的behave策略。完整的损失函数包含轨迹级别的优势估计和group归一化。最后是评估和checkpoint，定期在OOD测试集上评估性能并保存模型checkpoint。
技术新颖性
AsyncWebRL的技术新颖性体现在多个层面。在系统层面，它首次在开源框架中实现了视觉多步RL的完全异步执行，突破了视觉感知、多步决策、异步执行三者难以兼得的工程挑战。轻量级截图处理是一个专门为视觉多步rollout设计的创新，将图像张量从RPC payload中完全剥离，从根本上避免了磁盘spill瓶颈。在算法层面，对1除以轨迹长度问题的诊断和修复是新颖的。虽然Dr. GRPO发现了单turn GRPO中token-level normalizer的长度偏置，但multi-step GRPO中的step-level normalizer问题此前未被研究。本文不仅识别了这个问题，还深入追踪了它如何通过长度耦合的memory漂移机制导致一系列下游症状，即轨迹膨胀、每步token增长、熵降低、generic schema，并提供了因果验证的ablation。Decoupled PPO在视觉web agent场景下的应用也是新颖的，虽然该技术已在文本RL中使用，但在视觉多步场景下能有效降低约一半的clip触发率。
实验结果
AsyncWebRL在WebGym OOD测试集上设立了新的开源SOTA，平均成功率从WebGym的42.9%提升到45.4%，即5.8%相对提升，但这个平均数字掩盖了真实分布。Easy难度几乎持平，即50.9%到52.4%和2.9%相对提升，而Medium和Hard难度分别实现了42%和48%的相对大幅提升，即24.1%到34.3%和4.8%到7.1%。这表明AsyncWebRL在更难的任务上带来更大增益，因为成功轨迹更稀少，REINFORCE风格的行为克隆损失在缓慢变化的高质量缓冲上无法有效压低主导失败模式，而GRPO的group-normalized advantage能同时在组内向下推低低于平均的轨迹。在Qwen3-VL-8B-Thinking变体上，平均成功率从32.0%提升到44.4%，Hard难度从1.2%大幅提升到11.3%。在训练效率方面，替换1除以轨迹长度为1除以k实现了显著的轨迹和token压缩。在匹配测试reward的前提下，1除以k版本的轨迹长度更短，每步token数更低。Instruct变体下，训练后期每步梯度更新时间从1除以轨迹长度版本的95%到97%降低到1除以k版本的81%到89%，即11%到19%减少，总每步墙钟时间从96%降低到81%到82%，即18%到19%减少。Decoupled importance sampling将clip触发率降低约一半，显著加速了reward改进。RAFT++也表现出相同的长度耦合漂移病理，说明问题根源是1除以轨迹长度因素本身而非周围的算法。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WebGym OOD Test (Instruct, Avg) | Success Rate (%) | 45.4 | 42.9 (WebGym) | +5.8% relative |
| WebGym OOD Test (Instruct, Medium) | Success Rate (%) | 34.3 | 24.1 (WebGym) | +42% relative |
| WebGym OOD Test (Instruct, Hard) | Success Rate (%) | 7.1 | 4.8 (WebGym) | +48% relative |
| WebGym OOD Test (Thinking, Avg) | Success Rate (%) | 44.4 | 32.0 (Base) | +38.8% absolute |
| Training Throughput (Instruct) | Trajectories per hour | 3086-3195 | 1051-1325 (WebGym) | 2.4-2.94× speedup |
局限与改进
作者承认的局限性包括将耗尽horizon的轨迹标记为失败会损失一些潜在有用信号，因为某些超长轨迹中的动作可能实际上是有用的，但作者认为这是合理的默认选择，因为如果一个轨迹耗尽了horizon，说明至少其中一些动作是次优的。另一个局限性是AsyncWebRL目前只适用于binary reward场景，使用GPT-4o作为rubric evaluator。观察到的局限性包括off-policy gap虽然保持较小即mean near 1.5和max near 2.0，但在某些场景下可能仍需要更保守的校正。轻量级截图处理虽然避免了磁盘spill，但依赖专用内存actor，可能在大规模部署时成为新的瓶颈。此外，本文的超参数设置如1除以k中的k值等于10的固定值可能不适用于所有场景，需要根据具体任务的horizon进行调整。
独立分析的弱点
AsyncWebRL的主要弱点集中在适用场景和鲁棒性方面。首先，当前的轻量级截图处理依赖于中央内存actor，虽然在实验规模即数百个并发rollout下表现良好，但在更大规模即数千或更多并发时，单个actor可能成为新的性能瓶颈，可能需要设计分片的内存存储方案。其次，1除以k归一化中的k值选择缺乏自适应机制，固定使用Easy难度的horizon即10可能不是所有任务的最优选择，不同难度级别可能需要不同的k值。第三，目前的实现仅支持binary reward和GPT-4o评估器，对于dense reward或其他评估框架的兼容性未知。第四，虽然decoupled PPO降低了clip触发率，但在更极端的off-policy场景下可能需要更强的校正机制。第五，everlasting rollout pool虽然消除了预热成本，但在动态调整worker数量时的优雅降级和恢复机制需要进一步研究。
未来方向
作者提出的未来方向包括探索更智能的horizon归一化策略，可能基于任务难度、历史轨迹长度分布或其他元数据动态调整1除以k中的k值。扩展到dense reward场景以验证方法在连续奖励信号下的有效性。研究更大规模部署时的内存分片策略以突破单actor瓶颈。将轻量级截图处理思想应用到其他视觉密集型RL场景，如机器人视觉控制和游戏AI。探索更细粒度的off-policy校正机制，可能基于token重要性或trajectory置信度进行自适应加权。基于本文成果的可延伸方向包括将1除以轨迹长度诊断框架应用到其他multi-step RL算法中，检查是否存在类似的长度耦合偏置。研究memory schema演化的更深层机制，可能通过显式的compression奖励引导策略学习更简洁的表示。探索group-relative advantage与1除以k归一化的结合，可能进一步提升sample efficiency。
复现评估
AsyncWebRL的复现性评估：代码已开源，论文首页提供了CODE链接，但截至论文发表时尚未公开。实验使用WebGym作为基准环境，这是一个开源的大规模视觉web agent训练环境，包含约290k训练任务和128k真实网站，OOD测试集包含1167个任务。使用的模型是Qwen3-VL-8B-Instruct和Qwen3-VL-8B-Thinking，都是开源模型。硬件配置为2节点乘以8 GPU即B200，这是高端硬件配置，可能在普通研究环境中难以完全复现。论文报告了single-seed结果，但指出WebGym分析显示不同run的误差条足够小，single-seed比较是informative的。超参数在附录中详细列出，包括优化器、学习率调度、batch size、group size等完整配置。主要挑战在于大规模浏览器模拟即数百个并发会话和高分辨率截图处理的计算需求，可能需要分布式计算资源。总体而言，论文提供了相对完整的复现信息，但硬件要求较高，可能需要简化配置或云计算资源。
论文图表
