WebArbiter：面向网页智能体的基于原则引导推理的过程奖励模型 WebArbiter: A Principle-Guided Reasoning Process Reward Model for Web Agents
提出原则引导的推理过程奖励模型，以结构化文本生成方式为网页智能体提供可审计的步骤级判断
前置知识
过程奖励模型（Process Reward Model, PRM）
过程奖励模型是一种在推理或决策的每一步提供奖励信号的模型，与只在最终结果给出奖励的结果奖励模型（ORM）相对。在网页智能体场景中，PRM 会在智能体执行的每个操作步骤后，评估该操作是否有助于任务推进。PRM 的核心优势在于提供密集的监督信号，能够在推理时引导搜索（如 Best-of-N 采样），并帮助诊断错误发生在哪一步。PRM 可以是标量形式（输出一个数值分数）或生成式形式（输出自然语言反馈），而本文提出的 WebArbiter 属于推理优先的生成式 PRM。
本文的核心贡献就是一种新型 PRM，理解 PRM 的基本概念和分类（标量 vs 生成式 vs 推理式）是理解本文动机和方法的前提。
网页智能体（Web Agent）
网页智能体是基于大语言模型（LLM）驱动的自动化程序，能够像人类一样操作浏览器完成复杂的网页任务，如在线购物、内容管理、论坛发帖等。智能体通过可访问性树（Accessibility Tree）获取页面状态，生成操作指令（如点击、输入、导航），并在多步交互中逐步完成任务。网页交互的关键特点是长视野决策、多步骤序列操作，且许多操作不可逆（如提交错误表单），这要求智能体在每一步都做出可靠决策。
本文的研究对象就是网页智能体的奖励建模，理解网页智能体的工作方式和挑战是理解本文必要性的基础。
推理蒸馏（Reasoning Distillation）
推理蒸馏是一种训练技术，通过从更强的教师模型（如 o3）中提取其推理过程（而非仅提取答案），来训练较小的学生模型。具体做法是让教师模型针对给定输入生成完整的推理链（reasoning trace），然后用这些推理链作为监督信号对学生模型进行有监督微调（SFT）。这使得学生模型不仅学到最终答案，还学到产生答案的推理过程，从而获得更强的泛化能力和更稳定的判断能力。
WebArbiter 的训练分为两阶段，第一阶段就是推理蒸馏，这是让模型获得原则引导推理能力的关键步骤。
GRPO（Group Relative Policy Optimization）
GRPO 是一种强化学习算法，最初由 DeepSeek-Math 提出，用于在二元可验证奖励下进行稳定的策略优化。与 PPO 不同，GRPO 不需要额外训练一个价值网络（critic），而是通过对同一输入采样一组输出，计算组内相对奖励来估计优势函数（advantage），从而简化了训练流程。GRPO 的核心思想是将奖励信号转化为组内排名，使得优化更加稳定和高效。
WebArbiter 的第二阶段 RL 训练采用 GRPO 算法，理解其工作机制有助于理解模型如何从推理蒸馏进一步提升到与正确性对齐。
Best-of-N（BoN）采样与准确率
Best-of-N 采样是一种推理时扩展（inference-time scaling）策略：对每个决策步骤生成 N 个候选动作，然后用奖励模型从中选择最优的一个。BoN 准确率衡量的是奖励模型能否在多个干扰选项（distractors）中正确识别出最佳动作。与配对准确率（Pairwise Accuracy）不同，BoN 准确率要求正确动作必须在所有 Q 个干扰选项中排名第一，是一个更严格的评估指标，更好地反映了奖励模型在实际多候选场景中的可靠性。
BoN 准确率是本文的核心评估指标，WebArbiter 在该指标上相比基线取得了显著优势，理解该指标才能理解实验结果的意义。
研究动机
网页智能体的交互涉及长视野的序列决策，许多操作具有不可逆性（例如提交错误的表单可能无法撤回），这要求智能体在每一步都做出可靠判断。然而，传统的方法存在三个层面的问题。首先，结果奖励模型（ORM）只能在任务结束时提供稀疏、延迟的反馈，不仅无法指导中间步骤的决策，还可能将错误轨迹误判为成功。其次，LLM-as-Judge 方法虽然能提供步骤级奖励，但成本高、可扩展性差，且容易产生幻觉，奖励表面流畅但实际错误的操作。最后，现有的网页过程奖励模型（WebPRM）主要分为两类：标量 WebPRM 将进度压缩为粗粒度的数值分数，缺乏可解释性和对页面状态的锚定；基于清单（checklist）的生成式 WebPRM（如 WebShepherd）依赖外部模板进行匹配，在页面布局或语义变化时容易失效，且常常将表面正确的操作误标为成功，提供几乎无法指导实际决策的奖励信号。
本文的目标是本文的目标是提出一种推理优先（reasoning-first）、原则诱导（principle-inducing）的网页过程奖励模型 WebArbiter，它将奖励建模重新定义为文本生成任务：给定任务上下文和候选操作及其推理轨迹，模型生成结构化的推理论证（justification），并在论证末尾给出偏好判断（verdict），识别出当前上下文中最有助于任务完成的操作。具体目标包括：在跨环境的评估基准上超越现有 SOTA 方法，特别是在 Best-of-N 准确率上取得显著提升；在实际的奖励引导轨迹搜索任务中验证其实用价值；通过系统消融实验验证各训练组件的贡献。
与已有工作不同的是，本文的独特切入角度在于将「原则引导的推理」引入网页过程奖励建模。与已有方法的关键区别是：WebArbiter 不依赖固定的外部模板或清单，而是动态地从用户意图和当前状态中归纳出评估原则（principles），然后将这些原则嵌入推理链中，显式地验证每个候选操作是否真正推进了任务完成。这种方法将奖励信号从浅层相关性转变为可审计的分析，使判断对环境变化具有鲁棒性，对虚假线索具有抵抗力，并在信用分配上更加精确。这种「先推理、后判断」的设计范式，本质上是一种将测试时计算（test-time compute）引入奖励建模的思路，使得模型能够在推理阶段自适应地分配计算资源，而不是固定地输出一个标量分数。
核心方法
WebArbiter 的核心思想可以用一个类比来理解：如果传统的标量奖励模型像是一个只给分数的裁判，基于清单的生成式奖励模型像是一个按固定检查清单逐项打勾的评审员，那么 WebArbiter 更像是一个有经验的资深审查员——它会先从任务要求和当前状态中提炼出评估标准（原则），然后基于这些原则逐一对比候选操作，最后给出带有详细推理过程的判断。技术路线上，WebArbiter 基于 Transformer 解码器架构（具体使用 Qwen2.5-3B/7B-Instruct 作为基座），将过程奖励建模表述为文本生成任务。在每个决策步骤，模型接收任务指令、当前观察、历史操作和推理轨迹、以及一对候选操作及其推理轨迹，自回归地生成结构化的推理论证，论证末尾以明确的偏好判断（Response 1 或 Response 2）结尾。训练分为两个阶段：第一阶段是推理蒸馏（从 o3 教师模型提取原则引导的推理链），第二阶段是强化学习（使用 GRPO 算法和可验证的二元奖励对齐判断与正确性）。
WebArbiter 最核心的创新在于「原则诱导」（principle induction）机制。与已有方法的本质区别在于：标量 WebPRM 将多维度的进度信息压缩为一个不透明的数值，丢失了所有可解释性；基于清单的 WebPRM（如 WebShepherd）依赖预先定义的外部模板进行匹配，这些模板在页面布局变化或语义漂移时会失效，且容易被表面特征欺骗。WebArbiter 则动态地从当前任务指令和页面状态中归纳出评估原则（例如「导航指令的清晰性」「推理的正确性」「任务进度的推进」），然后将这些原则作为推理链的锚点，显式地评估每个候选操作是否满足这些原则。这种设计的关键优势是：原则是上下文相关的，因此能够适应不同的任务和环境；推理链是可审计的，因此判断过程是透明的、可诊断的；推理过程迫使模型进行深层次的语义理解，而不是依赖表面的模式匹配。消融实验表明，移除显式原则会导致性能显著下降，证明了原则诱导机制的关键作用。
方法步骤详情
WebArbiter 的完整流程包括数据构建、两阶段训练和推理三个部分。数据构建阶段，基于 WEBPRM COLLECTION 的 30k 步骤级偏好对数据，将每条数据格式化为包含任务指令 $I$、当前观察 $o_p$、历史操作和推理轨迹 $(a_{<p}, c_{<p})$、以及一对候选操作 $(a^1_p, c^1_p)$ 和 $(a^2_p, c^2_p)$ 的输入，配对对应的偏好标签 $y$。其中 10k 条用于第一阶段蒸馏，20k 条用于第二阶段 RL。第一阶段推理蒸馏中，教师模型 o3 为每条数据生成结构化的推理论证 $\hat{j}^{(i)}$，论证先从指令和状态中归纳原则，再将原则与页面内容锚定，然后对比候选操作并给出偏好判断。学生模型通过最小化负对数似然 $L_{SFT}(\theta) = -\frac{1}{K}\sum_{i=1}^{K}\sum_{l=1}^{L_i} \log \pi_\theta(\hat{j}^{(i)}_l | x^{(i)}, \hat{j}^{(i)}_{<l})$ 来学习生成这些推理链。第二阶段 RL 中，蒸馏后的模型作为参考策略 $\pi_{ref}$，通过 GRPO 算法优化目标 $L_{RL}(\theta) = \max_{\pi_\theta} \mathbb{E}[R(x, \hat{y}) - \beta D_{KL}(\pi_\theta \| \pi_{ref})]$，其中奖励 $R(x, \hat{y}) \in \{-1, +1\}$ 仅取决于判断是否与真实偏好一致。推理时，模型对每个候选操作生成完整的推理论证和偏好判断，用于指导轨迹搜索中的动作选择。
技术新颖性
WebArbiter 的技术新颖性体现在多个层面。首先，它是首个将「推理优先」设计理念引入网页过程奖励模型的工作，将奖励建模从简单的数值评分或模板匹配转变为结构化的文本生成，这一范式转换使得奖励信号具有可审计性和可解释性。其次，「原则诱导」机制是全新的技术贡献：模型不是基于固定的评估标准进行判断，而是动态地从当前上下文中归纳出评估原则，这使得判断能够适应不同的任务和环境。第三，两阶段训练管线的设计——推理蒸馏建立推理能力，RL 校正教师偏差——是一种有效的组合策略，消融实验表明两个阶段缺一不可：仅有 RL（冷启动）在不同环境下不稳定，仅有推理蒸馏会继承教师偏差，而两者结合才能实现跨环境的稳定泛化。最后，WEBPRMBENCH 作为首个跨四个多样化网页环境的 WebPRM 评估基准，填补了该领域系统化评估的空白。
实验结果
WebArbiter 在 WEBPRMBENCH 基准上取得了全面的 SOTA 结果。在 1150 个步骤级偏好实例的评估中，WebArbiter-7B 的平均 BoN 准确率达到 74.60%，比最强的基线 GPT-5（65.50%）高出 9.1 个百分点，比之前的 SOTA WebPRM WebShepherd-8B（43.28%）高出 31.32 个百分点。在配对准确率上，WebArbiter-7B 也以 89.19% 的平均成绩领先。值得注意的是，WebArbiter-3B（59.06% BoN Acc）虽然只有 3B 参数，但在 BoN 准确率上已经接近 70B 参数的 Llama-3-70B-Instruct（52.55%），展现了极高的参数效率。在实际应用验证中，WebArbiter 在 WebArena-Lite 上的奖励引导轨迹搜索中表现突出：以 GPT-4o-mini 为策略模型时，WebArbiter 将平均成功率从 23.48%（无轨迹搜索）提升至 40.52%，比 WebShepherd 的 34.34% 高出 6.18 个百分点；以 GPT-4o 为策略时，从 31.90% 提升至 47.01%，比 WebShepherd 的 40.65% 高出 6.36 个百分点。消融实验表明，冷启动 RL 仅在域内数据（Mind2Web）上表现良好，但在域外基准上崩溃；加入原则后有所改善但仍不稳定；去除原则的推理蒸馏 + RL（SFTw/o Principles + RL）虽然提升了语言流畅性，但在 BoN 准确率上显著低于完整的 WebArbiter，证明了原则诱导的关键作用。在数据效率方面，仅用 10K 数据进行推理蒸馏的模型（83.18% Pairwise / 60.25% BoN）已经超越了用完整数据进行答案级 SFT 的模型（82.02% / 55.80%），说明推理监督在数据有限时尤其有效。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Mind2Web（跨任务/跨网站/跨域） | BoN Acc | WebArbiter-7B: 89.53% | WebShepherd-8B: 73.69% | +15.84 个百分点 |
| WebArena（受控网页环境） | BoN Acc | WebArbiter-7B: 68.66% | GPT-5: 71.64% | -2.98 个百分点（略低于 GPT-5，但超越所有 WebPRM） |
| AssistantBench（开放世界网页） | BoN Acc | WebArbiter-7B: 70.00% | GPT-5: 63.33% | +6.67 个百分点 |
| WorkArena（企业工作流） | BoN Acc | WebArbiter-7B: 70.19% | GPT-5: 64.62% | +5.57 个百分点 |
| WEBPRMBENCH 平均 | Avg BoN Acc | WebArbiter-7B: 74.60% | GPT-5: 65.50% | +9.10 个百分点 |
| WebArena-Lite 轨迹搜索（GPT-4o-mini 策略） | Success Rate | WebArbiter-7B: 40.52% | WebShepherd-8B: 34.34% | +6.18 个百分点（相对无搜索基线 +17.04） |
| WebArena-Lite 轨迹搜索（GPT-4o 策略） | Success Rate | WebArbiter-7B: 47.01% | WebShepherd-8B: 40.65% | +6.36 个百分点（相对无搜索基线 +15.11） |
局限与改进
作者在论文末尾明确指出了几个重要局限。首先，WebArbiter 完全依赖基于文本的可访问性树表示（Accessibility Tree），没有利用视觉观察。在某些环境中，页面布局、空间排列或视觉线索可能包含对任务进度评估至关重要的信息，纯文本表示可能会遗漏这些关键信号。其次，训练和评估仅在英语网页环境中进行，多语言场景可能引入额外挑战，如不同的页面结构和交互习惯。第三，当前 WebPRM 的使用仅限于推理时的轨迹搜索，是否能将 PRM 的步骤级监督作为智能体后训练中的密集奖励信号来直接改进策略本身，仍是一个重要的开放问题。此外，从我的分析来看，WebArbiter 的评估场景虽然涵盖了四个环境，但主要集中在结构化程度较高的网页任务中，对于高度动态、实时变化的网页环境（如社交媒体流、实时竞价页面）的适用性尚未验证。另外，模型在 WebArena 上的 BoN 准确率（68.66%）略低于 GPT-5（71.64%），表明在某些受控环境中，大规模专有模型的原始推理能力仍然具有优势。
独立分析的弱点
WebArbiter 存在几个值得关注的弱点。第一，纯文本模态的局限性较为明显：可访问性树虽然能捕获交互元素的信息，但无法表达视觉布局、颜色、图片内容等视觉信号，而在某些任务中（如识别产品图片、判断页面视觉状态），视觉信息可能是正确判断的关键。改进方向是将多模态观察（如截图、DOM 结构）融入奖励建模过程，构建视觉-文本联合的 WebPRM。第二，训练数据仅来自 Mind2Web 环境的 30K 偏好对，尽管模型展现了良好的跨环境泛化能力，但训练数据的多样性仍然有限，特别是缺乏企业级工作流和开放世界场景的数据。可以通过在更多环境上收集或合成偏好数据来增强泛化能力。第三，推理蒸馏依赖于强大的教师模型 o3，这带来了较高的数据构建成本。探索自监督的原则发现方法（如通过自我博弈或回溯验证）可能降低对教师模型的依赖。第四，模型在 CMS 等模板化结构较强的环境中优势不明显，说明其推理机制在高度模式化的场景中可能显得「过度思考」，可以探索自适应的计算分配策略。第五，目前的奖励模型仅输出二元偏好判断，缺乏对操作质量的细粒度评分（如「这个操作方向正确但执行不够精确」），限制了其在更复杂决策场景中的指导能力。
未来方向
基于本文的成果，未来研究可以从多个方向展开。作者提出的方向包括：将多模态观察（特别是视觉信息）融入奖励建模，以覆盖文本表示无法捕获的信号；探索多语言网页环境下的适用性；以及研究 PRM 步骤级监督能否作为智能体后训练中的密集奖励信号来直接改进策略模型本身。此外，还可以延伸以下方向：将原则诱导机制推广到其他领域的 PRM（如代码生成、数学推理），验证其通用性；探索动态计算分配，让模型根据任务难度自适应地调整推理深度；结合自我改进（self-improvement）机制，让 WebArbiter 通过与环境交互不断更新其原则库；将 WebArbiter 与树搜索算法（如 MCTS）结合，实现更系统的轨迹探索；以及研究如何将可审计的推理链用于智能体的可解释性和安全性分析，为网页智能体的可信部署提供支撑。
复现评估
从复现角度来看，WebArbiter 具有较好的可复现性。训练数据基于公开的 WEBPRM COLLECTION，评估基准 WEBPRMBENCH 也已发布，包含 1150 个步骤级偏好实例。模型基于公开的 Qwen2.5-3B/7B-Instruct 基座，使用 LoRA 进行参数高效微调，算力需求相比全量微调显著降低。RL 训练采用 GRPO 算法，不需要额外训练价值网络，进一步简化了训练流程。然而，第一阶段的推理蒸馏依赖于 o3 模型生成的推理链，这可能带来一定的成本和复现挑战（需要 OpenAI API 访问权限）。论文的项目页面（WebArbiter）和附录中提供了详细的实现细节和所有提示模板，有助于社区复现。总体而言，复现该工作的主要门槛是：（1）获取 o3 API 访问权限生成蒸馏数据；（2）足够的 GPU 资源进行 LoRA 微调和 RL 训练；（3）搭建四个网页评估环境（Mind2Web、WebArena、AssistantBench、WorkArena）的基础设施。
论文图表
