WEBSTEP：基于语义状态追踪的 Web 智能体过程级评估基准

WEBSTEP通过语义MDP对偶实现1800任务的过程级细粒度诊断

前置知识

马尔可夫决策过程(MDP)

由状态空间$S$、动作空间$A$、确定性转移函数$T$和初始分布$\rho_0$组成的序贯决策形式化。在WEBSTEP中，每个网站被建模为$M=(S,A,T,\rho_0)$，状态$s=(s_p,s_i)$含界面位置和物品属性。

MDP是WEBSTEP跟踪语义轨迹$\tau=(s_0,a_0,s_1,...,s_T)$的核心理论基础，没有它就无法实现自动化的过程级评估。

Web智能体(Web Agent)

通过浏览器多步交互完成购物、订票、文档管理等数字任务的LLM驱动系统，需要多步导航、跨页信息收集和依赖性动作执行，与单轮指令跟随有本质区别。

WEBSTEP专门评估这类智能体，其长轨迹特性使得传统的终端成功率无法刻画智能体的真实行为差异。

终局评估 vs 过程评估

终局评估只看任务成功/失败的二元结果，过程评估则分析轨迹中每个动作、技能调用和决策节点。WEBSTEP指出终局评估会把'找不到页面'和'找到但点错按钮'混为一谈。

这是本文的核心切入点，理解两种评估范式的差异是把握WEBSTEP价值的前提。

GUI-to-Semantic转换

将原始坐标级GUI动作(如点击、输入)映射到高层语义动作(如搜索、提交)的过程。WEBSTEP通过让网页从语义模型渲染来实现精确无错的自动转换。

这是连接低层浏览器交互和高层语义分析的桥梁技术，使无标注自动过程评估成为可能。

硬负样本(Hard Negative)

在列表/搜索页面与目标物品共享可见属性(标题、价格、类别)但隐藏在详情页的属性(卖家、配送)上才不同的干扰项。WEBSTEP通过控制硬负样本数量实现任务难度的精确调节。

硬负样本是WEBSTEP复杂度控制三轴之一，决定了智能体必须进入详情页才能识别正确目标。

研究动机

现有Web智能体评估范式存在根本性缺陷：WebArena、VisualWebArena、Mind2Web、WorkArena++等主流基准几乎只评估终局成功率$\{0,1\}$，将整个交互轨迹压缩成单一二元结果。这导致严重的信息丢失——一个从未找到相关页面的智能体和一个找到正确同事消息线程但发错emoji的智能体会获得完全相同的分数。这种评估方式无法支持准确的信用归因，研究者既无法定位智能体失败的具体环节，也无法识别限制性能的具体能力。如论文Figure 1所示，Fara因探索失败(找错人Sage Foster)被记为失败，而GUI-Owl找到了Finley Clark的正确线程但点错了反应emoji，同样被记为失败——两者本质上是完全不同的失败模式。更糟糕的是，三款小模型UI-TARS-1.5、Fara-7B、GUI-Owl-1.5的终局成功率都聚集在31-33%之间，研究者难以辨别它们之间的优劣。

本文的目标是本文的核心目标是打破'终局成功即一切'的评估范式，建立Web智能体的过程级评估框架。具体包括三个目标：(1)构建WEBSTEP基准，包含10个自托管网站、1800个任务实例，每个网站配备语义MDP对偶以实现自动化的过程追踪；(2)开发将智能体行为分解为探索成功率、执行成功率、技能调用模式的过程级评估框架，并支持在共享语义状态下的轨迹比较以定位失败模式；(3)对现有Web智能体进行过程级分析，证明终局成功率相似的模型存在本质不同的失败特征，从而为改进提供具体可操作的指导。

与已有工作不同的是，本文的独特切入角度是'语义MDP对偶'(semantic MDP dual)设计：智能体只与渲染的GUI交互，而基准在底层记录对应的语义状态转移。由于GUI直接从语义模型渲染，完整的语义轨迹可以被精确恢复，从而无需任何人工标注就实现了过程级评估。这一设计与Mind2Web-Live的'关键节点'方案形成鲜明对比——后者依赖人工里程碑标注，无法做到自动化的阶段分解和技能归属。同时，WEBSTEP通过任务模板+约束+受控硬负样本的耦合生成方式，实现了基准有效性(每个任务恰好一个目标可解)和任务复杂度的三轴精确控制。这种'自托管+语义对偶+复杂度控制'的三位一体设计在现有基准中独一无二。

核心方法

WEBSTEP的核心思路是把每个网站同时建成'两个世界'：一个是智能体看得到的图形界面，另一个是基准内部维护的语义MDP。具体直觉是——智能体通过点击、滚动、输入等低层GUI动作操作界面，但网站底层用语义状态机来驱动页面渲染，每一次GUI操作序列都对应着一条确定的语义轨迹(如$\text{ViewRepo}\to\text{StarRepo}\to\text{CreateIssue}$)，从而实现全程无人工标注的过程追踪。技术上，每个网站实现为一个语义MDP $M=(S,A,T,\rho_0)$，状态$s=(s_p,s_i)$包含界面位置$s_p$(如URL、筛选设置)和物品属性$s_i$(如价格、评分)，动作空间$A$是类型化的语义动作(如$\text{search}$、$\text{openDetail}$、$\text{commit}$)，转移函数$T$是确定性的。然后，每个任务由任务模板(如'添加满足[约束]的包到购物车')和约束实例(如'价格$\leq 300$且评分$\geq 3.5$')耦合生成。

WEBSTEP的核心创新是'语义MDP对偶'机制。传统方法(如Mind2Web-Live)依赖人工标注的关键节点作为评估信号，而WEBSTEP通过让GUI直接由语义模型渲染来自动获得完整轨迹——GUI是语义MDP执行的直接可视化，因此轨迹恢复是精确无误的。第二大创新是'耦合任务生成'：任务指令和世界状态联合生成，确保每个任务恰好有一个满足所有约束的目标(基准有效性)，同时通过受控放置的硬负样本实现三轴复杂度控制。第三大创新是过程级指标体系：包括探索成功率(isolation出正确目标的比例)、执行成功率(条件于探索成功的终局率)、信息覆盖率(智能体见证的任务相关属性比例)、步骤效率(GUI步与语义步之比)，这些指标共同刻画了智能体的行为特征，把单一二元结果扩展为多维行为画像。

方法步骤详情

WEBSTEP的构建和评估流程包括四个关键步骤。第一步是语义MDP形式化：从真实网站工作流痕迹出发，将每个网站建模为$M=(S,A,T,\rho_0)$，状态$s$分解为界面位置$s_p$和物品属性$s_i$。第二步是自托管网站实现：关键技术是'GUI-MDP耦合'——智能体执行GUI动作时，前端将动作转发给语义模型而非自行更新页面，语义模型应用状态转移后页面从新状态重新渲染，保证轨迹可精确恢复。第三步是任务与世界耦合生成：将任务模板与随机采样的物品属性约束组合生成自然语言指令，使恰好一个物品满足所有约束(基准有效性)，并放置硬负样本作为干扰。第四步是过程级评估：对每次运行记录完整MDP轨迹$\tau$，自动计算探索成功率(判定$v_k = e^\star$)、执行成功率、信息覆盖率、步骤效率，并分解技能调用和分叉点分析。

技术新颖性

从技术新颖性角度分析，WEBSTEP有三大贡献点。其一，'GUI-MDP耦合'机制是工程上的关键创新：传统基准要么使用真实网站(轨迹无法追踪)、要么依赖人工标注(如Mind2Web-Live的关键节点)、要么只能事后启发式推断语义状态。WEBSTEP通过让语义模型作为页面渲染的'真理之源'，从根本上解决了GUI动作到语义转移的精确对应问题，避免了任何模糊推断或人工标注。其二，'耦合任务生成'实现了基准有效性和复杂度控制的统一：每个任务的可解性由生成算法自动保证，而复杂度通过硬负样本数、oracle长度、信息层级三轴独立调节。其三，过程级诊断框架包含三层粒度(轨迹级汇总$\to$技能级分解$\to$分叉点分析)，形成从'总体表现'到'具体失败定位'的完整诊断链条，首次系统论证了终局成功率的'信息压缩'问题。

**Figure 2**: Overview of WEBSTEP. Each visual website is paired with a semantic MDP dual that converts raw GUI actions into interpretable semantic transitions.

实验结果

论文报告了五款智能体的过程级评估结果，包含四大核心发现。发现一(终局成功隐藏行为差异)：小模型集群终局成功率几乎无差异——Fara-7B为$31.4\%$、GUI-Owl为$31.9\%$、UI-TARS为$32.6\%$——但过程指标揭示出截然不同的行为画像：UI-TARS探索成功率最高($46.3\%$)但执行成功率最低($50.6\%$)，Fara信息覆盖率最低($60.6\%$)且步骤最少($18.9$ GUI步)。发现二(技能级弱点可定位)：Figure 3显示在Housing网站上OpenAI CUA在$\text{commit}$上领先Qwen3.5达$+23.7\%$，但在$\text{filter}$上落后$15.6\%$。发现三(分叉点揭示失败模式)：Fara和UI-TARS最常因Search分支偏离，GUI-Owl最常在Filter处分叉。发现四(复杂度放大差异)：硬负样本数从$0$增至$3$时，$4/5$智能体探索成功率从$0.6$降至$0.2$，但OpenAI CUA几乎不受影响。

**Table 1**: Comparison with existing web agent benchmarks.

**Table 2**: Aggregate evaluation results. Terminal success together with process-level metrics from semantic MDP traces.

**Figure 3**: Skill-level strengths and weaknesses. Agents exhibit distinct within-website skill profiles.

**Figure 4**: Temporal skill invocation patterns.

**Figure 5**: Trajectory bifurcations at shared semantic states.

**Figure 6**: Exploration success by task complexity. (a) Performance by hard negative counts. (b) Oracle trajectory length. (c) Info access level.

查看结构化数据

任务	指标	本文	基线	提升
WEBSTEP整体终局成功率	Terminal Success Rate (%)	OpenAI CUA: $82.2\%$, Qwen3.5-122B: $57.9\%$	UI-TARS-1.5-7B: $32.6\%$, Fara-7B: $31.4\%$, GUI-Owl-1.5-8B: $31.9\%$	OpenAI CUA比最佳小模型UI-TARS提升$49.6$个百分点；比平均小模型提升约$50$个百分点
WEBSTEP探索成功率	Exploration SR (%)	OpenAI CUA: $87.7\%$, Qwen3.5-122B: $66.1\%$	UI-TARS-1.5-7B: $46.3\%$, Fara-7B: $43.6\%$, GUI-Owl-1.5-8B: $43.6\%$	OpenAI CUA比最佳小模型UI-TARS在探索上提升$41.4$个百分点，差距比终局成功率差距更大
WEBSTEP执行成功率(条件于探索成功)	Execution SR (%)	OpenAI CUA: $86.2\%$, Qwen3.5-122B: $73.7\%$	Fara-7B: $55.7\%$, GUI-Owl-1.5-8B: $55.6\%$, UI-TARS-1.5-7B: $50.6\%$	UI-TARS在探索上最强但执行最弱($-5.0\%$相对于均值)，过程指标揭示终局难以察觉的执行缺陷
WEBSTEP步骤效率	GUI Steps / Semantic Steps	OpenAI CUA: $2.0$ ($19.7/10.0$)	Qwen3.5: $2.3$, Fara: $2.3$, UI-TARS: $2.5$, GUI-Owl: $2.7$	OpenAI CUA的GUI步/语义步比仅$2.0$，意味着每$2$次GUI操作就有$1$次产生语义进展，效率最高
WEBSTEP Housing网站commit技能	Skill-level SR (%)	OpenAI CUA领先Qwen3.5 $+23.7\%$	Qwen3.5-122B在Housing commit上落后	技能级诊断显示同一网站内OpenAI CUA在commit强但在filter上落后$15.6\%$

局限与改进

论文明确承认若干局限性。局限性一：任务领域覆盖面受限——10个网站虽跨生产工具、电商、专业协作、技术知识等领域，但与真实互联网的复杂性相比仍是简化的子集；硬负样本控制虽然严谨，但生成式世界的真实性可能与真实场景存在偏差。局限性二：评估的智能体数量有限——仅评估了$5$款模型(3小+2大)，对市场上其他主流Web智能体的覆盖不足。局限性三：oracle轨迹的'唯一性'假设——论文将oracle轨迹视为'最短有效策略'的实例，但实际上同一任务常有多条等价oracle。局限性四：复杂度三轴虽然精巧，但缺乏对真实用户任务分布的校准。局限性五：'技能调用'的划分($5$类)虽然覆盖主要交互模式，但仍可能漏掉边缘类型。作者额外讨论指出模型侧的非确定性(随机解码、API波动)可能影响端到端的可复现性。

独立分析的弱点

独立分析本文方法仍存在几个值得改进的弱点。弱点一：'语义MDP对偶'虽然优雅，但每个网站都需要从零实现并人工验证，工程成本极高(论文提到多阶段流水线含人工审查)，严重限制了基准的可扩展性；改进方向是探索基于现有真实网站包装的半自动MDP提取方案。弱点二：过程级评估虽然提供了丰富指标，但缺乏统一的'健康度'综合评分——研究者面对十几项指标仍难以形成整体判断；改进方向是设计可解释的聚合指标或决策支持仪表盘。弱点三：技能级分析虽然定位了弱点，但'如何改进'的指导仍较粗粒度；改进方向是建立技能-训练数据映射的诊断-处方库。弱点四：分叉点分析的三类划分虽然直观，但'Wrong branch'类别下没有进一步区分错误的严重程度。弱点五：基准只评估智能体的单次运行表现，缺乏对'重试'或'反思'机制的评估。

未来方向

作者在附录和正文中暗示了几个未来方向。基于论文成果可延伸的研究方向包括：第一，将WEBSTEP的过程级评估方法推广到其他智能体领域(如GUI操作系统智能体、代码智能体、机器人)，验证'MDP对偶'框架的普适性；第二，探索基于过程级诊断的针对性训练方法——例如针对OpenAI CUA的filter弱点，自动合成Housing filter任务的训练样本；第三，建立过程级指标的标准化协议，使不同研究团队的结果可比较、可累积；第四，研究过程级评估与人类评估的相关性；第五，将硬负样本控制思想扩展到其他评估维度(如语义对抗性、多模态干扰)；第六，结合LLM-as-a-judge技术，让评估本身也能被智能体增强(如自动归类错误类型)；第七，探索WEBSTEP在智能体强化学习中的应用——过程级奖励信号可以替代稀疏的终局奖励，加速策略优化。

复现评估

论文在Reproducibility Statement中明确承诺完整开源——包括全部$10$个网站实现、$1800$个任务定义(含世界种子和oracle轨迹)以及完整评估套件。每个环境被形式化为带固定种子的确定性MDP，给定相同智能体动作，环境动态、验证结果和语义轨迹都可复现，从而保证基准条件的可复现性。然而，端到端完全可复现仍受模型侧非确定性影响：随机解码温度设置、API波动等会导致相同条件下结果略有差异。智能体超参数、模型标识符和解码设置在Table 3中明确报告。复现的技术难度较高——读者需要部署$10$个自托管网站(每个含形式化MDP、语义模型、前端渲染)，运行$1800$个任务的评估管线(每个任务运行$5$款模型多次重复)，并分析过程级指标，对算力和工程能力都有较高要求。

WEBSTEP：基于语义状态追踪的 Web 智能体过程级评估基准 Where Did It Go Wrong? Process-Level Evaluation of Web Agents with Semantic State Tracking