AutoWebWorld：通过有限状态机合成无限可验证的网页环境 AutoWebWorld: Synthesizing Infinite Verifiable Web Environments via Finite State Machines
用FSM建模网页状态转移，自动生成可验证的合成网页环境和训练轨迹
前置知识
有限状态机（Finite State Machine, FSM）
有限状态机是一种计算模型，由有限个状态集合、状态间的转移规则和初始/终止状态组成。在AutoWebWorld中，每个网页被建模为一个FSM：页面身份p和页面签名σ组成内部状态 $s = (p, \sigma)$，动作a通过前置条件 $pre(s, a)$ 判断是否可执行，通过效果规则 $eff(s, a)$ 确定性地更新状态。FSM的关键特性是状态转移完全确定且可观测——给定当前状态和动作，下一状态是唯一确定的，这使得系统性搜索（如BFS）和自动化验证成为可能。
本文的核心思路就是将网页环境显式建模为FSM，从而绕过真实网页中状态转移不可见的「验证者瓶颈」。理解FSM是理解整篇论文的前提。
GUI轨迹（GUI Trajectory）
GUI轨迹是指Web Agent与网页环境交互的完整过程记录，形式化为 $\tau = \{(o_t, a_t)\}_{t=1}^{T}$，其中 $o_t$ 是每一步的观测（通常是截图），$a_t$ 是Agent执行的动作（如点击、输入文本）。轨迹质量直接决定了Web Agent的训练效果。现有方法主要通过在线探索、人工录制或视频提取来获取轨迹，但都面临验证困难的问题。
AutoWebWorld的最终产出就是高质量的GUI轨迹。理解轨迹的结构和验证难度，才能理解本文的贡献价值。
GRPO（Group Relative Policy Optimization）
GRPO是一种强化学习算法，是PPO的简化变体。对于每个prompt生成多个rollout样本，计算各自的奖励，然后用组内相对优势来更新策略。在本文中，GRPO使用三类奖励函数：动作类型准确性奖励 $R_{act}$、坐标定位奖励 $R_{coord}$ 和格式奖励 $R_{fmt}$，总奖励 $R(y, y^*) = R_{act}(y, y^*) + R_{coord}(y, y^*) + R_{fmt}(y)$。相比SFT，GRPO能更好地利用合成数据中的验证信号。
AutoWebWorld使用GRPO而非SFT来训练Web Agent，论文实验表明仅用16K步GRPO训练就超越了使用百万级SFT样本的模型，理解GRPO才能理解这一效率差异。
WebVoyager基准
WebVoyager是评估端到端Web Agent在真实网站上完成导航任务能力的基准测试。涵盖Apple、Arxiv、Coursera、BBC、Google Flights、Google Maps、HuggingFace、Wolfram Alpha等9个网站域。每个任务限制最多15步动作，使用Gemini-3-Flash作为裁判模型判断任务是否成功。它是目前最具挑战性的Web Agent评估基准之一。
WebVoyager是本文的主要评估基准，AutoWebWorld的7B模型在该基准上达到了27.42%的成功率，超过了所有开源基线模型。
广度优先搜索（BFS）在状态图上的应用
BFS是一种图遍历算法，从起始节点出发按层次扩展。在AutoWebWorld中，BFS运行在FSM定义的状态转移图上：每个节点是一个语义状态 $s = (p, \sigma)$，每条边是一个可执行动作。BFS只扩展前置条件满足的动作，沿确定性转移获取最短路径。BFS保证找到的是到达目标状态的最短轨迹，这比随机探索或在线试错要高效得多。
BFS是AutoWebWorld轨迹生成的核心机制，使得轨迹收集从随机探索转变为系统枚举，同时保证了轨迹在FSM层面的正确性。
研究动机
自主Web GUI Agent的训练严重依赖高质量交互轨迹数据，但从真实网站收集轨迹面临一个根本性的「验证者瓶颈」（verifier bottleneck）。问题的根源在于：真实网站的状态转移是隐式的——Agent执行一个动作（如点击「添加到购物车」按钮）后，只能观测到渲染后的UI反馈（截图），而环境的内部真实状态（购物车中的商品身份、数量、折扣等）是不可见的。这迫使现有方法依赖外部验证者（人工标注者或LLM裁判）来评估每步操作的正确性。人工标注成本高昂，Explorer数据集每条轨迹$0.15，Fara高达$1.00，Mind2Web约$0.80；而且不同验证者之间经常不一致（LLM-as-judge的研究表明评估者间一致性很低）。此外，真实网站的可访问性不稳定——论文实验中就发现部分网站频繁触发访问拒绝或验证码，需要被过滤掉。这些因素共同导致高质量Web Agent训练数据的规模化收集极其困难。
本文的目标是本文的目标是构建一个自动化框架，能以极低的边际成本大规模合成可验证、可复现的Web GUI轨迹数据。具体而言：第一，消除对外部验证者（人工或LLM）的依赖，将验证逻辑内嵌到环境中；第二，将每条轨迹的生成成本从$0.15-$1.00降至$0.04以下；第三，生成的轨迹应具有足够的多样性和复杂性（平均21.9步），使得在其上训练的Agent能泛化到真实网站；第四，合成的环境本身也能作为稳定的GUI评估基准使用。
与已有工作不同的是，AutoWebWorld的独特切入角度在于它对Web环境的状态转移进行了**显式建模**。此前的工作（在线探索、人工演示、视频提取）都是「观测驱动」的——它们先收集轨迹，再通过外部验证者判断正确性。而AutoWebWorld反其道而行之：先定义完整的状态转移逻辑（FSM），再从这个已知的、确定性的图结构上系统性地搜索正确轨迹。这相当于把「先探索后验证」的范式颠倒为「先定义后枚举」。论文指出，此前已有工作开始将环境生成与轨迹合成结合（如InfiniteWeb、WebFactory），但它们没有显式建模完整的状态转移结构。AutoWebWorld通过FSM建模，使得动作有效性由前置条件强制保证，任务成功由到达目标状态确定性地认证，从而彻底绕过了验证者瓶颈。
核心方法
AutoWebWorld的总体思路可以类比为「先画地图再走路」。想象你要在一个陌生城市里找到一条从A到B的路线：传统方法是让人在城市里随机走动（在线探索），然后请裁判判断走的路线对不对（外部验证）；而AutoWebWorld的做法是先获取一份完整的城市地图和交通规则（FSM），然后用算法系统性地找到所有从A到B的最短路线（BFS），最后在模拟器上实际走一遍确认路线可通行（Playwright执行验证）。技术路线分为四步：第一步，给定网页主题（如「GitHub」），使用多智能体框架生成FSM规范，定义页面集、签名空间和转移规则；第二步，使用代码智能体将FSM翻译为可运行的前端网站；第三步，在FSM状态图上运行BFS，枚举所有到达目标状态的轨迹；第四步，在生成的网站上用Playwright回放每条轨迹，过滤掉因前端实现不匹配而失败的候选。最终输出是一组经过执行验证的GUI轨迹和对应的自然语言查询。
AutoWebWorld最核心的创新是将Web环境的状态转移从「隐式」变为「显式」。在真实网站中，状态转移函数 $T: S \times A \rightarrow S$ 是一个黑盒——你不知道点击按钮后内部状态如何变化。AutoWebWorld通过FSM规范将这个转移函数完全白盒化：每个状态 $s = (p, \sigma)$ 由页面身份和结构化签名组成，每个动作 $a$ 附带明确的前置条件 $pre(s, a)$ 和效果规则 $eff(s, a)$，转移结果 $T(s, a)$ 是确定性的。这一建模带来了两个根本性的好处：其一，验证变成零边际成本——不需要猜测内部状态，直接检查是否到达目标状态即可；其二，轨迹生成从随机探索变成系统枚举——BFS能在已知图结构上找到所有最短路径，且保证FSM层面的正确性。与此前的合成环境工作相比，AutoWebWorld不仅生成了环境，还建模了完整的转移逻辑，并且通过选择器命名空间（selector namespace）实现了FSM语义动作到GUI原子操作的确定性映射，这是其他工作没有做到的。
方法步骤详情
AutoWebWorld的完整流程包含四个步骤。**Step 1: FSM生成**——输入一个网页主题名称和参考网站名，多智能体框架（含Proposer、Validator、Improver三个角色，均基于GPT-5.1）生成FSM规范。Proposer产出候选FSM（页面集、每页签名字段、转移和目标状态），Validator自动检查有效性（如每个终止页必须可达、前置条件只引用签名路径、效果规则满足局部更新约束等），若不通过则Improver进行定点修订，循环直到所有检查通过。**Step 2: 网页环境生成**——将FSM规范交给代码智能体（Gemini3-Pro）翻译为可运行的前端项目，分4个子阶段：生成项目规范（Stage 1）、批量生成Vue页面组件并自审修订（Stage 2）、构建运行项目（Stage 3）、若构建失败则自修复（Stage 4）。关键设计是每个可交互UI组件在FSM规范时就分配了唯一CSS选择器，网页生成时严格实现这些选择器，形成共享的选择器命名空间。**Step 3: BFS轨迹收集**——在FSM状态图上从初始状态 $s_0$ 开始BFS遍历，每个节点 $s = (p, \sigma)$，每条边是前置条件满足的动作。BFS返回所有到达目标状态的路径（动作序列），然后将每个FSM动作展开为其GUI过程（gui_procedure），即一系列原子UI操作（click、type等），用Playwright在生成的网站上回放。**Step 4: 自动轨迹过滤**——对BFS生成的所有候选轨迹在合成网站上执行回放，只有所有步骤都成功执行的轨迹才被保留。过滤是刻意严格的，目的是获得一组可复现执行的轨迹集。过滤后，用DeepSeek-V3.2根据完整路径生成自然语言查询。
技术新颖性
AutoWebWorld的技术新颖性体现在三个层面。**状态建模的新颖性**：不同于以往用截图表示状态的模糊做法，AutoWebWorld定义了 $s = (p, \sigma)$ 的显式状态表示，其中签名 $\sigma$ 是一组结构化变量的赋值（如查询文本、过滤选项、分页索引、表单值、购物车内容），这使得语义状态可比较、可去重、可哈希，BFS的去重键 $key(s) = (p, hash(\sigma))$ 确保每个语义状态最多扩展一次。**验证范式的新颖性**：将验证从「外部猜测」转变为「内部检查」——动作有效性由FSM前置条件确定性判定，任务成功由到达终止页确定性认证，验证零边际人工成本且可复现。**数据生成范式的新颖性**：将轨迹收集从随机探索或人工录制转变为系统枚举。BFS保证找到最短路径，且可以生成同一目标的多条不同轨迹（通过不同的搜索策略）以增加多样性。此外，FSM规范中的gui_procedure字段将高层语义动作映射到GUI原子操作序列，形成了「语义层轨迹（用于状态演化和验证）+ GUI层轨迹（用于回放和坐标监督）」的双层表示，这种分离使得轨迹合成和确定性验证可以独立扩展。
实验结果
AutoWebWorld在多个维度上验证了其有效性。**导航任务**（WebVoyager基准）：7B模型Ours-7B以27.42%的总体成功率在所有开源基线中排名第一，超越UI-TARS-1.5-7B（26.51%）和OpenCUA-7B（16.74%）。值得注意的是，Ours-3B仅用3B参数就达到了15.09%的成功率，超越了多个7B+模型（UI-Venus-7B的9.73%、TongUI-7B的9.83%），而UI-Venus使用了约100万SFT样本，TongUI使用了约35万RL样本，AutoWebWorld仅用16K合成步进行GRPO训练。分域来看，Ours-7B在Cambridge Dictionary（60.47%）、Coursera（30.00%）、HuggingFace（32.43%）上表现突出，在Google Flights（7.32%）和Google Maps（15.00%）等许多模型接近零的困难网站上也取得了非平凡的成绩。**定位任务**（ScreenSpot-V2和ScreenSpot-Pro）：在ScreenSpot-V2上，Ours-3B将总体定位准确率从61.87%提升至65.88%（+4.01），Ours-7B从84.83%提升至86.16%（+1.33），提升主要来自Desktop Text（73.20→80.41）和Web Text/Icon（63.68→71.79）。在更具挑战性的ScreenSpot-Pro上，提升更大：Ours-3B从13.3%升至18.0%（+4.7），Ours-7B从23.2%升至27.5%（+4.3），文本定位方面3B从23.3%升至30.9%、7B从39.8%升至46.1%。**缩放定律**：随着合成数据量从8增加到256、1,024、16,253个样本，WebVoyager成功率从3.92%单调上升至17.59%、19.09%、27.42%，Online-Mind2Web从1.22%升至7.32%、7.93%、14.02%，多项式拟合曲线紧密匹配观测点，预示进一步增加数据量将持续带来性能提升。**定位数据消融**：移除定位数据后，GRPO训练初期总奖励短暂更高（因排除了较难的定位样本），但约25步后有定位数据的训练展现出更快更稳定的坐标奖励增长，最终达到更高的总奖励平台。**成本分析**：29个环境共11,663条轨迹的总成本为$447.37，其中每条轨迹仅$0.04，主要开销来自步级思维生成（$272.17），而非环境构建（$52.26）或FSM生成（$57.10）。合成环境作为基准的评估显示，模型在AutoWebWorld上的成功率低于WebVoyager，说明合成环境并非过于简单，而是保持了可比甚至更强的交互挑战性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WebVoyager 导航（总体成功率） | Success Rate (%) | 27.42（7B模型） | UI-TARS-1.5-7B: 26.51, Claude-4.0-Sonnet: 26.11, OpenCUA-7B: 16.74 | 超越最强开源基线UI-TARS-1.5-7B +0.91个百分点 |
| WebVoyager 导航（3B模型） | Success Rate (%) | 15.09（3B模型） | UI-Venus-7B: 9.73, TongUI-7B: 9.83 | 3B模型超越多个7B基线，提升约5个百分点 |
| ScreenSpot-V2 定位（3B模型） | Overall Accuracy (%) | 65.88 | Qwen2.5-VL-3B: 61.87 | +4.01 |
| ScreenSpot-V2 定位（7B模型） | Overall Accuracy (%) | 86.16 | Qwen2.5-VL-7B: 84.83 | +1.33 |
| ScreenSpot-Pro 定位（3B模型） | Overall Accuracy (%) | 18.0 | Qwen2.5-VL-3B: 13.3 | +4.7 |
| ScreenSpot-Pro 定位（7B模型） | Overall Accuracy (%) | 27.5 | Qwen2.5-VL-7B: 23.2 | +4.3 |
| Online-Mind2Web 导航 | Overall Success Rate (%) | 14.02（16K样本） | 3.92（8样本）→7.93（1K样本） | 随数据量从8增至16K，成功率从3.92%升至14.02% |
局限与改进
论文的局限性可以从多个角度分析。首先，**环境多样性受限**：虽然29个合成环境覆盖了旅行、电商、生产力、媒体、通信等类别，但每个环境都是基于单个参考网站的克隆，风格锚定机制虽然提供了一定变化，但相比真实网站的无穷多样性仍然有限。其次，**轨迹数量相对较小**：11,663条轨迹相比Explorer（94K）或Fara（145K）等大规模真实世界数据集要少一个数量级，尽管单条轨迹质量更高（平均21.9步 vs. 6.9-12.1步），但在覆盖面和任务多样性上仍有差距。第三，**FSM生成依赖闭源模型**：多智能体框架使用GPT-5.1，网页生成使用Gemini3-Pro，查询生成使用DeepSeek-V3.2，思维生成使用Gemini2.5-Flash，这些都依赖商业API，总费用$447.37虽然远低于人工标注，但复现仍需这些API的访问权限。第四，**合成环境的保真度问题**：论文承认部分BFS轨迹在合成网站上执行时会失败（需要过滤），这说明代码智能体生成的前端实现与FSM规范之间存在不匹配，尽管过滤机制解决了这个问题，但也意味着并非所有FSM理论上正确的轨迹都能实际使用。第五，**任务类型覆盖**：当前FSM主要覆盖搜索、过滤、排序、表单填写等标准Web交互模式，对于更复杂的交互（如实时协作、多媒体编辑、动态内容加载）的覆盖尚不充分。作者也指出Thinking生成是最大的成本瓶颈，说明长程任务中的步级推理规划仍有优化空间。
独立分析的弱点
我独立分析出以下几个弱点及其改进方向。**第一，FSM规范的表达能力瓶颈**：当前FSM将状态表示为页面身份+结构化签名，签名变量仅支持枚举、计数器、布尔、集合等简单操作。这意味着复杂的Web交互模式（如拖拽排序中顺序敏感的多元素交互、富文本编辑中的光标位置状态、实时WebSocket推送引发的异步状态变化）难以被FSM充分建模。改进方向是引入层次化FSM或时间自动机，支持更丰富的状态变量类型和时序约束。**第二，BFS枚举的指数爆炸问题**：论文提到会对最大深度L进行截断以控制长程爆炸，但这意味着对于复杂任务，BFS可能找不到真正的长程最优路径。在实际的Web交互中，一些关键路径可能需要20+步，而BFS在签名空间过大时可能在到达这些路径前就被截断。改进方向可以结合A*搜索（利用启发式函数引导）或蒙特卡洛树搜索（MCTS），在保证覆盖多样性的同时探索更长的路径。**第三，风格锚定的局限**：网页生成时参考网站名仅作为「风格锚点」，但代码智能体（Gemini3-Pro）对不同网站的理解深度参差不齐，可能生成质量波动较大的前端实现。这直接导致了轨迹过滤时的大量丢弃。改进方向是引入前端设计系统的标准化约束（如组件库、设计token），或在Stage 4的自修复中加入更精细的UI一致性检查。**第四，GRPO训练中定位数据的2:8比例是固定的**：消融实验（Figure 5）显示定位数据对训练至关重要，但论文没有探索不同比例的影响。不同模型规模、不同目标基准可能需要不同的最优比例。改进方向是设计自适应的数据混合策略，根据训练过程中的奖励反馈动态调整定位/导航数据比例。
未来方向
作者和论文成果可延伸的未来方向包括：**扩展环境规模和多样性**：论文的流水线是可扩展的（29个环境仅是起点），AutoWebWorld的架构天然支持生成新的合成环境，作者指出可以「进一步扩展环境和数据量」。未来可以构建数百甚至数千个覆盖更多Web交互模式的环境。**将FSM建模应用于真实网站的逆向工程**：虽然AutoWebWorld从零生成FSM，但其显式状态建模思想可以反向应用于真实网站——通过逆向工程从真实网页中提取FSM结构，从而在真实环境上也实现确定性验证。**与真实网站数据的混合训练**：当前实验仅使用合成数据训练，未来可以探索将合成轨迹与少量真实网站轨迹混合的训练策略，利用合成数据的验证信号提升真实数据的训练效率。**长程多步任务的突破**：当前15步限制下的WebVoyager成功率27.42%说明长程Web任务仍然极具挑战。随着FSM复杂度和BFS深度的增加，可以训练Agent处理更长的交互序列。**将合成环境用作稳定的评估基准**：论文已展示了AutoWebWorld环境作为基准的价值（Table 6），未来可以将这些环境标准化为社区通用的Web Agent评估套件，解决真实网站评估中的可重复性问题。**跨域迁移和泛化**：探索在某类网站（如电商）上合成的轨迹是否能迁移到其他类别（如社交、办公），研究FSM结构的可迁移性。
复现评估
AutoWebWorld在可复现性方面表现良好。**代码和数据**：论文声明代码已开源（https://evanwu1125.github.io/AWW_homepage/），29个合成环境和11,663条轨迹均已公开发布，可直接作为训练数据和基准使用。**环境依赖**：FSM生成依赖GPT-5.1 API，网页生成依赖Gemini3-Pro API，查询生成依赖DeepSeek-V3.2，思维生成依赖Gemini2.5-Flash——这些商业API的访问是复现的主要门槛。但论文详细记录了每个阶段的成本（Table 2和Table 7），总费用$447.37对于研究机构来说是可接受的。**算力需求**：训练在单机8×A800 GPU上进行，使用DeepSpeed ZeRO-3和BF16混合精度，有效batch size为256，训练1个epoch。这个算力需求对于学术实验室和中等规模团队是可实现的。**超参数**：论文在Appendix D.3中详细列出了所有训练超参数（学习率、最大prompt长度1024 token、最大像素12,845,056等），以及GRPO的三个奖励函数的具体公式（Appendix D.4），复现细节非常充分。**FSM规范**：论文在Appendix A中提供了完整的FSM JSON骨架和约束规则，Appendix A.3给出了具体的fsm.json示例，Appendix A.2.6给出了bfs.json示例，这些都大幅降低了复现门槛。总体评估：有充足API访问和中等算力资源的研究者可以较好地复现本文结果。
论文图表
展示了三种轨迹收集方法（在线探索、人工标注、BFS搜索）与AutoWebWorld的对比。左侧展示了真实网页环境中轨迹收集的问题：Agent执行动作后只能看到截图，内部状态不可见，LLM裁判对轨迹2和3的判断存在不确定性。右侧展示了AutoWebWorld的方法：通过编码智能体生成合成网页环境，在已知FSM上进行BFS搜索，获得确定性正确的轨迹。
这张图直观地传达了论文的核心洞察——现有方法的「验证者瓶颈」以及AutoWebWorld的解决思路，是理解全文动机的最佳入口。
展示了在克隆Skyscanner网站上进行复杂航班预订的完整轨迹：从伦敦希思罗机场到纽约JFK，2027年2月25日，一次中转，上午9点出发，下午12:20到达，经济舱，乘客Alex Johnson，使用卡号4532结尾的信用卡支付。轨迹展示了搜索、选择航班、填写乘客信息、支付等多个页面间的跳转。
这是论文中展示的最复杂的轨迹示例之一（涉及多页面跳转和大量表单填写），证明了AutoWebWorld能够处理长程、多步骤的真实Web交互任务。
列出了AutoWebWorld使用的统一GUI动作空间，包括click、hover、drag、type text、press enter、scroll、hotkey、wait、answer共9种动作类型，每种以JSON字典格式表示。
定义了Agent的低层动作空间，是理解训练数据格式和奖励函数设计的基础。