通过克隆网站实现安全可扩展的 Web 智能体学习 Safe and Scalable Web Agent Learning via Recreated Websites
用编码智能体克隆真实网站为可执行环境，生成可验证任务训练 Web 智能体
前置知识
Web Agent（网页智能体）
Web Agent 是一种能够在浏览器环境中自主执行任务的 AI 系统，它可以观察网页状态（如截图、DOM 结构），然后决定下一步操作（点击、输入、滚动等）。这类智能体需要处理长序列的交互决策，理解异构的网页界面，并在动态环境中完成目标导向的任务。Web Agent 是当前 AI 领域的重要研究方向，因为它模拟了人类使用互联网的真实场景。
本文的核心目标就是提升 Web Agent 的训练效果，理解 Web Agent 的基本工作方式和评估方法是读懂本文的基础。
Self-Evolving Training（自进化训练）
自进化训练是一种让 AI 智能体通过自我生成任务、自我探索环境、自我评估来持续提升能力的训练范式。智能体在环境中自主创建挑战，执行任务获取经验，然后用成功的经验来更新自身模型。这种方法减少了对人工标注数据的依赖，理论上可以实现无限的训练数据生成和持续改进。
本文的核心创新就是为自进化训练提供安全、可靠的环境和可验证的奖励信号，解决传统自进化训练中的安全性和可靠性问题。
Verifiable Reward（可验证奖励）
可验证奖励是指可以通过确定性程序（而非启发式规则或 LLM 判断）来自动验证任务是否完成的奖励信号。例如，验证程序可以直接查询数据库状态、检查页面 URL 或文本内容，返回二元的通过/失败结果。与 LLM-as-a-Judge 相比，可验证奖励不会引入额外的不确定性，结果具有确定性和可复现性。
传统 Web Agent 训练依赖 LLM-based Judge 来评估轨迹，这种评估容易出错且不可靠。本文通过 Python SDK 实现可验证奖励，是提升训练稳定性的关键技术。
Coding Agent（编码智能体）
编码智能体是能够自主编写、调试和迭代修改代码的 AI 系统。本文使用 GPT-5.2 作为编码智能体，配合 Cursor CLI 等工具，能够访问本地文件系统和终端，自由编写代码、执行命令并迭代修复 bug。编码智能体可以通过 Playwright MCP 等工具与网页交互，识别功能问题并自动修复。
编码智能体是本文方法的核心执行者——它负责将真实网站克隆为可执行的合成环境，这一过程的自动化程度和质量直接决定了整个框架的可行性。
Rejection-based Fine-tuning（基于拒绝的微调）
这是一种训练策略，智能体对每个任务采样多条轨迹，然后只保留那些通过了可验证标准的成功轨迹作为监督数据。失败的轨迹被「拒绝」，不参与训练。这种方法确保训练数据都是高质量的成功示例，避免了从失败经验中学习带来的噪声。
本文采用这种策略将可验证的奖励信号转化为实际的模型更新，是连接环境验证能力和模型训练的桥梁。
研究动机
训练自主 Web 智能体面临三个根本性障碍。首先，真实世界网站的探索是不安全的：智能体的操作可能干扰其他用户、违反平台政策，或被 Cloudflare、CAPTCHAs 等反爬机制拦截。其次，自生成的任务往往定义不明确，存在多个合理答案，导致奖励信号不可靠。例如，Prior 工作中生成的任务指令常常「underspecified」，智能体可能到达了错误的页面但因为包含相关信息而被 LLM Judge 错误地标记为成功。第三，LLM-as-a-Judge 的评估方式本身就会引入错误——在复杂网页环境中，这种评估的准确性无法保证。这三个问题共同导致自进化 Web Agent 训练变得不稳定和低效。
本文的目标是本文提出 VERIENV 框架，目标是自动将真实网站克隆为完全可执行的合成环境（包含前端、后端和数据库），并通过 Python SDK 提供受控的内部访问接口，使智能体能够安全探索、生成可验证的任务，并获得确定性的奖励信号。具体来说，框架要实现：(1) 安全的环境交互，不接触真实网站；(2) 可验证的任务生成，每个任务都有对应的验证程序；(3) 可扩展的自进化训练，性能随环境数量增加而提升。
与已有工作不同的是，与已有工作相比，本文的独特切入角度是「环境即基础设施」。现有方法（如 WebRL、PAE）主要关注训练算法或任务生成策略的改进，但仍然依赖真实网站交互和 LLM-based 评估。本文认为，问题的根源不在于训练算法，而在于训练环境本身不可靠。因此，VERIENV 从根本上改变了训练范式：不是让智能体在真实网站上学习，而是先克隆网站、再生成可验证任务、最后在合成环境中训练。这种解耦使得智能体学习完全脱离了不安全的真实世界交互，同时通过可执行的验证程序消除了对启发式或 LLM 判断的依赖。
核心方法
VERIENV 的核心思路可以用一个类比来理解：与其让飞行员直接在真实飞机上练习（危险且不可控），不如先建造一个高保真飞行模拟器（安全且可重复），在模拟器中生成各种训练场景并自动验证操作结果。具体来说，VERIENV 分为三个阶段：(1) 环境构建——使用编码智能体（GPT-5.2）自动克隆真实网站，生成可执行的应用代码 C、数据库状态 D 和 Python SDK P，表示为三元组 $ ilde{E} = (C, D, P)$；(2) 任务与验证器生成——利用 LLM 生成多样化的任务指令，每个任务都配有可执行的验证程序，通过 Python SDK 查询数据库状态来判断任务是否完成；(3) 自进化训练——智能体在合成环境中交互，通过验证程序获得确定性奖励，用基于拒绝的微调策略更新模型。整个流程完全自动化，无需人工标注。
VERIENV 的核心创新在于将「环境构建」和「任务验证」统一到同一个可执行系统中。传统方法中，环境（真实网站）和评估（LLM Judge）是分离的：智能体在真实网站上操作，然后用 LLM 来判断操作是否成功。这种方式存在两个问题：真实网站不可控（可能被封、状态不可重置），LLM 判断不可靠（可能产生 false positive）。VERIENV 的本质区别是：通过克隆网站并暴露内部访问接口（Python SDK），将环境和评估耦合到同一个系统中。验证程序可以直接查询数据库获取 ground truth，然后与智能体的输出进行确定性比对。这意味着：(1) 不需要 LLM 来判断对错；(2) 任务定义是精确的（有唯一正确答案）；(3) 环境状态是可重置的（数据库可以恢复到初始状态）。
方法步骤详情
VERIENV 的完整流程包含以下步骤：第一步，网站克隆——给定真实网站的截图，编码智能体（GPT-5.2 + Cursor CLI）通过文件系统和终端访问，构建完整的网站实现，包括数据库 schema、前端页面、后端 API 和 Python SDK。编码智能体使用 Playwright MCP 与部署的网站交互，识别功能差异并迭代修复 bug，最终产生稳定的合成环境 $ ilde{E} = (C, D, P)$。第二步，任务生成——给定合成环境，LLM 生成 50 个多样化的任务指令，每个任务包含自然语言描述、Python SDK 调用、执行结果和验证程序。任务按难度分为 easy（简单浏览）、medium（多步导航）、hard（需要认证和状态修改）。第三步，任务验证——每个任务都通过 Python SDK 执行验证程序，检查任务是否可执行、验证程序是否正确。第四步，自进化训练——智能体在合成环境中采样任务，执行浏览器操作产生轨迹 $ au$，通过验证程序获得二元奖励。只保留成功轨迹作为监督数据，用 rejection-based fine-tuning 策略更新模型。新生成的任务和轨迹被迭代加入训练过程。
技术新颖性
VERIENV 的技术新颖性体现在三个层面。第一，环境构建的自动化：与 WebArena（手工构建 5 个网站）和 WorkArena（单个网站）不同，VERIENV 完全自动地克隆了 149 个真实网站，平均耗时 83.5 分钟，成本仅 $3.6/网站。这使得训练环境的规模化成为可能。第二，验证机制的根本改变：与 PAE 使用 VLM-as-Judge 不同，VERIENV 的验证是确定性的——通过 Python SDK 查询数据库，用规则化的操作（exact match、must include、fuzzy match）判断任务完成。论文中的对比实验（Figure 6）清楚地展示了这种差异：PAE 的 VLM Judge 可能将错误的页面标记为成功，而 VERIENV 的规则验证器不会犯这种错误。第三，训练范式的解耦：传统方法中，智能体学习和环境交互是耦合的（智能体直接在真实网站上学习），VERIENV 将它们解耦——先构建环境，再在环境中训练。这种解耦使得环境可以被复用、验证可以被自动化、训练可以被规模化。
实验结果
实验结果从两个互补角度验证了 VERIENV 的有效性。在跨网站泛化实验中（Table 4），VERIENV 在 WebArena-Lite 上显著提升了开源模型的性能：Qwen3-4B 从 7.88% 提升到 13.94%（+6.06），LLaMA-3.2-3B-Instruct 从 3.03% 提升到 12.73%（+9.09/文中写作+9.70）。值得注意的是，现有的训练方法 Synatra 和 ADP 表现不稳定——Synatra 在 Qwen3-4B 上甚至导致性能下降（从 7.88% 降至 3.64%），ADP 在 Qwen 上也不一致。相比之下，VERIENV 在两个基座模型上都取得了稳定提升。在 Mind2Web-Online 实验中（Table 5），VERIENV 同样表现优异：Qwen3-4B 从 13.18% 提升到 20.45%（+7.27），LLaMA-3.2-3B-Instruct 从 11.36% 提升到 24.55%（+13.19）。特别是在 Medium 难度任务上，VERIENV 的提升最为显著（Qwen: 9.41%→23.53%，LLaMA: 12.94%→29.41%）。在站点特定自进化实验中（Figure 4），智能体在 CMS、Shopping 和 Reddit 三类网站上的性能随训练迭代持续提升，VERIENV 的提升幅度和稳定性都优于 PAE 基线。环境扩展实验（Figure 5）表明，性能随训练环境数量增加而持续上升，验证了「环境即扩展维度」的核心假设。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WebArena-Lite (Qwen3-4B) | Success Rate (%) | 13.94 | 7.88 (base) | +6.06 |
| WebArena-Lite (LLaMA-3.2-3B) | Success Rate (%) | 12.73 | 3.03 (base) | +9.70 |
| Mind2Web-Online (Qwen3-4B) | Success Rate (%) | 20.45 | 13.18 (base) | +7.27 |
| Mind2Web-Online (LLaMA-3.2-3B) | Success Rate (%) | 24.55 | 11.36 (base) | +13.19 |
| WebArena-Lite (Qwen3-4B, Shopping) | Success Rate (%) | 4.35 | 3.77 (base) | +0.58 |
| WebArena-Lite (Qwen3-4B, CMS) | Success Rate (%) | 20.00 | 6.67 (base) | +13.33 |
| WebArena-Lite (Qwen3-4B, Reddit) | Success Rate (%) | 23.81 | 4.17 (base) | +19.64 |
局限与改进
本文存在几个重要局限。首先，合成环境的质量受限于编码智能体的能力：在 136 个目标网站中，有 39 个（约 29%）未能成功克隆，主要原因是系统设置不完整（端口冲突占 59%、CORS 错误占 12%、数据库问题占 12%）。这意味着当前方法在约三成的网站上是失败的。其次，克隆环境与原始网站存在差异——论文承认「cloned environment is not perfectly identical to the original website」，虽然保留了功能结构，但视觉质量（4.7/5）和 Judge 正确率（76%）仍有提升空间。Judge 正确率较低的主要原因是数据库重置时未能保持随机种子，导致数据不一致。第三，当前实验仅使用了 3B 级别的小模型，与 GPT-4o（31.52%）和 Claude-3.5-Sonnet（28.80%）等闭源模型仍有较大差距（VERIENV 最好成绩为 24.55%）。第四，训练数据的多样性虽然有所扩展（149 网站），但仍远少于真实互联网的多样性。
独立分析的弱点
从独立分析的角度，VERIENV 存在几个值得关注的弱点。第一，环境构建的成本和成功率问题：虽然单个网站的克隆成本（$3.6）和时间（83.5 分钟）看似可控，但 29% 的失败率意味着大规模部署时需要大量重试。改进方向是引入更鲁棒的编码智能体（如更强的多模态能力）和更完善的错误恢复机制。第二，合成环境的保真度瓶颈：当前方法主要克隆功能性结构，对于依赖多媒体内容（PDF、视频流）的网站（如 arXiv、YouTube）效果较差。论文建议用占位符替代，但这会降低训练的真实度。改进方向是结合 text-to-image 模型生成逼真的产品图片，或引入视频流模拟器。第三，验证程序的覆盖范围有限：当前验证主要基于数据库查询和文本匹配，对于需要视觉判断（如「页面布局是否美观」）或复杂交互序列验证的任务无能为力。第四，任务多样性受限于 LLM 的想象力：虽然生成了 7,400 个任务，但这些任务的模式可能缺乏真实用户行为的长尾分布特征。
未来方向
作者提出的一个重要未来方向是将 VERIENV 的可验证环境用于强化学习训练。由于验证程序提供确定性、可复现的奖励信号，这为 RL 训练提供了比 LLM-based 或启发式评估更稳定的基础。具体来说，可以在合成环境中实现在线 RL（如 PPO、GRPO），让智能体通过试错持续改进。另一个方向是环境扩展——随着训练环境数量增加，性能持续提升（Figure 5），这意味着构建更大规模的合成环境库可能进一步提升泛化能力。此外，基于当前成果可以延伸的方向包括：(1) 将 VERIENV 应用于代码生成领域的自进化训练（用合成代码仓库替代真实 GitHub）；(2) 探索跨环境迁移学习——在一个网站上训练的知识能否迁移到相似网站；(3) 将可验证任务生成与 curriculum learning 结合，自动调节任务难度。
复现评估
从复现评估来看，VERIENV 的复现条件相对明确但有一定门槛。代码和资源将在论文被接收后开源（GitHub: kyle8581/VeriEnv）。环境构建需要 GPT-5.2 作为编码智能体（这是主要的成本和可及性瓶颈），配合 Cursor CLI 工具。训练使用 LLaMA-Factory 框架，学习率 $1 imes 10^{-5}$，训练 2 个 epoch，最大序列长度 8,000 tokens，使用 DeepSpeed ZeRO-3 在两块 NVIDIA A40 GPU 上进行。数据集包含 149 个网站、7,400 个任务，但这些数据依赖于 GPT-5.2 生成的合成环境，完全复现需要重新克隆网站。好消息是验证程序是确定性的，相同环境下的训练结果应该是可复现的。整体复现难度中等偏高——主要障碍是 GPT-5.2 的 API 访问和成本（149 个网站约 $540），以及编码智能体的随机性（不同运行可能产生不同质量的克隆）。
论文图表
展示了 39 个未能成功克隆的网站的失败原因分布：端口冲突占 59%，CORS 错误占 12%，数据库问题占 12%，前端错误占 6%，404/路由错误占 6%，其他问题占 12%。
这个图表帮助读者理解当前方法的主要瓶颈和改进方向，特别是端口冲突问题（可以通过 Docker 隔离解决）。