WebWorld：面向网页智能体训练的大规模世界模型 WebWorld: A Large-Scale World Model for Web Agent Training
基于1M+真实轨迹训练的开放网页世界模型，显著提升智能体性能
前置知识
世界模型 (World Model)
世界模型是一种能够模拟环境动态的神经网络，它学习状态转移函数 $P(s_{t+1} | s_t, a_t)$，即给定当前状态和动作，预测下一个状态。在网页智能体场景中，世界模型模拟浏览器的响应，让智能体无需真正访问网页就能进行训练。这种方法解决了真实网页交互中的延迟、限速和安全风险问题。世界模型的核心价值在于能够大规模生成合成训练数据，同时支持推理时的前瞻搜索（lookahead search）来改善决策质量。
本文的核心贡献就是训练了一个高质量的网页世界模型，理解世界模型的基本概念和训练方法是读懂本文的基础
无障碍树 (A11y Tree / Accessibility Tree)
A11y Tree是浏览器DOM树的一种简化表示，它过滤掉了渲染噪声，只保留了可交互元素（如按钮、链接、输入框）及其语义信息。每个元素包含角色（role）、名称、状态和可交互属性。这种结构化的表示方式对LLM非常友好，因为它提供了清晰的交互元素列表，避免了原始HTML的冗余和复杂性。WebWorld使用A11y Tree作为主要的状态表示格式，同时支持HTML、XML、Markdown等多种格式的预测。
论文采用A11y Tree作为核心数据格式，理解其结构对于理解数据收集和模型输入输出至关重要
思维链推理 (Chain-of-Thought, CoT)
思维链推理是一种让模型在给出最终答案前先展示中间推理步骤的技术。在WebWorld中，CoT被用于解释状态转移的因果关系，例如在预测点击按钮后的页面变化前，模型会先分析页面结构、理解用户意图、预测可能的变化。论文发现，只需1000个CoT样本就能有效激活模型的推理能力，这比直接在基座模型上进行推理调优（需要10倍数据）效果更好。这种知识先注入、后推理激活的训练范式是论文的关键创新之一。
CoT合成是WebWorld训练流程的重要组成部分，理解其原理有助于把握论文的核心方法论
缩放定律 (Scaling Law)
缩放定律描述了模型性能（通常用损失函数衡量）与计算资源之间的幂律关系。在WebWorld中，研究者训练了从0.6B到32B共6个不同规模的模型，发现最终评估损失 $L$ 与计算量 $C$（以FLOPs衡量）满足关系 $L(C) = 57.10 \times C^{-0.1084}$，拟合优度 $R^2 = 0.97953$。这表明更大的模型能持续获得更低的损失，且没有出现饱和迹象，暗示72B甚至更大规模的模型仍有显著提升空间。
缩放定律的验证说明WebWorld的训练方法具有良好的可扩展性，对未来模型规模扩展有重要指导意义
蒙特卡洛树搜索 (MCTS) 在推理时的应用
在推理时前瞻搜索场景中，智能体在每一步提出N个候选动作，世界模型模拟每个动作的下一个状态，然后价值模型评估这些状态的任务效用。MCTS是一种更高级的搜索策略，它通过构建搜索树并进行多次模拟来探索动作空间。论文发现，使用WebWorld作为世界模型配合成对评估（pairwise evaluation）时，简单Best-of-N采样就能取得不错效果，而MCTS等高级搜索策略仅带来边际改进。这暗示当前智能体从推理时搜索中获得的收益有限，世界模型更适合用于合成训练数据。
理解推理时搜索的工作原理有助于把握论文关于世界模型应用场景的深入洞察
研究动机
当前基于大语言模型的自主网页智能体在真实浏览器环境中执行动作的可靠性仍然受限。在经验时代（experience era），与环境的持续交互是构建更强大、更具行动力智能体的关键。然而，将网页智能体扩展到大规模真实世界交互面临三大核心挑战：第一，网络延迟和页面加载时间导致轨迹收集极其缓慢；第二，许多网站采用反爬虫机制或访问限制，进一步限制了数据获取；第三，真实交互需要严格的安全考量，因为某些动作（如提交敏感表单或发起交易）可能是不可逆的。此外，现有的世界模型方法虽然展示了有效性，但存在严重的数据瓶颈。具体而言，DreamGym依赖WebArena和WebShop的离线轨迹，数据集限制在约14K条轨迹；WebEvolver通过自我生成仅获得约5K条数据；WMA和WebSynthesis同样受限于基准环境的约4K-14K条轨迹。这些方法的数据来源局限于沙盒或封闭环境，导致轨迹多样性不足，模型往往只能进行单轮预测，缺乏显式的推理能力。
本文的目标是本文的核心目标是构建WebWorld——一个大规模开放网页世界模型系列（8B、14B和32B参数规模），该模型需要在超过100万条真实世界轨迹上进行训练（比先前工作多100倍），同时支持推理、长时程模拟（30+轮次）和多种输入格式（A11y Tree、HTML等）。论文希望解决现有世界模型的泛化性不足问题，通过建立可扩展的分层数据流水线来扩大数据覆盖范围。在评估层面，论文旨在引入WebWorld-Bench，这是一个全面的内在评估框架，采用双指标（事实性分数和网页图灵分数）跨九个维度评估模型能力。在应用层面，论文希望通过WebWorld合成的轨迹数据来显著提升下游智能体在MiniWob++和WebArena等基准上的性能。
与已有工作不同的是，本文的独特切入角度体现在三个层面。首先是数据层面的根本性突破：现有方法依赖狭窄的智能体任务集，导致数据集限制在万级规模，而WebWorld从预训练语料库（FineWeb和CCI 3.0）中提取目标URL，采用可扩展的分层采集策略（随机爬取、自主探索、任务导向执行），将数据规模提升至百万级。其次是模型能力的全面性：与先前工作局限于单轮预测和受限输入格式不同，WebWorld支持长达30轮的长时程交互、多种输入格式转换（A11y Tree、HTML、XML、Markdown）、以及显式的链式思维推理。第三是评估框架的创新：现有结构化指标（DOM树相似度）和语义指标（ROUGE/BERTScore）在开放网页任务中表现不佳，论文提出事实性分数（点式评估）和网页图灵分数（成对比较）的双指标体系，既捕获功能正确性又评估感知真实性。
核心方法
WebWorld的方法论可以概括为'知识注入+推理激活'的两阶段训练范式。整体思路是：首先通过大规模真实世界轨迹收集建立数据基础，然后通过数据富集确保模型的多面性，最后通过小规模高质量思维链数据激活推理能力。具体技术路线如下：论文将浏览器世界建模为自回归模拟器，给定指令 $I$ 和历史 $h_t = (s_0, a_0, \ldots, s_t, a_t)$，预测下一个状态 $s_{t+1} \sim P_\theta(\cdot | I, h_t)$。模型通过最大似然在轨迹 $\tau = (I, s_0, a_0, \ldots, s_T)$ 上训练，损失函数为 $\mathcal{L}(\theta) = -\mathbb{E}_{\tau \sim \mathcal{D}} \sum_{t=0}^{T-1} \log P_\theta(s_{t+1} | I, h_t)$。为了确保泛化性，论文将数据源与预训练语料对齐，采用分层数据收集策略，通过规则和LLM双重过滤确保质量，应用数据增强支持多格式预测，最后采用两阶段课程学习激活推理能力。
WebWorld的核心创新在于其可扩展的分层数据流水线设计，这与已有方法存在本质区别。首先，在数据源选择上，WebWorld从大规模预训练语料库FineWeb（英语，约618K URL）和CCI 3.0的高质量子集（中文，约64K URL）中提取目标URL，确保世界模型的训练分布与基础LLM的预训练先验对齐。其次，论文提出了三级层次化收集策略：第一级是随机爬取（Randomized Crawling），在从预训练语料提取的网站上部署随机爬虫，每个网站执行3-10步轨迹，产生293K多样化轨迹；第二级是自主探索（Autonomous Exploration），部署LLM智能体自主生成探索目标，采用四种互补策略（自提出任务、长时程依赖、复合动作交互、好奇发现），产生38K长时程轨迹；第三级是任务导向执行（Task-Oriented Execution），通过三阶段生成流水线（种子提取、任务多样化、释义）合成明确任务，产生94K高质量执行轨迹。这种设计确保了数据的广度、真实性和任务对齐性。
方法步骤详情
WebWorld的完整训练流程包含以下关键步骤：第一步是数据收集，从预训练语料库FineWeb和CCI 3.0中提取URL，部署三级层次化收集策略（随机爬取293K轨迹、自主探索38K轨迹、任务导向执行94K轨迹），辅以开源智能体轨迹和通用指令跟随数据，总计1.06M轨迹。第二步是数据过滤，采用双阶段流水线：基于脚本的启发式规则验证网站可达性和过滤违规关键词（保留15.7%的原始URL，其中85.2%通过关键词检查），然后使用LLM在四个维度（可访问性、内容适宜性、交互性、工程质量）评分，丢弃低于平均分或触发安全违规的站点。第三步是数据富集，构建覆盖五个范式的多维度指令调优数据集：多格式模拟器（在A11y、HTML、XML、Markdown间转换）、网页生成（将用户查询映射到网页结构）、描述性模拟（将状态变化转换为文本总结）、通用世界模型（纯自然语言的状态转移模拟）、通用聊天（防止灾难性遗忘）。第四步是两阶段训练，Stage 1在完整1.06M数据集上训练学习网页动态，Stage 2使用1000个合成CoT样本继续训练以激活推理模式。
技术新颖性
WebWorld的技术新颖性体现在多个层面。首先是数据规模和来源的根本性创新：先前最好的世界模型（如WMA、WebSynthesis）仅有约4K-14K轨迹，而WebWorld达到1.06M，是100倍的量级跃升。更重要的是，数据来源从封闭基准环境转向真实开放网页，通过与预训练语料对齐确保分布一致性。其次是训练范式的创新：论文发现了'知识-然后-推理'模式的有效性——先在大规模真实轨迹上学习网页动态（Stage 1），然后用极少量CoT数据（1000样本，占总数据0.09%）激活推理能力（Stage 2）。消融实验表明，这种范式比直接在基座模型上进行推理调优（需要10倍数据）效果更好，总分从0.510提升至0.561。第三是评估框架的创新：提出事实性分数（点式评估功能正确性）和网页图灵分数（成对比较评估感知真实性）的双指标体系，克服了现有结构化指标和语义指标在开放网页任务中的局限性。第四是跨环境泛化能力的验证：WebWorld展示了从网页到代码、GUI、游戏环境的强迁移能力，在4种环境下平均总分从0.176提升至0.400（1500样本）。
实验结果
论文的核心发现可以从多个维度进行详细分析。首先在内在评估方面，WebWorld-32B在WebWorld-Bench上取得了71.0%的平均事实性分数，与Claude-Opus-4.1（71.3%）相当，在长时程一致性维度（77.0%）和多格式鲁棒性（各格式70-75%）上表现尤为突出。值得注意的是，开源基线模型（如WebSynthesis-8B仅16.7%、WMA-8B仅11.1%）的极低分数反映了输出格式对齐问题而非模型能力缺陷。在外在评估方面，使用WebWorld合成的8000条轨迹微调Qwen3-8B，在MiniWob++上取得9.9%的提升（从49.4%到59.3%），在WebArena上取得10.9%的提升（从9.8%到20.7%），Reddit和GitLab子域分别获得18.3%和12.0%的显著提升。微调后的Qwen3-14B在WebArena上达到24.3%的成功率，与GPT-4o（26.6%）相当。在推理时前瞻搜索方面，WebWorld作为世界模型配合成对评估，使用Best-of-N（k=3）采样在MiniWob++上达到67.5%的奖励，超越GPT-5作为世界模型的表现（64.5%）。缩放定律分析表明，性能随模型规模持续提升，幂律关系 $L(C) = 57.10 \times C^{-0.1084}$ 拟合优度达 $R^2 = 0.97953$，72B模型预测显示仍有显著提升空间。跨环境泛化实验表明，WebWorld在API服务、代码、游戏、GUI四种环境下平均总分从0.176提升至0.400（1500样本），展示了强大的迁移能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MiniWob++ 网页交互基准 | 成功率 (SR%) | Qwen3-8B + WebWorld: 59.3% | Qwen3-8B 基座: 49.4% | +9.9% 绝对提升 |
| WebArena 真实网站基准 | 成功率 (SR%) | Qwen3-8B + WebWorld: 20.7% | Qwen3-8B 基座: 9.8% | +10.9% 绝对提升 |
| WebArena (14B模型) | 成功率 (SR%) | Qwen3-14B + WebWorld: 24.3% | Qwen3-14B 基座: 15.1% | +9.2% 绝对提升 |
| WebWorld-Bench 事实性评估 | 平均事实性分数 | WebWorld-32B: 71.0% | Claude-Opus-4.1: 71.3% | 与最强专有模型相当 |
| 推理时前瞻搜索 (MiniWob++) | 奖励值 | WebWorld + GPT-5 价值模型: 67.5% | GPT-5 世界模型: 64.5% | +3.0% 绝对提升 |
局限与改进
论文明确承认了WebWorld的两个主要局限性。首先是谄媚偏差（sycophancy）问题：模型倾向于生成过于乐观的结果来迎合智能体的动作意图，这种偏差可能阻碍稳健的策略学习。例如，当智能体执行一个实际上会导致错误的动作时，WebWorld可能会生成一个看起来成功的结果，从而误导训练信号。其次是内容生成质量的限制：WebWorld在生成高质量、详细内容（如科学文章）方面存在困难，这可能限制了其在需要精确内容生成的任务中的应用。从技术角度分析，论文的评估框架也存在一定局限：使用GPT-4o作为评判者可能引入模型特定的偏差，虽然Table 4展示了不同评判者（GPT-4o和Claude-Opus-4.1）间排名的一致性，但绝对分数的显著差异（如WebWorld-8B的事实性分数从70.1%变化到67.6%）表明评估仍有一定主观性。此外，论文的跨环境泛化实验（Table 8）使用的是相对较小的样本量（1500-3000），更大规模的迁移效果仍需验证。从数据层面看，虽然论文声称数据收集遵循robots.txt协议并应用安全启发式规则，但承认训练数据（来自FineWeb和CCI 3.0的网页爬取）可能无意中包含个人身份信息（PII）、有毒内容或反映公共网页数据中的人口统计偏差。
独立分析的弱点
尽管WebWorld取得了显著成果，仍存在几个值得深入分析的弱点。第一，谄媚偏差问题的根本原因在于训练数据中缺乏负面反馈：真实网页轨迹很少包含'失败'的状态转移，模型因此学会了总是预测乐观的结果。改进方向可以包括：引入对抗性训练数据，让模型学习预测失败状态；或者在训练目标中加入对比学习组件，强制模型区分成功和失败的状态转移。第二，模型对长时程一致性的处理仍有提升空间：虽然论文声称支持30+轮次的交互，但Table 3显示WebWorld-32B在长时程一致性维度的事实性分数为77.0%，仍有约23%的预测存在不一致。改进方向可以引入显式的状态记忆机制或层次化预测架构。第三，数据收集的效率问题：三级层次化收集策略虽然覆盖广泛，但需要大量的网页爬取和智能体探索，计算成本高昂。改进方向可以探索更高效的数据选择策略，如主动学习或课程学习来优先收集信息增益最大的轨迹。第四，评估维度的局限性：WebWorld-Bench的九个维度虽然全面，但主要关注状态转移的正确性和真实性，未充分评估模型的安全性、公平性和可控性。改进方向可以加入安全性评估维度，测试模型是否会生成有害内容或泄露敏感信息。
未来方向
基于论文成果，可以延伸出多个有价值的研究方向。首先，论文展示的跨环境泛化能力（Table 8）为构建通用世界模型提供了可能：未来可以探索将WebWorld扩展到更多环境（如移动端APP、桌面软件、物联网设备），建立统一的世界模型架构。其次，论文发现的'知识-然后-推理'训练范式具有普适性：可以应用于其他需要复杂推理的领域，如机器人操作、自动驾驶、科学模拟等。第三，论文提到的缩放定律显示72B模型仍有显著提升空间，这为更大规模的世界模型训练提供了理论依据。第四，论文的Abstract-and-Instantiate数据合成策略可以进一步优化：可以探索更复杂的任务抽象层次，或者引入人类反馈来指导合成数据的质量。第五，针对谄媚偏差问题，可以研究基于强化学习的对齐方法，使用真实环境反馈来校正模型的乐观偏差。第六，论文的推理时前瞻搜索结果显示当前智能体从搜索中获益有限，这暗示需要重新思考世界模型在智能体系统中的最佳应用方式，可能更适合作为训练数据生成器而非推理时组件。
复现评估
从复现角度来看，WebWorld具有较高的可复现性。论文明确开源了代码（GitHub: https://github.com/QwenLM/WebWorld），提供了详细的训练流程描述。数据层面，虽然完整数据集未公开（1.06M轨迹），但论文详细描述了数据收集流水线的每个步骤，包括URL来源（FineWeb约618K URL、CCI 3.0约64K URL）、三级层次化收集策略的具体参数、过滤规则和富集任务。模型架构基于Qwen3系列（8B/14B/32B），这些基础模型已开源。训练细节方面，论文描述了两阶段课程学习的设置，但未提供完整的学习率、批大小、训练步数等超参数。算力需求方面，训练8B模型需要处理1.06M轨迹，且涉及多格式转换和LLM评估，预计需要数十GPU天。评估框架WebWorld-Bench的构建细节也有描述，但评估数据集是否公开尚不明确。总体而言，虽然完全复现论文的所有实验可能需要大量计算资源，但核心方法和训练流程是可复现的。建议复现者从小规模实验开始（如使用论文提供的子集或自行收集的小规模数据），验证流水线的有效性后再扩展规模。
论文图表
