MolmoWeb：面向开放网络的开放视觉网页智能体与开放数据 MolmoWeb: Open Visual Web Agent and Open Data for the Open Web
完全开源多模态网页智能体,纯截图操作,在浏览器任务上击败同规模开源模型
前置知识
视觉语言模型 (VLM)
视觉语言模型是能同时理解图像像素和自然语言的多模态模型,通常由视觉编码器(如 SigLIP2)与语言模型(如 Qwen3)通过投影层拼接而成,既可看图又能生成文本。
MolmoWeb 本身就是基于 VLM(Molmo2 架构)构建的网页动作策略网络,理解其 backbone 是读懂方法的前提。
网页智能体 (Web Agent)
网页智能体是能在浏览器中代替用户完成多步任务的自主系统,需要观察页面状态、理解指令、决策并执行 click/type/scroll 等浏览器动作,常通过 ReAct 等框架串联思考与行动。
论文研究的核心对象就是网页智能体,涉及观测空间(截图/HTML)、动作空间(API)与评估基准(WebVoyager 等)等概念。
可访问性树 (AxTree)
浏览器把页面结构序列化成带交互节点 ID 的树,代表按钮、链接、输入框等元素;基于 AxTree 的智能体通过元素 ID 直接操作,绕开像素级点击。
论文中合成数据主要由 AxTree 智能体生成,且对比基线也包括 AxTree 智能体,理解其含义才能体会为什么视觉方案更具泛化性。
Set-of-Marks (SoM) 提示
SoM 是一种给截图叠加带编号标记的提示方法,把可交互元素用数字或字母标出,让视觉模型根据编号选择目标,介于纯像素与纯结构之间。
论文以 SoM 智能体作为关键基线,纯视觉的 MolmoWeb-8B 击败了基于 GPT-4o/o3 的 SoM 智能体,这是论文的核心反直觉发现。
监督微调 (SFT) 与数据混合
SFT 指在预训练模型上用标注数据继续训练;数据混合则指把多源数据按比例配比联合训练,在 LLM/VLM 后训练中很关键,比例是超参数。
MolmoWeb 通过对 Molmo2 做单阶段 SFT,混合 4 类来源 9 种数据集(比例详见 Table 2),数据混合策略是本文最重要的工程贡献之一。
Pass@k 与无偏估计
Pass@k 衡量模型在 k 次独立尝试中至少一次成功的概率;无偏估计公式 $\hat{\text{pass@k}} = 1 - \binom{m-c}{k}/\binom{m}{k}$ 需在 m>k 次采样上计算,降低方差。
论文用 pass@k 评估测试时扩展能力,MolmoWeb-8B 在 WebVoyager 上 pass@4 达 94.7%,远高于 pass@1 的 78.2%。
研究动机
当前最强的端到端网页智能体(OpenAI Computer-Use、GPT-4o SoM Agent、Gemini Computer-Use Preview 等)几乎都是闭源 API,论文指出 WebVoyager 上 GPT-4o SoM 只能拿到 65.1 分,这类系统训练数据与完整 recipe 都不公开,严重阻碍可复现性与学术研究。同时主流方法普遍依赖 AxTree 或 SoM 标记作为观测:Table 4 显示 Gemini-3-Flash AxTree 智能体在 WebVoyager 上达 74.4 分,但其要消耗每页数万个 token,而且 DOM/AxTree 跨网站、跨框架差异巨大,微小的页面更新即可让智能体崩溃,无法像人一样使用网页。最后,既有的开源工作 Fara-7B(WebVoyager/WebTailBench 73.5/38.4 分)、UI-TARS-1.5-7B(66.4/19.5 分)、Holo1-7B(55.4 分)性能显著落后,使得开放社区在浏览器任务上几乎无可用基线。
本文的目标是论文提出两个相互支撑的目标:(1) 开放数据 MolmoWebMix,包含 278.5K 任务轨迹(其中 36K 人类演示 + 100K+ 合成轨迹)与 10.5M GUI 感知样本,覆盖 2.6K 域名;(2) 开放模型 MolmoWeb,4B/8B 两个尺寸,只用截图作为观测,预测结构化的 thought + JSON 动作。最终希望在不蒸馏任何专有视觉智能体的前提下,在 WebVoyager、Online-Mind2Web、DeepShop、WebTailBench 四个 live-website 基准上把开源权重模型推到 SOTA,并通过测试时扩展再上一个台阶。
与已有工作不同的是，本文的独特切入角度是全栈开放加纯视觉。与 Fara 等依赖闭源视觉智能体蒸馏的工作不同,MolmoWeb 的合成数据主要由非视觉的 AxTree 智能体(Gemini-3-Flash)生成,再附以截图作为统一观测,因此不存在从专有 VLM 蒸馏的风险;与 OpenAI CUA/Gemini computer-use 等闭源系统相比,它彻底放弃了 HTML/AxTree 输入,只靠截图预测像素级动作;与 Holo1/UGround 等单一能力模型相比,它把原子技能轨迹、GUI 感知、任务轨迹放进同一阶段 SFT,让一个模型同时具备 grounding、ScreenshotQA 与任务执行能力。这种组合在已有文献中无人系统探索,论文用 64 张 H100 与 50K 步 SFT 训练,让 8B 视觉智能体在 WebVoyager 上反超 GPT-4o SoM 智能体(78.2 vs 65.1)。
核心方法
MolmoWeb 的整体思路是把 VLM 训练成指令条件的视觉动作策略:每一步模型接收任务指令、当前网页截图与近 10 步动作历史,输出一个自然语言 thought 加一个 JSON 编码的浏览器动作,执行后浏览器产生新截图,循环直到任务完成或触发 send_msg_to_user。模型以 Molmo2(Qwen3 语言模型 + SigLIP2 视觉编码器)为底座,从单图 QA 检查点开始,联合微调视觉编码器、投影层与语言模型。技术路线上分为数据与训练两端:数据端构造 MolmoWebMix 四类数据(合成任务轨迹、人类任务轨迹、原子技能轨迹、GUI 感知),训练端用单阶段 SFT 把这些数据按精心调好的比例(Table 2)混合训练 50K 步,3.2 个 epoch,global batch size 128。直觉上,这相当于让一个看过 1.1K 域的 30K 人类操作加 100K AxTree 智能体操作的 8B 学生模型,只靠屏幕像素学会人怎么上网,而不需要后端 DOM。
核心创新点是以截图为中心的多源数据混合加无蒸馏训练。本质区别有三:第一,观测空间完全视觉化,论文证明 8B 纯视觉模型可以击败需要 AxTree 加 SoM 双重输入的 GPT-4o 智能体,反直觉地说明数据质量与训练目标比额外输入模态更重要;第二,合成数据由 AxTree 智能体生成(完全看不到截图),再附以截图作为统一格式,巧妙绕开了从闭源视觉智能体蒸馏的合规与能力天花板问题,这是与 Fara/UI-TARS 系列最大的方法论差异;第三,设计 Planner-Operator-Verifier 多智能体 harness(78.5% vs 单智能体 74.4% WebVoyager)与 Node-Traversal 确定性导航(833 域、16K 轨迹),为模型提供高质量 thought 加可验证路径两种互补监督。同时把 7M+ 的 grounding QA 与 2.2M ScreenshotQA 一起混入单阶段训练,实现 grounding、ScreenshotQA、任务执行三合一。
方法步骤详情
数据端五步:Step 1 用 Gemini-3-Flash 作 AxTree 智能体对 1.3K 域名生成 70K 合成轨迹(均 11.4 步),WebVoyager VLM 过滤失败;Step 2 用 Planner(Gemini-2.5-Flash)+Operator(AxTree 智能体)+Verifier(GPT-4o)多智能体迭代生成 35K 轨迹,Verifier 用最近 5 截图判断子目标;Step 3 Chrome 扩展众包 36K 人类演示切成 116K 原子技能子轨迹;Step 4 对 500 热门站 BFS 建图,无 LLM 脚本回放产生 16K Node-Traversal 轨迹;Step 5 用 AxTree 枚举+GPT-5 描述生成 7M+ grounding QA 与 2.2M ScreenshotQA。训练端单阶段 SFT 9 子集,语言/视觉/投影层全解锁,64 H100、global batch 128 训 50K 步约 3.2 epoch;推理默认 top-p(温度 $0.7$, $p=0.8$),每任务最多 100 步,允许 10 次重试。
技术新颖性
技术新颖性体现在四方面。其一,数据配方新颖:合成数据区分 Single-Agent AxTree(0.35)、Multi-Agent(0.18)、Node-Traversal(0.02)与 Atomic Skill(0.02),Human Task(0.18)、Human Skill(0.05)、PixMoPoints+Synthetic Ground(0.15)与 ScreenshotQA(0.05)按 ablation 混合,是首个公开的多源网页智能体数据配方。其二,数据生成新颖:Node-Traversal 用 BFS+LLM-free 确定性回放,Verifier 用最近 5 截图判断子目标。其三,架构新颖:基于 Molmo2 而非 Llama 系 VLM,不引入 SoM 标记,直接做像素级 $(x,y)$ 预测,坐标归一化到 $[0,100]$。其四,评估新颖:首次对比人类与 AxTree 智能体对 2700 任务的轨迹,LLM 合成在 WebV 53.0 vs 35.4、DeepShop 24.4 vs 19.8、OM2W 16.8 vs 9.0,定量解释合成数据更有效。
实验结果
主实验(Table 4)显示 MolmoWeb-8B 在四个 live 基准取得 WebVoyager 78.2、OM2W 35.3、DeepShop 42.3、WebTailBench 49.5,全面超越 sub-8B 开源模型如 Fara-7B(73.5/34.1/26.2/38.4)与 UI-TARS-1.5-7B(66.4/31.3/11.6/19.5)。纯视觉 8B 击败 GPT-4o SoM(78.2 vs 65.1,DeepShop 42.3 vs 16.0),接近 o3-SoM(79.3/55.4/49.7)。测试时扩展(图 6)Pass@4 在 WebVoyager 达 94.7%、OM2W 60.5%,并行采样更有效(3 次并行 30 步共 90 步达 86.2%)。消融显示 10% 数据可拿 85-90% 性能;2.7K 合成轨迹在 WebV/DeepShop/OM2W 上 53.0/24.4/16.8 优于人类 35.4/19.8/9.0。采样 top-p 68.5 vs greedy 61.4;Ground-8B 在 ScreenSpot v2 拿 91.8。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WebVoyager 浏览器任务成功率 | task success rate (%) | 78.2 (8B) / 75.2 (4B),Pass@4 达 94.7 | Fara-7B 73.5、UI-TARS-1.5-7B 66.4、Holo1-7B 55.4、GPT-4o SoM 65.1 | 8B 较 Fara-7B 提升 +4.7 pts,较 GPT-4o SoM 提升 +13.1 pts |
| Online-Mind2Web 自动评测 | task success rate (%) | 35.3 (8B) / 31.3 (4B),Pass@4 达 60.5 | Fara-7B 34.1、UI-TARS-1.5-7B 31.3、GLM-4.1V-9B 33.9、o3-SoM 55.4 | 8B 较 Fara-7B 提升 +1.2 pts,与 o3-SoM 仍差 20.1 pts |
| DeepShop 购物任务 | task success rate (%) | 42.3 (8B) / 35.6 (4B) | Fara-7B 26.2、UI-TARS-1.5-7B 11.6、GLM-4.1V-9B 32.0、GPT-4o SoM 16.0 | 8B 较 Fara-7B 提升 +16.1 pts,较 GPT-4o SoM 提升 +26.3 pts |
| WebTailBench 尾部网站评测 | task success rate (%) | 49.5 (8B) / 43.8 (4B) | Fara-7B 38.4、UI-TARS-1.5-7B 19.5、GLM-4.1V-9B 22.4 | 8B 较 Fara-7B 提升 +11.1 pts,展示对长尾域的强泛化 |
| ScreenSpot v2 GUI 元素定位 | grounding accuracy (%) | MolmoWeb-Ground-8B 91.8 / MolmoWeb-4B 89.5 | Fara-7B 89.3、Holo1-7B 89.9、Qwen2.5VL-7B 89.3、UGround-7B 76.3、OpenAI CUA 87.9 | 8B 较 Fara-7B 提升 +2.5 pts,接近 Gemini-3-Pro 93.7 |
局限与改进
作者列出五类限制:(1) 指令理解对模糊/多约束指令鲁棒性下降,任务最好包含目标网站名;(2) OCR 与长文阅读对极小字号仍有失败;(3) 延迟未针对 feedforward 优化;(4) scroll_at、mouse_drag_and_drop、hover 等低频动作预测不准,可合并如 type_at(text, x, y, press_enter=True);(5) 错误恢复弱,智能体有时会重复点击同一坐标而无法自我纠偏。我观察到两个隐含限制:首先 8B 在 DeepShop 42.3 vs Gemini computer-use-preview 62.0 仍差近 20 pts,OM2W 35.3 vs Yutori Navigator 64.7 差距更大,说明纯视觉方案对结构化表单与电商搜索仍有瓶颈;其次合成数据主要靠 Gemini-3-Flash AxTree 智能体生成,本身包含专有模型依赖,所谓无视觉智能体蒸馏是相对意义上的开放;另外作者自承合成+人类混合并未显著优于纯合成(68.5 vs 67.8),人类标注 ROI 仍待提升。
独立分析的弱点
独立分析四点可改进弱点:弱点一数据分布偏移,合成任务集中在 1.1K-1.3K 域,而 WebTailBench 强调长尾,8B 49.5 与 Gemini computer-use 63.0 仍有 13.5 pts 差距,改进方向是扩展到万级域名并对长尾域过采样;弱点二动作空间粒度不合理,scroll vs scroll_at 在人类/合成数据中存在策略冲突(混入训练后模型几乎只输出 scroll),可引入 type_at 与频率平衡采样;弱点三错误恢复弱,模型在卡住时倾向重复同一动作,改进方向是在轨迹中插入回退加重规划片段,或在 RL 阶段对重复动作施加惩罚;弱点四延迟未优化,64 H100 训 50K 步但单步推理与 Browserbase 远程浏览器未优化,可用 INT8/INT4 量化+投机解码改进。
未来方向
作者在结尾点出三条未来方向:(1) 用 pass@K 自蒸馏与 RL 提升单次 rollout 性能,论文已展示 pass@4 = 94.7% 的 oracle 上限,说明监督信号充分;(2) 扩展动作空间与延迟优化,合并低频动作、加入 web_search 工具 API;(3) 改善长尾与多约束指令,引入更细粒度的 thought 把多约束分解为子目标。我额外提出三个可延伸方向:第一,把 Node-Traversal 的 BFS 图扩展到百万级页面,作为免费监督信号源;第二,借鉴 ReAct/Reflexion 思路,在推理阶段加入自我反思 token,让模型在 thought 中显式判断我是否卡住;第三,扩展到桌面/移动 GUI,论文的 GUI 感知数据(7M grounding 加 2.2M ScreenshotQA)已可作为迁移底座;第四,引入 test-time MCTS,把 VLM 作为价值函数做树搜索,与 Planner-Operator-Verifier 框架天然契合。
复现评估
论文承诺开源模型权重、训练数据、训练代码、评估 harness,这是核心卖点;具体训练配置为 64 张 H100、global batch size 128、最多 50K 步(约 3.2 epoch),底座为 Molmo2(Qwen3 + SigLIP2)。数据规模:278.5K 任务轨迹 + 10.5M GUI 感知样本,共 1.1K-2.6K 域名;评估用 Browserbase 托管浏览器,VLM-as-judge 沿用 WebVoyager(GPT-4o)、Online-Mind2Web(o4-mini)、DeepShop(GPT-4o) 官方 prompt。复现难度主要在:其一合成数据生成依赖 Gemini-3-Flash、GPT-4o、GPT-5 等闭源 API,完全复现需要相应额度;其二人类数据由 Snorkel AI 众包,公开的是成品轨迹而非采集过程;其三 Node-Traversal 涉及 500 网站 BFS 探索,可能因网站更新而漂移。整体而言 8B 模型在 64 H100 上复现一次约需数天,4B 版本可降至 1-2 天;但完整数据管线复现成本高。
论文图表
