结构化蒸馏网页智能体能力以实现泛化 Structured Distillation of Web Agent Capabilities Enables Generalization
用单个前沿教师模型结构化合成轨迹，将9B小模型在WebArena上提升至41.5%
前置知识
网页智能体 (Web Agent)
能够在浏览器环境中自主执行多步交互任务的大语言模型系统，接收用户自然语言意图后，依次观察网页可访问性树或截图、规划下一步动作（如点击、输入、滚动），通过BrowserGym等统一接口在真实网站或自托管环境中闭环执行。
全文围绕'如何用合成轨迹训练小尺寸网页智能体'展开，若不知道智能体如何在BrowserGym中读取可访问性树+截图并产出动作，就无法理解Agent模块的工作机制，也无法理解Judge如何根据交互轨迹判断任务是否成功。
监督微调 (SFT)
在预训练大模型上，使用有监督的输入-输出对继续训练，使模型行为对齐到目标分布。在本文中，2322条成功轨迹被转成多轮对话格式：每步交互变成一条'用户消息（观测+任务）+助手消息（推理块+动作）'，仅在助手token上计算交叉熵损失。
论文的全部训练只有SFT这一个环节，理解'只对助手token算loss'才能解释为什么推理trace对学生是显式监督信号，为什么hints必须只在过滤阶段使用、不能进入训练数据。
知识蒸馏 (Knowledge Distillation)
让一个小模型（学生）通过模仿一个更大、更强模型（教师）生成的样本来获得接近教师的性能。本文教师Gemini 3 Pro边探索环境边合成任务并执行，输出结构化推理和动作，学生Qwen3.5-9B只通过监督学习拟合这些轨迹。
这是论文的方法论基石，'教师质量>数据量'和'低推理预算反而更好'两大反直觉发现都建立在蒸馏框架上；理解后才能体会为什么作者执着于让一个教师替代150K网站的规模。
LLM-as-Judge
用一个大语言模型对另一段生成内容做质量评估，常用作自动评判器替代昂贵的人工打分。本文中Judge模块读取Agent完整交互轨迹、任务意图和评估提示，回答四个标准化评估问题并给出二分类成功/失败标签。
2322条训练数据完全依赖Judge过滤，理解Judge的工作机制（带hints、不带hints差距2.4pp）才能解释为什么论文把hints列为关键模块，也才能理解为何要随机化选项顺序以缓解位置偏置。
智能体轨迹 (Trajectory)
智能体从接收任务到结束所产生的一连串'观测-动作'序列，每步包含当前页面可访问性树/截图、思考块和具体动作。本文2322条成功轨迹平均7.0步、平均响应1920字符，转为多轮SFT格式后形成16353个训练样本。
论文核心数据单元就是轨迹，理解'7.0步/1920字符/含显式推理块'才能体会为什么降低教师思考预算会减少'overthinking'、为什么去推理trace会损失7.9pp。
研究动机
当前网页智能体主要靠GPT-4o、Claude 3.5 Sonnet、Gemini 3 Pro这类闭源前沿模型驱动：在WebArena的812个真实任务上，单模型已能超过50%，多智能体方案甚至能到70%。但这些模型要付费、要上传用户数据、不能本地部署。开源小模型（~9B）虽然能本地运行，性能却比闭源落后22个百分点以上。先前蒸馏工作（InSTA用150K网站、NNetNav反向标注）虽有效，但它们的设计差异太大，难以系统比较，更无法回答'为什么A方案比B好'。
本文的目标是提出AGENT-AS-ANNOTATORS框架，用单一前沿教师（Gemini 3 Pro）在6个WebArena环境上合成3000个任务、筛选得到2322条成功轨迹，对Qwen3.5-9B做2个epoch的纯SFT；目标是在WebArena上达到或超过Claude 3.5 Sonnet（36.0%）/GPT-4o（31.5%）的成绩，并验证这些能力能迁移到训练时完全没见过的ServiceNow企业平台（WorkArena L1）、更长的多步企业任务（WorkArena++ L2）、视觉任务（VisualWebArena）和原子HTML任务（MiniWoB）。
与已有工作不同的是，已有工作要么纯靠规模（InSTA在150K网站上探索），要么靠反向标注（NNetNav、Explorer从已有轨迹抽任务描述），缺少一个统一语言来描述不同流水线各组件的角色。本文借用了'人类标注员（任务设计师/标注员/审核员）'这一已有隐喻，把所有方案翻译到同一个模块化框架中，并新增两个此前没人用的模块：(1)Persona Generator生成多样化用户画像，让任务分布在同一网站内就有差异；(2)评估提示（hints）让Judge在模糊终态下更可靠地判定成功。这是首次有人同时用上全部6个模块并展示完整9B蒸馏。
核心方法
整体思路是'借一位老师的头脑做两件苦差事——既要设计任务，又要亲自做一遍'。具体来说：先用Persona Generator生成250个多样化人物背景（如客服、运营、开发者），每个画像分到WebArena的6个自托管环境上做1500次探索，再让Task Generator在每个探索路径上截取两个不同步骤合成3000个任务意图（带评估提示hints）；然后让Agent模块从干净环境出发，仅根据任务意图执行并产出轨迹；最后Judge用hints评判每条轨迹，过滤后保留2322条（成功率为69–85%），转换为多轮SFT格式对Qwen3.5-9B做2个epoch监督微调。整个流水线最大的反直觉发现是：让教师用更小的'思考预算'反而能产生更高质量的训练数据。
核心创新有两点。第一，把网页智能体合成数据的流水线拆成6个模块（Persona、Exploration、Task、Hints、Agent、Judge），并明确指出哪些模块已被InSTA/NNetNav/Explorer/Go-Browse用过、哪些没人用，让后续工作可以按模块级做消融和替换；第二，引入'特权信息'机制——教师在生成阶段独享persona、exploration trace和hints，但学生训练/推理时一律拿不到，迫使学生学的是任务求解能力而非捷径。这一点也解释了为什么hints能帮助Judge而不伤害学生：hints仅用于过滤失败轨迹，不进入训练数据。
方法步骤详情
步骤拆为四段。(1)Persona合成：用LLM一次性生成250个具有不同职业、目标、浏览习惯的虚拟用户。(2)任务设计：每个persona在6个WebArena环境（Reddit/GitLab/购物/购物管理/Wikipedia/OpenStreetMap）各做一次自由探索，由Task Generator在路径上选两个不同步骤各生成一条任务意图+hints，共3000条；hint通常含期望实体（如'看到设置页的确认消息''仓库里出现一个叫X的文件'）。(3)轨迹收集：另一个Agent实例在干净重置环境上仅看任务意图、不看persona/exploration/hints，独立完成7.0步交互并输出结构化思考块+动作。(4)过滤+SFT：Judge读取轨迹、意图、hints答4题并打二分类标签；保留下来的2322条（占77.4%）转换成'用户消息=观测+目标/助手消息=推理+动作'的多轮对话，仅对助手token算交叉熵损失，用FSDP+FlashAttention在4–8卡上训2 epoch、约1022步。
技术新颖性
技术新颖性体现在三方面。(1)框架贡献：首次把网页智能体数据合成流水线拆成6个模块，并把InSTA/NNetNav/Explorer/Go-Browse/AgentTrek全部映射到该框架，让'哪个模块缺/弱'变得可比。(2)特权信息蒸馏：把Penaloza等（2026）在分类任务中的'教师独有信号'思想扩展到智能体领域，hints让Judge准确率更高但不会泄露给学生。(3)反直觉发现：(a)降低教师思考预算反而提高训练数据质量——教师在6个环境上的自身成功率从默认设置下提升到reduced setting（数据上Gemini 3 Pro reduced 69–85%，Flash 17–53%）；(b)训练损失不是下游性能好预测器（Flash训练loss更低但WebArena更差），呼应LIMA的'质量胜于数量'结论；(c)6个环境足够覆盖核心网页交互原语，因此'深度合成'比'广度合成'（150K网站）更划算。
实验结果
最核心的结果是A3-Qwen3.5-9B在WebArena的381个测试任务上达到41.5%成功率，超过GPT-4o（31.5%）和Claude 3.5 Sonnet（36.0%）的标准协议成绩，也把此前开源SFT最优Go-Browse（21.7%）翻了近一倍；在未训练过的ServiceNow企业平台WorkArena L1上从33.3%跳到51.5%（+18.2pp），是五个基准中迁移最显著的一个；WorkArena++ L2 +7.5pp、VisualWebArena +5.4pp、MiniWoB +5.8pp也都正向迁移。规模扩展收益递减：715→1430→2322轨迹分别得37.0/40.2/41.5%，最后892条只贡献1.3pp。消融显示去掉Judge过滤-4.5pp（即使训练量增40%）、去掉推理trace -7.9pp。逐站点提升最大的是GitLab +18.8pp和Shopping Admin +18.0pp。定性对比显示学生模型把原本10步的迷航压缩到2步直达正确答案。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WebArena（381个真实任务，六类自托管网站） | 成功率 (%) | 41.5 | Claude 3.5 Sonnet 36.0 / GPT-4o 31.5 / Qwen3.5-9B基座 31.0 / Go-Browse 21.7 | +10.5pp相对Qwen3.5-9B基座，超过GPT-4o 10.0pp、Claude 3.5 Sonnet 5.5pp |
| VisualWebArena（449个视觉任务） | 成功率 (%) | 33.9 | Qwen3.5-9B基座 28.5 / Gemini 3 Pro教师 49.0 | +5.4pp，接近3倍大的Qwen3.5-27B的37.4% |
| WorkArena L1（ServiceNow企业平台，330集） | 成功率 (%) | 51.5 | Qwen3.5-9B基座 33.3 | +18.2pp，五个基准中迁移最大，验证能力真正泛化而非过拟合WebArena |
| WorkArena++ L2（ServiceNow复合多步任务，185任务） | 成功率 (%) | 9.7 | Qwen3.5-9B基座 2.2 | +7.5pp，但远低于27B的18.9%，长程任务仍受模型容量限制 |
| MiniWoB（125类原子HTML任务） | 成功率 (%) | 69.0 | Qwen3.5-9B基座 63.2 | +5.8pp，验证原子网页技能（表单填写、按钮点击）也能迁移 |
局限与改进
作者明确承认四点。(1)缺少严格的'无persona'对照：消融只验证了Judge/hints/reasoning/data scale，Persona模块需从头重跑全流程才能比较，作者留作未来工作。(2)Judge的假阳性率没有相对人工标签做验证，因为为多步网页轨迹构建可靠标注界面本身就是巨大工程。(3)数据扩展曲线已呈对数饱和（最后892轨迹只多贡献1.3pp），继续沿用6个环境扩量难以再有显著收益，需要新任务生成策略。(4)所有教师对比都在Gemini系列内完成，因为当时只有它支持可配置的思考预算，未涵盖Claude/GPT系列。(5)仅用SFT，未结合RL——Agent Q/DigiRL等强化学习路线是自然的下一步。我自己补充：hints内容靠LLM生成、可能本身就有错，会污染Judge标签；2322轨迹对9B模型而言样本多样性仍然有限，导致WorkArena++ L2这种长程任务只有9.7%，远低于27B的18.9%，说明模型容量仍是瓶颈。
独立分析的弱点
我观察到的具体弱点有四个。(1)数据规模与多样性错配：2322条轨迹集中在6个WebArena站点，WorkArena++ L2这种长程复合任务只有9.7%（远低于27B的18.9%），说明仅靠SFT无法弥补长上下文建模能力——改进方向是引入RL或在更长轨迹上做CoT重写。(2)Judge标签噪声未量化：所有训练信号都依赖LLM-as-Judge，但论文未与人工标注做对照——改进方向是抽100–200条轨迹做人类复核、报告假阳性/假阴性率。(3)跨框架对比说服力不足：Table 2把5个流水线映射到6个模块，但并未在相同教师/相同学生上跑NNetNav vs AGENT-AS-ANNOTATORS直接比较，'框架贡献'难以独立评估——改进方向是补一个controlled A/B，把InSTA数据也用Qwen3.5-9B复训并同台对比。(4)工程成本与教师绑定太深：教师必须支持思考预算配置，目前仅Gemini系列满足——改进方向是在Claude/GPT上重跑关键消融，验证'低推理预算'是否对教师家族普遍适用。
未来方向
作者提到的未来方向有三条。(1)与RL结合：在AGENT-AS-ANNOTATORS生成的SFT模型上跑Agent Q/DigiRL等在线RL，利用环境奖励信号继续微调，期望进一步推高WorkArena++ L2这类长程任务。(2)自推理trace重生成：把教师思考块替换为学生自生成的CoT，只保留正确动作，让推理风格与学生模型容量更匹配。(3)迭代自我改进：第一轮训练后用学生自身生成新轨迹、过滤后再训下一轮，配合更广覆盖环境，叠加多轮增益。我额外建议三条延伸。(4)跨家族教师对照：在Claude Sonnet 4.5、GPT-5上重跑降低思考预算实验，验证'教师质量>数量'是否对所有闭源前沿模型成立。(5)hints质量审计：随机抽200条hints让人类评分，研究其与Judge准确率的相关性，反向优化hints生成prompt。(6)Persona维度扩展：从职业扩展到情绪、紧急程度、设备类型（如移动端vs桌面），让训练分布更接近真实用户。
复现评估
复现性整体良好但仍有门槛。作者承诺开源4项资源：(1)完整A3-SYNTH轨迹数据集（含所有教师配置）；(2)数据生成流水线代码；(3)A3-Qwen3.5-9B微调后权重；(4)评测脚本与配置。训练侧超参全公开：Qwen3.5-9B+FSDP+FlashAttention、4–8GPU、lr $1\times 10^{-5}$ cosine、batch 32、seq 8192、2epoch≈1022步。评估统一通过BrowserGym/AgentLab，所有模型共享65536 token预算。但复现难点有三：(a)教师Gemini 3 Pro已闭源且思考预算API可能随版本变化，2322条轨迹几乎不能精确复现；(b)Judge也是Gemini 3 Pro，同步带来随机性；(c)WebArena/WorkArena是自托管环境，需要按官方文档搭6个Docker服务，初次搭建耗时数天。整体来说，社区可以用9B模型权重+评测脚本部分复现，但要完全复现论文数字需要重新花钱调用Gemini API，单次实验预算在数千美元量级。
论文图表
