基于状态锚定动态检索的Web智能体在线技能学习 Online Skill Learning for Web Agents via State-Grounded Dynamic Retrieval
提出状态锚定动态检索(SGDR)方法，实现Web智能体在多步任务中的步骤级技能复用与动态状态匹配。
前置知识
在线技能学习
在线技能学习指智能体以任务流的方式逐步积累可复用的程序性知识。每个任务完成后，智能体从轨迹中提取技能并更新技能库，在后续任务中仅能使用过去任务诱导的技能，无法访问真实信号。此方法通过评估器判断轨迹成功与否，成功轨迹用于技能提取，形成非参数化、可动态扩展的技能库。
本文专注于在线场景下技能的持续积累与动态复用，了解在线技能学习的任务流设定、评估信号约束及技能更新流程是理解SGDR方法的前提。
状态锚定动态检索
状态锚定动态检索是指在每个执行步骤同时考虑任务指令与当前网页状态对技能库进行检索。检索得分由任务目标与当前状态的加权和计算：$score_t(s_k) = \alpha \cos(\phi(g), \phi(d_k)) + (1-\alpha)\cos(\phi(r_t), \phi(d_k))$，其中$\alpha$平衡任务与状态权重。随后使用MMR再排序，增加技能多样性。
SGDR的核心创新是将技能检索从任务级变为步骤级并基于当前状态，掌握该概念有助于理解为何动态检索能提升多步网页任务的成功率和效率。
滑动窗口提取
滑动窗口提取指在成功轨迹上应用不同长度的滑动窗口$L=\{2,3,4,5\}$，将观察-动作序列分割成局部片段作为候选技能。每个片段由LLM判断是否可复用并提取为文本-代码技能对。该方式技能粒度介于完整轨迹与单步动作之间，使其足够紧凑以适配不同中间状态，同时保留有意义的过程抽象。
理解滑动窗口提取对把握技能粒度控制及其与动态检索的配合至关重要，避免技能过于具体或过于原始而影响复用。
文本-代码双重表示
每个技能表示为文本描述与可执行代码的配对$(d_k, c_k)$。文本描述使用自然语言描述技能意图与适用场景，用于检索匹配；代码函数封装浏览器的具体操作（如click、fill、select_option），用于执行。这种双重表示将检索与执行紧密关联，便于通过语义匹配检索并在选中后直接调用执行。
文本-代码表示是SGDR连接语义检索与可执行技能的关键，掌握其设计能理解技能库的可调用性与泛化能力来源。
研究动机
现有在线技能学习方法（如AWM、ASI、CER）主要采用任务级一次性技能复用，即在任务开始时根据任务指令检索固定技能集合，并在整个执行过程中保持不变。然而在多步网页自动化场景中，技能的有效性不仅取决于任务目标，还高度依赖于当前网页状态。初始检索的技能可能随着页面切换、表单跳转、交互上下文变化而不再适用，反之原本未被选中的技能可能在新状态下变得有用。现有方法的静态策略无法适应网页执行过程中不断变化的状态，导致中间步骤技能匹配不足，任务成功率和效率受限。
本文的目标是本文提出SGDR方法，旨在实现在线技能学习场景中，Web智能体在每个决策步骤动态检索与当前任务指令和网页状态均匹配的技能。通过从成功轨迹中提取中间粒度的可复用子程序，并在执行过程中根据实时状态更新检索结果，使技能支持能够随状态演变而自适应调整，从而提升多步网页任务的成功率与步骤效率。
与已有工作不同的是，本文的独特切入角度在于将技能检索从任务级静态复用转变为步骤级、状态条件化的动态复用。现有方法缺乏对执行中间状态的感知与对技能粒度的精细控制，而SGDR通过滑动窗口提取与双重文本-代码表示构建中间粒度技能库，并引入状态锚定动态检索机制，实现技能随状态实时匹配，显著增强了网页智能体在长程任务中的自适应能力。
核心方法
SGDR方法包含三个核心环节：技能提取与表示、状态锚定动态检索与再排序、技能注入与执行。首先，在任务完成后，使用评估器对轨迹成功与否做出二元判断，仅对成功轨迹进行滑动窗口片段提取，生成文本-代码技能对；其次，在后续任务的每个执行步骤，基于任务指令与当前网页状态摘要计算技能的相关性得分，结合MMR再排序选择多样且相关的技能集；最后，将选中的技能描述和代码注入给智能体，仅用于当前决策，任务结束后继续提取新技能更新技能库，形成持续在线学习循环。
核心创新点在于将技能检索粒度与时机从任务级一次性检索改为步骤级动态检索，并将当前网页状态纳入检索信号。具体包括：滑动窗口提取技能以确保中间粒度；文本-代码双重表示连接检索与执行；状态感知的相关性评分结合任务目标与当前状态；MMR再排序避免重复技能，增加技能多样性。这些设计使技能复用与执行状态高度对齐，与现有方法的本质区别在于SGDR能够随着状态演化实时调整技能支持。
方法步骤详情
方法步骤如下：1. 轨迹评估与提取：任务完成后，评估器E基于指令与轨迹输出二元成功信号$\hat{y}$；若$\hat{y}=1$，对轨迹$T=(o_1,a_1,\dots,o_H)$应用滑动窗口$L=\{2,3,4,5\}$获取候选片段，LLM判断是否可复用并生成文本-代码技能对$(d_k,c_k)$；通过替换验证后加入技能库。2. 状态摘要与检索：在执行步骤$t$，当前网页观测$o_t$经LLM摘要为$r_t$；对每个技能$s_k$，计算任务-状态相关性得分$score_t(s_k) = \alpha \cos(\phi(g),\phi(d_k)) + (1-\alpha) \cos(\phi(r_t),\phi(d_k))$，取前$M=20$个技能进入MMR再排序。3. MMR再排序与选择：初始化选中集$A_t=\emptyset$，贪心选择技能直至$|A_t|=5$，每步选择最大化$MMR_t(s_k)=\lambda score_t(s_k)-(1-\lambda)\max_{s_k'\in A_t}\cos(\phi(d_k),\phi(d_k'))$，平衡相关性与多样性。4. 技能注入与执行：将$A_t$的技能描述和代码仅注入当前决策步骤，智能体可调用或采用原始操作；任务结束后，重复步骤1更新技能库。
技术新颖性
技术新颖性体现在：首次将在线技能学习的技能复用从静态任务级提升为动态步骤级，引入当前网页状态作为检索信号；提出滑动窗口提取产生中间粒度技能，解决技能粒度挑战；设计文本-代码双重表示，使技能既可语义检索又可直接执行；结合MMR再排序，避免冗余技能提升覆盖面；实验证明在闭源（GPT-4.1）和开源（QWEN3-4B）模型上均有稳定收益。
实验结果
在WebArena的五个域名上，SGDR在平均成功率与步骤效率上均优于强基线。使用GPT-4.1时，SGDR平均成功率为37.5%，比最强基线CER的33.9%提升3.6个百分点；使用QWEN3-4B时，SGDR成功率为24.3%，比CER的22.1%提升2.2个百分点。SGDR在多数域名取得最佳表现，其中Admin域从CER的38.4%提升到47.7%。步骤效率上，GPT-4.1下SGDR平均步数4.8，比Vanilla（6.0）、CER（6.4）显著减少；QWEN3-4B下SGDR平均步数5.6，较Vanilla减少11.1%，较CER减少13.8%。消融实验表明，检索信号中任务与状态的平衡系数$\alpha=0.5$效果最优；MMR再排序参数$\lambda=0.7$带来最佳提升；滑动窗口提取优于全轨迹与单动作提取。在线累积成功率曲线显示，随着任务序列推进，SGDR的累积表现总体高于基线，在Admin与Reddit领域优势尤为明显。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WebArena整体 | 成功率(%) | 37.5(GPT-4.1), 24.3(QWEN3-4B) | 33.9(CER,GPT-4.1), 22.1(CER,QWEN3-4B) | +3.6(+10.6%), +2.2(+10.0%) |
| Admin域 | 成功率(%) | 47.7(GPT-4.1), 24.6(QWEN3-4B) | 38.4(CER,GPT-4.1), 20.7(CER,QWEN3-4B) | +9.3, +3.9 |
| Shopping域 | 成功率(%) | 34.6(GPT-4.1), 25.1(QWEN3-4B) | 31.0(CER,GPT-4.1), 23.3(CER,QWEN3-4B) | +3.6, +1.8 |
| Reddit域 | 成功率(%) | 35.9(GPT-4.1), 22.8(QWEN3-4B) | 31.1(CER,GPT-4.1), 20.2(CER,QWEN3-4B) | +4.8, +2.6 |
| Map域 | 成功率(%) | 32.3(GPT-4.1), 19.6(QWEN3-4B) | 28.6(CER,GPT-4.1), 15.5(CER,QWEN3-4B) | +3.7, +4.1 |
| GitLab域 | 成功率(%) | 34.2(GPT-4.1), 26.7(QWEN3-4B) | 37.1(CER,GPT-4.1), 27.5(CER,QWEN3-4B) | -2.9, -0.8 |
| 平均步数 | 步骤数 | 4.8(GPT-4.1), 5.6(QWEN3-4B) | 6.4(CER,GPT-4.1), 6.5(CER,QWEN3-4B) | -1.6(-25.0%), -0.9(-13.8%) |
局限与改进
作者承认的局限包括：实验仅在WebArena进行，域名覆盖有限，需在更广泛的网络环境中验证；研究专注于非参数式技能积累，未探索将学习技能与模型微调或长期个性化结合；GitLab域表现可能因任务依赖版本控制持久前提条件而受限，局部技能泛化较弱。此外，技能提取依赖于评估器判断，评估器错误可能导致无效技能进入技能库；技能库持续扩张可能导致检索延迟和冗余；MMR与相关性平衡系数依赖超参数调优；动态检索增加计算开销。
独立分析的弱点
独立分析的弱点包括：1) 技能验证仅在原始轨迹上替换测试，未考虑跨页面状态变化的通用性，可能导致技能在新页面失效；2) 技能提取使用评估器信号而非真实奖励，评估器偏差会累积影响技能质量；3) 动态检索在每步都进行检索与再排序，对于实时性要求高的场景可能引入不可接受的延迟；4) 技能表示未引入跨域名层次或关系建模，难以捕捉技能间的共享模式或组合关系。改进方向包括：增强技能的跨状态验证机制；引入基于真实反馈的技能质量控制；设计更高效的检索缓存或索引；将技能嵌入结构化图谱以支持组合推理。
未来方向
未来研究方向包括：将在线技能学习与模型微调或长期个性化结合，提升智能体对特定任务的适应性；扩展技能组织方式为层次化或多模块结构，支持技能组合与抽象层次；在更广泛的网络环境和更长任务序列上评估SGDR的泛化性；引入多模态状态表示（如视觉特征）增强检索准确性；探索安全关键环境下的技能验证与约束机制；研究技能库的压缩与去重策略，避免无限膨胀。
复现评估
论文提供了代码链接 https://github.com/plusnli/skill-dynamic-retrieval，详细列出实验参数配置、LLM提示词与任务索引。实验采用WebArena基准，排除跨域任务以避免混淆，每个域名维持独立技能库；使用GPT-4.1与QWEN3-4B作为骨干模型，所有LLM组件使用同一模型；参数包括$L=\{2,3,4,5\}$、$\alpha=0.5$、$M=20$、$\lambda=0.7$、$|A_t|=5$。消融实验在Shopping、Reddit、Map域进行，展示各组件贡献。整体上，方法复现难度中等，需访问WebArena环境和LLM API。
论文图表
图示对比了传统技能方法与SGDR在在线技能学习场景下的差异。传统方法在任务开始时基于指令固定注入技能，并在执行过程中保持不变，而SGDR在执行过程中随着状态变化动态检索技能，并将检索到的技能随状态更新进行调整。
该图直观展示了SGDR的核心创新点——步骤级状态锚定动态检索，与传统静态任务级检索形成鲜明对比，对理解方法动机与贡献至关重要。
消融实验表格展示不使用MMR仅用相关性检索（w/o MMR, top-M relevance）与使用不同$\lambda$值（0.5,0.7,0.9）的MMR再排序对成功率的影响。MMR的引入始终优于仅相关性检索，$\lambda=0.7$达到最佳。
该表验证MMR再排序模块的重要性，以及相关性与多样性平衡参数的最优设置。