ExpSeek：面向网页智能体的自触发经验寻求框架 ExpSeek: Self-Triggered Experience Seeking for Web Agents
利用熵作为自触发信号，在交互过程中动态生成步级经验指导，显著提升网页智能体推理能力
前置知识
ReAct框架
ReAct（Reasoning and Acting）是一种将推理和行动交织进行的智能体范式。在该框架下，智能体在每一步都会生成推理思考（reasoning thoughts）和具体行动（actions），然后观察环境反馈（observations），形成轨迹序列 τ = (q, R1, O1, ..., Rt, Ot, ..., RT)。这种设计使得智能体能够在多轮交互中逐步收集信息、调整策略，最终给出答案。ReAct框架是本文构建网页智能体的基础架构。
理解ReAct框架是理解ExpSeek如何在智能体交互过程中注入经验指导的前提
Token级熵
Token级熵是衡量语言模型预测不确定性的指标。对于每个token xi，给定前文上下文 hi，其熵定义为 H(xi) = -Σ P(v|hi) log P(v|hi)，其中 V 是词汇表。熵值越高表示模型对该位置的预测越不确定，熵值越低表示模型越自信。步级熵 H̄t 则是某一步所有token熵的平均值，反映了模型在该推理步骤的整体不确定性。本文通过分析训练数据发现，正确步骤的熵分布与错误步骤存在统计显著差异。
本文核心创新就是利用步级熵作为自触发信号来判断何时需要寻求经验指导
经验干预
经验干预是指利用历史交互轨迹中积累的经验来指导智能体决策的技术。传统方法主要采用被动注入方式，在任务执行前将经验作为全局上下文提供给智能体。本文将经验干预形式化为两个阶段：构建阶段从训练语料中提取经验库；利用阶段在每一步通过映射函数获取适用经验作为额外输入。ExpSeek的核心创新是将经验干预从被动全局注入转变为主动步级寻求。
理解经验干预的传统范式是理解ExpSeek创新点的基础
Bootstrap重采样
Bootstrap重采样是一种统计方法，通过有放回地从原始数据中重复抽样来估计统计量的分布。在本文中，作者对正确步骤集合和错误步骤集合进行1000次bootstrap重采样，每次拟合逻辑回归模型得到决策边界，最终计算95%置信区间作为触发阈值区间。这种方法能够量化阈值的不确定性，避免单一拟合模型的不稳定性。
Bootstrap重采样为熵触发机制提供了稳健的阈值估计，是方法可靠性的关键保障
经验三元组
经验三元组是ExpSeek设计的经验表示格式，包含三个要素：（1）行为（Behavior）：客观描述当前步骤的状态和动作，不涉及错误归因；（2）错误（Mistake）：通过与正确轨迹对比识别错误；（3）指导（Guidance）：基于错误分析提供方向性指导，不直接给出答案。这种设计能够复现训练轨迹中的步级错误模式，并提供针对性指导。
经验三元组的设计使得经验内容能够在步级粒度上提供有针对性的指导
研究动机
当前网页智能体面临的核心问题是：在与环境的多轮交互中，现有经验干预方法主要采用被动注入方式，在任务执行前将经验作为全局上下文提供给智能体。然而，随着智能体与环境的交互，上下文观察持续变化，如果智能体仅依赖初始上下文而不主动获取和整合新经验，其决策可能变得次优甚至与当前情况不匹配。具体而言，现有方法存在两个关键问题：（1）经验获取与实际推理脱节——大多数经验库构建方法精心处理训练轨迹，进行多轮去噪，提炼核心经验项，但当这些高度加工的经验提供给推理智能体时，智能体可能甚至不理解某些抽象表达；（2）经验难以利用——在多轮智能体交互中，即使将准确的经验放在系统提示中，也难以要求模型在超长上下文中精确定位几个简短的有效经验项。实验表明，全局干预方法在具有挑战性的开放网页推理任务中效果有限，改善幅度低于3%甚至出现性能退化。
本文的目标是本文的具体目标是提出一种自触发经验寻求框架（ExpSeek），实现从被动经验注入到主动步级经验寻求的范式转变。具体包括两个子目标：（1）确定寻求经验的时机——在智能体与环境交互过程中，当智能体真正感到困惑并需要指导时，才是寻求经验的最佳时机；（2）设计步级定制的经验内容——在确定寻求时机后，需要决定具体的经验证内容，使其能够适应当前交互的动态变化。最终目标是在Qwen3-8B和32B模型上实现显著的性能提升，并验证熵作为自触发信号的可行性。
与已有工作不同的是，本文的独特切入角度在于：将经验干预的时机控制从人工规则或外部奖励模型转变为利用模型自身的熵信号进行自触发。与以往方法的本质区别在于：（1）传统方法在任务开始前一次性注入所有经验，而ExpSeek在每一步根据模型的不确定性动态决定是否注入；（2）传统方法依赖外部判断（如奖励模型）来决定何时干预，而ExpSeek利用模型自身的token级熵作为内在信号；（3）传统方法提供静态经验，而ExpSeek通过经验模型根据当前上下文动态生成指导内容。这种先发散再收敛的探索-利用平衡策略，是ExpSeek区别于所有已有方法的核心创新点。
核心方法
ExpSeek的整体思路可以概括为：利用模型自身的不确定性信号（熵）来判断何时需要外部指导，并在需要时动态生成适合当前上下文的经验指导。直觉上，当人类在解决问题时遇到困惑，会主动寻求帮助；类似地，ExpSeek让智能体在推理过程中感知自己的不确定程度，当不确定度超过阈值时主动寻求经验指导。技术路线包括三个核心组件：（1）经验库构建——从成功和失败轨迹对中提取经验三元组，按主题组织；（2）自触发机制——通过分析训练数据中正确和错误步骤的熵分布，使用逻辑回归和bootstrap重采样估计触发阈值区间；（3）步级指导——在推理时，根据当前步骤的熵值和阈值区间决定是否触发经验模型生成指导。
ExpSeek的核心创新点是利用模型自身的熵作为自触发信号，实现步级经验干预。与已有方法的本质区别在于：（1）触发机制的内生性——传统方法依赖外部奖励模型或规则来判断何时需要干预，而ExpSeek利用模型输出的token级熵作为内在信号。实验表明，正确步骤的熵分布与错误步骤的熵分布存在统计显著差异（过程步骤KS=0.1998, p<0.001；答案步骤KS=0.3809, p<0.001）；（2）干预时机的步级粒度——传统方法在任务开始前一次性注入所有经验，而ExpSeek在每一步根据熵值动态决定是否干预；（3）经验内容的动态生成——传统方法提供静态经验，而ExpSeek的经验模型根据当前上下文和历史交互动态生成指导。这种设计使得经验干预能够精确适应智能体在推理过程中的不确定性变化。
方法步骤详情
ExpSeek的方法包含以下完整步骤：（1）经验库构建阶段：首先从训练数据集中采样轨迹，对于每个查询采样k条轨迹；然后配对成功和失败轨迹，使用工具模型分析失败轨迹，为每个步骤分配二元正确性标签（0或1）；最后为错误步骤生成三元组（行为、错误、指导），并通过迭代批处理方式归纳主题，最终得到按主题组织的经验库，包含过程步骤经验Ep和答案步骤经验Ea。（2）阈值估计阶段：基于正确性标签构建两个步骤集合S+（正确步骤）和S-（错误步骤）；分别对过程步骤和答案步骤拟合逻辑回归模型，学习P(yt=0|H̄t) = 1/(1+exp(-(w·H̄t+b)))；通过bootstrap重采样（N=1000次）得到决策边界分布；计算95%置信区间作为阈值区间。（3）推理阶段：对于每个步骤St，计算步级熵H̄t；根据阈值区间计算干预概率pintervene；若触发且上一步未干预，则经验模型选择三个最相关主题，根据当前上下文生成指导et；对于过程步骤，将et附加到观察Ot之后；对于答案步骤，扩展为RT和OT并将et作为OT，使智能体能够在步骤T+1继续推理。
技术新颖性
ExpSeek的技术新颖性体现在以下几个方面：（1）熵作为自触发信号的可行性验证——本文首次系统性地验证了步级熵能够区分网页智能体推理中的正确和错误步骤，且答案步骤的区分度（AUC=0.7187）优于过程步骤（AUC=0.6223），这为利用模型内在信号进行干预时机控制提供了理论和实验依据；（2）bootstrap重采样的阈值估计——不同于使用单一拟合模型的决策边界，本文通过bootstrap重采样得到阈值区间，量化了决策边界的不确定性，并设计了概率性干预机制（低熵不干预、高熵必干预、中间概率干预），平衡了干预频率与智能体自主性；（3）先发散再收敛的探索-利用平衡——实验揭示了一个关键洞察：经验指导在过程步骤增加熵（促进探索），在答案步骤降低熵（促进收敛），这种发散-收敛行为在复杂推理中实现了探索和利用的有效平衡；（4）弱到强指导的可行性——即使使用较小的4B经验模型，也能显著提升32B智能体的性能（GAIA提升5.2%，xbench提升9.7%），验证了合理经验下弱模型指导强模型的可行性。
实验结果
ExpSeek在四个具有挑战性的网页智能体基准测试上进行了全面评估，使用Qwen3-8B和Qwen3-32B作为基础模型，Qwen3-235B-A22B作为工具模型和经验模型。核心发现包括：（1）显著的性能提升——ExpSeek在Qwen3-8B上实现平均绝对提升9.3%，在Qwen3-32B上实现7.5%提升，大幅超越所有基线方法。具体而言，在WebWalkerQA-Easy上，8B模型提升8.3%（42.67%到51.00%），32B模型提升7.7%（46.67%到54.33%）；在GAIA上，8B模型提升9.3%（40.19%到49.52%），32B模型提升5.8%（47.24%到53.05%）；在SEAL上，8B模型提升11.7%（32.56%到44.22%），32B模型提升4.8%（41.11%到45.89%）；在xbench上，8B模型提升11.6%（25.60%到37.20%），32B模型提升14.6%（27.40%到42.00%）。（2）跨任务泛化能力——尽管完全基于WebWalkerQA训练集导出的经验，ExpSeek在三个分布外基准（GAIA、SEAL、xbench）上仍保持强劲性能，展示了出色的跨任务泛化能力。（3）全局干预方法效果有限——Training-Free GRPO和REASONINGBANK+两种基线在挑战性任务上改善幅度低于3%甚至出现性能退化，表明精心设计的全局经验注入难以适应嘈杂的网页环境。（4）步级指导的必要性——消融实验表明，仅指导过程步骤或答案步骤均无法超越完整干预，在8B上分别下降4.91%和2.44%，在32B上分别下降4.51%和4.12%。（5）熵触发机制的有效性——熵作为触发信号能够精确识别干预时机，在更具挑战性的xbench上，触发率比GAIA高25.6%，同时保持相似的准确率。（6）弱到强指导的可行性——即使使用较小的4B经验模型，也能显著提升32B智能体的性能（GAIA提升5.2%，xbench提升9.7%），验证了弱模型指导强模型的可行性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WebWalkerQA-Easy | 平均准确率 | 51.00% (8B) / 54.33% (32B) | 42.67% (8B) / 46.67% (32B) | +8.3% (8B) / +7.7% (32B) |
| WebWalkerQA-Medium | 平均准确率 | 49.52% (8B) / 53.05% (32B) | 40.19% (8B) / 47.24% (32B) | +9.3% (8B) / +5.8% (32B) |
| WebWalkerQA-Hard | 平均准确率 | 44.22% (8B) / 45.89% (32B) | 32.56% (8B) / 41.11% (32B) | +11.7% (8B) / +4.8% (32B) |
| GAIA | 平均准确率 | 48.25% (8B) / 51.09% (32B) | 38.47% (8B) / 45.01% (32B) | +9.8% (8B) / +6.1% (32B) |
| SEAL | 平均准确率 | 36.89% (8B) / 43.88% (32B) | 29.13% (8B) / 36.50% (32B) | +7.8% (8B) / +7.4% (32B) |
| xbench | 平均准确率 | 30.16% (8B) / 32.76% (32B) | 23.23% (8B) / 27.80% (32B) | +6.9% (8B) / +5.0% (32B) |
| xbench (最高提升) | 平均准确率 | 37.20% (8B) / 42.00% (32B) | 25.60% (8B) / 27.40% (32B) | +11.6% (8B) / +14.6% (32B) |
局限与改进
尽管ExpSeek取得了显著的性能优势，但仍存在以下局限性：（1）阈值估计的依赖性——当前的阈值估计依赖于训练集和工具模型对步骤质量的评估，如果训练数据分布与测试场景差异较大，或者工具模型的评估不准确，阈值的有效性可能受到影响。作者承认需要研究更准确的策略；（2）领域泛化的未探索——ExpSeek目前仅在网页智能体场景中验证，尚未探索是否可以扩展到非网页领域（如代码生成、数学推理）以及是否可以整合更多工具类型；（3）与强化学习的结合——虽然ExpSeek在pass@k性能上有所提升，但尚未研究其是否可以作为智能体强化学习的rollout增强技术来提高收敛速度和采样质量；（4）经验模型的计算开销——使用235B经验模型会带来额外的推理时间和计算成本，尽管4B小模型也能带来显著提升，但在实际部署中仍需权衡性能与效率；（5）阈值区间的敏感性——虽然实验表明在阈值小幅波动时性能稳定，但缺乏对阈值选择的理论分析，且不同模型（8B vs 32B）的阈值区间差异较大，需要针对不同模型重新估计。
独立分析的弱点
基于独立分析，ExpSeek存在以下弱点及改进方向：（1）阈值估计的离线性质——当前阈值完全基于训练集离线估计，在推理过程中保持固定。改进方向可以是设计在线自适应阈值调整机制，根据智能体在实际交互中的表现动态调整触发阈值；（2）经验库的静态性——经验库在构建后保持不变，无法从新的成功或失败轨迹中增量学习。改进方向可以是结合在线自进化方法，实现经验库的持续更新；（3）经验模型的规模限制——尽管4B模型也能带来提升，但经验模型的质量直接影响指导效果。改进方向可以是探索更高效的经验压缩和蒸馏技术，在更小的模型中保留关键指导知识；（4）触发机制的单一性——当前仅基于熵值进行触发判断，可能遗漏其他有用的信号。改进方向可以是融合多种不确定性信号（如注意力分布、置信度校准等）进行综合判断；（5）指导内容的泛化性——经验三元组的生成依赖于工具模型的分析能力，可能存在质量不稳定的问题。改进方向可以是设计更鲁棒的经验质量评估和筛选机制。
未来方向
作者提出的未来研究方向包括：（1）研究更准确的阈值估计策略，减少对训练集和工具模型评估的依赖；（2）探索ExpSeek向非网页领域的扩展，以及与更多工具类型的整合；（3）研究ExpSeek作为智能体强化学习rollout增强技术的潜力，提高收敛速度和采样质量。基于本文成果可延伸的方向包括：（1）将熵触发机制与在线自进化方法结合，实现经验库的持续学习和更新；（2）探索多模态场景下的经验寻求，如结合视觉信息的网页理解任务；（3）研究经验指导的个性化，根据不同用户或任务类型定制指导策略；（4）将ExpSeek的思想扩展到多智能体协作场景，实现智能体之间的经验共享和互相指导；（5）探索更细粒度的触发机制，如在token级或子步骤级进行干预判断。
复现评估
ExpSeek的复现评估如下：（1）开源情况——作者已将代码发布在GitHub（https://github.com/WYRipple/ExpSeek），这为复现提供了基础；（2）数据集——使用了四个公开基准：GAIA、WebWalkerQA、xbench-DeepSearch和SEAL-HARD，训练集通过从WebWalkerQA采样25%数据构建（170个样本），其余用作测试集；（3）算力需求——需要部署Qwen3-8B或32B作为智能体模型，Qwen3-235B-A22B作为工具模型和经验模型，对算力有较高要求。但实验表明，使用4B小模型作为经验模型也能带来显著提升，降低了算力门槛；（4）复现难度——中等偏高。虽然代码开源，但需要配置网页API服务（Bright Data搜索、Jina访问），且经验库构建过程需要采样多条轨迹并进行bootstrap重采样，计算量较大。阈值估计的具体参数（bootstrap次数N=1000、置信区间95%等）已明确给出，便于复现。
论文图表
该表格展示了Qwen3-8B在没有经验指导时回答'自2020年以来有多少部环球影业电影全球票房超过10亿美元'的完整交互过程。智能体通过搜索找到了相关电影列表，但由于依赖不完整信息，错误地将Spider-Man: No Way Home（索尼发行）计入环球影业电影。
这个案例展示了智能体在无指导时的典型失败模式
该表格展示了Qwen3-8B在有经验指导时的交互过程。在相同的初始搜索后，智能体收到了指导：审查问题核心，仔细检查现有搜索结果中专门编制十亿美元电影列表的网页，这些页面通常会标注每部电影的发行方和具体票房数字。
这个案例展示了经验指导如何引导智能体改变推理策略
该表格继续展示有指导情况下的交互，智能体根据指导访问了Screen Rant文章，找到了明确证据：只有两部环球发行的电影（通过Illumination和Amblin合作伙伴关系）出现在十亿美元电影列表中，最终给出了正确答案'两部'。
这个案例完整展示了经验指导如何帮助智能体克服推理失败