当用户改变主意时：长期网页导航中可中断智能体的评估 When Users Change Their Mind: Evaluating Interruptible Agents in Long-Horizon Web Navigation
首次系统研究LLM智能体在长期网页任务中处理用户中断的能力
前置知识
LLM智能体（LLM Agent）
LLM智能体是利用大语言模型作为核心决策引擎的AI系统，能够理解自然语言指令、规划行动序列、调用工具或API，并与外部环境进行交互来完成任务。与传统的聊天机器人不同，智能体具备自主执行能力，可以在复杂环境中进行多步推理和行动，例如浏览网页、操作系统、分析数据等。智能体通常包括规划、记忆、工具使用和反思等组件。
本文研究的是LLM智能体在处理用户中断时的能力，理解智能体的基本架构和工作原理对于评估其中断处理机制至关重要。
长期任务（Long-Horizon Task）
长期任务是指需要大量步骤、跨越较长时间且环境状态持续变化的复杂任务。与能够一次性解决的短期任务不同，长期任务通常需要智能体进行数百次环境交互、发出大量动作，并且要处理中间状态和部分结果。例如，在电商网站上查找商品、对比价格、加入购物车并填写收货地址的整个过程就是一个长期任务。这类任务考验智能体的规划能力、记忆能力和适应性。
本文专门研究在长期网页导航任务中的中断处理，理解长期任务的特点是理解为什么用户会在中途改变意图以及中断带来的挑战的关键。
轨迹引导模拟（Trajectory-Grounded Simulation）
轨迹引导模拟是一种评估智能体性能的方法，通过先让智能体执行初始任务获得完整的行动轨迹，然后回放轨迹并在特定位置注入干扰或变化，观察智能体如何调整。这种方法可以控制实验条件，确保不同任务之间的可比性。在本文中，模拟包括三个步骤：生成初始完整轨迹、基于进度感知的回放、在选定位置插入中断并继续执行。关键特点是中断位置是根据相对进度而非固定步骤确定的。
本文的核心方法之一是轨迹引导的中断模拟框架，这种技术使得可以在受控且可比较的方式下评估不同智能体处理中断的能力，是理解实验设置的重要基础。
研究动机
现有LLM智能体基准存在一个关键缺陷：它们大多假设智能体的执行过程是无中断的，或者仅在短期的、无约束的语言任务中研究中断现象。然而，在真实世界的长期任务中，用户经常需要在任务执行中途改变主意：检查部分结果后修正发现的错误，或者在执行过程中修订目标。虽然近期的一些基准测试已经推进了长期任务能力（如Liu等人2023年、Chen等人2025年的工作），但它们都假设无中断执行。少数考虑中断的现有研究也存在严重局限性：它们只研究短期场景，缺乏真实的环境约束，并且仅限于单次中断分析。这种研究空白导致我们对智能体如何在真实的、具有环境约束的长期设置中有效且高效地处理动态用户中断的理解不足，而在这个设置中环境状态是受限的，行动会产生持久后果。
本文的目标是本文的目标是进行首次系统性研究，探讨在长期、环境受限的设置中可中断智能体的表现。具体来说，作者专注于网页导航任务，因为这类任务要求智能体执行一系列基于环境的行动（点击、输入、导航），这些行动会在动态的网页环境中产生持久的状态变化。论文识别并形式化了三种真实的中断场景：添加（Addition，向初始查询添加新要求）、修订（Revision，修改错误的查询以修正错误）和撤销（Retraction，移除先前指定的细节）。目标是构建一个高质量的基准和统一的模拟框架，用于系统评估多个强大的LLM主干在不同中断场景下的适应能力和效率。
与已有工作不同的是，本文的独特切入角度在于首次将中断处理研究置于长期、环境受限的真实场景中，而不是在简化的语言任务中研究。与现有工作相比，本文的创新点包括：（1）关注真实的网页导航任务，行动会产生持久状态变化，而不是无约束的语言环境；（2）基于高质量、人工验证的WebArena-Lite任务构建，而不是合成或简化任务；（3）考虑单次和多次中断设置，反映真实的人机交互模式；（4）不仅评估最终成功率，还评估中断后的适应动态和恢复效率；（5）对六个强大的LLM主干进行系统的实证分析，包括开源和闭源模型。这种设置使得论文能够揭示在具有真实环境约束的长期任务中，智能体处理用户中断的真正挑战和瓶颈。
核心方法
论文的方法整体思路是：基于高质量的真实网页任务，通过严格的数据合成流程生成中断场景，然后使用轨迹引导的模拟框架在动态位置注入中断，系统评估智能体处理中断的效果和效率。直觉上，作者希望模拟真实的人机交互模式：用户给出初始指令，智能体开始执行，但在中途用户改变了主意，提供了新的要求或修正。关键挑战是如何确保这些中断场景是真实、必要且与原始意图一致的，以及如何在受控条件下公平评估不同智能体的能力。技术路线上，论文首先定义了三种中断类型，然后设计了数据合成流程，使用强大的LLM生成初始用户查询和中断消息，并施加严格约束以确保质量，最后开发了轨迹引导的模拟框架来执行评估。
核心创新点是开发了一个基于轨迹的中断模拟和评估框架，这个框架具有三个关键特性。首先，中断注入是基于相对进度而非固定全局步骤的，这意味着中断是在初始轨迹长度的预设比例位置引入的（默认60%），使得中断步骤根据初始轨迹长度自动确定，并在不同任务间变化。这种设计确保了在不同任务长度的复杂场景下进行受控且可比较的评估。其次，数据合成过程施加了三个严格约束以确保质量：初始用户查询与中断消息的组合应具有与原始查询相同的含义并导致相同的真实答案；每个中断消息都是必要的，缺少任何一个都会导致不同的真实答案；每个中断消息都应以自然真实的用户/客户语气表达。最后，框架不仅评估最终成功，还评估中断后的适应动态，通过计算预算限制的成功率曲线$SR(k) = \frac{1}{N}\sum_{i=1}^{N} I[\tau_i \leq k]$来量化智能体如何在更新后的意图上随时间推移整合信息。
方法步骤详情
方法的完整描述包含四个主要步骤。第一步是基准构建和数据合成。作者基于WebArena-Lite的165个人工验证的任务构建InterruptBench，涵盖Reddit社交论坛、GitLab协作编码、CMS电子商务内容管理系统、地图和OneStopShop在线购物五个领域。对于每个原始任务，使用强大的LLM（默认为Claude-Opus-4.5）合成初始用户查询和后续中断消息，确保满足三个严格约束：真实一致性、必要性和真实性。所有生成的数据都经过作者手动审查以确保每个中断消息对于正确解决问题都是必要的。第二步是轨迹引导的中断模拟，包括三个子步骤：（1）生成初始完整轨迹，执行初始用户查询获得完整轨迹并记录总动作数；（2）基于进度感知的中断进行回放，根据相对进度而非固定全局步骤注入中断；（3）插入中断并继续执行，在选定的中断步骤插入额外的用户消息并基于更新后的用户意图继续生成中断后轨迹。第三步是实验设置，评估六个LLM主干在WebAgent-R1智能体框架中的表现，包括Claude-Haiku-4.5、Claude-Sonnet-4.5、Claude-Opus-4.5、Qwen3-Coder-480B-A35B、DeepSeek-V3.1和Mistral-Large-3，保持提示格式、工具/API表面、终止条件和最大动作预算一致。最后一步是评估指标的计算，包括任务成功率（基于字符串匹配、URL匹配和程序执行三个规则评估指标）、效率（输出token和动作计数）以及多次中断更新下的性能。
技术新颖性
技术新颖性分析可以从三个维度来看。在问题定义上，本文是首次系统研究在长期、环境受限设置中可中断智能体的工作，填补了研究空白。现有的中断处理研究要么在短期无约束的语言任务中进行，要么假设无中断执行，而本文关注真实的网页导航任务，行动会产生持久状态变化，这使得研究更贴近真实应用场景。在评估方法上，本文的轨迹引导模拟框架是一个重要的技术创新，它通过基于相对进度而非固定步骤的中断注入，确保了在不同任务复杂度下的受控和可比较评估。同时，数据合成过程的三个严格约束（真实一致性、必要性和真实性）确保了基准的高质量和可靠性。在实验设计上，本文不仅评估最终成功，还通过预算限制的成功率曲线$SR(k)$量化中断后的适应动态，通过配对结果分析（S/F、F/S、S/S、F/F四个象限）区分了中断对结果和成本的影响，并研究了多次中断场景下的性能演进，这种多角度的评估设计提供了对智能体中断处理能力的深入洞察。
实验结果
核心发现可以从三个实验维度来分析。首先，在适应动态方面，图2显示中断后的成功率随着预算快速增加到约$k \approx 10$然后趋于平稳，表明大多数适应发生在中断后的前几次动作中。模型差异明显，既有早期改善速度的差异，也有最终上限的差异。对于添加场景，Opus在$k=10$时达到约50%，在$k=30$时达到55%，而Sonnet分别达到约40%和44%，Haiku达到约33%和38%。开源模型的最终上限较低，例如Qwen在$k=30$时达到约26%，DeepSeek达到30%，Mistral达到23%。基线比较显示，对于修订场景，大多数模型的基线接近零，表明成功主要依赖于正确整合修改后的信息；对于添加场景，基线较高但仍明显低于中断曲线，表明添加部分与中断前计划兼容但仍需要显式的约束整合；撤销场景的基线明显更强，导致中断和未中断曲线之间的绝对差距较小。其次，在效率分析方面，表1显示效率差异主要由token开销而非额外动作驱动。所有模型中，整体动作差异很小，而token差异相当大。例如，在添加场景下，平均动作开销范围从Opus的-0.99到Sonnet的+0.82，而平均token开销从Qwen的+37.6和Mistral的+88.5到Sonnet的+670.9和Haiku的+1699.1。这表明整合额外要求即使在动作数量可比的情况下也经常增加思考成本。配对结果分析显示，F/F失败 incur最高的开销，大多数模型在最终失败前消耗更多动作和显著更多token，与持续但无效的重新规划一致。最后，在多次中断场景下，表2显示额外的用户中断更新通常会提高成功率。Claude模型家族在所有阶段都表现出一致且单调的改进，Opus达到最高的整体性能（n=3时为41.82%），Sonnet在n=1和n=2之间显示出最大的边际增益（超过18个百分点）。所有三个Claude模型的成功率从n=1到n=3大约翻倍，表明有可靠的能力整合连续更新并将其转化为可测量的性能增益。开源模型也从额外中断中受益，但边际增益较小且改进模式不太稳定。DeepSeek-V3.1是一个特别有启发性的案例：它从n=1到n=2获得了实质性增益，但在n=3时略有回归，说明了后期更新不完美整合并可能干扰先前整合信息的失败模式。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Addition中断场景 | 预算限制成功率（k=30） | Claude-Opus-4.5: 55% | 无中断基线: ~40% | 绝对提升约15个百分点 |
| Revision中断场景 | 预算限制成功率（k=30） | Claude-Opus-4.5: >50% | 无中断基线: 接近0% | 从近零到>50%的绝对提升 |
| Retraction中断场景 | 预算限制成功率（k=30） | Claude-Opus-4.5: ~50% | 无中断基线: ~30-40% | 绝对提升约10-20个百分点 |
| 多次中断场景（n=3） | 成功率 | Claude-Opus-4.5: 41.82% | 单次中断（n=1）: 21.21% | 相对提升约97%，接近翻倍 |
局限与改进
局限性分析可以从作者承认的限制和独立观察的不足两个方面来看。作者承认的限制包括：首先，中断类型是信息性的，不会重置智能体或环境，也不会使已经取得的进展失效，这排除了需要智能体放弃大量已做工作或从错误状态恢复的场景。其次，研究专注于网页导航任务，虽然涵盖了五个不同领域，但可能无法推广到其他类型的长期任务，如机器人操作或复杂系统管理。第三，中断注入的相对进度位置是固定的（默认60%），虽然在附录中提供了不同中断位置的评估，但真实场景中的中断时机可能更加动态和不可预测。独立观察的不足包括：首先，研究主要关注规则评估指标（字符串匹配、URL匹配、程序执行），但没有考虑用户满意度的主观评估或任务质量的其他维度。其次，虽然研究了多次中断场景，但中断类型是随机序列，没有系统地研究特定中断顺序或模式的影响。第三，研究没有深入分析不同失败模式的具体原因，例如哪些类型的环境状态最难正确更新或哪些类型的中断最容易被错误整合。最后，虽然评估了效率指标（token和动作计数），但没有考虑计算成本和响应时间的权衡，这对于实际部署可能很重要。
独立分析的弱点
独立分析的弱点可以从具体场景和改进方向两个角度来讨论。第一个弱点是在环境状态更新方面，论文的案例研究显示失败的主要原因之一是智能体将中断视为表面级别的消息，可能承认更新但没有完全覆盖环境中的早期假设，例如在地图场景中，智能体收到更新将起点改为Randyland，但没有正确编辑表单中的'From'字段和重新计算路线，导致最终报告的比较基于过时状态。改进方向是开发更强的状态跟踪机制，使智能体能够显式地检测意图漂移并确保所有相关的环境状态都与中断后意图协调一致。第二个弱点是在错误恢复机制方面，配对结果分析显示当中断导致先前成功的任务失败时（S/F情况），智能体倾向于在最终失败前消耗更多动作和token，表明智能体缺乏快速检测和从错误中恢复的能力。改进方向是开发专门的错误检测和恢复策略，例如检查环境状态与当前意图的一致性，并在检测到不一致时触发恢复协议。第三个弱点是在多次中断场景下，DeepSeek-V3.1等开源模型在后期更新时表现不稳定，n=3时略有回归，说明后期更新不完美整合并可能干扰先前整合的信息。改进方向是设计更好的信息累积和整合机制，使智能体能够在保留有效先前信息的同时正确整合新的更新。第四个弱点是在效率方面，token开销是主要的适应成本，特别是在F/F失败情况下，智能体在最终失败前消耗大量token进行无效重新规划。改进方向是开发更高效的重新规划策略，例如增量规划而不是从头开始重新规划，或者在检测到潜在死胡同时早期终止。
未来方向
未来研究方向可以从作者提出和基于成果可延伸的两个角度来讨论。作者提出的方向包括：首先，扩展到其他类型的长期任务，如机器人操作、复杂系统管理或多模态交互任务，以研究中断处理在不同环境中的泛化能力。其次，研究更复杂的中断类型，包括非信息性中断（如重置或取消）和更复杂的意图变更模式，以涵盖更广泛的真实用户行为。第三，探索更好的智能体架构来处理中断，例如显式的状态跟踪、意图调和和错误恢复机制。基于成果可延伸的方向包括：首先，开发自适应的中断处理策略，根据中断类型、当前位置和任务复杂度动态调整响应策略。其次，研究人机交互的最佳实践，例如智能体应该如何向用户确认理解中断、应该如何向用户报告中断处理的状态和结果等。第三，探索主动式交互，智能体主动请求澄清或确认，以减少因误解而导致的中断。第四，研究中断处理的跨任务迁移学习，训练智能体在一个领域中学到的中断处理能力能够迁移到其他领域。第五，开发可解释的中断处理机制，使智能体能够解释它如何理解和整合中断，这对于用户信任和调试至关重要。最后，研究中断处理的实时性能优化，以减少响应时间并提高用户体验，这对于实际部署非常重要。
复现评估
复现评估可以从开源情况、数据、算力和难度四个方面来分析。开源情况方面，论文声明代码和数据集在InterruptBench存储库中可用，这是一个积极信号。数据方面，论文基于WebArena-Lite构建，这是一个高质量的、人工验证的基准，提供了可靠的约束和程序化成功检查。论文还详细描述了数据合成流程，包括用于生成中断场景的提示（在附录F中提供），这有助于理解数据质量。算力方面，论文评估了六个强大的LLM主干，包括三个闭源Claude模型和三个开源模型。对于开源模型，算力需求取决于模型大小和任务复杂度，每个任务默认最多需要30个LLM调用，165个任务意味着总共可能有数千次API调用或推理。对于闭源模型，需要API访问权限和相应的预算。难度方面，复现研究的主要挑战可能包括：首先，需要访问特定的LLM模型（特别是Claude系列），这需要API密钥和预算。其次，需要设置WebArena-Lite环境，这可能需要特定的浏览器自动化工具和环境配置。第三，实现轨迹引导的中断模拟框架需要仔细处理进度计算、中断注入和轨迹对齐等细节。第四，运行完整的实验可能需要相当长的时间和计算资源，特别是如果使用较小的硬件进行开源模型的推理。总体而言，虽然论文提供了足够的方法细节和数据集可用性承诺，但复现研究仍然需要相当的技术资源和投入。
论文图表