建模网页智能体中的人类交互模式 Modeling Distinct Human Interaction in Web Agents
建模人类干预时机，让协作式网页智能体更智能
前置知识
网页智能体（Web Agent）
基于大语言模型的自主系统，能够在网页环境中执行浏览、点击、填写表单等操作来完成用户指定的任务。典型代表包括Mind2Web、WebArena等基准测试中的智能体，它们通过解析HTML或无障碍树（Accessibility Tree）来理解页面结构并生成交互动作。这些智能体通常以Chrome扩展或独立应用的形式部署，能够模拟人类的网页浏览行为。
本文研究的核心对象就是网页智能体与人类的协作交互，理解网页智能体的基本工作方式是理解本文研究问题的前提。
人类干预（Human Intervention）
在智能体执行任务过程中，用户主动暂停智能体执行、修改其动作或完全接管控制权的行为。干预可以分为三类动机：错误纠正（智能体犯错或卡住时）、偏好对齐（智能体行为偏离用户意图时）、以及辅助接管（智能体无法处理复杂UI元素时）。干预行为在数据中表现为连续的人类动作序列，与智能体动作交替出现。
这是本文研究的核心概念，整篇论文的目标就是建模人类何时会干预，以及如何让智能体预判干预时机。
部分可观察马尔可夫决策过程（POMDP）
一种数学框架，用于建模在不确定环境中的序贯决策问题。在本文中，人类-智能体协作被形式化为POMDP：任务指令q是初始输入，两个执行者（智能体和人类）分别遵循策略π_agent和π_human，在每个时间步t根据当前观察o_t生成动作。人类干预被建模为二元变量y_t，表示在该时间步是否干预。
POMDP框架为本文的问题形式化提供了严格的数学基础，使得干预预测可以被建模为条件概率。
监督微调（Supervised Fine-Tuning, SFT）
一种模型训练方法，通过在特定任务的标注数据上对预训练模型进行进一步训练，使其适应目标任务。在本文中，作者对Gemma 27B和LLaVA 8B等开源模型进行SFT，使用COWCORPUS数据集中的干预/非干预步骤作为训练样本，让模型学会预测智能体在每个动作后是否需要询问用户。训练数据包含1,247个训练步骤和251个测试步骤，干预与非干预步骤比例约为1:7。
SFT是本文的核心技术手段，实验证明经过SFT的小模型能够超越未微调的大型商业模型，这体现了高质量数据和针对性训练的价值。
完美时机评分（Perfect Timing Score, PTS）
本文提出的评估指标，用于衡量模型预测人类干预时机的准确性。PTS不仅考虑预测是否正确，还考虑预测的时间点是否准确。其计算公式涉及sigmoid归一化、L2平方距离惩罚和控制参数alpha，将分数归一化到0到1之间，分数越高表示预测越准确。
PTS是本文提出的创新评估指标，它比传统的准确率更能反映模型的实际可用性，因为过早或过晚的干预提示都会影响用户体验。
协作风格聚类
基于用户在任务执行中的干预行为特征，使用k-means聚类（k=4）将用户分为四种风格：Takeover（接管型，低频干预但一旦干预就不再交还控制权）、Hands-on（亲力亲为型，高频高强度干预，经常与智能体交替控制）、Hands-off（放手型，几乎不干预）、Collaborative（协作型，选择性干预，每次干预后都交还控制权）。聚类特征包括干预频率、干预强度、归一化干预位置和交还率。
四种协作风格的识别是本文的重要发现，它揭示了人类与智能体交互的多样性，也为后续的风格条件化模型训练奠定了基础。
研究动机
当前网页智能体系统在人机协作方面存在严重缺陷。尽管基于LLM的智能体在网页导航任务上取得了显著进展，但它们缺乏对人类何时以及为何干预的系统理解。具体表现为两种极端情况：其一，智能体可能在用户意图理解错误的情况下继续自主执行，忽略任务进展中的关键因素；其二，即使智能体主动停下来询问用户，也往往在不恰当的时机或过于频繁地请求确认，迫使用户在执行过程中介入，造成沉重的监督负担。从实验数据来看，商业模型如GPT-4o在非干预步骤上表现良好（Non-interv F1: 0.846），但在预测真实干预时严重失败（Interv F1: 0.198），这种巨大的F1分数差距表明通用模型过于保守，无法平衡自主性与主动协助之间的动态关系。此外，简单的总是不干预基线虽然整体准确率高达85.3%（受益于类别不平衡），但PTS为0，完全无法识别任何干预时机；而总是干预基线虽然捕获了所有干预，但PTS仅为0.151，因为错误时机的干预会受到严重惩罚。
本文的目标是本文的核心目标是回答一个关键问题：智能体能否主动预判人类干预的可能性，并相应调整自身行为？为实现这一目标，作者提出了三个具体子目标：首先，收集真实的人类-智能体协作轨迹数据，建立干预行为的系统化数据集；其次，识别并建模不同用户的交互风格，理解干预行为背后的模式；最后，将干预感知模型部署到实际的网页智能体中，通过用户研究验证其对用户体验的实际提升效果。最终目标是实现一种新型的协作智能体范式——智能体能够在合适的时机主动寻求用户输入，既不会过度打扰用户，也不会在关键时刻遗漏用户的意见。
与已有工作不同的是，本文的独特切入角度在于，它不是从智能体能力提升的传统角度出发，而是从人类行为建模的角度来改进人机协作。以往的工作主要关注智能体的自主能力提升或特定的交互机制（如追问、协同规划），但缺乏对人类干预行为本身的系统建模。本文首次将人类干预视为一种结构化的行号信号，反映了不同的协作风格（从被动监督到主动共同操控），并基于此建立了干预感知的智能体系统。这种从智能体为中心到人类行为为中心的范式转变，使得智能体能够适应用户的个人偏好和交互习惯，而非要求用户适应智能体的行为模式。此外，本文提出的完美时机评分（PTS）指标填补了评估干预时机准确性的空白，传统的二元分类指标无法捕捉时间维度的信息。
核心方法
本文的方法整体思路可以分为三个层次：数据收集、行为建模和系统部署。首先，作者收集了COWCORPUS数据集，包含400个真实用户的网页导航轨迹，其中200个是标准任务（来自Mind2Web基准），200个是用户自选的自由任务，共计2,748个智能体动作步骤和1,476个人类动作步骤。通过事后标注和开放性回答，分析用户干预的动机和模式。其次，基于干预行为特征（频率、强度、位置、交还率），使用k-means聚类将用户分为四种协作风格：Takeover、Hands-on、Hands-off、Collaborative。最后，将干预建模问题形式化为逐步二分类任务，训练干预感知模型，并将其集成到Chrome扩展PLOWPILOT中进行实际部署和用户评估。
本文的核心创新点在于将人类干预视为一种可预测的结构化信号，而非随机行为。与已有方法的本质区别体现在三个方面：第一，以往的协作智能体（如Cocoa、CoGym）关注特定的交互机制，而本文建模了更广泛的人类交互模式谱系，包括任务中的干预、替代动作和控制权转移；第二，本文不仅训练通用的干预感知模型，还训练了风格条件化的模型，能够适应不同用户的协作偏好；第三，本文提出的完美时机评分（PTS）指标创新性地考虑了预测的时间维度，惩罚过早或过晚的干预预测，这比传统的二元准确率更能反映实际用户体验。实验表明，经过COWCORPUS数据微调的小模型（Gemma 27B SFT，PTS 0.303）能够超越未微调的商业大模型（Claude 4 Sonnet，PTS 0.293），证明了高质量交互数据和针对性训练的价值。
方法步骤详情
方法分为三个主要步骤。第一步是数据收集与标注：招募20名用户与开源框架CowPilot协作完成20个网页任务（10个标准任务+10个自由任务），记录每个动作的执行者（人类或智能体）、时间戳和网页快照。通过事后分析，提取四个用户级特征：干预频率、干预强度、归一化干预位置和交还率。第二步是模型训练：将干预预测形式化为逐步二分类任务，使用序列化提示包含历史轨迹、当前观察和智能体提议动作，微调模型生成特殊标记（ask_user或agent_continue）。训练两种模型：通用干预感知模型（使用全部训练数据）和风格条件化模型（针对每个用户聚类的子集）。第三步是系统部署：将干预感知模型集成到PLOWPILOT Chrome扩展中，仅在模型预测高干预概率时才提示用户，而非每个步骤都确认。
技术新颖性
本文的技术新颖性体现在多个层面。首先，在问题定义上，首次将人类干预建模为逐步二分类任务，这比以往的轮次式交互建模更细粒度。其次，在评估方法上，提出的完美时机评分（PTS）创新性地结合了预测正确性和时间准确性，通过L2平方距离惩罚错误预测，sigmoid归一化确保分数在0到1范围内。第三，在模型训练上，证明了在高质量交互数据上微调的小模型能够超越通用大模型，这挑战了规模即能力的传统认知。第四，在用户建模上，通过PCA可视化和k-means聚类识别出四种稳定的协作风格，这种数据驱动的风格发现比预设的交互模式更有解释力。最后，在系统设计上，PLOWPILOT的仅在需要时询问机制实现了真正的自适应协作，而非简单的总是询问或从不询问。
实验结果
本文的实验结果揭示了几个重要发现。首先，商业大模型在干预预测上表现不佳：GPT-4o虽然非干预步骤F1达到0.846，但干预步骤F1仅为0.198，PTS仅0.147；Claude 4 Sonnet的PTS为0.293，Gemini 2.5 Pro为0.262。这表明通用模型过于保守，无法准确判断何时需要用户介入。其次，经过COWCORPUS微调的开源模型表现优异：Gemma 27B (SFT)达到PTS 0.303（超越Claude 4 Sonnet的0.293），LLaVA 8B (SFT)达到PTS 0.201（超越GPT-4o的0.147）。这证明了在高质量交互数据上微调的有效性，小模型可以超越大模型。第三，风格条件化模型显示对角线优势：针对特定用户聚类训练的模型在对应聚类上表现最佳，唯一的例外是Takeover组（仅11个干预步骤），Hands-on模型在其上表现更好，这可能是数据稀疏导致的。第四，用户研究显示PLOWPILOT相比基线智能体（CowPilot）在用户满意度上提升36.8%，六个维度的评分均有改善，包括减少不必要的打扰、保持用户控制感、任务完成速度等。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 人类干预预测（通用模型） | PTS | Gemma 27B SFT: 0.303 | Claude 4 Sonnet: 0.293 | 提升3.4%，超越最强商业模型 |
| 人类干预预测（小模型） | PTS | LLaVA 8B SFT: 0.201 | GPT-4o: 0.147 | 提升36.7%，8B模型超越GPT-4o |
| 干预预测准确率 | Step Accuracy | Gemma 27B SFT: 0.853 | Always No Interv: 0.853 | 持平，但PTS从0提升到0.303 |
| 干预预测准确率 | Step Accuracy | LLaVA 8B SFT: 0.817 | Gemini 2.5 Pro: 0.681 | 提升20.0% |
| 干预预测准确率 | Interv F1 | Gemma 27B SFT: 0.302 | Gemini 2.5 Pro: 0.286 | 提升5.6% |
| 用户满意度（综合评分） | Likert 7分制平均 | PLOWPILOT: 6.25 | CowPilot: 4.81 | 提升30.0% |
局限与改进
本文存在几个显著的局限性。首先，数据集规模有限：COWCORPUS仅包含400个轨迹和20名用户，这限制了模型的泛化能力和统计检验的效力。特别是Takeover聚类仅包含11个干预步骤，导致风格条件化模型在该组上表现不佳。其次，用户研究样本量小：最终的PLOWPILOT评估仅包括16名参与者（4名回归用户+12名新用户），虽然Mann-Whitney U检验显示新旧用户无显著差异，但如此小的样本量难以得出可靠的统计结论。第三，任务范围受限：标准任务仅来自Mind2Web的10个网站，自由任务虽然多样化但缺乏系统性覆盖，可能无法代表真实的网页使用场景。第四，环境复杂度有限：实验主要在相对简单的网页任务上进行，对于需要长时间推理、多标签页协作或复杂动态交互的任务，干预模型的有效性尚未验证。此外，作者承认PLOWPILOT与CowPilot的唯一区别是增加了干预感知模块，这虽然证明了干预建模的价值，但也表明智能体的基础能力仍有提升空间。
独立分析的弱点
本文存在几个值得深入分析的弱点。首先，干预动机分析主要依赖事后标注和开放性回答，这种方法可能存在回忆偏差和事后合理化，未来可以通过实时生理信号（如眼动追踪、鼠标轨迹）或更细粒度的交互日志来更客观地捕捉干预动机。其次，四种协作风格的划分虽然基于数据驱动的聚类，但k=4的选择缺乏充分的理论依据，且用户在不同任务中可能表现出不同的风格，静态的风格标签可能过于简化。改进方向是引入动态风格识别，根据任务进展实时调整对用户风格的预测。第三，PTS指标虽然创新，但对alpha参数的选择（默认0.2）缺乏敏感性分析的充分讨论，不同应用场景可能需要不同的惩罚强度。第四，模型训练使用的是离线数据，缺乏在线学习和适应机制，无法在实际部署中根据用户反馈持续改进。改进方向是引入强化学习或在线微调，让模型能够从用户的实时反馈中学习。
未来方向
基于本文的成果，可以延伸出多个有前景的研究方向。首先，扩展到多模态交互：当前模型仅使用截图和无障碍树作为输入，未来可以整合语音指令、手势、眼动等多模态信号，更全面地理解用户的干预意图。其次，跨任务风格迁移：研究用户在不同任务中的协作风格是否一致，以及如何利用历史任务中的风格信息来改善新任务中的干预预测。第三，主动学习框架：让智能体在不确定时主动选择最有信息量的时机询问用户，而非被动等待干预，这可以显著提高数据收集效率。第四，多智能体协作：将干预建模扩展到多智能体系统，研究人类如何在多个智能体之间分配注意力和控制权。第五，长期个性化：建立用户的长期交互档案，记录其偏好变化和协作风格演化，实现真正的个性化智能体。作者也指出，未来的工作应该从优化智能体自主性转向设计能够动态适应人类偏好和协作风格的智能体。
复现评估
本文在可复现性方面表现良好。数据集COWCORPUS和代码已开源在GitHub（github.com/oaishi/PlowPilot），模型权重托管在HuggingFace（huggingface.co/CowCorpus）。实验设置清晰：训练数据1,247步、测试数据251步，干预与非干预步骤比例约1:7，使用标准的SFT训练流程。然而，完全复现存在一些挑战：首先，用户研究涉及20名真实用户，其交互数据具有主观性和不可控性，其他研究者难以完全复现相同的用户行为模式。其次，商业模型（Claude 4 Sonnet、GPT-4o、Gemini 2.5 Pro）的评估依赖于特定版本的API，随着模型更新，结果可能变化。第三，计算资源方面，Gemma 27B的SFT需要显著的GPU资源，而LLaVA 8B相对友好。总体而言，代码和数据的开源使得核心方法可复现，但用户研究和商业模型评估的部分需要特别注意。
论文图表
