WebSeek：基于混合主动性的人机协作网页数据分析与决策支持系统 Facilitating Proactive and Reactive Guidance for Decision Making on the Web: A Design Probe with WebSeek
支持混合主动性的网页数据分析浏览器扩展
前置知识
混合主动性系统
混合主动性是指用户和系统都能主动发起交互、共同控制工作流程的交互范式。在这种系统中，AI既可以根据上下文主动提供建议，也可以响应用户的明确请求。关键在于平衡自动化效率与用户控制权，通过分析用户行为上下文、系统状态和对话历史来判断何时提供帮助。例如，当用户手动填写表格前两行时，系统主动推断模式并自动补全剩余行，这就是典型的混合主动性交互。这种范式在编程助手、数据分析和自动驾驶等领域都有广泛应用。
本文的核心就是设计一个混合主动性的浏览器扩展，理解这个概念才能把握论文的设计理念和用户研究结果，特别是用户在不同交互方式之间的动态选择行为。
工具基础Agent架构
工具基础Agent是指AI模型不直接生成最终输出，而是规划并调用一组预定义的、可靠的工具函数来完成任务的架构。例如，要对表格进行排序，LLM不会直接输出排序后的表格，而是输出工具调用序列，系统再执行这些函数。这种方式的优势是确保操作的可预测性、可逆性和可靠性，避免LLM直接生成数据时的幻觉问题。工具函数库通常包括数据提取、转换、合并、可视化等基础操作。在WebSeek中，工具包括openPage、extractBatch、mergeInstances、createVisualization等，每个工具都有明确的输入输出规范。
WebSeek的核心设计理念之一就是将AI的动作建立在可靠的工具基础上，这是理解系统实现方式和评估其可靠性的关键。论文的技术评估结果显示这种架构在50个任务上达到了97.2%的准确率，证明了其有效性。
直接操作交互
直接操作是HCI中的一个经典交互范式，用户通过直观的手势如拖拽、点击、选择等直接对界面元素进行操作，操作结果立即可见。例如，在电子表格中双击单元格编辑、拖动调整列宽、选择多行数据等。相比于通过命令行或对话框来操作，直接操作的特点是所见即所得、学习曲线平缓、反馈及时。在数据分析工具中，直接操作常用于小规模、精确的数据调整，而复杂操作则通过其他交互方式完成。WebSeek的表格编辑器支持类似Excel的直接操作，用户可以直接编辑单元格、排序、筛选、复制粘贴。
研究发现用户非常依赖直接操作来获得控制感和信心，这是理解用户为何偏好某些交互方式的关键。用户研究显示，尽管有多种AI辅助可用，参与者67.1%的时间仍用于手动交互，平均每次会话28.6次手动操作，且每个参与者的手动操作都超过70%。
数据实例导向设计
数据实例导向是指将数据本身作为交互的首要单元，而非隐藏在后台操作流程中。在WebSeek中，表格、图表等数据实例以可视化的形式展示在画布上，用户可以直接查看、编辑、重排这些实例，AI也围绕这些实例进行推理和建议。这种设计与传统的黑盒Agent形成对比，传统Agent只给出最终结果，中间数据不可见。而数据实例导向让每个中间步骤都可见、可操作。例如，用户可以将两个表格实例拖到画布上，然后让AI建议如何合并它们，这种设计让用户保持对决策过程的掌控。
这是WebSeek区别于现有Web Agent的核心设计哲学，也是论文的主要创新点。用户研究表明，这种数据中心化的设计让参与者报告了高水平的信心和掌控感，Task 1中信心平均5.33/7、掌控感5.80/7，Task 2中信心5.67/7、掌控感5.53/7。
研究动机
现有的Web AI Agent如ChatGPT Agent和GenSpark虽然能自动化完成网页任务，但在支持数据驱动的决策制定方面存在显著局限。首先，这些Agent采用基于文本对话的交互模式，用户只能通过自然语言描述需求，无法直接操作中间数据产物，导致透明度不足，用户难以验证每一步是否正确。其次，这些Agent往往是黑盒执行，隐藏了中间数据处理步骤，用户无法进行细粒度的调整或探索性分析。当决策涉及多个数据源、需要迭代优化时，这种一次性生成结果的模式显得僵化。此外，对于需要将网页数据提取、清洗、整合、可视化的复杂任务，传统工作流需要用户在多个工具如浏览器、Excel、数据清洗工具之间频繁切换，认知负担沉重且过程碎片化。例如，当用户想从Amazon和eBay对比相机价格时，可能需要在两个网站间反复切换，手动复制数据到Excel，再进行清洗和可视化，整个过程耗时且容易出错。论文指出，这种碎片化工作流给用户带来高认知负荷，并在整体过程中造成摩擦。
本文的目标是本文的目标是构建一个支持混合主动性的人机协作系统，专门针对网页环境下的数据驱动决策任务。系统应该让数据成为交互的核心单元，用户可以直接操作可视化的数据实例如表格、图表，同时AI能够根据上下文主动提供建议如自动补全表格、建议合并两个表格，或响应用户的明确请求如通过聊天让AI执行复杂操作。目标是提高效率的同时，保证透明度和用户控制权，让用户既能享受AI自动化带来的便利，又能保持对决策过程的把握和信心。通过将所有操作集中在统一的环境中，WebSeek消除了在多个工具之间切换的需要，使数据分析过程更加连贯和可控。
与已有工作不同的是，本文的独特切入角度在于明确提出并实践数据中心化的人机协作范式，这与当前主流的对话委托范式形成鲜明对比。现有Web Agent将AI作为执行者，用户是任务委托者。而WebSeek将数据和画布作为共享工作空间，用户和AI围绕可操作的数据实例进行协作。另一个创新点是系统性地提出了一个针对Web数据分析任务的混合主动性辅助框架，详细定义了在什么任务、什么时机、以什么方式提供AI指导，这是现有文献中较少涉及的。最后，本文通过用户研究揭示了真实用户在这种新范式下的行为模式和偏好，为未来设计提供了实证基础。研究发现，用户对直接操作和in-situ建议的强烈偏好，以及peripheral建议使用率低的有趣现象，这些发现对理解人机协作中的交互模式具有重要意义。
核心方法
WebSeek是一个基于WXT框架开发的浏览器扩展，采用混合主动性设计。系统界面分为两部分，左侧是AI指导面板，显示主动建议和聊天界面。右侧是工作空间画布，用户可以在上面创建和操作数据实例，如表格、图表。系统内部使用Gemini-2.5-Flash作为LLM，通过精心设计的提示词生成建议。系统的技术架构采用工具基础模式，LLM不直接操作数据，而是输出工具调用序列如extractBatch、mergeInstances、createVisualization等，系统再执行这些工具。为了生成上下文相关的建议，系统会收集多种上下文信息，包括HTML上下文，即当前网页的原始HTML。实例上下文，即画布上所有数据实例的状态。用户焦点，即当前视图和浏览器标签页。对话历史，即所有在聊天界面中的对话内容。交互历史，即最近15次主要用户操作的日志，琐碎的交互如移动实例不会被计入。
核心创新点是将数据实例作为人机交互的共享单元，而非隐藏在AI的黑盒操作中。这与传统Web Agent的本质区别在于，传统Agent以对话为中心，数据在AI内部流转，用户只能看到最终结果。WebSeek以数据为中心，数据在画布上可见、可操作，AI围绕这些数据实例提供辅助。另一个核心创新是提出的混合主动性辅助框架，系统化地定义了在Web数据分析的四个阶段，即发现、提取与清洗、剖析与清洗、建模与可视化中，针对不同特征如何提供AI指导。框架区分了微建议和宏建议，并建议将微建议以in-situ方式呈现，直接在用户焦点位置，宏建议以peripheral方式呈现，在独立面板，以避免打断用户流程。这种框架是首个系统性地回答了Web数据分析中何时、提供什么、如何呈现AI指导这三个核心问题的设计框架。
方法步骤详情
WebSeek的工作流程分为几个阶段。首先是手动实例创建和编辑，用户可以通过直接操作创建表格或图表实例，支持类似Excel的电子表格交互，包括编辑单元格、排序、筛选、复制粘贴等，和基于货架的图表创建，拖拽数据属性到坐标轴。其次是数据捕获和源追踪，用户可以点击capture按钮进入选择模式，自由捕获网页DOM元素到表格单元格中，也可以随时点击source按钮导航回数据源网页，高亮显示对应元素。第三是AI指导生成，系统提供三种类型的指导。in-situ补全，在编辑器内生成微建议，用绿色或红色标记增删。peripheral建议，当用户空闲超过5秒时生成宏建议，显示在侧边面板。聊天式指导，用户通过文本prompt寻求AI帮助。最后是工具执行，当用户接受建议或发出聊天命令后，LLM生成工具调用序列，系统执行并更新画布上的数据实例。
技术新颖性
技术新颖性体现在多个方面。第一，提出了针对Web数据分析任务的混合主动性辅助框架，这是首个系统性地定义在什么时机、什么内容、什么方式提供AI指导的框架。该框架将企业数据分析任务分类学适配到Web环境，并定义了每个特征的触发信号、AI行为、范围和模态。第二，设计了数据实例导向的浏览器扩展架构，让数据成为交互的核心单元，这与传统Web Agent以对话为中心的范式形成对比。第三，实现了工具基础式的AI执行架构，所有AI动作都通过预定义的工具函数完成，确保可靠性和可预测性，避免LLM直接生成数据的幻觉问题。论文的技术评估显示这种架构在50个任务上达到97.2%的准确率。第四，设计了多种交互模态的协同，包括直接操作、in-situ补全、peripheral建议和聊天对话，支持用户在不同场景下选择最合适的方式。第五，通过用户研究揭示了真实用户在混合主动性数据分析系统中的行为模式，发现用户高度依赖直接操作和in-situ建议，而peripheral建议使用较少，这为未来设计提供了实证基础。
实验结果
技术评估部分使用Grok Code Fast 1作为虚拟用户，在50个自定义任务上测试了系统的准确性。结果显示WebSeek在不同难度任务上都能在20秒内生成建议，整体准确率达到97.2%。具体来看，简单任务20个中in-situ建议准确率100%、peripheral建议准确率93.8%，平均延迟分别为11.44秒和3.35秒。中等难度任务20个中in-situ建议准确率98.7%、peripheral建议准确率92.9%，平均延迟分别为13.01秒和3.39秒。困难任务10个中in-situ建议准确率100%、peripheral建议准确率80.0%，平均延迟分别为19.05秒和3.55秒。失败案例主要来自模型无法正确确定数据类型、工具调用格式错误或幻觉问题，但系统允许用户通过重新生成建议或使用其他交互方式完成任务。用户研究部分N等于15让参与者完成两个任务，事实核查新闻和产品对比。所有参与者都成功完成两个任务，在Task 1中15人里有12人得出了正确结论，新闻故事确实为真，GDP与总奖牌数的相关性为0.91，人口与总奖牌数的相关性为0.59。参与者平均在Task 1上花费14.60分钟，标准差4.47分钟，在Task 2上花费12.65分钟，标准差6.58分钟。系统可用性评分SUS平均为73.11/100，标准差14.50，属于良好水平。参与者对结果信心和掌控感评分较高，Task 1信心平均5.33/7、掌控感5.80/7，Task 2信心5.67/7、掌控感5.53/7。在功能有用性方面，in-situ指导平均4.93/5、聊天4.53/5和直接操作4.40/5受到高度评价，而peripheral指导评分较低平均3.42/5。日志分析显示，参与者67.1%的时间用于手动交互，平均每次会话28.6次手动操作，且每个参与者的手动操作都超过70%。聊天和in-situ建议使用频繁，分别出现在86.2%和82.8%的会话中，而peripheral建议仅在13.8%的会话中使用。这表明尽管AI辅助多样化，用户仍强烈偏好手动控制。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 简单任务数据提取基本转换 | In-situ建议准确率 | 100.0% | 无基线新系统 | N/A |
| 简单任务 | Peripheral建议准确率 | 93.8% | 无基线 | N/A |
| 中等难度任务多数据源转换 | In-situ建议准确率 | 98.7% | 无基线 | N/A |
| 中等难度任务 | Peripheral建议准确率 | 92.9% | 无基线 | N/A |
| 困难任务多数据源复杂转换可视化 | In-situ建议准确率 | 100.0% | 无基线 | N/A |
| 困难任务 | Peripheral建议准确率 | 80.0% | 无基线 | N/A |
| 用户研究Task 1 | 任务完成率 | 100% | 无基线 | N/A |
| 用户研究Task 1 | 结果正确率 | 80%即12除以15 | 无基线 | N/A |
| 用户研究 | SUS可用性评分 | 73.11/100 | 无基线 | N/A |
局限与改进
作者在讨论部分坦诚了几个局限。首先是技术层面的可扩展性问题，当前系统将网页HTML和所有数据实例状态都放入LLM提示词中，这种方法对于大型或复杂的网页可能导致高延迟和高成本，未来需要探索更精细的上下文管理技术如向量嵌入、动态剪枝或专用模型。其次是画布界面在数据实例数量增加时可能变得混乱，缺乏有效的组织机制如分层分组、关系图等。第三是评估规模有限，技术评估的基准集只有50个任务，用户研究的任务也只覆盖了有限的数据分析场景，参与者都是学生群体，可能存在响应偏差。第四是系统与原生网页交互的集成不足，参与者反馈希望WebSeek的交互能更紧密地与网页原生功能如电商网站的过滤面板结合。作者还承认框架基于显性用户信号触发建议的局限性，这可能导致系统无法提供符合用户全局意图的建议，也无法发现用户未注意到的数据质量问题。这种基于显性信号的方法存在冷启动问题，特别是当用户刚进入系统还未提供任何操作时。
独立分析的弱点
基于独立分析，系统存在几个具体弱点。第一，peripheral建议的使用率很低仅13.8%的会话使用，原因是许多用户在有清晰计划时觉得这些建议不必要，或者检查建议的认知成本太高。改进方向可以是将peripheral建议的提示设计得更加非侵入式，比如在画布边缘显示气泡通知，或者让建议更接近工作空间以减少注意力转移。第二，当前框架基于显性用户信号触发建议，导致系统无法发现用户未意识到的数据质量问题和冷启动问题。改进方向是引入背景数据分析机制，让AI在后台主动扫描数据质量并提供建议，同时平衡相关性和干扰性。第三，用户对LLM生成in-situ建议的内部过程缺乏可见性，担心可能遗漏数据。改进方向是在聊天界面中展示AI的工具调用过程，增强透明度。第四，画布界面在数据实例增多时组织性不足，容易造成视觉混乱。改进方向是引入分层分组、关系图可视化或类似文件系统的界面模式。第五，上下文管理的效率问题，将整个HTML和所有实例状态放入提示词成本高。改进方向是使用向量嵌入进行语义搜索、动态上下文剪枝或为特定子任务训练专用模型。
未来方向
作者提出的未来工作方向包括，探索更精细的上下文管理技术以支持大规模网页，设计更高级的画布组织机制如层次分组、关系图，增强数据实例与网页源之间的视觉链接如在网页上显示覆盖层标注已提取元素，研究如何平衡外部分析环境与原生网页交互的整合设计，扩大用户研究的规模和多样性以覆盖更多实际场景。基于论文成果，可以延伸的未来研究方向包括，将框架应用于其他领域的数据分析任务，研究如何自动推断用户的全局意图而非仅依赖显性信号，探索多模态数据实例如网页截图、音频的支持，研究如何根据用户熟练度动态调整建议粒度，开发更智能的建议优先级排序机制，探索在移动设备上的适配，研究长期使用中的用户行为演变，与其他Web Agent系统的对比研究等。论文还提到可以探索更复杂的数据实例交互，如将表格嵌入到草图中编辑，或将网页截图拖放到画布上直接创建表格，这些都将进一步丰富数据中心化的交互范式。
复现评估
论文未明确说明代码开源情况，但提供了系统使用的LLM和框架信息。技术评估使用了自定义的50任务基准集，由22个网页快照组成，涵盖17个不同领域，每个快照包含10到40条数据记录。这些任务和快照的生成使用了Claude Sonnet 4.5和GPT-4 Turbo，论文提到提示词在附录中但未在正文中展示。用户研究在受控环境下进行，使用Chrome最低130.x版本或Microsoft Edge最低140.x版本，参与者使用自己的PC至少14英寸、1080P或提供的24寸1080P显示器。评估方法部分参考了ProactiveVA框架的研究，具有一定的可比性。总体而言，论文提供了足够的技术细节和评估方法描述，但代码和数据的开源情况不明确，其他研究者复现完全相同的实验可能存在困难，但可以基于描述的框架和工具重新实现类似系统。论文承认基准集规模有限，且使用的是网页快照而非实时网站，这可能无法完全反映真实世界的复杂性。
论文图表
这个图展示了参与者对四个系统功能，In-situ guidance、Peripheral guidance、Chat with AI、Direct Manipulation的详细评分，涵盖四个维度，可靠性、意图匹配度、是否帮助避免错误、是否后悔接受建议。
这个图重要在于它提供了用户对各功能更细致的评价维度。结果显示In-situ指导、聊天和直接操作在可靠性、意图匹配和避免错误方面都得到积极评价，且很少让用户后悔。而Peripheral指导的评价则更为混合。这些细粒度的反馈对于理解不同交互方式的优缺点具有重要价值。