SPILLAGE：Web智能体的过度信息泄露问题研究 SPILLage: Agentic Oversharing on the Web

SPILLAGE方法的完整流程包括四个主要步骤。第一步是形式化问题，定义三个参与方：用户U提供包含用户请求和访问用户资源R的用户提示P，资源R包含任务相关信息$S_{relevant}$和任务无关信息$S_{irrelevant}$；Web智能体W在用户 behalf上在Web环境中执行任务，其与Web环境的交互产生Web行动轨迹$A = \{a_1, a_2, ..., a_n\}$；被动观察者O监控智能体的可观测操作以测量自然过度分享。第二步是建立分类法，定义四种过度分享类别C = {CE, CI, BE, BI}，其中C和B表示基于内容和行为的过度分享，下标E和I分别指显式和隐式形式。第三步是创建基准数据集，作者通过三阶段过程构建合成用户personas：首先定义购物任务并生成10个用户属性，然后手动将这些属性划分为$S_{relevant}$和$S_{irrelevant}$，最后将每个persona渲染为三种提示样式（chat、email、generic）。第四步是审计过度分享，使用步骤级别的LLM-Judge（gpt-4o-mini）检查每个执行步骤的操作、状态/内存更新，以检测过度分享事件，产生跨越数千个智能体轨迹的步骤级别注释，实现系统性、细粒度的过度分享风险测量。

SPILLAGE的技术新颖性体现在多个方面。首先，这是第一个同时覆盖内容和行为两个泄露渠道的框架——表5显示，现有工作要么只关注内容要么只关注行为，要么只关注显式要么只关注隐式，很少同时考虑。其次，这是第一个在实时网站上评估所有四种过度分享类型的工作，而不是在模拟环境中。第三，提出了步骤级别的检测方法，使用LLM-based evaluator（gpt-4o-mini）来自动化审计过程，为每个操作输出结构化JSON，包含类别c、涉及的属性s、证据和推理。第四，建立了第一个在实时网站上评估过度分享的基准，包含180个任务和ground-truth注释区分任务相关和任务无关属性。第五，揭示了隐私和效用的对齐关系——移除任务无关信息不仅保护隐私，还提高了任务成功率。最后，进行了商业Web智能体的实证研究，发现Perplexity Comet在多个实例中直接将用户对话的大段粘贴到第三方搜索界面，泄露敏感个人信息（如创伤历史、药物使用、雇主详情），而Brave AI Browsing和ChatGPT Atlas始终完成任务且不披露任务无关或敏感的用户信息。

独立分析显示，SPILLAGE框架虽然全面，但在某些方面仍有改进空间。首先，当前的分类法假设被动观察者只能观测操作轨迹，但现实中的观察者可能通过更复杂的技术（如时序分析、跨站点关联、元数据挖掘）推断更多信息。论文提到了网络层面的trait推断工作（Jeong等，2026），但未将其纳入框架。其次，LLM-Judge评估器虽然有效，但存在成本高、速度慢的潜在问题，对于生产环境中的实时监控可能不适用。需要探索更轻量级的检测机制或混合方法。第三，论文主要关注单站点场景，但生产中的Web智能体通常会跨多个域执行任务，跨站点行动轨迹可以通过第三方跟踪器实现更丰富的推断攻击。未来的研究应该扩展到多站点场景，研究跨域推断的累积风险。第四，论文的防御方向相对初步，主要探讨了输入阶段过滤，但对于行为泄露和隐式泄露的防御机制设计还不够深入。最后，论文虽然分析了三个模型（gpt-4o、o3、o4-mini）的差异，但对于如何针对不同模型特性设计特定防御措施的研究还不够充分。

作者提出了有价值的未来研究方向。首先，输入阶段过滤已经证明有效，但还需要探索更精细化的过滤机制，而不仅仅是移除所有任务无关信息。可能的改进方向包括：开发上下文感知的过滤系统，能够根据任务动态判断哪些信息是相关的；探索差分隐私技术，在保护隐私的同时保留有用信息；研究用户可配置的隐私策略，让用户自己决定哪些信息可以被使用。其次，需要探索操作级别的监控机制，因为行为泄露比内容泄露严重5倍，所以仅文本过滤是不够的。可能的方向包括：开发实时的行为分析系统，检测异常的导航模式；设计操作级别的隐私预算机制，限制智能体可以执行的敏感操作数量；研究基于强化学习的智能体训练，使其学会最小化隐私泄露的行为策略。第三，需要模型感知的护栏，防御机制必须考虑到特定于骨干模型的推理差异，而不是假设统一的行为。这可能包括：为不同模型设计不同的推理路径检查机制；开发模型特定的隐私评估指标；研究如何在不损害任务性能的情况下调整模型的推理模式以减少隐私泄露。第四，需要将研究扩展到其他领域，如医疗保健、法律服务、旅行预订和金融领域。每个领域都有其特定的隐私规范和交互模式，需要领域特定的评估方法。最后，需要探索多站点场景下的隐私风险，研究跨站点行为轨迹如何通过第三方跟踪器实现推断攻击，以及如何设计跨站点的隐私保护机制。

本文的复现性良好。作者已经公开了数据集和代码（https://github.com/jrohsc/SPILLage），这为其他研究者复现和扩展研究提供了基础。实验使用了两个开源Web智能体框架：Browser-Use（Müller & Žuniˇc，2025）和AutoGen（Wu等，2023），以及三个OpenAI骨干模型（gpt-4o、o3、o4-mini），这些都是公开可用的。作者提供了详细的实验设置描述，包括任务构造、数据生成流程、评估指标和置信区间计算方法（95% bootstrap CIs，percentile方法，10,000次重采样）。论文在附录中提供了大量补充材料，包括基准构造细节、过度分享检测提示、任务完成评估提示以及额外的实验结果。商业Web智能体的实证研究部分虽然没有使用公开API，但作者进行了系统的手动监控和结构化检查，并提供了截图作为证据。然而，完全复现所有实验可能需要较大的算力投入——总计1,080次运行（约$10^5$次API调用），以及访问实时Amazon和eBay网站的权限。此外，LLM-Judge评估器使用gpt-4o-mini，虽然成本相对较低，但仍需要一定的预算。总体而言，本文的复现性在同类研究中属于良好水平，主要障碍可能是算力成本和实时网站访问的权限限制。