HippoCamp：在个人计算机上评估上下文代理的基准测试 HippoCamp: Benchmarking Contextual Agents on Personal Computers
首个面向大规模个人文件系统的多模态智能体基准测试
前置知识
检索增强生成（RAG）
检索增强生成是一种结合信息检索和文本生成的技术，它通过从外部知识库中检索相关文档，然后基于检索到的证据来生成答案。核心组件包括检索器如向量数据库、重排序器和生成器。RAG解决了大语言模型知识更新滞后和幻觉问题，使模型能够基于最新、具体的信息回答问题。
HippoCamp中的多种基线方法都基于RAG架构，理解RAG对于评估不同方法在个人文件检索任务上的性能至关重要。
多模态大语言模型（MLLM）
多模态大语言模型是能够同时处理和推理多种模态数据如文本、图像、视频、音频的大型语言模型。这类模型通常采用统一的编码器将不同模态映射到共享的潜在空间，或者使用模态特定的编码器加上跨模态对齐机制。关键技术包括视觉编码器、跨模态注意力和统一的预训练目标。
HippoCamp基准测试涉及五种模态的文件包括文本、文档、图像、视频、音频，理解MLLM对于掌握如何在这些异构数据上进行有效的感知和推理至关重要。
原子单元（Atomic Unit, AU）
原子单元是论文提出的一种模态归一化的最小证据粒度抽象，用于细粒度的证据定位和诊断。不同模态的AU定义不同：文本是token或句子跨度，文档是页面或表格区域，图像是空间patch，视频和音频是时间戳窗口。AU使得评估能够不仅判断是否找到正确文件，还能判断是否定位到正确部分。
AU是HippoCamp评估框架的核心创新，理解AU对于理解论文如何进行细粒度错误诊断和能力分析至关重要。
实体消歧（Entity Disambiguation）
实体消歧是指在多实体共存的上下文中，准确识别和绑定特定实体引用的过程。在个人文件系统中，账户持有者、家庭成员、同事、宠物等多个实体可能共享文件或被提及，需要通过上下文线索、文件关系和时间模式来区分。实体消歧失败会导致将信息错误地归因给错误的主体。
论文将实体误绑定识别为主要失败模式之一，理解实体消歧对于理解为什么当前智能体在个性化推理任务上表现不佳至关重要。
研究动机
现有智能体基准测试主要关注网页交互、工具使用或通用软件自动化，忽略了真实个人计算环境中的核心挑战。这些基准假设数据公开可获取、状态完全可观测，无法评估在个人设备上长期积累的、跨模态的、具有个人特定性的文件系统理解和推理能力。个人计算环境包含身份线索、行为历史和跨时间的纵向记录，这些信号在当前评估中严重缺失。尽管在长上下文推理和多模态检索方面取得进展，但缺乏标准化的基准来评估智能体理解、回忆和推理大规模、个性化、多模态文件系统的能力。
本文的目标是本文的目标是构建一个严格的标准来评估记忆增强智能体在真实个人计算环境中的表现，特别关注智能体在设备规模文件系统上的搜索、感知和推理能力。HippoCamp旨在暴露当前智能体在现实、以用户为中心的环境中的关键局限性，为开发下一代个人AI助手提供坚实的基础。
与已有工作不同的是，HippoCamp的独特切入角度是直接针对个性化、长期存在的多模态上下文进行评估。不同于现有基准侧重于公开数据或任务特定的检索空间，HippoCamp要求相关信号在所有模态上累积，并且检索和推理都必须在真实的、用户特定的数字环境中进行。这是第一个在真实个人文件系统规模、包含超过两千个文件上评估多模态文件管理智能体的基准，填补了个人数字生态系统评估的空白。
核心方法
HippoCamp通过构建三个代表性个人计算环境来模拟真实的个人数字生态系统。这些环境源自对一百多位参与者的深度访谈，经过严格的筛选和聚合，形成三个典型人物包括学生和内容创作者Bei Weiwei、法律执行人员Adam Turner和高级金融分析师Victoria Anne Clarke。每个环境都具有深层次的文件夹组织结构、异构的长尾文件类型和跨模态的证据依赖。基准包含两类任务：事实保留和用户画像，每类任务都需要整合搜索、感知和推理能力。
核心创新点在于将个人文件系统视为一个需要长期上下文记忆和多模态推理的信息空间，而不是简单的检索目标。HippoCamp采用分层注释模式，从底层的原子证据定位到结构化轨迹和任务级评估，支持多粒度诊断。另一个关键创新是引入原子单元概念，实现跨模态的细粒度证据定位，使得评估能够区分找到正确文件和定位到正确证据。
方法步骤详情
数据构建首先通过多阶段筛选参与者，保留具有稳定行为规律和证据完整的长期个人追踪数据的用户。然后将选定的参与者文件聚合成连贯的典型配置文件，匹配文件类型和模态分布以及高层组织模式，同时跨越不同的人口统计、社会经济、职业和生活方式维度。注释采用混合管道结合专家驱动的人工创作和LLM辅助合成，领域感知注释者创建明确由用户驱动、扎根于自己文件和例程的问题，而专有LLM则基于上下文元数据生成合成候选。所有候选都经过人工注释者的严格审查、编辑和过滤，形成最终策划的问题集。
技术新颖性
HippoCamp的技术新颖性体现在多个方面。首先，它是第一个设备规模的个人文件系统基准，包含四十二点四GB数据和超过两千个真实文件，覆盖五种模态。其次，引入了分层注释模式和原子单元概念，实现了跨模态的细粒度证据定位和诊断。第三，评估协议支持三种执行模式包括原生检索、真空Docker终端智能体和托管商业智能体模式，确保了公平比较。最后，通过四万六千多密集注释的结构化轨迹，HippoCamp实现了逐步失败诊断的能力，这是现有基准所不具备的。
实验结果
综合实验揭示了当前智能体在个性化多模态文件系统上的显著性能差距。即使是最先进的商业模型也仅达到百分之四十八点三的用户画像准确率，在长期检索和密集个人文件系统中的跨模态推理方面表现特别困难。逐步失败诊断识别出多模态感知和证据接地是主要瓶颈。具体来说，RAG方法整体表现较差，特别是在用户画像任务上，如Self-RAG在Victoria配置文件上的准确率为零。搜索智能体方法通过多步探索和文件检查改善了事实保留，在Adam配置文件上达到高达百分之五十五点三的准确率，但这些提升不会转移到用户画像任务上。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Profiling | Accuracy | 48.3% (ChatGPT Agent Mode) | 26.7% (Standard RAG) | +81% |
| Factual Retention | Accuracy | 62.8% (ChatGPT Agent Mode) | 30.2% (Standard RAG) | +108% |
| Profiling | F1 Score | 21.0% (ChatGPT Agent Mode) | 18.4% (Standard RAG) | +14% |
| Factual Retention | F1 Score | 35.3% (ChatGPT Agent Mode) | 30.0% (Standard RAG) | +18% |
局限与改进
作者承认HippoCamp的局限性包括三个配置文件可能无法完全覆盖个人计算环境的多样性，特别是在文化背景和技术熟练度方面。尽管采用了严格的隐私保护协议，但仍然存在个人信息泄露的风险。此外，评估协议在不同智能体模式下的可比性可能受到工具接口差异的影响。我们自己的观察包括HippoCamp主要依赖静态文件快照，无法评估智能体对动态文件系统的适应能力。基准中的任务主要基于信息检索和推理，可能无法完全覆盖个人计算中的所有复杂场景，如文件组织建议、工作流优化等主动任务。
独立分析的弱点
第一个主要弱点是检索匹配失败，RAG系统经常无法区分用户相关的个人文件与语义相关但上下文不相关的文档。例如，在健康相关查询中检索到财务报告，导致下游接地失败。第二个弱点是接地回避，即智能体定位了候选文件但避免基于证据的推理，而是倾向于通用的参数化建议。第三个弱点是硬证据幻觉，终端智能体在沙盒环境中经常编造文件路径或元数据，然后在声称无法打开它们的同时产生内部一致但伪造的证据链。第四个弱点是实体误绑定，即使证据是真实和相关的，将其正确绑定到正确的指代仍然是一个明显的失败阶段。
未来方向
作者提出的未来方向包括扩展配置文件的多样性和规模，覆盖更广泛的人口统计和文化背景；开发更强大的索引机制，特别是针对长期检索和跨模态推理的持久记忆；设计验证中心的智能体架构，在生成答案前明确检查证据的一致性和完整性。基于成果可延伸的方向包括：探索个人文件系统的动态建模，不仅处理静态快照，还能跟踪文件系统的演化；研究个性化知识图谱的构建，用于长期记忆和推理；开发跨模态的实体跟踪机制，解决个人文件系统中的实体歧义问题；探索轻量级的本地智能体架构。
复现评估
HippoCamp的复现评估总体上是可行的。项目页面提供了数据可视化和项目信息，基准数据集包括四十二点四GB的文件系统和四万六千多结构化注释预计会公开。评估协议在附录中有详细描述，包括评估设置、预算、度量和鲁棒性检查。然而，完整的复现可能需要大量的计算资源，特别是在处理视频和音频文件时。商业智能体模式的评估可能需要API访问，这可能会引入非确定性。总体而言，HippoCamp的复现难度适中，但需要仔细处理隐私和访问限制。
论文图表
