FileGram:基于文件系统行为轨迹的智能体个性化研究 FileGram: Grounding Agent Personalization in File-System Behavioral Traces
提出将智能体个性化扎根于文件系统操作行为轨迹,包含数据引擎、诊断基准与自底向上记忆架构三件套
前置知识
智能体记忆系统
智能体在与用户和环境交互过程中用来存储、检索和更新信息的子系统,通常包含短期工作记忆、长期记忆和情景记忆等不同通道。MemGPT、Mem0、MemOS 等都是代表性框架,核心目标是在长程交互中维持一致、可检索的上下文。
本文提出的 FileGramOS 属于智能体记忆系统的一种,但特别强调从文件操作和内容增量中构建,需要先理解主流记忆系统的设计模式才能体会其差异。
行为轨迹 (Behavioral Trace)
用户在系统中产生的可观测操作序列,如文件的读取、创建、编辑、移动、删除等原子事件,通常带时间戳和元数据。本文中一条轨迹就是一个 profile-task 对下的完整执行链,包含 22 类原始事件中的 12 类原子动作。
本文的核心理念就是把行为轨迹而非对话摘要作为个性化信号源,必须理解行为轨迹的结构才能明白为什么它能区分用户风格。
内容增量 (Content Delta)
记录文件每次发生变化的精确改动,新建文件记录完整快照,编辑操作记录 patch diff。这一概念来源于版本控制和协同编辑领域,强调作者身份的痕迹信息比外部资料更强。
本文明确区分了行为轨迹和内容增量两个互补信号,前者反映过程模式,后者反映产出风格,二者结合才能稳定推断用户偏好。
程序性/语义性/情景性记忆
源自认知科学的三类记忆划分:程序性记忆存储'怎么做'的技能和动作习惯,语义性记忆存储事实和概念,情景性记忆存储具体经历和时间序列。在智能体语境下分别对应操作统计、内容理解和时序一致性三个维度。
FileGramOS 的三通道架构(Procedural/Semantic/Episodic)直接对应这一认知划分,理解这个分类才能把握其设计哲学。
z-score 异常检测
将特征值减去均值再除以标准差以实现归一化,然后通过偏离程度判定异常点。公式为 $z_k = (f_k - \mu_k)/(\sigma_k + \epsilon)$,偏离超过 $\mu_\delta + \tau\sigma_\delta$ 即被标记。本文 Episodic Channel 用 $\tau = 1.5$ 作为阈值。
异常检测是 FileGramOS 区分'任务相关变化'与'用户漂移'的核心机制,需要理解 z-score 才能读懂公式 (1)。
研究动机
随着 OS 级别的 AI 助手(如 Claude Code、Devin)快速发展,智能体正从对话式接口演化为本地文件系统的协同工作者。然而每个用户在阅读顺序、产出风格、目录组织、编辑粒度、清理习惯、跨模态使用上都有显著差异,真正紧密的人机协作必须基于这些长期行为模式来推断稳定偏好。当前研究面临三大瓶颈:第一是数据稀缺,真实长程、多模态文件操作数据的采集受严格隐私限制且缺乏可扩展方案,只能依赖模拟;第二是评估缺失,既有基准如 DuLeMon、LongMemEval、MemoryArena 仍以对话回忆为主或仅用 GUI 成功率间接衡量记忆能力(参见 Table 1),缺乏针对个性化行为理解的诊断性评测;第三是方法论局限,Mem0、Zep、MemOS、EverMemOS 等主流架构本质上是对话中心、自顶向下地从对话摘要中抽取事实,无法从持续的文件操作中蒸馏程序性行为模式,文档中心方法(Mathew et al. 2021; Ma et al. 2024)把文件当作固定知识载体,无法识别'谁生产了它'。
本文的目标是本文旨在提出一个统一框架 FileGram,将智能体的记忆与个性化'扎根'于文件系统行为轨迹之上,从数据、评估、方法三个层面同时突破。具体目标包括:(1)构建可扩展、可控的行为数据生成引擎以解决真实数据稀缺;(2)建立专门面向文件操作行为的诊断基准,覆盖程序性、语义性、情景性三类记忆能力;(3)设计自底向上的记忆架构,直接从原子动作和内容增量构建用户画像,而非依赖对话摘要;(4)通过大规模实验揭示现有方法的系统性短板,推动后续研究。
与已有工作不同的是，本文的独特切入角度是把'文件级行为信号'提升为与对话并列的一阶信号源,而不是把文件当作待解析的知识库。具体表现为三点新颖定位:第一,信号层面显式区分行为轨迹与内容增量,并通过控制式扰动设计制造真实可信的行为漂移而非静态人设;第二,评测层面设计了 4 个轨道 9 个子任务共 4600 个 QA 对,其中 Track 3 的异常检测和漂移分析在现有基准中完全没有;第三,方法层面提出'抽象时机后置'的 bottom-up 范式,在摄入时保留原始统计特征,在查询时才做语义抽象,反主流叙事优先策略。这种'以文件操作为根、以统计特征为干、以查询时抽象为叶'的视角与对话为中心的方法形成本质差异。
核心方法
FileGram 框架由三大模块组成,形成数据-评估-方法的闭环。FileGramEngine 用 persona 驱动的仿真方法合成 640 条行为轨迹(20 个 profile × 32 个 task,共 20028 个原子动作),每条轨迹在隔离沙盒中由 Claude Haiku 4.5 驱动的工具代理通过 think-act-observe 循环执行,产出对齐的原子动作序列、文件快照与编辑 diff。FileGramBench 在这些轨迹上自动生成 4.6K QA,分四个评估轨道覆盖属性识别、行为指纹、模式推理、异常检测与多模态定位。FileGramOS 是配套的记忆架构,采用三阶段流水线:Stage 1 在每条轨迹上做程序性/语义性/情景性并行抽取,压缩成 17 维指纹 + VLM 描述 + 分段情景的 Engram 单元;Stage 2 把多个 Engram 合并到三个通道存储,程序性通道做统计聚合,语义通道做内容嵌入与摘要,情景通道做聚类与 z-score 漂移检测;Stage 3 在查询时按关键词提取动态拼装三通道证据生成答案。整体哲学是把抽象推迟到查询时刻,在摄入阶段最大限度保留可观测行为统计。
核心创新点是 bottom-up + query-time abstraction 的双组合,具体表现为四点:(1)信号定义上,把行为轨迹和内容 delta 视为强个性化信号源,对话退居次要地位,这与 File-system-as-knowledge-base 的文档中心方法形成本质对立;(2)数据上,六维行为属性(L/M/R 三档离散化)+ 控制式扰动机制,生成受真人验证的'可控真实'轨迹,既保证可重复又避免静态人设;(3)架构上,17 维行为指纹通过纯计数计算(无需 LLM 调用),覆盖搜索率、目录深度、平均编辑行数等可解释特征,使记忆检索既高效又可复现;(4)评测上引入'检测-解释'鸿沟,即现有方法能检测到异常却无法归因到具体维度或方向,FileGramOS 通过三通道协同将 Average 准确率从最强叙事基线 EverMemOS 的 49.9% 提升到 59.6%,在程序性通道提升 +3.8 pp,在情景通道提升 +3.0 pp。
方法步骤详情
FileGramEngine 步骤:输入 user profile(19 字段) + curated task(32 种,6 类);初始化隔离工作区(基于 HippoCamp 真实文件,共 615 个文件,涵盖视频/音频/图像/表格/演示/PDF);调用工具代理以 think-act-observe 循环执行(用 Claude Haiku 4.5);原始工具调用经过后处理过滤(剔除 LLM 思维链、迭代标记等仿真元数据,仅保留 12 类原子动作共 20028 个);同步记录内容 delta(新建存全快照,编辑存 patch diff);对 5/32 轨迹强制做单维度单档扰动以制造真实漂移;最后做多模态渲染(分段文本 → PDF/PPT/图像/音频)产出超 10K 多模态文件。FileGramBench 步骤:基于预定义模板构造 MCQ 选项(干扰项来自同维度但不同档位的相近 profile);对 320 道开放式 Profile Reconstruction 题用 LLM judge 按 Likert 1-5 评分;同时收集真实人类屏幕录像作为 Real-World 评测;最终构建 4 个 track 共 9 个子任务 4600 道题。FileGramOS Stage 1:对每条轨迹(行为 + 内容)做三并行流处理:程序性流做动作计数 → 计算派生指标 → 50+ 特征向量化到 17 维指纹 $f_t \in \mathbb{R}^{17}$;语义流通过 VLM 对多模态快照和 edit diff 生成结构化 caption + 行为描述符;情景流对原始事件做边界检测切成 2-5 个 episode(平均每事件 50 字符压缩后送入 LLM)。Stage 2:跨 N 个 Engram 做合并,程序性通道计算 $\mu_k, \sigma_k$, min, max 等跨轨迹统计并 z-score 归一化;语义通道做 chunk 嵌入(Cohere embed-english-v3.0, 1024 维,800 字符切分,每 profile 最多 50 chunk) + LLM 跨会话摘要;情景通道用层次聚类(余弦阈值 0.6)发现行为模式,对指纹做 z-score 后用 $\tau=1.5$ 标记异常会话,送入 LLM Anomaly Judge 区分 task-dependent variation 与真实 drift。Stage 3:给定查询做关键词提取定位目标维度(如'File Organization'),然后按固定顺序拼接三通道线索(程序性:全维度 L/M/R 汇总 + 聚合统计;语义:静态元数据 + top-5 内容 chunk;情景:行为聚类 + 异常会话 + top-5 episode 叙事),最后 LLM 生成基于证据的回答。
技术新颖性
技术新颖性体现在四个维度的交叉融合。维度一是'bottom-up over bottom-up'的抽象时机创新:与 Mem0、Zep、MemOS、EverMemOS 等摄入即摘要的范式相反,FileGramOS 把抽象推迟到查询时,使 17 维统计特征得以无损保留,从根本上避免'系统化扁平化'(distinct profile 都被标记为 structured、methodical、comprehensive 的失败模式)。维度二是'三通道协同'而非单通道堆叠:程序性通道只用确定性计数(零 LLM 调用),语义通道处理内容理解,情景通道处理时序漂移与归因,消融实验表明程序性贡献最大(-11.1 pp),三者承载真正互补信号。维度三是'统计指纹 + 异常判官'的二级漂移检测:z-score 仅负责标记,真正的 variation/outlier/uncertain 分类交给 LLM,避免纯统计方法把任务相关的变化误判为用户漂移。维度四是数据工程的'控制式扰动'设计:对 5/32 轨迹做单维度单档扰动,既模拟真实波动又为 Track 3 提供评测基础,这种设计在 LongMemEval 等纯对话基准中完全没有。
实验结果
在 FileGramBench 全量 4600 题评测中(参见 Table 3),FileGramOS 以平均 59.6% 全面领先所有 12 个基线。具体发现分四方面:第一,Bottom-up 显著超越叙事优先。最强叙事基线 EverMemOS 仅得 49.9%,FileGramOS 提升 9.7 pp;叙事方法因摄入即摘要丢失了动作计数、目录深度、编辑粒度等判别信号,导致不同 profile 被赋予相同的 generic 描述。第二,跨会话聚合能力出现明显分层。Track 3 的异常检测上,EverMemOS 和 FileGramOS 均超 70%,而 Mem0 和 SimpleMem 仅 21-26%(接近随机),证明跨轨迹行为规范聚合是必备能力;但 Shift Analysis 上所有方法都跌至 20-38%,揭示了'检测-解释'鸿沟。第三,Full Context 在某些子任务上意外强劲。在 Trace Disentanglement 上 Full Context 80.5% 与 FileGramOS 80.9% 几乎持平,说明直接拼接完整动作链在序列对比任务上依然有效;但 Full Context 缺乏跨会话聚合能力,在需要结构化聚合的任务上明显落后。第四,多模态方法并不优于文本方法。MemU(44.4%)和 MMA(44.7%)反而低于最强文本基线 VisRAG 的 51.9%,因为页图检索天然对操作级统计(文件计数、目录深度、编辑频率)盲视。Real-World 设置下所有方法跌至个位数,凸显 sim-to-real 鸿沟。在消融实验中,移除程序性通道带来最大跌幅(-11.1 pp,Trace Disentanglement 从 80.9 暴跌到 53.1),移除语义通道 -5.5 pp,移除情景通道 -4.2 pp,验证三通道各自独立贡献。跨骨架验证显示 Gemini 2.5-Flash/GPT-4.1/Claude Sonnet 4 三种 QA backbone 在相同 FileGramOS 记忆下都达到 >80% 准确率且方差 <2.0 pp,证明信号对模型无关。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| T1: Attribute Recognition (3-选项) | Accuracy (%) | 50.6 | VisRAG 53.4 / EverMemOS 48.8 / Full Context 40.5 | 略低于 VisRAG,但 FileGramOS 在多模态设置下 FileGrd 55.8% 全面领先(VisRAG 45.3%, +10.5 pp) |
| T1: Behavioral Fingerprint (4-选项,560 题) | Accuracy (%) | 35.2 | VisRAG 33.2 / EverMemOS 30.2 / Full Context 31.1 | 最强,在单条匿名轨迹匹配 4 候选 profile 上超越所有基线 |
| T1: Profile Reconstruction (开放式, Likert 1-5) | Scaled Accuracy (%) | 54.2 | EverMemOS 57.7 / VisRAG 56.3 / Full Context 50.0 | 略低于 EverMemOS(-3.5 pp),开放式风格化生成仍是基线优势区 |
| T2: Behavioral Inference (4-选项,560 题) | Accuracy (%) | 42.1 | EverMemOS 39.3 / Full Context 30.6 / VisRAG 32.9 | 最强,在 31 轨迹中留 1 任务外推的预测任务上领先 |
| T2: Trace Disentanglement (2-4 选项,1134 题) | Accuracy (%) | 80.9 | Full Context 80.5 / VisRAG 72.8 / EverMemOS 62.2 | 与 Full Context 并列最强,程序性指纹带来关键判别力(移除程序通道后暴跌至 53.1) |
| T3: Anomaly Detection (5-6 选项,815 题) | Accuracy (%) | 70.2 | EverMemOS 71.4 / Full Context 36.8 / Mem0 23.8 | 略低于 EverMemOS(-1.2 pp),跨会话行为规范聚合是关键能力 |
| T3: Shift Analysis (3-6 选项,288 题) | Accuracy (%) | 37.8 | EverMemOS 38.9 / Full Context 37.8 / VisRAG 35.4 | 接近最强,揭示漂移归因仍是开放难题 |
| T4: File Grounding (多模态 MCQ,550 题) | Accuracy (%) | 55.8 | VisRAG 45.3 / MemU 39.8 / MMA 41.3 | 最强,因为程序性通道对模态不变(事件日志相同),所以文件级多模态评测时优势放大 |
| T4: Visual Grounding (真实录像,100 题) | Scaled Accuracy (%) | 8.5 | EverMemOS 7.5 / VisRAG 7.0 / Full Context 7.0 | 微弱领先,Real-World 评测下所有方法均跌至个位数,sim-to-real 鸿沟显著 |
| 整体通道均值 | Channel Avg (%) | 59.6 | EverMemOS 49.9 / VisRAG 51.9 / Full Context 48.0 | +9.7 pp vs 最强叙事基线 EverMemOS |
局限与改进
作者在 Section E.2 明确承认若干局限。其一,所有轨迹来自单一 LLM(Claude Haiku 4.5)而非真实多用户,这可能引入模型固有的风格一致性偏差,人类验证员仅做样本级校验,无法覆盖所有边缘情况。其二,行为扰动只做单维度单档改变,而真实世界的用户漂移往往是渐进的、多维度的,因此 Track 3 的 Shift Analysis 评测难度被低估。其三,任务集 32 个虽覆盖 Understand/Create/Organize/Synthesize/Iterate/Maintain 六类,但完全排除了代码开发、实时协作、系统管理三大场景。其四,规模中等(20 profiles × 32 tasks = 640 trajectories),Profile Reconstruction 仅 320 题,Likert 评分主观性强。其五,Real-World 设置下所有方法跌至个位数,模拟与真实之间的鸿沟尚未解决。作者未明确指出但值得读者注意的额外限制:第一,17 维指纹完全基于确定性计数,对工具调用细节(如 grep 与 cat 的语义差异)不敏感;第二,Episodic Channel 的 LLM Anomaly Judge 增加额外推理成本和延迟,且其判断本身可能不稳定;第三,FileGramOS 在 Profile Reconstruction 上反而输给 EverMemOS,说明叙事抽象在开放式生成任务上仍有不可替代的价值。
独立分析的弱点
独立分析可观察到以下弱点并提出改进方向。第一,17 维指纹特征定义固定且对工具语义不敏感,例如 grep 和 cat 都归为 file_search 但实际语义差异巨大;改进方向是引入更细粒度的意图分类或将工具调用参数(查询字符串)嵌入向量空间。第二,Episodic Channel 的 LLM Anomaly Judge 把'variation/outlier/uncertain'分类完全交给 LLM,推理成本高且结果不稳定;改进方向是先用规则(如 perturbation tag 的预设模式)做硬匹配,只在边界情况才调用 LLM。第三,Real-World 屏幕录像评测极弱(8.5%),根本原因是模拟轨迹事件干净而真实录像充满噪音和可变节奏;改进方向是用弱监督对齐让仿真引擎学习真实记录的统计分布,或引入视频基础模型做端到端行为识别。第四,Profile Reconstruction 上输给 EverMemOS,说明开放式生成仍需叙事抽象;改进方向是在 Stage 3 增加'叙事综合'通道,程序性 + 语义性 + 情景性产生事实后,再调用一次 LLM 做总结性叙述。第五,任务只覆盖 6 类典型办公场景,完全没有代码开发、协同编辑、系统管理等高频场景;改进方向是逐步扩展任务池,尤其加入 Git 操作、终端命令、IDE 行为等开发者特定行为模式。第六,单个 LLM 生成所有轨迹带来风格同质化偏差;改进方向是引入多模型混合生成或风格迁移机制。
未来方向
作者在 Section 7 与 Section E 提出了若干明确未来方向:第一,Sim-to-Real 鸿沟填补,Real-World 设置下所有方法跌至个位数,需要专门研究从真实屏幕录像到干净轨迹的转换算法;第二,Shift Attribution 突破,现有方法能检测异常但归因能力差,需要更细粒度的因果推断机制;第三,Open-ended Profile Reconstruction 改进,这是 FileGramOS 唯一输给 EverMemOS 的子任务。作者未直接提出但基于本文成果可延伸的方向包括:(1)将 FileGramOS 与强化学习结合,让智能体主动收集'最能揭示偏好的行为证据'而非被动记录;(2)扩展到协作场景,多个用户共享文件系统时的身份分离与权限控制;(3)隐私保护方向,程序性指纹已天然具备最小化特性,可结合联邦学习实现跨用户的行为模式聚合而不暴露个体轨迹;(4)把六维行为框架拓展到跨设备、跨平台行为(如手机 + 桌面)的统一表征;(5)在线学习机制,当前 17 维指纹计算完全离线,未来需要支持增量更新和漂移追踪。
复现评估
复现评估总体良好但存在门槛。开源情况:项目主页 https://filegram.choiszt.com 和代码 https://github.com/Synvo-ai/FileGram 均公开,采用研究用许可证。数据资产完整:FileGramEngine 生成的 640 条轨迹 + FileGramBench 的 4600 道 QA + 真实人类屏幕录像均随项目发布。算力门槛:Stage 1 的 VLM 描述生成和 Stage 2 的跨会话摘要需要调用 Gemini 2.5-Flash、Claude Sonnet 4 等主流商业模型;嵌入使用 Cohere embed-english-v3.0;Cohere 账户和 Gemini API 都需要付费。复现难度:中等偏高,主要挑战在(1)用 Claude Haiku 4.5 重跑 640 条轨迹的成本和时间(每条轨迹平均需要 30-60 分钟 LLM 调用);(2)Embedding 和 Captioning 步骤的多模型组合需要维护多个 API 凭证;(3)Profile Reconstruction 的 Likert 评分主观性强,即使固定 judge prompt 也会因 LLM 版本波动产生 ±2 pp 差异;(4)真实人类屏幕录像需要重新招募志愿者执行任务。环境要求:Python 3.10+,SQLite 存储,FastAPI 提供 Web 管理界面。建议复现路径:先用 FileGramBench 已有轨迹跑基线对比(成本可控,几小时),再考虑重跑 FileGramEngine(成本较高)。
论文图表
顶部示意 FileGramOS 智能体与传统对话 Agent 的对比:传统对话 Agent 需要反复向用户确认任务细节,而 FileGramOS 通过持续累积文件系统行为(READ, BROWSE, WRITE, VALIDATE 等原子动作),主动感知用户过往工作习惯,例如检测到用户做过类似实验后自动同步环境依赖;下方给出具体对话示例:用户问专利邮件归档,FileGramOS 给出 2025_05_15_Patentfile 这样的命名和路径建议,而传统 Agent 还在询问文件名和位置。
这是论文的主图,直观呈现 FileGram 的核心价值主张——从被动对话转向主动行为感知,对理解全文动机和方法至关重要。
17 种记忆系统的横向对比,列包括 Src(输入源)/MM(多模态)/Str(Flat/Graph/Hierarchical 存储)/Cons(时序合并)/三通道支持。FileGramOS 是唯一 Src=File Sys.,Str=Hierarchical,且 Proc/Sem/Epi 三通道全部 ✓ 的系统;EventMemAgent 仅 Proc=◦(部分);Memp 仅 Proc=✓ 但缺 Sem 和 Epi。
论证 FileGramOS 在记忆系统谱系中的独特定位,与 Figure 1 呼应。
19 个属性的完整 schema:3 个身份字段(name / role / language)+ 16 个行为字段,涵盖 A-F 六维,每个行为字段都给出 L/M/R 三档定义。
profile 构造的最终规范,是 FileGramEngine 数据合成的基础。