以我为准：面向长周期个性化指代性记忆的问答

首个多模态多源个性化记忆问答基准 ATM-Bench，SGM 显著优于传统 DM。

前置知识

Retrieval-Augmented Generation (RAG)

RAG 是一种把外部知识库接入大语言模型的标准范式：先用检索器（如 DPR、ColBERT）从语料中召回与问题最相关的 top-k 段落，再把检索结果与原问题一起交给 LLM 生成答案。在长文档/长时记忆场景中，RAG 是替代把全部历史塞进上下文的主流方案。

本文评测的 5 个记忆系统（A-Mem、Mem0、HippoRAG2、Self-RAG、ATM-RAG）本质上都是 RAG 变体，理解 RAG 的召回-再生成两阶段结构才能看懂它们的差异。

Memory QA（基于记忆的问答）

Memory QA 是一类让模型回答我过去某段时间做了什么/见过什么的问题的任务。区别于传统开放域问答，问题的答案往往藏在用户私有的、碎片化的个人历史中（对话、邮件、照片等）。代表性基准包括 LoCoMo、LongMemEval、MemoryBank、PerLTQA 等。

本文提出的 ATM-Bench 是 Memory QA 的新基准，但聚焦于多模态+多源+长周期，超越了此前以纯对话为主的设定。

Personalized Referential Reasoning（个性化指代推理）

指代推理研究的是把代词、省略或模糊描述（如我妈、那次旅行）解析到具体实体的能力。在个性化场景下，我妈需要被解析为这位用户真实的母亲，而非通用知识中的统计先验。这要求模型读取用户历史，建立实体-用户之间的私有映射。

这是 ATM-Bench 与已有 Memory QA 基准最关键的区分点之一——已往对话型基准里指代信息通常在对话中显式给出，而本文里的指代线索分散在邮件、照片等异构数据里。

Schema-Guided Memory (SGM) 与 Descriptive Memory (DM)

DM 把每个记忆项用一段自然语言描述表示（例如 2020-01-01 下午我在丰业银行看冰球）；SGM 则把它表示为符合预定义 schema 的结构化键值对（如 {id, time, location, source, entities, tags, OCR}）。两者承载相同信息，但 SGM 显式分离了时间、地点、实体等不同字段，便于检索器精准匹配。

SGM 是本文的核心方法贡献，几乎所有实验都围绕 DM vs SGM 的对比展开，理解两者的区别是看懂论文实验设计的前提。

Long-Context vs Long-Term Memory

Long-Context 关心的是单次推理时模型能消费多少 token（如 1M 上下文窗口）；Long-Term Memory 关心的是跨越数月/数年的用户历史中精准定位某一事件/事实的能力。即便上下文窗口足够大，模型仍会出现中间遗忘（lost in the middle）等问题，因此两者不能互相替代。

本文的 motivation 直接建立在 long-context 不等于 long-term memory 这一观察之上，是它选题的关键支撑。

研究动机

现有 Long-term Memory QA 基准存在两个明显短板。第一，它们几乎全部建立在人机对话之上（LoCoMo、LongMemEval、MemoryBank、PerLTQA 等），把对话历史当作唯一记忆源，忽略了真实人类记忆的真正载体——照片、视频、电子邮件等多模态、多源数据。表 1 显示这些数据集的 memory 数量在 300 到 4500 之间、context 在 5k 到 1.5M tokens 之间，但完全不支持时间/地点元数据的结构化利用。第二，对话型基准里的个性化指代（PR）通常是显式的——用户在某轮对话里直接告诉智能体 Grace 是我的宠物——而真实场景中这类线索往往隐式分散在邮件、照片等多源数据里，需要跨模态关联才能解析。即便 Memory-QA 等近期工作引入了图片记忆，它也只能处理单一视觉源、缺乏时间跨度和冲突更新机制。

本文的目标是作者要构建 ATM-Bench（According-to-Me Benchmark），目标是提供一个能真正评测长周期、多模态、多源、个性化指代记忆任务的测试床。具体目标包括：覆盖约四年的真实隐私保护型个人数据、覆盖多国多地区（北美、欧洲、亚洲、大洋洲）、包含超过 1000 条人工标注的问题-答案-证据三元组、显式覆盖五项核心能力（PR、LA、MUT、ME、ABS）、并设计 ATM-Bench-Hard 难子集来暴露当前方法的真实差距。最终的量化目标是揭示即使在 oracle 证据条件下，最佳系统仍低于 20% 准确率这一现象级瓶颈。

与已有工作不同的是，本文的独特切入角度是把个性化指代与多模态+多源+长周期+冲突更新打包成一个统一基准，并提出一种与对话无关的记忆结构化表示方法 Schema-Guided Memory (SGM)。与 MemoryBank、PerLTQA 等纯文本基准相比，ATM-Bench 首次让看邮件订的酒店照片这种跨模态检索成为一等公民；与 Memory-QA 仅视觉源相比，它首次引入 MUT（memory update over time）能力——即当新旧信息冲突时模型应优先采纳最新最权威的记录。在方法层面，已往工作普遍使用一段自然语言描述的 Descriptive Memory (DM)，本文则用对比实验证明 SGM 在 Oracle 设定下能把 hard-set QS 从 25.6 提到 47.3，幅度接近 85%。

核心方法

方法整体思路可以分成三段：先用一个统一的形式化框架把 Memory QA 拆成 Memory Ingestion、Retrieval、Answer Generation 三个模块，让不同记忆系统的设计可以被对齐比较；再针对 Memory Ingestion 提出 Schema-Guided Memory (SGM)，用结构化键值对替代纯文本描述；最后用 SGM 改造 5 个主流系统 + 1 个标准 RAG baseline，在 ATM-Bench 上做端到端评测。直觉上，可以把 SGM 理解为给每段记忆发一张标准化表格——以前检索器只能读整段文字然后做语义相似度匹配，现在它可以精准地拿时间字段或地点字段做加权匹配，相当于把模糊搜索升级成了半结构化数据库查询。技术上，每条记忆都被编码成 schema $\mathcal{S}$ 下的字段集合，例如 $m_i = \{(k, v_{i,k}) \mid k \in \mathcal{S}\}$，其中图片记忆包含 id/time/location/source/entities/tags/OCR 等字段，邮件记忆则包含 time/summary/body 等字段。

核心创新点是 Schema-Guided Memory (SGM) 这一表示方法本身，以及随之而来的两点方法论差异。第一，SGM 与已有工作最本质的区别是把异构源数据的语义等价信息用统一 schema 表达，消除了模态间的格式鸿沟——比如一张带 GPS 的照片和一条酒店预订邮件都能被映射到 (id, time, location, ...) 的同一字段集合，从而让通用文本检索器可以做跨模态检索。第二，本文把 Memory QA 显式拆成 (Preprocessing, Organization, Retrieval, Answer Generation) 四个可正交比较的设计维度，其中 DM vs SGM 属于 Preprocessing 维度、Piled vs Linked 属于 Organization 维度、Single-pass vs Agentic 属于 Answer Generation 维度。这种正交化分解让作者可以独立测量每一个设计选择的边际贡献——这是已往 Memory QA 论文里没有系统做过的事。

方法步骤详情

完整的 ATM-Bench 构建与评测流水线如下。Step 1 数据采集与匿名化：约四年的人本人工数据（6741 封邮件、3759 张图片、533 段视频、若干文本元数据），经四阶段匿名化管线处理：(a) VLM 风险评估用 Qwen2.5-VL-7B 和 GPT-4o-mini 双盲标记敏感/私人内容并丢弃；(b) 自动人脸模糊；(c) 人工审核补充模糊、涂抹票据/快递单号；(d) 邮件则用 Qwen2.5-7B 改写、剥离元数据、注入合成 PII 占位符，最终保留约 150 人时人工审核量。Step 2 标注：5 名标注员共投入约 200 小时，按 HCI 启发的实体/事件驱动回忆原则撰写第一人称、部分模糊、需检索支撑的问题，最终得到 1038 条 QA-E 三元组，并二轮交叉验证分歧。Step 3 评估协议：作者设计了 QS（Question-type Score）评估，按答案类型分为 Number (Exact Match)、List Recall (Jaccard 相似度 $J(a, \hat{a}) = \frac{|\mathrm{toList}(a) \cap \mathrm{toList}(\hat{a})|}{|\mathrm{toList}(a) \cup \mathrm{toList}(\hat{a})|}$)、Open-ended (LLM-Judge) 三种，加权合并；同时报告 Recall@10 和 Joint@10 = QS × Recall@10 以衡量检索质量与答案质量的联合表现。Step 4 系统实现：所有 baseline 用 Qwen3-VL-2B-Instruct 作为记忆预处理模型，Qwen3-VL-8B-Instruct 作为最终回答模型，评测 ATM-RAG（标准多模态 RAG）、Self-RAG、A-Mem (Piled/Linked)、Mem0 (Single-pass/Agentic)、HippoRAG2 (DM/SGM) 等 5 个 SOTA 系统，对比 DM vs SGM。Step 5 Oracle 与判别实验：用 GPT-5-mini 作为 LLM-Judge 默认打分器，并用 GLM-4.7 复验显示 judge 模型选择不影响结论。

技术新颖性

技术新颖性主要体现在三点。第一，这是首个把多模态 + 多源 + 长周期 + 个性化指代完整打包的 Memory QA 基准，已往工作最多覆盖其中 2-3 项。第二，SGM 是一种轻量但普适的记忆表示增强，它不改任何检索器或生成器内部结构，只是在 ingestion 阶段把文本描述换成 schema 化的键值对，就能稳定提升所有 5 个基线的性能——这是即插即用层面的贡献。第三，作者把 MUT (Memory Update Over Time) 显式作为一等能力纳入评测：即便是 GPT-5 在 Oracle 证据下也会因为无法识别更新过的发票覆盖旧的预订而出错（错误地把 €408+€445.26 算成 €853.26，而正确答案是更新后的 €842.97），这暴露了主流 LLM 在时间冲突消解上的根本缺陷。

**Figure 2**: Personal Memory Assistant Overview.

**Figure 3**: The UI of the annotation tool.

实验结果

表 3 给出 5 个系统 + RAG baseline 在 ATM-Bench 和 ATM-Bench-Hard 上的完整对比。核心发现可以归纳为四条。第一，SGM 全面优于 DM：在 Oracle 设定下，SGM 在标准集把 QS 从 70.0 提到 77.8 (+7.8)，在 hard 集从 25.6 提到 47.3 (+21.7，幅度 +85%)；在真实检索条件下，ATM-RAG 配 SGM 在标准集取得 QS=51.0、R@10=68.7、Joint@10=48.6，相比 DM 版 (QS=42.0、R@10=61.8、Joint@10=41.3) 全维度领先。第二，所有系统在 Hard 子集上都崩溃：即便是最佳组合 ATM-RAG+SGM 也只取得 QS=16.3，而最强基线 HippoRAG2+SGM 为 17.6——这印证了作者当前方法在 hard 上低于 20% 的结论。第三，Linked vs Piled：作者修改 A-Mem 的 Linked 图结构为 Piled，编码时间从 12.6h 降到 1.6h（提速 7.9 倍）但 QS 从 44.8 升到 46.1——简单堆叠在很多场景下反优于图链接。第四，Agentic answerer 在 hard 上没有增益：Mem0Agentic 在标准集 QS=43.5 优于 Single-pass (41.5)，但在 hard 上 16.5 vs 16.6 几乎打平，说明反思式 agentic 范式不解决 hard 集所需的长期推理与基础化能力。表 4 进一步在 Oracle 设定下比较了 7 个回答模型，发现 GPT-5 以 QS=85.3 / Hard-QS=74.7 拿下双榜第一，Claude Opus 4.5 紧随其后 (86.0 / 62.7)，而开源 Qwen3-VL-8B 仅 77.8 / 47.3——即便是看到正确答案的 GPT-5 在 hard 集仍有 25% 以上的失效率，提示问题难度不在检索而在多证据合成与时间冲突消解。表 5 的检索器消融进一步显示：(a) 把 MiniLM-L6 升级到 Qwen3-Embedding-4B 能把 R@10 从 68.7 提到 75.2、QS 从 51.0 提到 54.5；(b) 加入 4B reranker 后 QS 进一步升到 55.8、Joint@10 达到 51.8；(c) 但用 Qwen3-VL-Embedding-2B 做多模态嵌入反而拖后腿——QS 跌到 31.3、R@10 只有 40.1，作者解释是高分辨率图像消耗约 2500 个 token 把关键时间/地点元数据稀释了。

**Table 1**: Comparison of ATM-Bench with other memory and long-context QA benchmarks.

**Table 3**: Comparison of memory systems.

**Table 4**: Comparing different models under Oracle retriever.

**Table 5**: Retrieval and rerank comparison for ATM-RAG.

**Table 8**: Memory topic distribution by modality.

**Figure 4**: Per-question statistics (Evidence count / Max time span / Recall distance).

**Figure 6**: ATM (GPT-5-mini) vs retrieval top-K for the all-MiniLM-L6 text-embedding baseline.

查看结构化数据

任务	指标	本文	基线	提升
Memory QA on ATM-Bench (Oracle 设定)	QS 整体准确率	SGM 77.8	DM 70.0	+7.8 (约 +11%)
Memory QA on ATM-Bench-Hard (Oracle 设定)	QS 整体准确率	SGM 47.3	DM 25.6	+21.7 (约 +85%)
ATM-RAG 在 ATM-Bench	QS	SGM 51.0	DM 42.0	+9.0 (约 +21%)
Self-RAG 在 ATM-Bench	QS	SGM 50.3	DM 42.1	+8.2 (约 +19%)
HippoRAG2 在 ATM-Bench	QS	SGM 47.7	DM 42.9	+4.8 (约 +11%)
ATM-RAG 检索质量	Recall@10	SGM 68.7	DM 61.8	+6.9
Hard 子集联合指标	Joint@10	ATM-RAG+SGM 13.7	A-Mem Linked 9.5	+4.2
A-Mem 编码效率	编码时间(小时)	Piled 1.6h	Linked 12.6h	提速约 7.9×，QS 反升
检索器扩展 (ATM-RAG)	QS	Qwen3-4B 嵌入 + 4B reranker 55.8	MiniLM-L6 51.0	+4.8
Oracle 下最强回答器对比	Hard-QS	GPT-5 74.7	Qwen3-VL-8B 47.3	+27.4 (即闭源大模型大幅领先开源)
Oracle 下闭源模型横评 (标准集)	QS	Claude Opus 4.5 86.0	GPT-5 85.3	+0.7，GPT-5 略胜

局限与改进

作者明确承认两点局限。第一，自动标注失败：附录 B.1 详细讨论了 Opus-4 和 Gemini-2.5-Pro 等 SOTA 模型自动生成 QA 时系统性偏向分析性问题（如预订几天后入住？），而非人类自然回忆行为触发的实体/事件驱动问题（如我什么时候看到了那只鹿？），这迫使他们改为人工标注、付出约 200 小时的代价。第二，benchmark 本身相对小：仅有 1038 条 QA、1 个用户的隐私化数据，作者自己把它定位为方法论 testbed 而非可部署系统，禁止商业用途和监控画像。第二层独立观察：评测依赖 LLM-Judge（GPT-5-mini），虽然作者用 GLM-4.7 做了复验显示排名稳定，但开放性问题答案的细粒度语义差异仍可能因 prompt 模板选择而波动；此外，所有 baseline 都用 Qwen3-VL-2B 做 ingestion、用 Qwen3-VL-8B 做生成，这种固定 backbone 可能让 DM vs SGM 的差异同时混入了不同 VLM 对 schema 的处理偏好。

独立分析的弱点

独立分析可见三个值得改进的弱点。第一，GPS 元数据噪声在 SGM 里被保留为单一 location 字段，反而放大了错误信号的权重。附录 F.2 的 Café Bohème vs Pasha Kebab 案例显示，两张同事件照片因坐标解析错位被分到两个 location 值，SGM 下检索器很可能因为 location 字段精确匹配失败而漏掉正确证据——改进方向是为 location 字段加同义词/邻近度 embedding 或在 schema 里增加 GPS 原始坐标字段做空间聚类。第二，Linked Memory Organization 收益不稳定：A-Mem 的图链接在硬子集上反而拖后腿（QS 10.0 vs Piled 15.0），提示当前的图构造可能引入了无关链接噪声；改进方向是用检索时反馈自适应选择链接阈值，或在 hard 场景默认回退到 Piled。第三，answerer 与 retriever 解耦导致 oracle 假设太强：表 4 显示换更强的 answerer 可以拿到 74.7（hard-QS），但实际系统端到端只到 16-17——意味着检索才是真正的瓶颈，改进方向应是端到端联合训练 retriever + answerer 或显式让 answerer 反馈还需哪些证据以驱动多轮检索（self-ask 类思路）。

未来方向

作者在结论与附录中提出了若干未来方向：(a) 设计能在 hard 子集上突破 20% 准确率的新型记忆架构，本文有意保持 SGM 即插即用的轻量化，把硬骨头留给后续工作；(b) 把 SGM 推广到语音、传感器等其他模态；(c) 在用户层面引入隐私保护推理（如联邦学习或差分隐私），让 benchmark 评估标准更完善。基于成果还可以延伸的方向包括：把 MUT 建模成时序知识图谱的撤销/修订操作、把 LA 升级为三维场景重建式记忆、用 RL 训练 retriever 以 Joint@10 为奖励信号、扩展数据集到多个用户的去标识化群体以支撑跨用户泛化评测。

复现评估

复现难度中等偏低，对硬件要求克制。代码已开源（https://github.com/JingbiaoMei/ATM-Bench），数据集以 CC-BY-NC 4.0 许可证发布，仅限非商业研究。算力方面，作者在 RTX 5090 单卡 + PyTorch 2.7 + vLLM 0.13 上完成全部实验，索引构建开销从 MiniLM-L6 的 10 秒到 Qwen3-VL-Embedding-2B 的 40 分钟不等；编码时间从 0.5h (Self-RAG/ATM-RAG Piled) 到 16.7h (Mem0 Linked) 不等。复现的主要门槛不在算力而在数据：benchmark 需要四年人本人工数据 + 多源采集 + 完整匿名化管线，普通研究者无法复现这套数据本身，只能使用作者提供的 release 版本。评测侧依赖 GPT-5-mini 与 GLM-4.7 的 API 调用，需要相应账号。总体上，作者推荐先复现 ATM-RAG (SGM, Piled) 这一最简单的 baseline (编码 0.5h、QS 51.0)，再逐步扩展到 A-Mem/HippoRAG2。

以我为准：面向长周期个性化指代性记忆的问答 According to Me: Long-Term Personalized Referential Memory QA