MemEye：面向多模态智能体记忆的视觉中心评估框架 MemEye: A Visual-Centric Evaluation Framework for Multimodal Agent Memory
提出二维评测矩阵与371题基准，专测多模态智能体能否在长程交互中保留并推理像素级视觉证据。
前置知识
视觉-语言模型（VLM）
能同时接收图像与文本输入并生成文本输出的多模态大模型，如 Qwen3-VL、GPT-5.4-mini、Gemini-2.5-flash-lite。本文评测的所有 4 个骨干都属于这一类。
MemEye 把 VLM 作为智能体的感知/理解核心，整套基准都假设问题最终要交给 VLM 来回答。
智能体长程记忆（Agent Long-term Memory）
智能体在跨多轮、多会话、多模态交互中持续积累可检索、可更新的外部存储机制，通常包含写入、检索、抽象、修订等操作，对应本文中的 FC / SRAG / A-Mem / MemOS / MIRIX 等 13 种方法。
MemEye 的核心目标就是诊断不同记忆机制在保留视觉证据与处理状态演化时的失败模式，是评估 LLM-based agent 的关键基础设施。
语义检索与多模态 RAG
用文本或图像 embedding 在历史语料中按相似度检索 top-K 条证据再交给 LLM 生成答案。SRAG(T) 使用文本 embedding + GPT-5.2 密集描述，SRAG(V) 直接用图像 embedding。
SRAG 是 MemEye 评测中表现最稳定的基线，理解它的检索行为是理解 RQ2/RQ3 结论的前提。
LLM-as-a-Judge 评测
用更强的 LLM 对模型生成答案与参考答案进行整体对比并给出接受/拒绝的判定，常配以与人类标注的 Cohen's κ 检验一致性。
MemEye 对开放式问答题采用 LLM-as-a-Judge 作为主指标，judge 与人类的一致性达到 κ=0.94，是结果可信度的关键。
研究动机
现有长程智能体评测（如 LoCoMo、MMRC、Mem-Gallery）多依赖文本来回答，多数视觉题仅需要图说或上下文即可推断正确选项；图 2 表明这些基准在 NoInfo/Caption/Multimodal 三种设定下的 LLM-as-a-Judge 提升有限，视觉证据并非必须。同时这些基准很少考察视觉状态随时间变化（state revision）的情形，导致智能体是否真的保留并利用了细粒度视觉信息无法被区分。
本文的目标是MemEye 想要构建一个能同时隔离「视觉证据粒度」与「记忆推理深度」的评估框架，并配套 371 道题的高质量基准，覆盖 8 个生活场景、221 个会话、848 轮对话、438 张图像。作者希望任何记忆系统的失效都能被定位到 4×3 矩阵中的具体单元格，并配套 Caption-Proof 诊断和 Oracle-Evidence 诊断两条验证流程，让框架本身可被证伪、可被复现，而不是只给一个聚合的终态准确率。最终目标是把过去被糅在一起的多模态记忆失败，拆成 12 个有清晰归因的 (X, Y) 单元，为新方法的设计与对比提供可解释的诊断坐标。
与已有工作不同的是，MemEye 第一次把多模态长程记忆拆成两条正交轴：X 轴（X1–X4）刻画从场景级到像素级的视觉证据粒度，Y 轴（Y1–Y3）刻画从原子检索到演化合成的记忆推理深度。已有 benchmark 如 LoCoMo、MMRC、Mem-Gallery 都没有显式区分这两个维度，因此无法判断一个系统在「图像检索」和「状态修订」上的失分比例。MemEye 还配套了三道过滤门：Full Input Leakage（剔除可被纯对话绕过的题）、Bypass Filter（剔除可被极简图说替代的题）、Difficulty Calibration（剔除连底座都答不出的题），再叠加 ABCD 旋转缓解 VLM 偏置，使题目难度可控地来源于记忆本身。这一组合在现有基准里属于空白，因此构成了论文的核心切入角度。
核心方法
MemEye 用一个 4×3 的二维矩阵重新组织多模态长程记忆评测。X 轴从粗到细刻画视觉证据需求（场景/区域/实例/像素），Y 轴从浅到深刻画记忆操作（单条检索/跨会话关联/带冲突的状态合成）。每一道题被分配一个 (X, Y) 坐标，再经过三道过滤门清洗：先用纯文本线索判题剔除可被对话绕过的题；再用最小化图说（仅保留「房间照」「棋盘」这类粗描述）筛掉可被图说替代的题；最后用「提供正确线索轮 + 原图」的口径校准，剔除连底座模型都答不出的题。最终保留 371 道题，每题配 4 套 ABCD 旋转以缓解 VLM 偏置。
和已有 benchmark（LoCoMo/MMRC/Mem-Gallery）相比，MemEye 不再只看「最终答对率」，而是把「视觉信息被压缩掉」与「视觉状态被陈旧证据淹没」这两种失败模式拆到两条正交轴上。X 轴通过 Caption-Proof 诊断验证（image 与 dense caption 的差距在 X1→X4 单调扩大），Y 轴通过 Oracle-Evidence 诊断验证（提供正确线索轮后 Y1→Y3 仍出现 0.673→0.558 的稳定下降），从而让矩阵的每一格都有清晰的语义和可解释的失效归因。
方法步骤详情
构建流程分四步。第一步是「clue 中心出题」：8 个生活场景（Card Playlog、Cartoon Entertainment、Home Renovation、Outdoor Navigation、Brand Memory、CrossScene Memory、Health Care、Social Chat）每个由 GPT-5.2 生成多会话脚本，标注 1–N 轮线索和日期；同一场景中嵌入「视觉状态」演化，例如绿丝带被蓝丝带替换、墙体刷漆后颜色改变等。第二步是「双形式镜像」：每题同时构造多选（4 选 1）和开放式问答，并生成 4 套 ABCD 旋转，2 种形式 × 4 套 = 8 份评测变体。第三步是「三道过滤门」：依次使用 Full Input Leakage、Bypass Filter、Difficulty Calibration，剔除可被对话绕过、可被图说替代、连底座都答不出的题。第四步是「双轴打标」：每题被打上最高需求的 X 等级和 Y 等级，落在 4×3 矩阵的具体单元中，并配套 4 个 VLM backbone、13 种记忆方法的评测脚本。
技术新颖性
技术新颖性体现在三点：1) 首次提出「视觉证据粒度 × 记忆推理深度」的二维评测空间，把过去被糅在一起的「记忆失败」拆成 12 个可归因的格子；2) 设计了 clue-centered 出题和镜像双形式（多选+开放）+ ABCD 旋转，把题目对 VLM 偏置、文本捷径、底座能力三个混杂因素都过滤掉；3) 配套了 Caption-Proof（验证 X 轴）和 Oracle-Evidence（验证 Y 轴）两条诊断流程，使框架本身可被验证和复现，而不是单看终态准确率。
实验结果
在 gpt-5.4-mini 上整体最佳的是 SRAG(V)，开放题 LLM-Judge = 0.4937、多选 EM = 0.6177；最佳文本记忆 A-Mem 仅 0.4797/0.4651。沿 X 轴的视觉粒度效应显著：(X3, Y1) 上 SRAG(V) 0.6554 大幅领先 A-Mem 的 0.4459；(X4, Y1) 上 MMA 与 SRAG(V) 同时拿到 0.6389，最佳文本方法仅 0.3889。沿 Y 轴的推理深度同样明显：Oracle-Evidence 下 GPT-5.4-mini 从 Y1=0.673 滑落到 Y2=0.601、Y3=0.558。Caption-Proof 增益 $\Delta = \text{Score}_V - \text{Score}_T$ 在低 X 接近 0，进入 X3/X4 区域为正，再次验证视觉粒度是真实瓶颈。RQ3 的检索诊断显示 SRAG(V) 在 Y3 上常召回主题相关但时间失效的图（图 6c），证明「找到相关证据」与「选到当前有效状态」是两件事；图 6d 的 cross-topic scaling 把 4 个任务对话拼起来模拟更长更杂的历史，FC(T)/FC(V) 这类无记忆机制的方案衰减最明显，而 SRAG/MMA/M2A 表现稳定。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 整体准确率（gpt-5.4-mini，开放题 LLM-Judge） | LLM-as-a-Judge | SRAG(V) 0.4937（最佳） | FC(T) 0.4280，Gen.Ag. 0.2546 | +0.065 vs FC(T)，+0.239 vs Gen.Ag. |
| 整体准确率（gpt-5.4-mini，多选 EM） | Exact Match | SRAG(V) 0.6177（最佳） | FC(T) 0.5670，Gen.Ag. 0.2467 | +0.051 vs FC(T)，+0.371 vs Gen.Ag. |
| X3 实例级 / Y1 原子检索 视觉细粒度 | LLM-Judge | SRAG(V) 0.6554 | A-Mem 0.4459（最佳文本方法） | +0.2095 |
| X4 像素级 / Y1 原子检索 视觉细粒度 | LLM-Judge | MMA & SRAG(V) 0.6389 | FC(T) 0.3889（最佳文本方法） | +0.2500 |
| Oracle-Evidence 验证 Y 轴（gpt-5.4-mini） | LLM-Judge | Y1=0.673 → Y2=0.601 → Y3=0.558 | 无对照（基线 Y1） | Y3 相对 Y1 下降 -0.115 |
局限与改进
作者在论文与附录中坦承三点局限：1) MemEye 偏 diagnostic 而非 exhaustive，只覆盖 8 个策划好的生活场景、代表性记忆架构与系统级对比，缺少大规模人类基线和部署级评测；2) 评测的 4 个 VLM backbone 偏向中小尺寸商用模型（Qwen3-VL-8B、Gemini-2.5-flash-lite、GPT-4.1-nano、GPT-5.4-mini），未覆盖闭源超大模型与开源/学术模型，对超大 VLM 是否同样失守尚未可知；3) judge 自动评估只与 72 条人类标注做了抽样对齐（κ=0.94），且题量 371 偏小，每格样本数（最低 10 道）统计功效有限。我们额外观察到：(a) 跨主题扩展实验只测了 4 任务组合 × 2，平均后才汇报，难以判断哪类任务对哪些记忆机制最敏感；(b) ABCD 旋转能缓解位置偏置但无法消除长度偏置，开放式答案的 LLM-Judge 仍依赖 GPT-5.2 的判别能力，可能对短答案有利。
独立分析的弱点
我们独立观察到的三个弱点及改进方向。1)「跨格泛化」不足：13 种方法在不同 (X, Y) 格上互有胜负，没有一种方法在所有格上都强；当前缺乏一种能根据 query 粒度动态切换存储模态（图像 vs 文本 vs 结构化）的方法。改进方向是设计「模态路由器」，按问题的 (X, Y) 选择存储/检索路径。2)「时序有效性」与「视觉相似性」耦合：SRAG(V) 在 Y3 经常召回主题对但版本旧的图，因为它的图像 embedding 没有内置时间戳。改进方向是为图像 embedding 引入时间/版本标签，或在检索后用 recency-aware re-ranker 过滤过期证据。3)「评估成本」与「题目多样性」：371 道题、每题 4 套旋转、4 个 VLM、13 种方法，跑完一轮开销很大；同时题目全为人造场景，缺乏真实长程用户的噪声与歧义。改进方向是引入 LLM 自动出题流水线并配合小批量 human-in-the-loop 校准，把题库扩展到数千题的同时控制成本。
未来方向
作者在第 5 节和附录 D.7 提出了几条未来方向：1) 在同一系统中同时保留图像证据 + 文本/结构化状态记录，让高 X 区域走图像检索、高 Y 区域走状态机；2) 给检索结果加 recency-aware 排序与冲突消解模块，减少 stale-over-latest 错误；3) 把 human baseline 扩展到更多任务、更多 backbone，并做部署级长期评测。基于成果可延伸的方向还包括：把 MemEye 框架扩展到视频、3D 场景等更长程模态；把二维矩阵变成多维（如再加一个「上下文预算」轴）以分析成本-性能曲线；用 MemEye 作为 reward signal 去训练 RAG-style 多模态智能体。
复现评估
复现门槛中等偏低。作者声明会公开项目页、代码与数据集，并已在 4 个 VLM backbone、13 种方法、3 套过滤门和 2 个 judge 指标上给出端到端脚本，可直接重跑。算力方面，4 个 backbone 均为商用 API 或 8B 级别开源模型，单卡 A100/A800 即可运行 Qwen3-VL-8B；评测主体是 API 调用，不依赖大规模训练。难度主要在三方面：(a) 数据构造依赖 GPT-5.2 生成密集图说和场景脚本，需要稳定的 GPT-5.2 访问；(b) 371 道题及其 ABCD 旋转、open-ended gold answer 需要从生成管线复现，过程含较多 prompt 调参；(c) LLM-as-a-Judge 与人类 κ=0.94 的对照需要重新邀请标注者验证。整体而言，复现实验结论（哪个方法在哪个格更强）比较容易；复现「369→371 题 + 每题 4 套旋转」的完整数据需要非平凡的工程投入。
论文图表
横向柱状图，对比 LoCoMo、MMRC、Mem-Gallery、MemEye 在 NoInfo（去图）/ Caption（图说）/ Multimodal（多模态）三种设定下的 LLM-as-a-Judge 分数。LoCoMo 与 Mem-Gallery 三种设定下分数都在 0.20–0.35 区间，三档几乎重合；MMRC 略有 0.10 左右的 Caption→Multimodal 提升；MemEye 的 Multimodal 达到 ~0.80，显著高于 NoInfo(~0.40) 与 Caption(~0.45)，caption-to-multimodal 增益是四者中最大的。
这是支撑「MemEye 视觉不可替代」主张的核心证据，回答了「为什么不能直接用 LoCoMo/MMRC/Mem-Gallery 替代」的问题。