← 返回 2026-05-21

MINTEval：长时程智能体系统中多目标干扰下的记忆评估 MINTEval: Evaluating Memory under Multi-Target Interference in Long-Horizon Agent Systems

Hyunji Lee, Justin Chih-Yao Chen, Joykirat Singh, Zaid Khan, Elias Stengel-Eskin, Mohit Bansal 📅 2026-05-19 👍 5 2026-07-13 08:36
基准测试 大语言模型 干扰处理 记忆增强智能体 长时程推理
arXiv HuggingFace PDF

首个关注密集干扰和长距离依赖的跨域记忆评估基准，现有系统平均准确率仅27.9%

前置知识

记忆增强智能体

这是一种具有外部记忆模块的大语言模型系统，能够随着时间的推移存储、更新和检索信息。与普通RAG系统不同，记忆增强智能体不仅有检索功能，还能执行CRUD操作来维护记忆的时效性和一致性。典型的架构包括记忆管理器和回答代理，这种架构让智能体能够在长时程交互中保持连贯性。

本文评估的核心对象就是各种记忆增强智能体系统，理解其工作原理对于理解论文的实验设置和结果分析至关重要。

前向干扰与逆向干扰

这是认知心理学中的经典概念。前向干扰是指旧的记忆影响新信息的编码和回忆，逆向干扰是指新信息覆盖或干扰旧记忆的回忆。在计算系统中，当信息不断更新时，智能体容易倾向于只记住最新状态而无法准确回忆历史状态，或者新旧相似信息混合导致检索错误。

这是MINTEVAL基准测试的核心设计理念，整个数据集的构造就是为了诱导产生密集的干扰效应，评估系统在冲突信息下的表现。

长距离回溯

指从当前时刻回溯到较早时刻进行查询的能力。例如在一个经过10次修订的文档中，询问第3个修订版本的具体内容。这要求系统不仅要记住当前状态，还要保留足够的历史信息和元数据，并能根据查询中的线索定位到正确的历史快照。距离越远，回溯难度越大。

这是MINTEVAL区别于现有基准的关键创新之一，现有测试大多只问当前状态，而这恰恰暴露了当前记忆系统的核心弱点。

研究动机

现有记忆基准测试存在严重局限性，无法反映真实世界的长时程记忆挑战。如表1所示，MemoryAgentBench等基准虽然支持多域，但输入上下文相互独立，干扰事件稀少，主要关注最新信息的回忆。而现实中的软件系统、文档、对话会持续演化，新信息常常修改或建立在旧状态之上。用户可能查询旧版本的规范，或比较不同版本的差异，这需要智能体不仅保留信息，还要理解新信息如何与先前的状态相关联。此外，现有基准域单一，缺乏跨域泛化评估。

本文的目标是本文的核心目标是构建一个能够真实反映长时程智能体记忆挑战的综合评估基准MINTEVAL。这个基准需要具备三个关键特征：一是包含密集干扰的上下文，信息频繁更新且相互冲突；二是支持长距离回溯查询和多目标聚合推理；三是覆盖多个真实领域以评估跨域泛化能力。通过这个基准，作者希望揭示当前记忆增强智能体在现实场景中的真正能力边界，识别系统失败的根本原因。

与已有工作不同的是，本文的独特切入角度在于首次系统性地研究了密集干扰这一现实但被忽视的记忆挑战。现有研究要么关注静态独立的回忆任务，要么测试的干扰过于稀疏，而MINTEVAL的平均干扰深度达到86个。更重要的是，本文区分了两种关键的记忆任务：单目标回忆和多目标聚合。这种分类让作者能够精准定位系统在不同认知需求上的能力差异。此外，本文的创新还在于引入了Wiki Revisions和Git Commits这两个全新的测试领域。

核心方法

MINTEVAL的方法论核心是构造一个能够自然诱导干扰的长时程上下文评估框架。作者从直觉出发：现实世界的记忆涉及持续修订和冲突状态，这些动态会暴露记忆系统的核心挑战。基于这个直觉，MINTEVAL选择了四个具有代表性的现实领域：bAbI状态跟踪、HorizonBench多轮对话、Wiki修订、Git提交。每个实例包含平均86个时间有序的更新，平均长度138.8k tokens，最长可达1.8M tokens。

MINTEVAL与现有方法的本质区别在于其干扰密集性和双任务分类。传统基准的上下文主要由独立事件拼接而成，事件之间关联稀疏。而MINTEVAL的上下文通过真实的演化历史自然产生密集的前向干扰和逆向干扰。另一个核心创新是问题类型的系统性分类：将任务分为单目标回忆和多目标聚合。通过这种分类，作者发现系统在聚合任务上表现明显更差。

方法步骤详情

MINTEVAL的构造包含四个主要步骤。首先，领域数据收集：bAbI和HorizonBench使用现有基准数据，Wiki Revisions从Wikipedia API抓取文章的完整修订历史，Git Commits从GitHub收集仓库的提交历史。其次，上下文组织：bAbI每15个事实分组为一个chunk，HorizonBench每个对话会话作为一个chunk，Wiki Revisions和Git Commits每个修订作为一个chunk。第三，问题生成：bAbI通过解析事实为主谓宾三元组并填充预定义模板；Wiki Revisions和Git Commits则使用Gemini模型生成问答对。最后，人工验证：六个标注者验证了20%的样本。

技术新颖性

MINTEVAL的技术新颖性体现在三个方面。一是数据构造的创新，特别是Wiki Revisions和Git Commits这两个领域的引入，它们自然包含演化冲突和隐式依赖。二是问题类型的精细化设计，特别是History长距离回溯任务的引入。三是规模的可扩展性，MINTEVAL包含总共15.6k个问答对，为未来的研究提供了充分的数据支持。

实验结果

实验结果揭示了记忆增强智能体在现实场景中的严重局限性。在评估的七个代表性系统中，平均准确率仅为27.9%，即使是最佳系统MemAgent也只达到33.4%。性能在不同任务类型间差异巨大：Simple任务平均47.5%，History任务骤降至21.0%，多目标聚合任务平均26.5%。跨域泛化能力也严重不足：MemAgent在bAbI Simple上达到85.7%，但在HorizonBench Simple上仅7.5%。错误分析表明，41.7%的性能下降源于检索和记忆构建失败，25.2%源于回答阶段的错误。记忆系统在CRUD操作中严重偏向插入操作。

Comparison of MINTEVAL with prior memory benchmarks.
Table 1: Comparison of MINTEVAL with prior memory benchmarks.
Dataset statistics across four domains.
Table 3: Dataset statistics across four domains.
Results on Qwen3.6-35B-A3B.
Table 4: Results on Qwen3.6-35B-A3B.
Error due to missing evidence in memory (green) or incorrect answers despite the evidence being present (green–blue gap).
Figure 2: Error due to missing evidence in memory (green) or incorrect answers despite the evidence being present (green–blue gap).
Performance (y-axis) vs. Lookback Distance (x-axis).
Figure 3: Performance (y-axis) vs. Lookback Distance (x-axis).
Performance under varying numbers of distractors for both In-Domain (ID) and Out-of-Domain (OOD) settings.
Figure 4: Performance under varying numbers of distractors for both In-Domain (ID) and Out-of-Domain (OOD) settings.
Performance vs. different chunk sizes when processing memories for the MemAgent model.
Figure 5: Performance vs. different chunk sizes when processing memories for the MemAgent model.
查看结构化数据
任务指标本文基线提升
bAbI Simple Exact Match Accuracy 85.7% 57.4% +28.3%
bAbI History Exact Match Accuracy 36.0% 16.1% +19.9%
Wiki Revisions Simple Exact Match Accuracy 54.2% 23.3% +30.9%
Wiki Revisions History Exact Match Accuracy 28.8% 14.5% +14.3%
Git Commits Simple Exact Match Accuracy 82.3% 82.0% +0.3%
Git Commits History Exact Match Accuracy 24.0% 27.1% -3.1%
HorizonBench Simple Exact Match Accuracy 7.5% 11.3% -3.8%
HorizonBench Multihop Exact Match Accuracy 28.1% 11.9% +16.2%
Overall Average Exact Match Accuracy 33.4% 21.0% +12.4%

局限与改进

作者在论文中明确承认了几个局限性。首先，MINTEVAL的某些领域存在答案不唯一的问题，导致评估时需要提供候选答案集。其次，虽然有人工验证，但95.6%的验证率意味着仍有约4.4%的问题可能存在质量问题。第三，论文主要评估了问答准确率，但未考虑计算效率、内存占用等实际部署因素。从我的观察来看，还有其他局限性：评估主要基于Exact Match，这可能对正确但措辞不同的答案过于严格；测试的干扰类型主要集中在事实冲突，对于更复杂的推理冲突覆盖不足。

独立分析的弱点

独立分析显示，当前记忆系统存在几个关键弱点。第一，时序意识不足，特别是对于长距离回溯查询。随着回溯距离增加，性能显著下降。改进方向是在记忆中显式编码时间戳和版本信息。第二，操作粒度过粗，导致难以识别增量更新。AtomMem和Mem-α都以大块为单位操作，倾向于插入而非修改。改进方向是设计更细粒度的记忆操作。第三，压缩策略过于激进，SimpleMem在对话任务上表现良好，但在Wiki Revisions上严重下降，因为它丢弃了重要的来源信息和历史细节。

未来方向

基于作者提出的和从成果可延伸的，未来研究方向包括多个层面。作者明确提出的方向包括：开发更鲁棒的内存管理系统，能够处理密集干扰、跨域泛化和各种查询；研究更好的时序编码机制；设计更细粒度的CRUD操作。基于本文成果，可以延伸出更多方向：开发专门针对演化场景的检索算法；研究跨域记忆迁移；探索更复杂的评估维度；设计更贴近真实应用的任务，如代码迁移辅助、文档演化追踪等。

复现评估

MINTEVAL的可复现性评估显示，开源情况良好但有一定成本。论文明确声明代码和数据已在GitHub开源，包括数据集、评估脚本和基线实现。使用的模型包括Qwen3.6-35B-A3B作为回答代理，Qwen3-Embedding-4B作为嵌入模型。主要的复现成本在于需要访问这些大模型。评估指标使用Exact Match after text normalization。总体而言，只要有足够的计算资源，复现论文的主要结果是可行的。

论文图表

Left: MINTEVAL spans four realistic domains: state tracking, dialogue, GitHub commits, and Wikipedia revisions, with five question categories probing different aspects of memory behavior. Middle: The contexts are inherently dynamic and continuously evolving, naturally creating frequent destructive interference. Right: Existing memory systems show distinct failure modes.
Figure 1: Left: MINTEVAL spans four realistic domains: state tracking, dialogue, GitHub commits, and Wikipedia revisions, with five question categories probing different aspects of memory behavior. Middle: The contexts are inherently dynamic and continuously evolving, naturally creating frequent destructive interference. Right: Existing memory systems show distinct failure modes.

这张图由三部分组成。左侧展示了MINTEVAL覆盖的四个现实领域和五个问题类别。中间部分说明上下文本质上是动态的且不断演化，自然产生频繁的破坏性干扰。右侧总结了现有记忆系统的三种失败模式：全上下文方法成本高且可能超出窗口限制；RAG系统由于冲突信息经常检索错误的证据；记忆增强智能体过度强调近期信息，低估历史上下文。

这张图对理解论文至关重要，因为它以直观的方式展示了MINTEVAL的核心设计理念——密集干扰的演化上下文，以及现有系统面对这种挑战时的根本性弱点。它帮助读者快速抓住论文的问题意识和创新点。