← 返回 2026-01-21

MemoryRewardBench：评估大语言模型长期记忆管理的奖励模型基准 MemoryRewardBench: Benchmarking Reward Models for Long-Term Memory Management in Large Language Models

Zecheng Tang, Baibei Ji, Ruoxi Sun, Haitian Wang, WangJie You, Zhang Yijun, Wenpeng Zhu, Ji Qi, Juntao Li, Min Zhang 📅 2026-01-17 👍 27 2026-07-13 08:35
基准评估 大语言模型 奖励模型 记忆管理 长期记忆
arXiv HuggingFace PDF

首个系统评估奖励模型判断LLM长期记忆管理能力的基准，揭示开源与闭源模型差距缩小

前置知识

奖励模型（Reward Model）

奖励模型是基于人类偏好训练的模型，用于自动评估语言模型输出的质量。在强化学习对齐中，RM提供训练信号来指导语言模型生成符合人类期望的回答。本文聚焦于生成式RM（Generative RM），即直接利用LLM的泛化能力生成偏好判断，而非传统的判别式打分方式。生成式RM能够输出解释性说明，使其更适合评估复杂的记忆管理过程。

本文的核心评估对象就是RM，理解RM的工作原理和分类是理解整个研究框架的基础。

记忆管理（Memory Management）

在处理长序列输入时，LLM需要将长上下文分块处理，并维护一个固定大小的记忆空间来汇总历史信息。记忆管理指的是模型如何在处理过程中更新、维护和利用这个记忆状态空间。本文将记忆管理分为三种模式：顺序模式（Sequential Pattern，逐步更新记忆）、并行模式（Parallelism Pattern，分组并行处理后聚合）和混合模式（Mixed Pattern，两者结合）。

记忆管理是本文评估的核心能力，理解不同记忆管理模式的数学形式化定义是理解任务设计的关键。

MemAgent

MemAgent是一种长上下文处理方法，通过将长序列切分为等长片段，在每个片段处理后更新记忆来压缩关键信息到固定大小的缓冲区中。其数学形式为：给定序列分为chunks $C = \{c_1, c_2, \cdots, c_n\}$，记忆状态 $M = \{m_1, m_2, \cdots, m_n\}$ 按照 $m_1 = \Phi(c_1)$，$m_t = \Phi(m_{t-1}, c_t)$ 逐步更新。本文基于MemAgent构建长上下文推理任务的评估数据。

MemAgent是本文构建长上下文推理任务数据的基础框架，理解其工作机制有助于理解数据构建过程。

过程评估 vs 结果评估

本文设计了两种RM评估标准：结果评估（Outcome-based）要求RM优先选择能产生正确结果的记忆管理轨迹；过程评估（Process-based）要求RM在两个都产生正确结果的样本中，选择记忆管理过程更准确、简洁、逻辑连贯的那个。这种解耦设计是为了鼓励RM关注记忆管理质量，而非仅仅关注最终结果的正确性。

这是本文评估框架的核心创新之一，理解这两种评估标准的区别是理解实验设计和结果分析的关键。

研究动机

现有研究越来越多地采用记忆中心机制来处理长上下文，通过分段方式处理序列。然而，现有的记忆管理评估基准存在明显局限：一是评估目标单一，主要直接评估LLM的记忆能力，而忽略了对记忆管理过程本身的监督；二是评估方法依赖规则启发式或人工标注，缺乏自动化的、可扩展的记忆质量评估范式。具体而言，如Table 1所示，LongBench、RULER等基准仅评估静态上下文理解，LongMemEval、MemBench等虽支持过程评估，但都以LLM为直接评估目标，未涉及奖励模型在记忆管理评估中的作用。

本文的目标是本文旨在回答一个根本性问题：能否利用奖励模型（RM）自动评估LLM的中间记忆质量？具体目标包括：（1）构建首个专门评估RM判断长期记忆管理能力的基准MemRewardBench；（2）覆盖长上下文理解、多轮对话理解和长文本生成三类任务，包含10种不同的记忆管理配置；（3）对13个前沿RM进行系统评估，揭示开源与闭源模型的能力边界；（4）分析RM在不同记忆管理模式、评估标准、轨迹长度下的行为特性。

与已有工作不同的是，本文的独特切入角度在于将评估焦点从LLM本身转移到奖励模型。与以往直接评估LLM记忆保留能力的工作不同，本文首次关注RM作为监督者的能力——即RM能否可靠地判断记忆管理过程的优劣。这种视角转变具有重要意义：如果RM能够准确评估记忆管理，那么就可以为记忆中心的LLM提供自动化的训练信号，推动记忆管理技术的发展。此外，本文设计了过程评估与结果评估的解耦机制，强制RM关注记忆管理过程本身，而非仅仅依赖结果正确性。

核心方法

MemRewardBench的整体方法思路是：首先定义三种记忆管理模式（顺序、并行、混合），然后针对三类需要记忆管理的任务（长上下文推理、多轮对话理解、长文本生成）设计评估框架。对于每个评估实例，向RM提供原始上下文（8K-128K tokens）、两条候选记忆管理轨迹及其结果，RM的任务是根据预设标准选择更优的样本并提供解释性说明。这种设计的核心直觉是：如果RM能够准确判断记忆管理的优劣，那么它应该能够识别出那些虽然结果相同但记忆管理过程更优的轨迹。

本文的核心创新在于两种评估标准的设计：Type 1（结果评估）要求RM优先选择能产生正确结果的轨迹；Type 2（过程评估）要求RM在两个结果都正确时，选择记忆管理过程更优的轨迹。这种设计的本质区别在于：它强制RM不仅仅关注最终结果，而要深入评估中间记忆状态的质量。例如，在多轮对话任务中，即使两个记忆管理轨迹最终都给出了正确答案，但一个可能遗漏了关键对话轮次的更新，另一个则完整记录了所有相关信息。过程评估要求RM能够识别这种差异。

方法步骤详情

方法的具体步骤包括：（1）记忆管理模式定义：定义顺序模式（$m_t = \Phi(m_{t-1}, c_t)$）、并行模式（将输入分为k组并行处理，最终通过融合操作 $o = g(m^{(1)}, \cdots, m^{(k)})$ 聚合）和混合模式（两者结合）；（2）任务构建：针对长上下文推理任务，采用MemAgent框架处理BABILong和LongMiT数据集，通过NOISE（注入冗余信息）和DROP（删除关键信息）两种扰动生成拒绝样本；针对多轮对话任务，使用A-Mem和Mem0两种记忆系统，通过跳过记忆更新生成拒绝样本；针对长文本生成任务，使用LongProc、LongGenBench和LongEval数据集，通过扰动约束生成拒绝样本；（3）评估框架：使用相同的系统提示和用户模板，随机打乱chosen和rejected样本的位置，让RM进行偏好判断。

技术新颖性

本文的技术新颖性体现在多个方面：首先，首次将评估目标从LLM转移到RM，填补了RM评估记忆管理能力的研究空白；其次，设计了过程评估与结果评估的解耦机制，这在现有基准中尚属首次；第三，系统覆盖了10种不同的记忆管理配置，包括顺序-噪声、顺序-丢弃、混合-噪声、混合-丢弃、Mem0-Out、Mem0-Mem、A-Mem-Out、A-Mem-Mem、顺序生成和并行生成，每种配置都有明确的构建方法和评估标准；第四，通过位置交换实验（Chosen-First vs Rejected-First）评估RM的一致性，揭示了RM在过程评估中的位置偏差问题。

三种记忆管理模式示意图
Figure 2: 三种记忆管理模式示意图
A_Mem和Mem0系统案例对比
Figure 8: A_Mem和Mem0系统案例对比
评估提示模板
Figure 17: 评估提示模板

实验结果

实验结果揭示了多个重要发现：（1）开源与闭源模型差距缩小，Claude-Opus-4.5以74.75%的平均准确率位居第一，Gemini3-Pro（71.63%）紧随其后，但开源模型GLM4.5-106A12B（68.21%）甚至超越了闭源的Qwen3-Max（67.79%）；（2）模型性能不与参数量单调相关，Qwen3-4B（52.42%）超越了参数量大得多的Qwen2.5-7B（38.17%），Qwen3-32B（62.88%）超越了Llama3.3-70B（57.58%）；（3）新一代模型持续优于前代，Qwen3系列显著超越Qwen2.5系列；（4）多轮对话是最具挑战性的任务，RM平均准确率普遍低于其他任务；（5）RM更偏好顺序处理模式，在顺序模式下的准确率显著高于并行模式；（6）RM在过程评估中存在位置偏差，倾向于偏好先出现的样本。

MemoryRewardBench与现有记忆基准对比
Table 1: MemoryRewardBench与现有记忆基准对比
MemoryRewardBench任务分布与统计
Table 2: MemoryRewardBench任务分布与统计
MemoryRewardBench评估结果
Table 3: MemoryRewardBench评估结果
顺序与并行记忆管理模式性能对比
Figure 3: 顺序与并行记忆管理模式性能对比
过程评估与结果评估的对比
Figure 4: 过程评估与结果评估的对比
约束密度对RM性能的影响
Figure 5: 约束密度对RM性能的影响
RM性能和一致性随轨迹长度的变化趋势
Figure 6: RM性能和一致性随轨迹长度的变化趋势
辅助信号对多轮对话理解任务的影响
Figure 7: 辅助信号对多轮对话理解任务的影响
Qwen3-14B性能案例研究
Figure 18: Qwen3-14B性能案例研究
查看结构化数据
任务指标本文基线提升
长上下文推理 平均准确率 GLM4.5-106A12B: 69.13% 随机猜测: 50% 提升19.13个百分点
多轮对话理解 平均准确率 Claude-Opus-4.5: 68.25% 随机猜测: 50% 提升18.25个百分点
长文本生成 平均准确率 Claude-Opus-4.5: 87.13% 随机猜测: 50% 提升37.13个百分点
总体平均 平均准确率 Claude-Opus-4.5: 74.75% 随机猜测: 50% 提升24.75个百分点

局限与改进

本文存在以下局限性：（1）评估范围有限，仅测试了13个模型，且主要集中在Qwen和Llama系列，缺乏对更多元化模型架构的评估；（2）数据构建依赖启发式方法，如NOISE和DROP扰动可能无法完全模拟真实场景中的记忆管理错误；（3）位置偏差问题揭示了RM在过程评估中的不一致性，这可能影响评估结果的可靠性；（4）仅在128K token以内的上下文长度进行评估，对于更长上下文的表现未知；（5）评估框架假设RM能够理解复杂的评估指令，但实际上一些模型可能因指令理解能力不足而表现不佳；（6）缺乏对RM训练数据和方法的深入分析，难以解释不同模型表现差异的根本原因。

独立分析的弱点

本文存在以下可改进的弱点：（1）数据构建方法较为单一，NOISE和DROP扰动主要模拟信息冗余和信息丢失，但真实场景中的记忆管理错误可能更加复杂和多样化，如信息矛盾、时间顺序错乱等；（2）评估框架对RM的指令遵循能力有较高要求，但不同模型的指令理解能力差异可能导致评估偏差，建议设计更简洁的评估提示或增加指令理解能力的预测试；（3）位置偏差问题表明RM在过程评估中存在系统性偏好，建议采用更多样化的位置平衡策略或开发专门的位置去偏方法；（4）缺乏对RM内部机制的分析，如注意力分布、记忆表征等，这有助于理解RM判断记忆管理质量的依据。

未来方向

基于本文成果，未来研究可以从以下方向展开：（1）开发专门针对记忆管理评估的RM，通过在记忆管理任务上进行微调来提升评估能力；（2）扩展评估范围到更长上下文（如1M tokens）和更多样化的记忆管理策略；（3）研究RM的位置偏差问题，开发位置无关的记忆评估方法；（4）将MemRewardBench与RM训练相结合，利用评估结果指导RM的改进；（5）探索多模态记忆管理评估，如结合视觉和文本信息的记忆管理；（6）研究RM在动态记忆管理场景中的表现，如实时对话中的记忆更新评估；（7）开发自动化记忆管理质量评估工具，降低对人工标注的依赖。

复现评估

本文的复现性较好：（1）作者提供了匿名代码仓库（https://anonymous.4open.science/r/MemRewardBench），包含评估框架的完整实现；（2）所有评估均在LOOM-Scope框架内进行，该框架具有良好的文档和标准化接口；（3）数据集基于公开的BABILong、LongMiT、LoCoMo、MemoryAgentBench、LongProc、LongEval和LongGenBench构建，这些数据集均可公开获取；（4）评估参数设置明确：top-p=0.95，temperature=0.7，最大生成token数=16,384；（5）开源模型的评估可通过本地部署复现，闭源模型通过官方API调用。主要复现难度在于需要大量计算资源来运行13个模型的评估，特别是对于128K上下文长度的测试。

论文图表

整体处理与分段处理示意图
Figure 1: 整体处理与分段处理示意图

该图展示了LLM处理长序列的两种范式：整体处理（holistic processing）将整个序列一次性输入模型，而分段处理（segmented processing）将长序列切分为chunks逐步处理，并维护固定大小的记忆空间来汇总历史信息。图中清晰展示了分段处理中记忆作为过去与现在信息桥梁的关键作用。

这张图是理解本文研究动机的核心，它直观地展示了为什么记忆管理对LLM处理长序列至关重要，以及为什么需要评估中间记忆的质量。