EvolveMem:通过 AutoResearch 自演化记忆架构的 LLM 智能体 EvolveMem:Self-Evolving Memory Architecture via AutoResearch for LLM Agents
把检索基础设施作为可演化的动作空间,LLM 诊断模块自主闭环改进。
前置知识
检索增强生成 (Retrieval-Augmented Generation, RAG)
RAG 通过在生成前从外部知识库检索相关文档,把检索结果作为上下文注入 LLM,从而缓解幻觉、扩展知识截止、支持个性化或长程记忆。在多轮对话中,系统会先把历史压缩为'记忆单元',再在回答新问题时检索相关单元,本质是带记忆存储的 RAG。
EvolveMem 的整个检索层(BM25 + 语义 + 结构化元数据三视图融合)都是 RAG 的扩展。理解 RAG 的'检索-注入-生成'三步流水线,才能看懂本文如何把'检索配置'从静态超参提升为一类可演化的动作空间。
BM25 与稠密向量检索
BM25 是基于词袋和 TF-IDF 的稀疏检索,对精确关键词匹配很强;稠密向量检索用嵌入模型(如 BAAI/bge)将文本映射为 $\mathbb{R}^d$ 向量,按余弦相似度检索,擅长语义/同义改写匹配。两者各有所长,常以 RRF 或加权求和组合。
EvolveMem 的多视图检索器把 BM25、稠密语义、结构化元数据视为三个独立视图,演化引擎会动态调整每个视图的候选数 $k_{sem}, k_{kw}, k_{str}$ 与融合权重。读 R1 阶段'激活语义视图+切到 RRF 融合'这种具体配置变化时,必须清楚每个视图的语义特性。
知识库存储与 FTS5 全文索引
FTS5 是 SQLite 内建的全文搜索扩展,支持基于倒排索引的 token 检索,可高效地在大规模文本上做关键词查询并计算 BM25 风格的相关性分数。论文用 SQLite/FTS5 作为底层存储,这样 BM25 和元数据过滤都在一个进程内完成,降低部署复杂度。
理解 FTS5 才能体会作者选择 SQLite 而非专用向量数据库的工程考量,也才能看懂为何 BM25 检索可以'零额外依赖'嵌入流水线。实验报告显示 1986 个 QA 对、369-689 轮对话规模下整套系统仍可在单进程内闭环演化。
互补学习系统 (Complementary Learning Systems, CLS) 与艾宾浩斯遗忘曲线
CLS 理论认为人脑由'快速学习的情景记忆'和'慢速学习的语义记忆'协作;艾宾浩斯曲线描述记忆随时间指数衰减。本文把这套神经科学启发直接搬到记忆管理:去重合并对应 CLS 巩固,重要性衰减对应艾宾浩斯,实体强化对应重复激活。
EvolveMem 的'巩固 (consolidation)'三件套——去重、重要性衰减、实体强化——并非简单工程 trick,而是有认知科学理论背书的设计。读 §3.1 时若不知道 CLS/艾宾浩斯,会把这些机制误读为普通的内存清理。
闭合的 observe–hypothesize–experiment–validate 循环
即 empirical research loop 或 AutoResearch 范式:系统先观察行为/失败日志,再对根因做假设,接着设计实验(如调一组参数)验证,最后依据客观指标接受或回滚该改动。本文把这套原本由人类执行的流程内化为可自我执行的诊断-提议-守卫算法。
这是 EvolveMem 区别于 Mem0/MemGPT/SimpleMem 等'内容会演化、检索基础设施冻结'方法的最核心概念。不理解 AutoResearch 的循环结构,就无法领会为何作者宣称本文是'第一个把检索基础设施本身作为研究对象'的框架。
研究动机
在长期运行的 LLM 智能体场景中,持久记忆已成为基础组件——个人助理需要数月内记住用户偏好,编程 Agent 需要追踪项目决策,客服系统需要跨会话保持身份一致性。然而现有记忆系统普遍存在一个被忽视的根本问题:它们都把'检索基础设施'当作部署时一次性调好的静态超参,而任由存储内容不断演化。具体来说,不同问题类型本质上需要不同的检索策略——事实查找需要精确关键词匹配、时间推理需要时间感知过滤、多跳推理需要查询分解、对抗性姓名调换 (adversarial name-swap) 需要把无关人名剔除后用主题检索——一个固定的融合权重或上下文预算根本无法同时服务所有这些需求。MemGPT、Mem0、A-MEM、MemoryBank、SimpleMem 等代表性工作都遵循'内容会演化、检索策略冻结'的范式,导致随着记忆库从几十条增长到几百条异构记录,原先为小库校准的检索策略会越来越次优。作者在 LoCoMo 基准上用 GPT-4o 实测发现,仅 BM25 (SUM 融合) 的最小基线只能拿到 30.5% F1,而人工精心调过的 SOTA 检索策略也只能达到 43.2% F1 (SimpleMem),这 12.7 个百分点的鸿沟说明'固定检索配置'已经触到了性能上限,继续手工调参的边际收益会越来越小。
本文的目标是本文的具体目标是设计一个名为 EVOLVEMEM 的自演化记忆架构,把'检索基础设施'本身从静态超参提升为一类可由 LLM 自动优化的'结构化动作空间',从而摆脱对手工调参的依赖。系统应在每次评估后自动读取每题失败日志、由 LLM 诊断根因、提出针对性的配置调整,并由一个带'回归即回滚、停滞即扰动'双保险的元分析器验证后才接受;整个循环要做到'端到端无需人工干预',并能在不修改代码的前提下,自主发现原动作空间之外的全新配置维度 (entity-swap, query decomposition, answer verification 三项即由诊断 LLM 在 R3/R5/R7 自发提出)。论文在 LoCoMo 和 MemBench 两个长期记忆基准上,同时报告 GPT-4o 和 GPT-5.1 两个骨干下的 F1/准确率,目标是显著超过当前最强基线 (SimpleMem),并验证演化得到的配置在跨基准迁移时呈现'正迁移而非灾难性遗忘'。
与已有工作不同的是，本文的独特切入角度是'把检索基础设施当作一等优化目标,而非冻结的脚手架'。这与三类既有工作形成鲜明对比:第一类是 MemGPT/Mem0/A-MEM/MemoryBank 等传统记忆系统,它们允许'内容'演化但保持'检索机制'冻结,假设一套融合权重可以一劳永逸;第二类是 Self-RAG/CRAG/FLARE/Adaptive-RAG 等自适应 RAG 工作,它们只在'何时检索'和'检索后过滤'上做决策,从不调整'检索参数本身' (评分函数权重、融合模式、上下文预算);第三类是 MemEvolve/Agentic Memory 等自改进工作,它们要么只优化行为策略,要么只优化记忆管理,但都没有把'完整的检索配置'作为研究对象让系统自主科研。EvolveMem 的差异化在于:(1) 诊断模块读的是'逐题原始日志'而非聚合统计,从而能定位到具体失败模式; (2) 更新规则是'接受/回滚/扰动'三段式,确保不会比最佳历史差; (3) 动作空间是'按失败模式描述'而非按基准写死,使诊断 LLM 可以提出动作空间内未列出、但对该失败模式有效的新参数——这是论文称之为'self-expanding'的核心特性。
核心方法
EvolveMem 的整体设计哲学是'让检索基础设施成为一个可被研究的对象',通过三组件-三层的闭环把人工调参完全自动化。最底层是 §3.1 的结构化记忆库,把每条记忆表示为四元组 $m = (c, \mu, e, \eta)$,其中 $c$ 是文本内容、$\mu \in \mathcal{T}$ 是六类记忆类型 (情景/语义/偏好/项目状态/工作摘要/程序性知识)、$e \in \mathbb{R}^d$ 是 BAAI/bge-base-en-v1.5 生成的 768 维嵌入、$\eta$ 携带重要性 $\iota_i$、实体强化 $\rho_i$、抽取的实体/地点/主题与时间戳。提取阶段用一个滑动窗口 (长度 W) 切分对话,对每段调用 LLM 生成类型化记忆,并配备三次重试、上下文溢出时自动分块、覆盖率校验 (对比参考关键词触发重提) 三道保险;巩固阶段包含 Jaccard 去重 ($\tau_J$ 阈值)、重要性线性衰减 $\iota_i \leftarrow \iota_i - \alpha_d$ (下界 $\iota_{min}$)、以及查询触发的实体强化 $\rho_i \leftarrow \rho_i + \delta_\rho$ (上界 $\rho_{max}$)。中间层是 §3.2 的可演化检索层,完整配置 $\theta = (k_{sem}, k_{kw}, k_{str}, B_{ctx}, mode, \{w_v\}, \alpha, \{\theta_c\}_{c \in C}) \in \Theta$ 既包含连续参数 (候选数、上下文预算、融合权重),也包含离散参数 (SUM/WEIGHTED-SUM/RRF 三种融合模式、答案风格 $\alpha$、每类问题的子配置 $\theta_c$),每个维度都被 clamp 到安全区间。最终排序 $s(q, m_i; \theta) = s_{fuse}(q, m_i; \theta) + \lambda_\iota \iota_i + \lambda_r rec(m_i) + \ ho_i$ 把融合相关性与记忆内在质量信号相加。最上层是 §3.3 的自演化引擎,跑一个 EVALUATE–DIAGNOSE–PROPOSE–GUARD 四步闭环,每轮最多 7 轮 ($R_{max}=7$),用 F1 指标作为目标。
核心创新是把'检索配置'从一组手工超参变成一个 LLM 驱动的、结构化的、可自动扩展的动作空间,并用'失败日志 → 根因 → 配置增量'的方式而非网格搜索或贝叶斯优化的方式做搜索。三个本质区别于现有方法的地方是:第一,诊断模块读的不是聚合分数或工作负载统计,而是逐题的'问题-预测-真值-检索源'原始日志,这让它能定位到具体失败模式 (例如 Cat. 5 的姓名调换问题需要 entity-swap);第二,更新规则 (式 4) 是一个三段式守卫:回归即回滚到历史最佳 $\theta^\star_{r-1}$、两轮停滞即加随机扰动 $\eta_{exp}$、否则接受诊断提议 $\Delta\theta_r$,从而既保证不会比历史差,又能跳出局部极小;第三,也是最关键的——动作空间是'按失败模式描述'的开放集合,诊断 LLM 可以提出原空间内未列出的新参数,例如 R3 的 entity-swap 机制、R5 的 query decomposition、R7 的 answer verification,这三项没有任何代码层 patch,完全是诊断 LLM 在读日志后自己'发明'的,作者称之为'self-expanding'。
方法步骤详情
方法执行流程可以拆成五个阶段。第一阶段:记忆库构建 (Algorithm 1 第 1 行)。对每段会话 $S = (u_1, ..., u_T)$ 用滑动窗口 W 切分,对每段调用 LLM 抽取类型化记忆单元;遇到 LLM 调用失败则指数退避重试;遇到上下文超限则切分为更小子窗口并合并;抽取完后用一组参考关键词做覆盖校验,缺失部分触发定向重提。第二阶段:评估 (第 4-5 行)。对每个 QA 对 $(q, y^\*)$,按当前配置 $\theta_r$ 检索 Top-$k$ 并生成答案 $\hat{y}$,然后按 F1 逐题打分 $f_r$,并把'问题-预测-真值-分数-检索来源'逐题写入原始日志。第三阶段:诊断 (第 6 行)。诊断 LLM 接收该原始日志、当前配置 $\theta_r$、记忆库 $K$,依据一份'按失败模式描述'的结构化清单 (例如 wrong entity retrieved / insufficient context / temporal confusion),输出一个结构化的配置增量 $\Delta\theta_r$。该清单不绑定具体基准,使得新发现的失败模式可以立即被提出,无需重写诊断模块。第四阶段:守卫 (第 7-12 行)。元分析器对比 $f_r$ 与 $f_{r-1}$:若 $f_{r-1} - f_r > \tau_{rev}$ 则回滚到历史最佳 $\theta^\star_{r-1}$ (避免错误提议持久化);若连续两轮 $|f_r - f_{r-1}| < \epsilon$ 则叠加随机扰动 $\eta_{exp}$ 强制探索;否则按 $\theta_{r+1} = \mathrm{clamp}_\Theta(\theta_r \oplus \Delta\theta_r)$ 应用提议。当诊断 LLM 同时报告'memory 覆盖缺失'时,会触发定向重提 (第 13-14 行) 把新记忆并入 $K$,从而闭合'评估→抽取'的反馈环。第五阶段:收敛与返回 (第 15-19 行)。每轮记录 $f^\star = \max(f^\star, f_r)$ 与 $\theta^\star$,当连续两轮 $f_r - f_{r-1} < \epsilon$ 或达到 $R_{max}=7$ 时终止,返回 $\theta^\star = \arg\max_r f_r$。整条流水线最多跑 7 轮,实验显示 GPT-4o 骨干下从 30.5% (R0) 演化到 54.3% (R7),相对提升 78.0%。
技术新颖性
技术新颖性可从四个维度评估。第一,把'完整的检索配置' (而非超参子集) 暴露为动作空间,作者在表 1 中明确把这一性质 (P.E. 标记) 列为对比维度,在所列 10 个系统中只有 EvolveMem 同时满足 C.E. (内容演化) + P.E. (策略/参数演化) + T.M. (类型化记忆) + Cons. (巩固) + O.E. (离线评估) 五项。第二,诊断 LLM 的输入是'逐题原始日志 + 失败模式清单',这比 MemEvolve 的策略优化、Memory-R1 的 GRPO 训练都更轻量且更可解释——不需要训练信号,只用一个 prompting-based LLM 就能产生可验证的提议。第三,更新规则 (式 4) 把'接受提议'和'安全网'解耦:提议可以激进 (例如新增一个动作空间外维度),但只要分数下降超过 $\tau_{rev}$ 就会被自动回滚,这降低了 'self-expanding' 机制的工程风险。第四,'per-category 覆盖'机制 (动作空间中的 $\theta_c$) 允许同一套检索器对不同问题类型使用不同子配置,这与自适应 RAG 路线 (按复杂度分派) 在精神上一致,但粒度更细,直接对应 LoCoMo 的 5 类 (MultiHop/SingleHop/Temporal/OpenDomain/Adversarial) 与 MemBench 的 7 类 (Simple/Comparative/Aggregative/Conditional/Knowledge_update/Post_processing/Noisy) 评估协议。
实验结果
实验在 LoCoMo (1986 个 QA 对,5 类问题) 和 MemBench (28 样本,7 类) 两个长期记忆基准上,使用 GPT-4o 与 GPT-5.1 两个骨干进行评估。LoCoMo 方面 (表 2),GPT-4o 骨干下 EvolveMem 取得 Overall F1 0.543,比最强基线 SimpleMem (0.432) 提升 25.7% 相对,比最小基线 (R0 时的 BM25-only) 提升 78.0% 相对;GPT-5.1 骨干下取得 0.572 F1,比 SimpleMem (0.418) 提升 36.8% 相对,且在 5 个子任务列上同时领先;最大单点增益出现在 Temporal (GPT-4o +63.4%、GPT-5.1 +98.9%) 与 SingleHop (GPT-4o +68.7%、GPT-5.1 +89.3%),这正是 R1 激活语义视图+切到 RRF 融合 + R6/R7 调上下文预算后受益最大的两类。MemBench 方面 (表 3),GPT-4o 整体准确率 67.9%,GPT-5.1 71.4%,分别超过最强基线 18.9% 和 11.0% 相对;Recall 维度 (Simple + Knowledge_update) 表现最佳 (+40.0% on GPT-4o),Reasoning 维度 (+33.4%) 显著;Robustness 维度 (Post_processing + Noisy) 仍是最弱项,作者将其归因于'相关记忆未在库内'的覆盖问题——这是检索层调参无法解决的边界。自演化轨迹 (表 4) 揭示了 8 轮的关键变化:R0 弱基线 30.5%、R1 自动激活意图规划+RRF 融合 35.8%、R2 因 MMR 多样性回滚至 34.8%、R3 实体调换 37.2%、R4 每类答案风格 38.5%、R5 查询分解 38.1%、R6 推理子类型 45.4%、R7 答案验证+超参扫描 54.3%,其中 R2 是关键的'回滚示范',证明守卫机制会主动拒绝有害提议。消融研究 (表 6) 显示:抽取质量控制贡献最大 (-23.22 F1,近乎腰斩),语义搜索次之 (-10.32),LLM 诊断 vs 随机扰动 (-9.63),BM25 关键词 (-6.87),自演化引擎 (-2.03),验证了'高质量抽取 → 多视图检索 → 诊断驱动演化'的层次依赖。跨基准迁移 (表 5) 上,只在 LoCoMo 演化 7 轮的 CL 直接 zero-shot 应用到 MemBench 取得 54.3% 准确率,等于 CL 在 LoCoMo 上的成绩;继续在 MemBench 上演化得到的 CLM 取得 79.2%,超过只在 MemBench 从零演化的 CM (67.9%) 16.6% 相对,并把 LoCoMo 也从 0.543 提升到 0.593 (+9.2%),证明'演化得到的不是 benchmark-specific 启发式而是通用检索原则'。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LoCoMo (GPT-4o) Overall 5 类平均 | token-level F1 / BLEU-1 | F1 0.543 / BLEU 0.569 | SimpleMem 0.432/0.407, MemGPT 0.404/0.376, Mem0 0.397/0.371, A-MEM 0.394/0.370, Claude-Mem 0.383/0.360, MemVerse 0.365/0.342 | 比最强基线 SimpleMem 提升 25.7% 相对 (+0.111 F1),比最小基线 (BM25-only) 提升 78.0% 相对 |
| LoCoMo (GPT-4o) Temporal 子任务 | token-level F1 | 0.384 | MemGPT 0.246, SimpleMem 0.235, Mem0 0.217, A-MEM 0.200, MemVerse 0.196 | 比最强基线 +56.1% 相对,源自 R1 切到 RRF 融合+recency 加权 |
| LoCoMo (GPT-4o) SingleHop 子任务 | token-level F1 | 0.329 | SimpleMem 0.195, MemGPT 0.188, A-MEM 0.174, MemVerse 0.157, Mem0 0.156 | 比最强基线 +68.7% 相对,反映 R1 激活语义视图+ R5 查询分解的累积效果 |
| LoCoMo (GPT-5.1) Overall 5 类平均 | token-level F1 / BLEU-1 | F1 0.572 / BLEU 0.536 | SimpleMem 0.418/0.376, Mem0 0.390/0.369, Claude-Mem 0.388/0.368, MemVerse 0.383/0.362, A-MEM 0.385/0.365, MemGPT 0.385/0.364 | 比最强基线 SimpleMem 提升 36.8% 相对,验证结果不依赖特定骨干 |
| LoCoMo (GPT-5.1) Temporal 子任务 | token-level F1 | 0.541 | MemVerse 0.277, SimpleMem 0.272, Claude-Mem 0.264, Mem0 0.261 | +95.3% 相对最强基线,Time-aware fusion 的强信号 |
| MemBench (GPT-4o) 整体准确率 | Accuracy % | 67.9% (Recall 87.5, Reasoning 66.7, Robustness 50.0) | MemBank 46.4%, RecentMemory 57.1%, MemGPT 57.1%, SCMem 39.3% | 比最强基线 MemBank 高 21.5 pp (+46.3% 相对) |
| MemBench (GPT-5.1) 整体准确率 | Accuracy % | 71.4% (Recall 87.5, Reasoning 66.7, Robustness 62.5) | MemBank 64.3%, RecentMemory 60.7%, MemGPT 60.7%, SCMem 32.1% | 比最强基线 +7.1 pp (+11.0% 相对) |
| 跨基准迁移 MemBench (CL: 仅在 LoCoMo 演化 7 轮) | Accuracy % | CL zero-shot 54.3% (无 MemBench 任何调参) | CM (MemBench 从零演化) 67.9% | zero-shot 已达到 54.3%,证明 LoCoMo 演化的配置具有可迁移性 |
| 跨基准双向 Pareto 改进 (CLM) | F1 (LoCoMo) / Accuracy (MemBench) | LoCoMo 0.593 / MemBench 0.792 | CL 0.543 / CM 0.679 | Pareto 双赢:LoCoMo +9.2%、MemBench +16.6%,正迁移而非灾难性遗忘 |
| 自演化轨迹 R0→R7 (GPT-4o) | LoCoMo F1 % | R0 30.5 → R1 35.8 → R3 37.2 → R4 38.5 → R5 38.1 → R6 45.4 → R7 54.3 | 最小基线 (R0) | 78.0% 相对提升,R2 一次回滚展示了守卫机制的有效性 |
局限与改进
作者明确指出的局限性主要在两个方面。第一,Robustness 维度 (Post_processing + Noisy) 在 MemBench 上仍是相对最弱项:GPT-4o 50.0% 比 Reasoning 66.7% 低 16.7 pp,作者通过检查失败日志定位到根本原因是'相关记忆压根不在记忆库中' (即信息从未被提取),属于覆盖性缺陷,这种问题在检索层做参数调优是无法解决的,需要更上游的'何时何地从对话中提取什么'的能力。第二,自演化循环跑 $R_{max}=7$ 轮已经能覆盖大多数增益,但若问题分布随时间漂移 (concept drift),系统需要重新启动演化,论文没有给出在线增量演化的方案。作者隐含的局限还包括:(a) 诊断 LLM 自身的可靠性——若 LLM 给出的 $\Delta\theta$ 系统性偏差,守卫机制只能回滚而不能纠偏;(b) 每轮评估的算力开销 (R0-R7 共 8 次完整评估),对超大规模记忆库和长程对话而言是 O($|Q| \cdot R_{max}$) 级的 LLM 调用,实际部署成本不容忽视;(c) LoCoMo 全集 1986 个 QA 评估一次在 GPT-4o 上就需要相当算力,论文未给出每轮时间/费用的具体数字,只在 Appendix D.3 提到'效率分析',但正文中没有展开。
独立分析的弱点
独立审视本文的弱点可以列出三点。第一,动作空间的设计仍是'半人工'——$\theta$ 中 $k_{sem}, k_{kw}, k_{str}, B_{ctx}$ 等维度的合法范围、融合模式选项、答案风格清单都需要作者在论文里写死,虽然诊断 LLM 可以在这些维度内调参,但若'新维度的方向'不在清单内,诊断 LLM 的发明能力就被动作空间的边界卡住了。改进方向是引入一个'配置元提议'通道,让诊断 LLM 可以建议'新增一个名为 X 的连续参数,合法范围 [a, b]',由元分析器决定是否接受加入动作空间。第二,诊断 LLM 的输入是'逐题原始日志',这在 $|Q|=1986$ 的 LoCoMo 上意味着每次诊断都要把近 2000 条记录塞进 LLM 上下文,既昂贵又容易超长,论文没有给出针对大 $|Q|$ 的摘要或分层诊断方案。改进方向是先做失败模式聚类,只把每类的代表样本 + 频率统计喂给诊断 LLM。第三,跨基准迁移虽然呈现正迁移,但作者只验证了 LoCoMo → MemBench 一个方向,反向迁移 (MemBench → LoCoMo) 是否仍能保持正迁移、是否存在 '对偶干扰' 尚不清楚;此外,新增的 entity-swap / query decomposition / answer verification 三个机制都是 LLM 调用的开销,在响应延迟敏感场景 (实时对话) 下可能不可接受,改进方向是为这些机制引入'低置信度才触发'的自适应阈值,避免不必要开销。
未来方向
作者在结论段提到的两个明确方向是:(1) 把这种 AutoResearch 驱动的自演化扩展到'动态场景',即记忆库随时间持续增长、问题分布漂移时的在线演化,而不是离线 7 轮就停止;(2) 扩展到多模态设置,目前记忆类型 $\mathcal{T}$ 是纯文本六类,可考虑加入图像、表格、音频等模态,使 entity-swap/query decomposition 等机制在跨模态语义空间中工作。基于本文的成果还可延伸出几个方向:第一,把诊断 LLM 本身变成可被演化优化的对象——例如让 meta-LLM 在多次运行中学习'什么样的诊断 prompt 更有效',实现元层次的演化;第二,引入多目标优化,目前 $F(\theta; K, Q)$ 只用单一 F1,可同时考虑推理成本、响应延迟、用户满意度,使演化出来的配置在工程上真正可部署;第三,把'self-expanding 动作空间'机制应用到其他模块,例如记忆提取 (何时使用分块、何时使用重提) 或答案生成 (何时启用 verifier),让系统在整个流水线上都具备自我科研能力,而非局限于检索层。
复现评估
复现性方面,作者公开了完整代码 (https://github.com/aiming-lab/SimpleMem) 且仓库与论文命名一致,这对自演化类研究非常关键——因为诊断 LLM 的输出、随机扰动种子、阈值 $\tau_{rev}$ 与 $\epsilon$ 的取值都会影响最终轨迹。数据方面,LoCoMo 与 MemBench 都是公开基准,LoCoMo-10 包含 10 个对话 1986 个 QA 对,MemBench 28 样本的划分也在论文中明确给出 (7 类 × 2 主题 × 2 样本),第三方可直接复现。算力方面,论文没有报告每轮评估的具体 GPU 时长与 API 费用,但明确指出 SQLite/FTS5 + BAAI/bge-base-en-v1.5 (本地嵌入) 即可在单进程内运行整套流水线,这意味着 LLM 调用是唯一重资源项;按 8 轮 × 1986 题 × 每次 1 次答案生成估算,GPT-4o 上的 API 开销约数千美元级别,属于中等门槛。复现难度整体为'中等'——核心代码与基准都公开,但诊断 prompt 模板、阈值选取、动作空间合法范围这些超参需要从论文/附录精确复刻,任何一处偏差都可能导致演化轨迹不同;此外 GPT-5.1 骨干需 OpenAI API 访问,可能不是所有研究者都能复现。
论文图表
