面向异构任务的自进化 LLM 记忆提取

提出 BEHEMOTH 基准与 CluE 集群进化方法，解决异构 LLM 记忆提取难题。

前置知识

LLM 记忆提取 (Memory Extraction)

让 LLM 从历史对话中提炼值得长期存储的信息。给定源对话 $c$ 与提示词 $P$，提取模型输出记忆 $m = \text{LLM}_e(P, c)$，再用奖励 $r = R(\hat{y}) \in [0,1]$ 评估 $m$ 在生成答案 $\hat{y}$ 上的效用。

论文核心数学对象就是它，理解 $m$ 由下游效用而非相似度衡量，是把握全篇实验设计的关键。

自进化提示词框架 (Self-Evolving Prompt Framework)

通过训练反馈信号迭代更新提示词的方法族，代表有 GEPA（反思式 Proposer）、ACE（Reflector+Curator 原子操作）、MemEvolve（Analyzer+Proposer），均假设任务分布同质。

CluE 为解决此类框架在异构分布下失效而提出，必须先理解它要超越的基线范式。

异构任务分布 (Heterogeneous Task Distribution)

训练样本在输入空间、所需记忆类型、评价指标上都存在显著差异的分布，如同时混合个性化对话、数学推理和智能体轨迹三类任务，反馈信号会互相冲突。

论文挑战的核心假设；现有自进化方法因假设同质而在异构场景下过拟合或信号稀释。

Macro Accuracy 与 Relative Gain

Macro Accuracy 是 $N$ 个数据集奖励的算术平均；Relative Gain 是相对基线 $P_{\text{base}}$ 的几何平均提升比，用几何平均避免离群比值主导。

理解这两个指标是看懂所有表格的关键，RG 用几何平均避免离群比值主导、归一化掉数据集绝对分差。

下游效用驱动评估 (Utility-driven Evaluation)

用生成模型在记忆辅助下回答查询的奖励 $r$ 衡量记忆质量，而非 LLM-as-judge 打分，消除了评判方差与偏置，但奖励取决于底层模型。

实验固定 Qwen3-32B 为生成模型，所有指标以 $P$ 的一元函数形式呈现，是统一评估协议的基础。

研究动机

随着 LLM 助手走向持久化与个性化，需要从历史对话中自动提取值得长期存储的记忆。现有方法在记忆"该提取什么"上采用预定义的静态规则：Mem0 聚焦用户偏好与个人事实，ReasoningBank 聚焦智能体轨迹中的成功策略与失败教训。然而真实场景中，助手会同时遇到闲聊、技术调试、数学解题等多种对话，没有任何单一静态模式能覆盖全谱。如表 1 所示，Mem0 在个性化上达到 73.31% 宏准确率（最佳），却在问题求解上掉到 45.97%（低于 Simple 基线 48.76%）；ReasoningBank 在问题求解上拿到 50.72%（最佳），但个性化只剩 50.67%（低于 Simple 的 58.76%）。OpenMemory 与 Survey 这类基于分类体系的提示词更平衡但改善有限，整体说明手动设计的提示词要么偏科、要么力度不够。同时，GEPA、ACE、MemEvolve 等自进化框架原本为同质任务设计，依赖小批量或大批量分析，搬到异构分布上会出现两类失败：更新太频繁会被差异样本拉偏，更新太稀疏则信号被稀释抵消。

本文的目标是论文目标有三：(1) 将"单步记忆提取"形式化为一个独立任务——给定源对话 $c$ 和提取提示词 $P$，模型输出记忆 $m$，再用下游任务奖励 $r = R(\hat{y})$ 评估 $m$ 的效用，从而把提取质量从检索/管理中解耦出来。(2) 构建首个跨任务异构记忆提取基准 BEHEMOTH，把 18 个现有数据集（5 个个性化、7 个问题求解、6 个智能体）按统一协议改造为 $(c, q, R)$ 三元组，并预留 LongMemEval、GPQA-Diamond、ToolBench 三个数据集做 OOD 测试。(3) 提出 CluE 自进化框架，使提示词在异构训练分布下稳定学习，最终在所有类别上同时获得提升。

与已有工作不同的是，与 MemEvolve 同样基于 Analyzer-Proposer 架构不同，CluE 引入"按提取场景而非原始数据集"的集群划分。直觉上，提取"长对话中的过程性知识"可能把 AlfWorld 智能体轨迹和 Game-of-24 数学题归到同一集群，从而把跨数据集的结构性共性提炼出来。这种按"提取行为"而非"原始类别"聚类的设计，是与已有自进化框架最本质的差异，也是论文自称 +9.04% 相对增益的来源。

核心方法

方法分为两大部分。基准侧：BEHEMOTH 复用 18 个公开数据集，由 Qwen3-32B 完成源对话补全，形成统一的 $(c, q, R)$ 单步提取任务；每类留 1 个数据集作 OOD 测试，其余取样构成 330 条训练集。框架侧：CluE 在 MemEvolve 的 Analyzer-Proposer 骨架上加入"集群式"中间层，每一轮进化分四步——Summarizer 为每个样本提炼"提取场景"摘要；Cluster Manager 按场景把样本分入集群（允许新建/合并/拆分）；Cluster Analyzer 对每个集群独立分析成功模式、失败模式和针对性建议；Proposer 综合所有集群的洞察产出新提示词。直觉上，集群过滤掉了"哪些数据集"的表面差异，保留"该提取什么"的语义共性，从而让异构反馈不再互相抵消。

核心创新是把异构性"分组再聚合"。与 GEPA 用小批量上下文窗口硬塞所有日志不同，CluE 用 LLM 先把日志抽象成提取场景摘要，再用 LLM 聚类，规避了上下文长度限制；与 ACE 用 helpful/harmful 计数增量更新不同，CluE 在每个集群内做整体性分析而非原子增删；与 MemEvolve 直接对全批量做 Analyzer 不同，CluE 把批量切成 2-3 个语义相近的集群分别分析，再让 Proposer 做"跨集群综合"。这套设计同时缓解了"频繁更新过拟合"和"稀疏更新信号稀释"两个极端，最终的提示词呈现"分类法 + 通用准则 + 域特定增强"的清晰结构（论文 Figure 4 中 936 token 的最终提示词）。

方法步骤详情

具体一轮 CluE 进化包含：(1) Summarization：对当前批 $B$ 内每个样本 $(c, m, c_q, r)$ 用 LLM 总结成"提取场景"——类型标签（过程步骤/用户偏好/因果链等）+ 难点标签（长上下文/隐式信息/多轮推理等）。(2) Clustering：Cluster Manager 接收所有摘要与既有集群标签，决定每个样本归属，可能新建/合并/拆分集群；标准是按"提取场景"而非"原始数据集"分组。(3) Cluster-based Analysis：对每个集群，Analyzer 拉取该集群所有样本的原始日志，独立产出成功模式、失败模式、针对性建议三条结构化输出。(4) Cross-cluster Proposal：Proposer 把所有集群分析结果汇总，先抽取跨集群共性原则，再把集群特定建议按"作用域限定到对应记忆类别"的方式编排进新提示词，避免相互冲突的硬塞，最终得到 936 token 量级的结构化提示。整个流程迭代多轮直到提示词稳定或达到预算。

技术新颖性

技术新颖性体现在三个层面：(a) 任务形式化层面，首次把"异构记忆提取"从完整记忆系统中解耦，定义出 $m = \text{LLM}_e(P, c)$ 与 $r = R(\hat{y})$ 的简洁接口，使评估脱离检索与管理的设计选择。(b) 基准层面，BEHEMOTH 是首个横跨 3 大类、18 个数据集的统一评估协议，且参数化于数据集和生成模型选择，可扩展。(c) 框架层面，把"集群式分析"首次引入自进化提示词优化，CluE 的提示词结构（Figure 4 左侧）有完整的记忆分类法 + 通用准则 + 域特定增强三层，明显优于 MemEvolve 缺失分类法、GEPA 把 AlfWorld 例子直接硬编码到规则中的退化方案。生成式聚类 + 跨集群综合的组合是本文相对 MemEvolve/ACE/GEPA 最具区分度的技术贡献。

**Figure 2**: Dataset Composition of BEHEMOTH.

**Figure 3**: Overview of our method CluE in one evolution round.

实验结果

实验分四组一致支持 CluE。表 1：Mem0 个性化 73.31% 最佳但问题求解 45.97% 低于 Simple 48.76%；ReasoningBank 偏科相反。表 2 自进化（从 Simple 起步）：CluE 整体 MA 50.01% / RG +9.04% 居首，三类全正收益（个性化 +12.34%、问题求解 +8.39%、智能体 +7.22%）；GEPA 智能体 +14.08% 但个性化 -2.16%；MemEvolve 个性化 +10.76% 但智能体 -3.25%。表 3 OOD：CluE LongMemEval 63.07% 领先，GPQA-Diamond 与 ToolBench 不退化。表 4 用 Survey 强种子：CluE 整体 +6.54% 仍居首，GEPA 无改进、ACE -1.44%、MemEvolve -0.74%。表 5 持续记忆：Game-of-24 CluE 50.83±7.52 vs MemEvolve 43.33，AlfWorld 67.25 vs 62.57，单步优势可转移到检索整合设置。

**Table 1**: Static prompt evaluation on in-distribution test sets.

**Table 2**: Evaluation of self-evolving frameworks starting from the Simple prompt on in-distribution test sets.

**Table 3**: Evaluation on the out-of-distribution test sets of BEHEMOTH.

**Table 4**: Evaluation of self-evolving frameworks starting from the Survey prompt on in-distribution test sets.

**Table 5**: Single-step vs. continual memory extraction on Game of 24 and AlfWorld.

**Figure 4**: Structural comparison of the best prompts evolved by each framework from the Simple seed.

查看结构化数据

任务	指标	本文	基线	提升
BEHEMOTH 个性化子集（5 数据集 in-distribution）	Macro Accuracy (%) / Relative Gain over Simple (%)	65.72 / +12.34	Mem0 73.31 (静态最佳) / MemEvolve 63.67 (自进化次优) / Simple 58.76	CluE 比 Simple 提升 6.96 个百分点；自进化方法中比 MemEvolve 再高 2.05 个百分点，仅次于静态 Mem0。
BEHEMOTH 问题求解子集（7 数据集 in-distribution）	Macro Accuracy (%) / Relative Gain over Simple (%)	51.85 / +8.39	ReasoningBank 50.72 (静态最佳) / ACE 51.04 (自进化次优) / Simple 48.76	CluE 比 Simple 提升 3.09 个百分点，超过所有静态与自进化基线。
BEHEMOTH 智能体子集（6 数据集 in-distribution）	Macro Accuracy (%) / Relative Gain over Simple (%)	35.24 / +7.22	OpenMemory 34.93 (静态最佳) / GEPA 37.23 (自进化最佳) / Simple 32.46	CluE 略低于 GEPA 37.23 但远高于 Simple；且 GEPA 在其他两类有显著退化，整体不如 CluE。
BEHEMOTH 整体 (3 大类聚合)	Macro Accuracy (%) / Relative Gain over Simple (%)	50.01 / +9.04	Mem0 48.48 / Survey 47.69 / Simple 46.00 (无自进化); MemEvolve 47.08 / GEPA 47.52 / ACE 45.91 (自进化)	CluE 整体 MA 最高 50.01，比 Simple 高 4.01 个百分点；自进化方法中比次优 GEPA 再高 2.49 个百分点。
OOD LongMemEval (个性化，未参与训练)	下游奖励 (%)	63.07	MemEvolve 56.82 / Simple 46.02 / No Memory 20.45	比次优自进化基线高 6.25 个百分点，比 Simple 高 17.05 个百分点。
OOD GPQA-Diamond (问题求解，未参与训练)	下游奖励 ± 标准差 (%)	48.48 ± 1.80	GEPA 50.00±0.82 / MemEvolve 47.98±1.09 / Simple 47.14±4.15	CluE 与 GEPA 在误差范围内并列第二梯队，但 CluE 标准差更小，稳定性更好；显著优于 Simple。
OOD ToolBench (智能体，未参与训练)	下游奖励 (%)	26.67	ACE 26.82 / MemEvolve 26.67 / Simple 25.30	与 ACE、MemEvolve 持平；GEPA 退化到 24.09，Simple 25.30，CluE 略好。
从 Survey 强种子起步的 BEHEMOTH 整体	Macro Accuracy (%) / Relative Gain over Survey (%)	51.06 / +6.54	Survey 47.69 / MemEvolve 47.70 (-0.74) / ACE 46.11 (-1.44) / GEPA 47.69 (0)	CluE 比 Survey 提升 3.37 个百分点；其他三种自进化方法全部无法超越 Survey 种子。
持续记忆 Game-of-24 (Problem-Solving)	下游奖励 ± 标准差 (%)	50.83 ± 7.52	MemEvolve 43.33±3.58 / Simple 29.58±3.12 / No Memory 35.42±5.03	比 MemEvolve 高 7.5 个百分点，比 Simple 高 21.25 个百分点。
持续记忆 AlfWorld (Agentic)	下游奖励 ± 标准差 (%)	67.25 ± 2.98	MemEvolve 62.57±2.30 / Simple 64.91±5.01 / No Memory 63.74±0.41	比 MemEvolve 高 4.68 个百分点，比 Simple 高 2.34 个百分点。

局限与改进

作者明确承认的局限：BEHEMOTH 只覆盖 18 个数据集，与真实部署中更复杂、交互历史更长的场景仍有距离；评估仅聚焦"提取"这一阶段，未触及存储、检索、管理等环节，完整记忆生命周期的泛化性仍是开放问题。CluE 的训练集仅 330 条样本，对小数据量是否仍然稳定尚未充分验证。读者可补充的观察：(1) 智能体类整体 MA 仅 30-37%，绝对值仍偏低，说明在跨域智能体记忆提取上还有相当大的上升空间；(2) 表 2 中 GEPA 智能体 +14.08% 的极端涨幅伴随个性化 -2.16%，印证"频繁更新被差异样本拉偏"的现象，但 CluE 通过集群切割把这种拉偏降低；(3) 持续记忆实验仅在 Game-of-24 和 AlfWorld 两个任务上验证，结论可推广性需更多任务支持；(4) 评估完全依赖 Qwen3-32B 一种生成模型，仅在附录 B.1 用 Gemini-3-Flash 做了一组对照，未覆盖闭源大模型和小模型之间的差异。

独立分析的弱点

独立审视仍有几个可改进点：(1) CluE 引入 4 个 LLM 子模块（Summarizer/Cluster Manager/Cluster Analyzer/Proposer），整体调用次数显著高于 GEPA/ACE，运行成本与时延较高，可考虑用小模型或共享部分提示词降本。(2) 集群数量与粒度由 Cluster Manager 自由决定，缺少显式超参或自动选择机制；当训练批量很小时可能产生退化为"全样本一集群"的边界情况。(3) Table 1 中 OpenMemory 5 类分类法反而弱于 Survey 2 类，提示"更细粒度分类法并不总是更好"，但 CluE 的最终提示词恰好采用细粒度分类法（Figure 4），缺乏对分类粒度本身的消融实验。(4) 评估完全在 Qwen3-32B 上进行，附录 B.1 的 Gemini-3-Flash 复现只报告了整体数字，未拆分到具体类别，难以判断跨模型时哪类任务更脆弱。(5) 持续记忆实验只测试了 2 个任务，CluE 的优势是否在长时序、多用户、含检索噪声的场景下保持稳健，证据不足。

未来方向

作者已指明两条主线：(a) 扩展 BEHEMOTH 到更长交互历史、更复杂场景（如多用户、多模态）的记忆提取基准；(b) 把 CluE 的提取优势与下游存储/检索/管理环节结合，验证完整记忆生命周期的可泛化性。基于成果可延伸的方向还包括：(1) 引入显式的集群数量或粒度控制，把 CluE 从完全 LLM 驱动变成半参数化方法，降低调用次数；(2) 与路由式（按任务类型选择不同提取器）或技能库式（按场景检索预制提取模板）方法结合，测试异构提取器的协同效应；(3) 把"集群式分析"思想迁移到其他自进化场景，如异构工具调用、异构用户风格适配，验证该思路的通用性；(4) 在真实人机对话日志上做闭环评估，把下游效用奖励与用户真实满意度对齐。

复现评估

复现条件总体良好：作者公开了代码与数据，仓库地址为 https://github.com/ayyyq/heterogeneous-memory-extraction；18 个数据集均为公开资源，BEHEMOTH 构造流程参数化于数据集和生成模型，外部研究者可加入新数据集。算力方面，主实验使用 Qwen3-32B 作为生成模型与提取模型，CluE 每轮进化需调用 4 个 LLM 子模块，迭代多轮，整体开销不容忽视；附录 B.1 用 Gemini-3-Flash 验证了至少一组跨模型的迁移性。主要风险点：(1) 集群的划分依赖 LLM 主观判断，温度、提示词模板都会影响聚类结果；(2) 评估完全依赖单一生成模型，缺少对奖励方差更细致的报告（部分表格给了标准差，部分没有）；(3) 训练集仅 330 条样本、5+7+6=18 个数据集，实验规模适中，外部复现团队可在中等规模 GPU 集群（约 4-8 张 H100）上完成全套实验，但 LLM 抽取/分析子任务的稳定性需多次重复以降低随机误差。整体复现难度中等，主要瓶颈是 LLM 调用的成本与时延。

面向异构任务的自进化 LLM 记忆提取 Self-Evolving LLM Memory Extraction Across Heterogeneous Tasks