Jev-Mem：系统一控制的高效智能体记忆架构 Jev-Mem: System-One-Controlled Agentic Memory for Efficient AI Agents
用轻量级“系统一”结构化决策替代自回归LLM管控记忆读写，准确率与效率双提升
前置知识
Agentic Memory（智能体记忆）
指 LLM 智能体在长期交互中维护的持久化外部存储：智能体把对话历史、用户偏好、任务经验写入记忆，用检索函数 $E_t = R(q_t, M_t)$ 取回相关证据交给 LLM 作答，再通过 $M_{t+1} = U(M_t, q_t, o_t)$ 更新记忆。现代系统已从被动存储演化为主动管理：选择性写入、多关系组织、合并去重、按查询自适应检索。
本文的问题域就是 agentic memory，理解其写/读路径与更新-检索循环是读懂 Jev-Mem 架构设计和 LoCoMo 实验的前提。
System 1 / System 2 双过程认知
认知科学对人类思维的双过程刻画：系统一是快速、自动、低耗的模式化判断（如识脸、直觉），系统二是缓慢、审慎、高耗的深思推理（Evans, 2008）。LLM 社区以此类比算力分配，如 System 2 Attention、Tree of Thoughts 在单次生成内刻意分配“深思”计算。
Jev-Mem 把这对概念从单次推理内部搬到记忆子系统的架构层：系统一负责高频记忆控制决策，系统二只做答案合成——这是论文标题和全部设计思想的来源。
多关系记忆图
在同一组规范记忆节点上叠加多种类型的边视图——语义关联、时间关系（before/after/during/contains 等）、方向性因果（caused_by）、实体等价——并共享向量与关键词双索引作为入口。同一对记忆可以同时具有多种关系，检索时按查询激活不同视图。
Jev-Mem 的记忆平面正是这种结构，查询路由概率 $p_g(q)$、预算分配 $w_g(q)$ 和图遍历全部围绕四种关系视图展开，不懂多视图就无法理解读取路径。
自适应检索（Adaptive RAG）
区别于对所有查询执行固定 top-k 检索：根据查询动态决定是否检索、何时补充证据、采用何种策略。代表工作有 IRCoT（交错检索与思维链）、FLARE（按生成不确定性触发检索）、Self-RAG（学习何时检索并批判证据）、Adaptive-RAG（按问题复杂度选检索策略）。
Jev-Mem 的读取路径把这一思想推进为闭环控制（路由→检索→评估→扩展→再评估），并扩展到写入路径；了解 Adaptive RAG 才能看清它的继承与超越。
LLM-as-a-Judge
用一个强 LLM 充当评判者，将模型生成的答案与参考答案对比后自动打分，广泛用于开放性任务的评测（Zheng et al., 2023 在 MT-Bench/Chatbot Arena 中提出）。本文用 gpt-4o-mini 同时担任回答骨干和评判。
论文所有准确率数字（如总体 0.777）都是该评测分数，理解其主观性与偏差（偏好长答案、受措辞影响）对正确解读实验结论至关重要。
倒数排序融合（RRF）
一种无需调权重的多路检索融合方法：文档得分是它在各路排序中倒数排名之和 $s(v) = \sum_{L} \frac{1}{\kappa + \mathrm{rank}_L(v)}$，$\kappa$ 常取 60，典型用途是融合稠密向量检索与稀疏关键词检索两路结果。
Jev-Mem 在图遍历开始前用 RRF（$\kappa=60$）融合向量与关键词检索来产生高质量的锚点入口节点，这是检索流程的关键一步。
研究动机
随着 LLM 智能体被用于编码助手、个人助理、科研代理等长期持续交互场景，交互历史迅速超出固定上下文窗口；而且拉长标称上下文并不能解决问题——RULER 与“lost in the middle”等研究证明模型无法可靠利用长输入的所有位置，长期交互还额外引入索引、检索与阅读挑战。社区为此发展出各类 agentic memory 系统，它们不再被动存储，而是主动决定存什么、如何组织、何时检索、何时停止。但本文指出了一个被忽视的系统问题：这些记忆管理决策本身被放在了关键路径上——要么依赖固定启发式（高效但僵化），要么反复调用自回归 LLM（灵活但每步都要逐 token 生成、格式化再解析）。由于写路径要判定记忆类型与关系、读路径要路由查询、评分候选、决定停止，这类高频决策的开销迅速累积：实验显示 A-MEM 构建记忆需 3636 秒、MemoryOS 需 3276 秒，MemoryOS 单次查询延迟高达 32.68 秒——记忆管理本身成了延迟与推理成本的主要来源。
本文的目标是本文要回答一个明确的系统设计问题：记忆管理决策应由什么计算机制来执行？目标是在不牺牲（甚至提升）下游问答精度的前提下，把记忆构建与检索中的高频结构化决策从自回归生成循环中剥离出来。理想架构需满足三点：其一，有一个贯穿记忆全生命周期的统一控制抽象——写入时的类型判定与关系构建、读取时的查询路由、预算分配、图遍历、候选评分与自适应停止都由同一机制管理；其二，控制开销有明确上界，决策可批处理、可限额；其三，昂贵的开放生成与深度推理只保留给最终答案合成（以及被显式批准的记忆抽象升级）。最终在 LoCoMo 基准上同时取得最高准确率与最高效率。
与已有工作不同的是，已有工作主要在改进“存什么、怎么组织、怎么检索”：A-MEM 让记忆笔记互联演化，Mem0 抽取合并要点，MemoryOS 采用分层记忆层级，Nemori 做情景分段，MAGMA/HAGE 引入语义/时间/因果/实体多关系图甚至 RL 驱动遍历；自适应 RAG（IRCoT、FLARE、Self-RAG、Adaptive-RAG）则把检索视为受控决策过程。但它们都把“控制决策如何被执行”当作附属组件——或内嵌于 prompt，或写成启发式。本文的独特切入是把记忆控制本身升格为一等系统层（first-class systems plane），并借用成本感知推理系统（FrugalGPT 级联、RouteLLM 路由、投机解码）的思想但粒度更细：不是在请求级路由模型，而是在单个决策级分离“有界结构化预测”与“开放生成”。借助 Jev（TypeSafe AI）以非自回归方式产出类型化概率决策的能力，作者首次把 System-1/System-2 认知区分做成记忆子系统的架构属性，并让同一控制平面同时覆盖写路径与读路径。
核心方法
直觉上，记忆管理中的大多数决策——这条记忆是情节还是偏好？新观察与哪条旧记忆相关？该查询需要时间视图还是因果视图？证据够不够、要不要继续搜？——都是输出空间很小、语义明确但无需自由生成的快速判断，正如人类“系统一”的自动加工；而证据综合与最终作答才需要“系统二”的慢思考。Jev-Mem 据此拆成三个平面：(1) 系统-一控制平面：基于 Jev 的类型化概率决策器 $\mathcal{J}(S,Q)$，输入结构化状态 $S$ 与一批显式决策问题 $Q$，输出独立命题的概率（Noul 接口）或互斥选项的分布（Choice 接口），返回值为 $[0,1]$ 但不假定经过校准；(2) 记忆数据平面：把原始观察 $o_t = (x_t, \tau_t, \mu_t)$（内容、时间戳、来源）保留为规范节点，在同一节点集 $V_t$ 上维护语义/时间/因果/实体四种独立关系视图与向量+关键词双索引，即 $M_t = \langle V_t, \{E_t^g\}_{g \in G}, I^{\text{vect}}, I^{\text{lext}} \rangle$，$G = \{\text{semantic}, \text{temporal}, \text{causal}, \text{entity}\}$；(3) 系统-二推理平面：仅在检索完成后执行 $y = \text{SystemTwo}(q, E)$ 的答案合成，或被控制平面显式批准时处理合并/抽象升级。写路径执行 type→candidates→relations→插入；读路径执行 route→retrieve→assess→expand→reassess 闭环，两条路径共用同一个控制抽象。
核心创新是把记忆控制重新表述为“语义但非生成”（semantic but not generative）的有界决策问题，用类型化概率预测而非自回归生成来执行。与已有方法的本质区别有三点。第一，输出表示：每个决策只暴露小而已知的输出空间（标签、概率、分数），控制器直接返回概率值，无需生成中间自然语言再解析，避免了格式错误与冗长推理；共享同一状态的决策合并为一次批处理调用。第二，控制统一性：写路径与读路径共用同一个 $\mathcal{J}(S,Q)$ 抽象——记忆不再由一套启发式构建、由另一套机制检索，而是全生命周期由同一控制平面管理，这是“记忆不再只是被动存储”之后的下一步：控制本身成为架构的一等公民。第三，生成降级为例外：常规维护（合并、抽象升级）默认不生成文本，只有当 Choice 决策以足够高概率（≥0.85）选中 merge/promote 时才把任务显式升级给系统二总结器——“生成是结构化决策的可选后果，而非默认机制”。这与 FrugalGPT/RouteLLM 等只在请求级分流的方法形成鲜明对照：Jev-Mem 把算力节省下探到每个记忆控制决策的粒度。
方法步骤详情
写路径（输入为观察 $o_t=(x_t,\tau_t,\mu_t)$）：(1) 类型判定：一次批处理调用预测四个可重叠分数 $\mathbf{t}(v) = (t_{\text{episodic}}, t_{\text{semantic}}, t_{\text{procedural}}, t_{\text{preference}})$，仅作节点标注而不做准入筛选（主动配置关闭了 admission filtering，保留原始观察以防当前看似不重要的信息被永久丢弃）；(2) 候选发现：用向量相似度、词法重叠、共享实体、时间邻近等确定性信号检索至多 $K_w{=}10$ 个候选 $C(v) = \text{TopK}_{u \in V_t}\, d(v,u)$，避免与全库逐对比较；(3) 关系构建：控制器对候选对批量评估语义关联、方向性因果、同情景归属与实体等价，当 $P(g \mid v, u) \geq \theta_{\text{rel}} = 0.60$ 时插入类型化边；有时间戳直接建时间边、实体 ID 精确匹配直接建实体边——能用结构化信息就不调用学习推理；(4) 周期维护：每 20 次写入触发一次，评估邻近区域的冗余、矛盾、过时与补链机会，Choice 在 keep_separate/merge/promote/uncertain 中选择，仅当 merge/promote 概率 ≥0.85 且矛盾 <0.85 时才调用系统二总结器生成抽象表示。读路径（输入为查询 $q$）：(1) 路由：预测四种关系视图需求 $\{p_g(q)\}$、多跳需求 $h(q)$ 与时效重要性 $r(q)$，$p_g(q) \geq 0.10$ 的视图被激活；(2) 预算分配：总图扩展预算 $B{=}80$ 按 $w_g(q) = p_g(q)^\gamma / \sum_{j \in A(q)} p_j(q)^\gamma$（$\gamma{=}1.0$）分配，每个活动图保底 1，用最大余数法取整；允许遍历深度 $D(q) = \min\{D_{\max}, \max(1, \lceil D_{\max} h(q) \rceil)\}$；(3) 锚点检索：向量与关键词两路排序经 RRF（$\kappa{=}60$）融合，最高排名节点初始化访问集与搜索前沿；(4) 闭环扩展：每轮对当前证据集评估充分性 $s_d$、继续检索期望效用 $u_d$、缺失证据 $m_d$、矛盾 $c_d$，当 $s_d \geq 0.95 \land m_d < 0.15 \land c_d < 0.15$ 或 $u_d < 0.15$ 时停止；否则按各图预算扩展邻居；(5) 候选评分：$s(v \mid q, E_d) = \frac{\lambda_1 z_v + \lambda_2 a_v + \lambda_3 p_g(q)\ell_v + \lambda_4 n_v + \lambda_5(\pi_e + c_v)/2}{\sum_{i=1}^{5}\lambda_i}$，融合嵌入相似度、查询相关性、关系效用、新颖性与边权/证据支持，再按 $\rho_v = \frac{1}{1 + \max(0, \tau^* - \tau_v)/\text{day}}$ 做查询相关的时效调整，beam 宽度为 10；(6) 全程硬限：深度 8、访问节点 60、检查边 2400、控制器调用 16 次、15 秒时间预算；最后把 top-$K$ 证据交给系统二生成最终答案。
技术新颖性
技术新颖性可从四个层面评估。表示层面：四种关系视图独立叠加在同一节点集上、同一对记忆可同时具有多种关系（而非把记忆分配到单一图或复制到多个库），这继承了同组的 MAGMA，但 Jev-Mem 的贡献不在结构本身而在控制层。控制层面：提出类型化系统一控制器 $\mathcal{J}(S,Q)$ 这一统一抽象，把记忆类型判定、关系判断、查询路由、预算分配、候选评分、自适应停止全部纳入同一决策接口，并以概率而非文本为输出——这是与 A-MEM/MemoryOS/Nemori 等用 LLM prompt 执行记忆操作的系统最本质的区别。系统层面：借鉴投机解码与模型级联的成本分层思想但粒度更细（决策级而非请求级），且控制开销有解析上界：常规写 = 1 次批处理类型请求 +（有候选时）1 次批处理关系请求；每查询 = 1 次路由请求 + 每轮至多 1 次证据评估 + 1 次批处理候选评分。认知类比层面：把双过程理论从单次推理内部分配（System 2 Attention、ToT、Graph of Thoughts 在一次生成中分配深思算力）搬到记忆子系统的架构设计，是新的应用维度。诚实地说，各单项组件（多关系图、RRF、beam 搜索、自适应停止）均为已有技术，创新在于组合方式与“控制即系统层”的架构立场。
实验结果
实验在 LoCoMo（超长多会话对话记忆基准）上进行，用 LLM-as-a-Judge 评估，回答骨干与评判模型均为 gpt-4o-mini。准确率方面（表 1）：Jev-Mem 总分 0.777，较最强基线 MAGMA 的 0.700 相对提升 11.0%，六个类别中五类最优、时间推理与最优持平。分项来看：Multi-Hop 0.623（最强基线 Nemori 0.569）、Open-Domain 0.618（MAGMA 0.517）、Single-Hop 0.802（MAGMA 0.776）、Adversarial 0.962（MAGMA 0.742，绝对提升 +0.220，为所有类别中最大增益）、Temporal 0.637（MAGMA 0.650、Nemori 0.649 略高，正文声称与之持平但与表格数值有出入）。对照组 Full Context 总分仅 0.481，Adversarial 低至 0.205，说明无结构地堆上下文极易被干扰信息误导；而 Jev-Mem 的增益恰好在需要跨记忆组合证据（Multi-Hop）和区分相关信息与貌似合理的干扰（Adversarial）的场景最大，验证了自适应路由、遍历中候选评估与证据充分性判断的作用。效率方面（表 2）：记忆构建总时长 158 秒，比最快基线 Nemori 的 1044 秒减少 84.9%（6.6 倍加速），更远低于 MemoryOS 的 3276 秒与 A-MEM 的 3636 秒；平均查询延迟 0.93 秒，比最快基线 MAGMA 的 1.47 秒低 36.7%，比 Full Context 的 1.74 秒低 46.6%，而 MemoryOS 高达 32.68 秒。两组实验共同表明：把高频记忆控制从自回归生成中剥离可以同时改善质量与效率——质量提升源于系统二收到更相关、更聚焦的证据集，效率提升源于批处理、有界控制开销与自适应停止避免了不必要的遍历与生成。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LoCoMo 总体问答 | LLM-as-a-Judge | 0.777 | 0.700（最强基线 MAGMA） | +0.077（相对提升 11.0%） |
| LoCoMo Multi-Hop（多跳推理） | LLM-as-a-Judge | 0.623 | 0.569（Nemori） | +0.054 |
| LoCoMo Open-Domain（开放域） | LLM-as-a-Judge | 0.618 | 0.517（MAGMA） | +0.101 |
| LoCoMo Single-Hop（单跳） | LLM-as-a-Judge | 0.802 | 0.776（MAGMA） | +0.026 |
| LoCoMo Adversarial（对抗干扰） | LLM-as-a-Judge | 0.962 | 0.742（MAGMA） | +0.220（最大单类增益） |
| LoCoMo Temporal（时间推理） | LLM-as-a-Judge | 0.637 | 0.650（MAGMA）/ 0.649（Nemori） | -0.013（略低于最优，正文称持平） |
| 记忆构建（LoCoMo 全量历史） | 构建时间（秒） | 158 | 1044（Nemori，最快基线）；A-MEM 3636；MemoryOS 3276；MAGMA 1404 | -84.9%，6.6 倍加速 |
| 查询响应 | 平均延迟（秒） | 0.93 | 1.47（MAGMA，最快基线）；Full Context 1.74；MemoryOS 32.68 | -36.7%（对 MAGMA）/ -46.6%（对 Full Context） |
局限与改进
作者明确承认的局限很少，更多需要读者自行判断：(1) 评测单一：正文声称在“两个广泛使用的基准”上评估，但全文只报告了 LoCoMo 的结果，LongMemEval 等第二基准的数据缺失，泛化性存疑；(2) 无消融实验：无法区分增益究竟来自多关系结构、概率路由、预算分配还是自适应停止，也无法确认换用其他评判/骨干模型后结论是否成立；(3) 全部阈值手工设定（$\theta_{\text{suff}}=0.95$、$\theta_{\text{cont}}=0.15$、$\theta_{\text{rel}}=0.60$、$\theta_{\text{act}}=0.10$、$B=80$、$\gamma=1.0$、beam=10 等），未报告敏感性分析；(4) 作者自己指出控制器返回值“不假定为校准概率”，固定阈值下的停止与路由因此可能不稳定；(5) 正文与表格数字存在小出入（Multi-Hop 正文 0.625 vs 表 0.623、Single-Hop 0.797 vs 0.802、Temporal 正文“match 0.650” vs 表 0.637），影响严谨性；(6) 效率数字依赖具体实现与 API 基础设施，15 秒时间预算也非严格抢占保证；(7) 仅覆盖对话问答域，未验证代码、网页操作等工具型智能体场景。
独立分析的弱点
独立分析可发现四个更深的弱点。其一，对 Jev 控制器质量的隐性依赖：论文假设一个“较弱的推理器”能可靠完成路由与停止判断，但若查询分布偏移（专业领域、跨语言、新任务类型），未校准的概率输出会导致错误停止（漏掉关键证据）或过度扩展（浪费预算）；改进方向是对控制器输出做温度缩放或保形校准，并用下游答案质量反馈在线微调阈值。其二，“保留一切观察”的策略（准入过滤关闭）虽避免了信息过早丢失，但存储随交互无限增长，候选发现需扫描的节点集合变大，且隐私敏感内容被永久保留；改进方向是引入可逆的软遗忘、分级冷存储，或配合定期抽象压缩。其三，效率评测只报告了构建时间与单查询延迟，未给出 token 成本与每次查询费用，也未测并发负载下的尾延迟——Jev 调用虽是批处理，仍可能与系统二竞争资源；改进方向是补充成本-质量 Pareto 曲线与压力测试。其四，Adversarial 类别 +0.220 的提升幅度异常大，值得怀疑其中多少来自真正的证据筛选能力、多少来自对抗样本恰好被结构过滤，应在 LongMemEval 等带干扰设置的基准上复核，并做组件级消融与错误分析。此外，周期性维护每 20 次写入才触发一次，长会话下的维护延迟抖动与一致性窗口未被讨论。
未来方向
作者方向上：把系统一控制平面确立为通用记忆操作抽象，保留向系统二显式升级的机制，未来可自然扩展到程序性技能记忆、跨智能体共享记忆。基于本文成果的合理延伸包括：(1) 用强化学习联合优化路由、预算分配与停止策略——同组作者的 HAGE 已用 RL 驱动加权多关系图演化，与本文的控制平面天然互补，两者结合值得期待；(2) 把 Jev 控制器蒸馏为本地小模型，消除对外部类型化决策服务的依赖并进一步降低延迟；(3) 引入概率校准与不确定性感知停止（如用保形预测为“证据已充分”提供统计保证）；(4) 在 LongMemEval、MemoryAgentBench、SWE-agent、WebArena 等更真实的智能体任务上验证泛化性；(5) 与 KV 缓存、投机解码等推理系统技术做协同设计，把“系统一/系统二”分层下沉到推理栈；(6) 探索多用户/多智能体场景下的记忆隔离、合并与冲突消解——类型化关系边为冲突表示提供了现成结构。
复现评估
复现条件总体较好：代码已在 GitHub 开源（github.com/libingzheren/Jev-Mem），评测数据 LoCoMo 公开可下载，回答与评判均为商用 API（gpt-4o-mini），无需训练大模型，单机即可运行。附录 B 透明度很高，完整给出了各 Noul/Choice 提示词模板与判定标准，以及全部超参数与硬限（扩展预算 80、$\theta_{\text{act}}=0.10$、$\gamma=1.0$、beam 10、深度 8、访问节点 60、检查边 2400、控制器调用 16 次、15 秒时间预算、每 20 次写入维护一次、关系边阈值 0.60、停止条件 0.95/0.15/0.15），几乎可以照抄配置。风险点有三：实现依赖 Jev/TypeSafe AI 的类型化决策客户端，其可用性与版本兼容是最大不确定因素；控制器输出为非校准概率、正文与表格数字存在小出入（如 0.623 vs 0.625），严格对齐到小数点后三位可能有困难；构建 158 秒这类效率数字与当时的 API 延迟强相关，跨环境复现会有波动。总体难度中低，熟悉图 RAG 与智能体框架的工程师数天内应可跑通主实验。
论文图表
展示智能体记忆的通用工作流：用户/环境输入产生观察 $o_t$，通过更新函数 $M_{t+1} = U(M_t, q_t, o_t)$ 写入不断演化的记忆 $M_t$；用户查询 $q_t$ 经检索函数 $E_t = R(q_t, M_t)$ 取回证据，交给 LLM 执行 $o_t = \mathcal{L}(q_t, E_t)$ 生成响应，响应又反过来更新记忆。图中区分了记忆中存储的内容类型（用户偏好、任务与时间线、事件、关系/知识）。
这是全文的形式化基础：$R$ 与 $U$ 中隐藏的记忆管理决策正是 Jev-Mem 要优化的对象，后文所有设计都围绕把 $U$ 和 $R$ 内部的高频决策移出自回归生成循环。