SuperLocalMemory V3.3 活体大脑：零LLM智能体记忆的仿生遗忘、认知量化与多通道检索 SuperLocalMemory V3.3: The Living Brain -- Biologically-Inspired Forgetting, Cognitive Quantization, and Multi-Channel Retrieval for Zero-LLM Agent Memory Systems
本地优先的智能体记忆系统,首次实现完整认知记忆四层架构,含遗忘与量化耦合。
前置知识
向量量化(Vector Quantization)
将高维浮点向量映射到低比特整数索引的压缩技术。例如 32-bit 浮点向量可被压缩为 4-bit 或 2-bit,大幅降低存储与内存占用。
本文核心创新 FRQAD 与 LT2E 都建立在量化基础上,需要理解量化噪声对相似度检索的影响。
信息几何(Information Geometry)
将概率分布族视为微分流形,用微分几何工具研究统计问题。Fisher-Rao 距离是该流形上的黎曼测度,比欧氏距离更符合概率分布的真实结构。
FRQAD 距离基于高斯统计流形上的 Fisher-Rao 测地线,是论文 C1 贡献的数学根基。
Reciprocal Rank Fusion (RRF)
一种无需调参的多通道检索结果融合方法,对每个通道的排名取倒数加权求和: $score(m) = \sum_{c} \frac{w_c}{k + rank_c(m)}$ 。常用于混合向量检索与关键词检索。
SLM 用加权 RRF 融合 7 个检索通道的结果,是理解其检索架构的关键。
Ebbinghaus 遗忘曲线
Hermann Ebbinghaus 1885 年提出的记忆衰减规律:保留率 $R(t) = e^{-t/S}$,其中 $S$ 是记忆强度。它奠定了现代记忆心理学基础,后扩展为包含访问频率、重要性等因素的多因子公式。
本文 C2 贡献将该数学公式首次引入本地智能体记忆系统,是论文的关键创新点。
Model Context Protocol (MCP)
Anthropic 提出的开放协议,用于标准化 AI 智能体与外部工具/数据源的通信。SLM 通过 MCP Server 暴露 60 个工具,成为 Claude Code 等智能体的记忆后端。
理解 MCP 才能明白 SLM 如何在零 LLM 模式下被各类智能体调用。
Fokker-Planck 方程
描述随机过程概率密度演化的偏微分方程,常用于统计物理。本文用其刻画记忆在生命周期中的随机漂移与扩散,加上遗忘漂移项后证明存在唯一平稳分布。
论文用 Fokker-Planck 系统刻画 Ebbinghaus 遗忘的收敛性,这是 C2 的理论保证。
研究动机
现代 AI 编程智能体(Claude Code、Cursor、Copilot、Windsurf)普遍存在"会话失忆"问题:即便上下文窗口接近百万 token,信息也只在单次会话内有效。开发者每次新会话都要花 30 分钟重新解释项目架构,一周下来损失数小时生产力。现有商业方案(Mem0 仅在 LoCoMo 基准达到 64.2% 且需云端 API、Letta 强制 LLM function call、Zep 已停止开源)都把记忆当成静态向量库的扁平检索,缺少人类记忆的核心过程:无遗忘、无巩固、无学习、无压缩。Mem0 早期文献显示其检索架构只支持单通道相似度,而 Zep 的 Graphiti 引擎虽引入三模态融合但完全云端化,数据隐私无法保证。
本文的目标是本文目标是构建一个完全本地化、零 LLM 依赖、覆盖认知记忆四层架构(感知→短时→长时显式→长时隐式)的智能体记忆系统,并首次在本地架构上实现可证明收敛的数学遗忘曲线、跨精度统一距离度量、多通道认知检索,以及将巩固记忆自动转化为可注入任何 API LLM 的软提示。系统需在 LoCoMo 基准零云模式(Mode A)达到 70.4%,且总内存占用低于 1.2GB,具备 60 个 MCP 工具和单条 npm install 即可激活的零摩擦部署能力。
与已有工作不同的是，作者系统检索文献后发现三大空白:第一,信息几何(Fisher-Rao)与向量量化的结合在检索领域是零先例,主流向量库(FAISS、ScaNN)使用基于码本训练的数据相关量化,而新近 QJL、PolarQuant、TurboQuant 等数据无关量化又仅针对 KV 缓存这类临时场景;第二,没有任何本地系统实现过可证明收敛的数学遗忘曲线,既无 MemoryBank 也无 FOREVER 给出收敛性证明,且无人把遗忘与量化精度耦合;第三,认知记忆四层架构中,长时隐式层(Tier 4)在所有现有商业系统中都未被实现,LLM 参数化(TTT、MemoryLLM、LoRA)又需要梯度访问,与 API-only 智能体不兼容。本文的切入角度正是同时填补这三个空白,且整套系统全部跑在 CPU 上,无需云端推理。
核心方法
SLM V3.3 把人类认知记忆的四个层级完整工程化到本地 SQLite 栈中,核心由五条相互耦合的技术线组成。第一,FRQAD 用 Atkinson-Mitchell Fisher-Rao 测地线替换 cosine 相似度,把量化噪声当作高斯方差膨胀因子,使不同精度向量能正确排序。第二,Ebbinghaus 遗忘公式 $R(m,t)=e^{-t/S(m)}$ 与 EAP 精度调度耦合,Active→32-bit、Warm→8-bit、Cold→4-bit、Archive→2-bit,让"记忆变模糊"与"存储变粗糙"自洽。第三,7 通道并行检索(语义+BM25+实体图+时序+扩散激活+CCQ+Hopfield)用加权 RRF 融合,ONNX cross-encoder 重排。第四,巩固记忆转化为自然语言软提示,通过 SessionStart 钩子注入,实现 Tier 4 隐式记忆。第五,npm postinstall 自动配置 Claude Code 钩子,完成召回→观察→保存→学习→巩固→参数化→遗忘的完整生命周期。整体模拟了一个"会遗忘"的大脑,而非一张永远不变的便签纸。
与传统向量库(单一 cosine 相似度 + 固定精度 + 静态存储)的本质区别在于三点:其一,把"遗忘"提升为一阶数学过程而非手动删除,引入 Ebbinghaus 强度公式 $S(m)=\max(S_{min},\alpha\log(1+a(m))+\beta\iota(m)+\gamma_c\gamma(m)+\delta\epsilon(m))$ 配合 Fokker-Planck 收敛性证明;其二,把"存储压缩"和"信息衰退"统一为同一现象,这是通过 FRQAD 距离中 $\sigma_{eff,k}=\sigma_{obs}(m_k)\cdot(32/b_k)^\kappa$ 的方差膨胀实现的,量化误差天然进入距离计算,无需显式重排序权重;其三,把 LoRA 风格的参数化记忆替换为自然语言软提示,使得对 API-only LLM 也能注入"经验",这是 Tier 4 隐式记忆首次在本地系统中落地。三者结合使得系统能自动在"保留什么、压缩什么、忘掉什么"上做认知式决策。
方法步骤详情
系统操作分离线与在线两阶段。离线:Haar QR 分解生成正交矩阵 $\Pi\in\mathbb{R}^{d\times d}$,预计算 Beta$(1/2,(d-1)/2)$ 的 Lloyd-Max 码字,支持 2/4/8-bit。在线编码:Fact 抽取→巩固(ADD/UPDATE/SUPERSEDE/NOOP)→嵌入→按 $S(m)=\max(S_{min},\alpha\log(1+a)+\beta\iota+\gamma_c\gamma+\delta\epsilon)$ 算强度→映射到 EAP 位宽。在线检索:7 通道并行(KNN、BM25、实体图、双时序、扩散激活、CCQ、Hopfield),RRF 权重 $\{1.2,1.0,1.0,1.0,1.0,0.8,0.8\}$ 与 $k=15$,多跳触发跨通道交集,ONNX 重排。生命周期:每天执行 Ebbinghaus 衰减→EAP 重映射→巩固→软提示→GC,信任度 $\tau$ 以 $\kappa=2.0$ 调制 $\lambda_{eff}=\lambda(1+\kappa(1-\tau))$ 。
技术新颖性
技术新颖性体现在五个首次:FRQAD 是首个在信息几何流形上做量化感知距离的指标,系统检索零先例;Ebbinghaus 数学遗忘曲线在本地智能体记忆中首次出现,且给出 Fokker-Planck 系统收敛定理 5.3;7 通道融合中 Hopfield 联想记忆是首次在智能体 RAG 中部署,2-bit Archive 量化位宽也是首次在持久存储场景应用 TurboQuant;Tier 4 隐式记忆通过软提示实现是首次在零梯度访问条件下落地;"遗忘-量化耦合"机制让语义衰退与存储压缩自洽,6.7× 区分度体现其有效性。整体架构的 215 个源模块、60 个 MCP 工具、17 个包在工程上也达到工业级标准(3000+ 测试,npm/PyPI 月下载 5000+)。
实验结果
六大基准验证全栈能力。基准 1(FRQAD):18,840 对查询-事实,f32 vs 4-bit,cosine 偏好率 85.6%,Fisher-Rao 70.7%,FRQAD 100%(完美区分)。基准 2(EAP 召回):50% f32+30% 4-bit+20% 2-bit 下 recall@10 平均 0.680,4-bit cosine 保真 0.994,2-bit 仍 0.801(192× 压缩)。基准 3(内存):主进程 63.3MB(torch 隔离子进程),总 1122.2MB,初始化 1.75s。基准 4(遗忘):30 天模拟,Hot S=11.28 vs Cold S=1.69,强度比 6.7×。基准 5(连续性):10 事实跨 Session A→B 全部存活(100%)。基准 6(LoCoMo Mode A):V3.3 R3 总体 70.4%(214/304),多跳 +23.8pp、对抗 +12.7pp、时序 +15.3pp,single-hop 较 Paper 2 回退 14.9pp,归因 7 通道融合。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| FRQAD 混合精度偏好(Mode A) | f32 偏好率 | 100%(18,840/18,840) | Cosine 85.6% / Fisher-Rao 70.7% | +14.4pp vs Cosine,+29.3pp vs Fisher-Rao |
| TurboQuant 混合精度召回 | recall@10(50% 量化条件下) | 0.680 | 全 f32 1.000 | 保留 68% 召回,2-bit 仍 0.801 相似度 |
| Ebbinghaus 遗忘区分度 | Hot/Cold 强度比 | 6.7×(11.28 vs 1.69) | 无对照,首次系统实现数学遗忘 | 6.7× 区分度,30 天模拟可观测 |
| 会话连续性 | 跨会话事实存活率 | 100%(10/10) | 基线为 SQLite 持久化 | 全部 rank 1 召回 |
| LoCoMo Mode A(总体) | 准确率 | 70.4%(214/304,R3 best of 5) | V3.3 基线 62.8% / V3.2 Paper 2 74.8% | +7.6pp vs 基线,-4.4pp vs V3.2 |
| LoCoMo Mode A(multi-hop) | 准确率 | 49.2% | V3.3 基线 25.4% | +23.8pp,跨通道交集贡献最大 |
| LoCoMo Mode A(adversarial) | 准确率 | 76.1% | V3.3 基线 63.4% / Paper 2 ~70% | +12.7pp vs 基线,+6.1pp vs Paper 2 |
局限与改进
作者承认四大局限:其一,行为学习需要 ~200 条反馈信号才能训练完整自适应模型,冷启动阶段依赖固定通道权重;其二,自然语言软提示在能力注入上不如 LoRA,只能配置偏好而不能教会新技能;其三,2-bit 极低精度下嵌入质量显著退化,仅适合归档层;其四,LoCoMo single-hop 类别比 Paper 2 低 14.9pp,反映 7 通道融合噪声对简单查询有负面影响,需查询依赖的通道路由缓解。此外,我自己观察到:零摩擦管道目前仅 Claude Code 平台特异性支持,MCP Server 虽跨智能体通用,但自动生命周期需逐平台钩子集成;论文未给出 FRQAD 在生产规模(>10 万事实)下的延迟测试;EAP 精度调度在多用户并发场景下可能存在竞争条件,论文未讨论并发安全性;2-bit 数据的 cosine 相似度 0.801 与全 f32 的 0.994 之间差距看似小,但检索语义漂移可能比数值更严重,缺乏用户研究验证。
独立分析的弱点
独立分析发现三个主要弱点。第一,7 通道融合导致 single-hop 检索回退 14.9pp,说明当前固定权重 RRF 对简单查询过冗余,可改进方向是查询分类器(基于查询 embedding 预测通道相关性)做动态权重,但需要额外训练开销。第二,软提示注入被硬限 1,500 token 且仅在 SessionStart 时注入,无法在长会话中持续引导,改进方向是周期性触发"重新注入检查"或基于任务分段的自适应注入。第三,EAP 精度调度决策完全基于 retention 阈值(>0.8/0.5/0.2/0.05),缺乏对检索冷热数据的统计学习,改进方向是用 LRUCache 模式统计访问频率而非单纯依赖 Ebbinghaus 衰减,避免"理论遗忘"与"实际热点"脱节。另外,Hopfield 通道容量 $2^{d/2}$ 在 d=768 时极大,但论文未给出模式冲突(pattern interference)实验,可能存在虚假回忆风险;FRQAD 在论文当前默认 32-bit 全精度存储下与标准 Fisher-Rao 完全一致,优点需等 EAP 启用后才显现,验证稍嫌延后。
未来方向
作者提出五个未来方向:双曲嵌入(Poincaré 球)建模层级结构、LoRA 参数化(待权重访问放开)、联邦记忆+差分隐私、自动遗忘校准、查询依赖的通道路由。基于成果可延伸的方向还包括:把 Ebbinghaus 公式与用户显式反馈(点赞/纠正)结合,让"情感显著度"更可控;把 FRQAD 推广到非对角高斯或混合密度,处理稀疏嵌入(如 SPLADE);把 7 通道架构迁移到多模态(图像/音频)记忆;用 LLM 作为通道间仲裁器,对矛盾结果做对话式消解;在企业场景引入租户隔离的多实例联邦部署。另外,论文 17 个包的模块化设计允许独立替换片段,如把 Hopfield 换成现代 Transformer 注意力记忆(RetNet/Mamba),是性价比很高的渐进改进点。
复现评估
复现性优秀。所有代码以 Elastic License 2.0 开源,GitHub 仓库 https://github.com/qualixar/superlocalmemory 提供,npm/PyPI 包名 superlocalmemory、月下载 5000+,Zenodo DOI 10.5281/zenodo.19435120。系统完全跑在 CPU,主进程 63.3MB 内存,无需 GPU。代码库 17 包、215 模块、3000+ 测试,MCP Server 60 工具接口清晰,本地启动只需 $npm\ install\ -g\ superlocalmemory$ 一条命令。基准 5(会话连续性)可在 10 分钟内复现;基准 6(LoCoMo)需 Azure GPT-5.4-mini LLM judge(外部依赖),官方提供评测脚本。FRQAD 数学推导涉及 Fisher-Rao 测地线,但代码层面仅需 numpy 矩阵运算,复现门槛中等。最大复现难点是 LoCoMo 2/10 子集的具体事实,官方未公开随机种子,其他研究者可能得到 ±5pp 波动,作者应进一步公开实验细节。
论文图表
列出 7 个检索通道的编号、名称、数据源、检索内容、RRF 权重:1)Semantic sqlite-vec KNN float[768] 语义相似 权重 1.2;2)BM25 FTS5 关键词 权重 1.0;3)Entity Graph 知识图遍历 实体连接 权重 1.0;4)Temporal 双时序戳 时间相关 权重 1.0;5)Spreading Activation 能量传播 因果连接 权重 1.0;6)Consolidation CCQ gist 块 压缩知识 权重 0.8;7)Hopfield 现代 Hopfield 网络 模式补全 权重 0.8。
C3 贡献的清单式总结,后续融合公式、权重选择、Hopfield 公式都从这里展开。
943 事实 768 维 nomic-embed-text-v1.5 嵌入,18,840 对查询-事实(每对同时有 f32 和 4-bit TurboQuant 版本)。Cosine 偏好 f32 占 85.6%(16,127/18,840),标准 Fisher-Rao 占 70.7%(13,316),FRQAD 占 100.0%(18,840)。Spearman ρ: cosine 0.908、Fisher-Rao 0.173、FRQAD -0.806。
C1 贡献的核心数字证据,直接展示 FRQAD 的优越性,论文英雄结果。