SuperLocalMemory V3：零LLM企业智能体记忆系统的信息几何基础 SuperLocalMemory V3: Information-Geometric Foundations for Zero-LLM Enterprise Agent Memory
用信息几何、层论和随机动力学为AI智能体记忆建立数学基础
前置知识
Fisher信息度量
Fisher信息度量是统计流形上的黎曼度量，捕捉概率分布参数空间的几何结构。对于参数族pθ，Fisher信息矩阵G(θ)的元素Gij = E[∂log pθ/∂θi · ∂log pθ/∂θj]，它度量了参数θ在估计中的敏感度。对于高斯分布N(μ,σ²)，Fisher-Rao距离为dFR = Σ[2log(σ2/σ1) + (μ1-μ2)²/(σ1²+σ2²)]。关键洞察是：低方差（高置信度）的维度对距离贡献更大。
本文用Fisher-Rao距离替代余弦相似度进行记忆检索。余弦相似度将所有嵌入维度视为同等可靠，但实际学习到的表示在各维度上方差不同。Fisher度量自然地按每个维度的统计精度加权，提供了理论上唯一的不变度量。
Sheaf上同调
Sheaf是拓扑学中用于研究局部数据如何粘合到全局的工具。给定图G=(V,E)和sheaf F，顶点v有stalk F(v)（数据空间），边(u,v)有restriction map ρu→v（数据一致性约束）。上链算子δ: C⁰→C¹将全局section映射为边缘差异(δf)(u,v)=ρu→vf(u)-f(v)。一阶上同调群H¹(G,F)=ker(δ₁)/im(δ₀)度量局部数据无法一致粘合到全局的程度。非平凡的H¹意味着存在无法通过局部调整消除的矛盾。
本文将记忆存储建模为cellular sheaf，用上同调检测跨上下文的矛盾。当智能体在不同项目或对话中积累矛盾信息时，H¹≠0精确对应这些无法调和的冲突。这是首次为AI记忆系统提供代数一致性保证。
Riemannian Langevin动力学
Riemannian Langevin方程是黎曼流形上的随机微分方程：dξ = -g⁻¹∇U(ξ)dt + √(2T)g^{-1/2}dW，其中g是度量张量，U是势函数，T是温度，dW是布朗运动。该方程描述粒子在势场U中的扩散，其平稳分布为Boltzmann分布ρ∝exp(-U/T)√det g。在Poincaré球上，度量为gD(x)=λx²gE，λx=2/(1-‖x‖²)，需要额外的几何修正项。关键性质是系统会收敛到唯一平稳分布，无需手动调参。
本文用Langevin动力学管理记忆生命周期，替代启发式衰减函数。记忆状态在Poincaré球上演化，势函数U编码访问频率、时间衰减和上下文相关性。平稳分布自动平衡记忆保留与遗忘：高频访问记忆靠近原点，低价值记忆向边界扩散并遗忘。
Poincaré球模型
Poincaré球D^d={x∈R^d:‖x‖<1}是双曲几何的模型，度量为gD(x)=λx²gE，λx=2/(1-‖x‖²)。测地距离为dD(x,y)=arccosh(1+2‖x-y‖²/[(1-‖x‖²)(1-‖y‖²)])。Möbius加法x⊕y提供平移算子，exp和log映射连接切空间和流形。关键特性是双曲球的体积随半径指数增长，完美模拟树结构的指数增长。神经科学证据表明海马体位置细胞firing模式更适合双曲几何。
本文在Poincaré球上实现Langevin动力学。双曲几何的指数体积增长为遗忘区域提供无限容量——边界附近有无限体积空间可存放低价值记忆，这是欧氏几何无法实现的。此外，海马体的双曲表示为这个设计提供了生物学合理性。
研究动机
现有AI智能体记忆系统存在三大数学缺陷。第一，检索机制盲目对待维度不确定性。所有被调查的系统（包括投资巨大的商业系统[33,38,39]和学术贡献[1,2,17,29]）都使用余弦相似度sim(u,v)=uᵀv/(‖u‖‖v‖)检索记忆，对每个维度赋予权重1，完全忽略不同维度的统计可靠性差异。实践中，学习到的表示在各维度上方差非均匀：某些维度捕捉了稳定的语义区分，其他维度编码噪声或分布伪影。在高维嵌入空间（d≥384）中，余弦相似度suffers from concentration现象：对于固定查询q和N个记忆，位于ε-邻域内的期望邻居数E[Cε(q)]=N·I_ε(2-ε)((d-1)/2,1/2)，当N=10⁵时约100个向量落在任意查询的ε-cap中，远超典型检索预算K=20。第二，生命周期管理依赖手动调参。系统使用固定TTL窗口、手动选择半衰期的指数衰减或访问计数阈值[33,38]，这些启发式规则无法适应记忆存储的演化统计结构，对几何空间结构视而不见。第三，一致性检测完全缺失。当智能体跨会话、跨交互伙伴、跨时间上下文积累记忆时，矛盾不可避免：用户偏好改变、事实更新、冲突信息来自不同来源。现有系统没有形式化机制检测这些矛盾，静默地返回相似度排序最高的记忆，无论它与其他检索记忆的逻辑一致性如何。
本文的目标是本文的核心目标是建立AI智能体记忆系统的信息几何基础，解决检索、生命周期管理和一致性验证三个根本问题。具体而言，目标是：（1）用从对角高斯族的Fisher信息结构导出的检索度量替代余弦相似度，证明底层距离满足黎曼度量公理、在充分统计量下不变、可在Θ(d)时间内计算；（2）将记忆生命周期表述为统计流形上的Riemannian Langevin动力学，通过Fokker-Planck方程证明平稳分布的存在性和唯一性，用系统可证明收敛到的原则性平衡替代手动调优衰减；（3）将记忆存储建模为cellular sheaf，证明非平凡一阶上同调类精确对应记忆上下文中不可调和的矛盾——这是现有系统不提供的代数一致性保证。实证目标是在LoCoMo对话记忆基准上验证这些数学结构是否比工程基准产生可测量的改进，并设计满足EU AI Act数据主权要求的零LLM操作配置。
与已有工作不同的是，本文的独特切入角度是从数学理论出发重建AI智能体记忆系统，而非渐进式改进现有工程方法。作者进行了文献搜索（NeurIPS、ICML、ICLR、ACL、EMNLP、AAAI 2020-2026年会议论文，arXiv cs.AI/cs.CL/cs.LG类别），发现没有先前工作将信息几何连接到智能体记忆检索、将层上同调应用到记忆一致性、或使用Riemannian Langevin动力学进行记忆生命周期管理。最相关的工作将层理论应用于语言模型输出不一致性检测[46]，但不涉及持久记忆存储。信息几何已应用于神经网络优化[3]和生成模型评估[10]，但未应用于检索。本文解决了信息几何与AI智能体系统交叉领域的开放问题。与现有系统相比，SLM-V3是首个提供以下能力的系统：（1）Fisher信息加权的检索度量，考虑每个嵌入维度的统计精度；（2）层上同调的代数矛盾检测，提供形式化一致性保证；（3）有收敛保证的自组织记忆生命周期，消除手动调参的衰减函数；（4）在标准基准上评估的零云操作配置，满足EU AI Act合规性要求。
核心方法
SLM-V3采用四通道混合检索架构，辅以三个数学层。系统的直觉是：不同类型的信息信号需要不同的检索机制（语义、时间、关系、词汇），单一相似度度量无法覆盖所有需求。四个独立通道各自针对特定信号优化，融合后优于任何单通道。在检索过程中，每个记忆用嵌入向量μ∈R^d和方差向量σ²∈R^d₊₊参数化对角高斯分布(μ,σ²)，这些参数定义了统计流形上的点。检索时使用Fisher信息加权的度量，替代余弦相似度。在存储过程中，新记忆通过11步管道，包括实体图构建、层一致性检查（创建矛盾记忆的supersedes边）和熵门控。三个数学层在不同时间点操作：Fisher-Rao在检索时操作，Sheaf上同调在存储时操作，Riemannian Langevin动力学作为后台进程操作。系统在CPU上执行所有数据，状态持久化到单个SQLite数据库。三种操作模式提供隐私-能力梯度：模式A（零LLM，完全本地）、模式B（本地LLM via Ollama）、模式C（云端LLM）。数学层在所有模式下均激活，确保即使在没有云端依赖的情况下也能获得信息几何的好处。
SLM-V3的核心创新在于将信息几何、代数拓扑和随机动力学三个数学领域引入AI智能体记忆系统，替代现有的工程启发式方法。第一个核心创新是Fisher信息加权的检索度量。记忆检索不是在欧氏空间中寻找最近邻，而是在统计流形上寻找最近点。每个记忆的嵌入μ被方差向量σ²增强，维度k的低σ²ₖ（高置信度）意味着该维度的统计精度高，应贡献更多到距离；高σ²ₖ意味着该维度编码噪声，应贡献更少。检索评分s_FR(q,m)=exp(-Σ_k(μ_q,k-μ_m,k)²/σ²_m,k/T)实现了这个直觉：低方差维度在分母中收缩距离，高方差维度膨胀距离。与余弦相似度sim(u,v)=uᵀv/(‖u‖‖v‖)同等对待所有维度相比，Fisher度量捕捉了嵌入表示的内在不确定性。第二个核心创新是Sheaf上同调的矛盾检测。记忆存储不再是孤立的事实集合，而是图G=(V,E)上的sheaf F，顶点V代表上下文，边E连接共享实体的上下文。限制映射ρ_u→v: F(u)→F(v)强制语义兼容性。上链算子δ计算边缘差异(δf)(u,v)=ρ_u→v f(u)-f(v)，非平凡的一阶上同调H¹(G,F)≠0精确对应无法通过局部调整解决的矛盾。第三个核心创新是Riemannian Langevin生命周期动力学。记忆衰减不是固定的指数函数，而是Poincaré球D^d上的随机微分方程dξ=-λ_ξ^{-2}∇E_U(ξ)dt+√(2T)λ_ξ^{-1}dW+(d-2)T/2·λ_ξ^{-1}ξ dt。势函数U(ξ)=α‖ξ‖²-β·n_access(ξ)-γ·r(ξ,c)编码访问频率、上下文相关性和向原点的恢复力。平稳分布ρ_∞(ξ)∝exp(-U(ξ)/T)/(1-‖ξ‖²)^d是自动平衡：高频访问记忆靠近原点（活跃），低价值记忆向边界扩散（归档）。
方法步骤详情
SLM-V3的完整方法流程分为存储管道和检索管道。存储管道在执行store操作时启动：（1）将内容嵌入为μ∈R^d（nomic-embed-text-v1.5，768维）；（2）提取元数据（时间戳、说话者等）；（3）提取命名实体；（4）提取语义事实；（5）检测情感和信念；（6）构建或扩展实体图，在共现实体间创建边；（7）运行层一致性检查，与现有记忆比较，当κ=‖δf‖²/(‖f‖²+ε)超过阈值τ=0.45时创建supersedes边；（8）生成前瞻预测；（9）构建观察；（10）应用熵门控过滤低信息记忆；（11）持久化所有表到SQLite。每个记忆m存储为m=(μ∈R^d, σ²∈R^d₊₊, content, entities, facts, t_created, t_accessed, n_access)。检索管道在执行retrieve操作时启动：（1）查询分类：策略模块将查询分类为single-hop/multi-hop/temporal/open-domain，分配每通道权重乘数；（2）配置文件查找：对于以实体为中心的查询，直接SQL捷径检索配置文件信息；（3）四通道并行搜索：语义通道（Fisher信息加权，权重1.2）计算s_FR(q,m)=exp(-Σ_k(μ_q,k-μ_m,k)²/σ²_m,k/T)；BM25关键字通道（k₁=1.2, b=0.75，权重1.0）使用持久化的bm25_tokens；实体图通道（3跳，衰减0.7，权重1.3）执行扩散激活；时间通道（权重1.0）基于日期邻近性和有效性窗口评分；（4）RRF融合：加权倒数排名融合WRRF(m)=Σ_{i=1}^4 w_i/(k+r_i(m))，k=60；（5）场景扩展：拉取匹配记忆场景的所有事实，提供叙事上下文；（6）桥接发现：对于multi-hop查询，在知识图上构建Steiner树连接查询实体；（7）交叉编码器重排序（仅模式C）：混合评分s(m)=α·σ(CE(q,m))+(1-α)·WRRF(m)，α查询类型依赖；（8）返回top-k结果（默认k=20）。三个数学层在不同阶段激活：Fisher-Rao在步骤3（检索评分）、Sheaf在存储步骤7（矛盾检测）、Langevin在后台维护进程（生命周期更新）。
技术新颖性
SLM-V3的技术新颖性体现在三个数学层首次应用于AI智能体记忆系统。第一，这是首个将Fisher信息度量应用于AI智能体记忆检索的工作。Čencov定理[51]建立Fisher-Rao度量是唯一（至缩放）在充分统计量下不变的黎曼度量，提供深刻的理论理由。定理6.1证明了对角高斯族的Fisher-Rao距离满足度量公理、在充分统计量下不变、可在Θ(d)时间内计算。推论6.2形式化了Fisher度量超越余弦的场景：当cos(μ_q,μ_ma)=cos(μ_q,μ_mb)但σ_ma≠σ_mb时，Fisher-Rao排序可能与余弦不同。具体地，如果σ_mb,k<σ_ma,k在|μ_q,k-μ_mb,k|小的维度k上，则d_FR(q,m_b)<d_FR(q,m_a)即使余弦同等排序ma和mb。第二，这是首个应用层上同调检测AI智能体记忆系统中矛盾的工作。非平凡的一阶上同调类H¹(G,F)≠0精确对应跨上下文的无法调和的矛盾，这是现有系统不提供的代数一致性保证。第三，这是首个使用Riemannian Langevin动力学进行AI智能体记忆生命周期管理的工作。定理6.3证明Poincaré球上的Langevin SDE的Fokker-Planck方程具有唯一平稳分布ρ_∞(ξ)∝exp(-U(ξ)/T)/(1-‖ξ‖²)^d。注释6.4提供生物学解释：在平衡态，高频访问记忆（低U）靠近Poincaré球原点聚集，罕访问记忆向边界扩散。双曲体积因子(1-‖ξ‖²)^(-d)确保边界区域具有无限体积，提供无界遗忘空间——双曲几何的独有特性，欧氏几何无对应物。第四，这是首个在标准基准上评估的零云操作配置，满足EU AI Act数据主权要求。模式A在零云依赖下达到约75%检索质量（独立于答案生成），证明数学基础可部分补偿检索环中神经语言理解的缺失。
实验结果
本文在LoCoMo对话记忆基准[30]上的实验结果表明，三个数学层共同贡献了相对于工程基线的平均+12.7个百分点提升（6个对话，832个问题）。提升不均匀：在包含直接事实查询的对话上从+6.0 pp到在需要跨越稀疏连接记忆推理的最具挑战性对话上+19.9 pp。这种模式——数学基础在启发式相似度量挣扎最甚的领域提供最大好处——与理论动机一致：Fisher度量的优势在于其对每维度不确定性的敏感性，在高维稀疏区域最为重要。完整的四通道检索架构在没有任何云依赖的情况下达到约75%检索质量（测量检索上下文的相关性，独立于答案生成）。多跳推理问题（需要跨越断连记忆上下文桥接）从数学层获得+12 pp增益。消融分析（表4）揭示交叉编码器重排序是单一最大贡献者（移除时-30.7 pp），确认数学检索和神经重排序是互补而非替代关系。模式A检索达到74.8%聚合准确率，超过需要云端LLM的Mem0（64.2%）。在开放域问题上，模式A检索得分85.0%，是所有评估系统中的最高分，表明实体图和广泛BM25通道在表面化通用知识方面表现出色。模式C结果（81个问题的对话上87.7%）表明SLM-V3使用云端嵌入和LLM答案生成可与Zep v3（85.2%）和MemOS v2（80.8%）相媲美。Fisher-Rao vs余弦分析（表5）提供直接证据：6个对话上数学层改进检索质量平均+12.7 pp，conv-44上+19.9 pp最大，conv-43上+6.0 pp最小。从定理7.2，当嵌入augmented with per-dimension variance时，Fisher-Rao打破余弦的集中障碍：对于满足cos(μ_q,μ_ma)=cos(μ_q,μ_mb)但σ_ma≠σ_mb的任何两个记忆ma,mb，Fisher-Rao提供严格更精细的排序。尺度分析提供三个具体预测：（1）N=10⁵和ε=0.05时的余弦邻域计数E[C_ε]≈100，是典型检索预算K=20的五倍，纯余弦排序系统返回越来越嘈杂的top-K列表；（2）矛盾密度：对于p_c≥10⁻⁶，N=10⁵时的期望矛盾计数超过10⁵ choose 2·10⁻⁶≈5×10³；（3）生命周期漂移：没有原则性动力学模型，记忆重要性必须由手工crafted衰减函数维护，N增长时参数调优变得越来越脆弱。
![Results on the LoCoMo benchmark [30].](/papers/2603.14588/images/table_3.jpg)
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LoCoMo对话记忆基准（聚合准确率） | 准确率(%) | SLM-V3 Mode A (Retrieval): 74.8% | Mem0: 64.2% | +10.6 pp |
| LoCoMo开放域问题 | 准确率(%) | SLM-V3 Mode A (Retrieval): 85.0% | EverMemOS: 70.8% | +14.2 pp |
| LoCoMo单跳问题 | 准确率(%) | SLM-V3 Mode A (Retrieval): 72.0% | Zep v3: 90.8% | -18.8 pp (低于基线) |
| LoCoMo多跳问题 | 准确率(%) | SLM-V3 Mode A (Retrieval): 70.3% | EverMemOS: 91.1% | -20.8 pp (低于基线) |
| LoCoMo时间问题 | 准确率(%) | SLM-V3 Mode A (Retrieval): 80.0% | Hindsight: 95.1% | -15.1 pp (低于基线) |
| 数学层贡献（Fisher vs余弦，6对话平均） | 准确率提升(pp) | With Math: 71.7%, Without Math: 58.9% | Engineering baseline (cosine) | +12.7 pp |
| 最困难对话（conv-44）数学层贡献 | 准确率提升(pp) | With Math: 64.2%, Without Math: 44.3% | Engineering baseline (cosine) | +19.9 pp |
局限与改进
作者承认几个局限性。（1）单一基准聚焦：LoCoMo评估两人对话记忆；真实企业记忆涉及多用户、多项目上下文。计划在LongMemEval[52]和MemoryAgentBench[50]上扩展评估。（2）零LLM准确率上限：模式A原始得分（60%）仍低于LLM依赖系统；作者的贡献是表明数学检索缩小了大部分这个差距。（3）Sheaf在LoCoMo上：移除层一致性仅导致-1.7 pp下降，因为LoCoMo包含很少真正矛盾；该层的价值应在包含矛盾信息的多上下文场景中显现。（4）Fisher在新鲜数据上：渐变坡道在10次访问后激活；在基准数据（n_access=0）上Fisher简化为余弦。其价值在记忆被重复访问的长期真实部署中。（5）对角协方差：O(d)的Fisher-Rao计算假设对角协方差，忽略跨维度依赖。完整协方差（O(d³)）会捕捉依赖但在高维性上不切实际。此外，本文的观察指出：模式A原始准确率（60%）与检索质量（75%）之间的20 pp差距表明零LLM答案提取启发式在组装最终响应时丢失信息。消融显示时间通道在conv-30上影响最小（移除时-0.2 pp），表明查询自适应通道权重——基于检测到的查询类型动态门控通道——是未来优化的有前景方向。单一对话（conv-30，81问题）的Mode C结果应谨慎解释，因为样本量有限。
独立分析的弱点
SLM-V3的几个具体场景弱点存在改进空间。第一，答案合成差距。模式A原始准确率（60%）与检索质量（75%）之间的20 pp差距表明零LLM答案提取启发式在组装最终响应时丢失信息。改进方向包括：（i）查询类型的模板化答案格式化；（ii）查询自适应片段选择返回最具信息性的句子；（iii）模式B作为中间地带，本地LLM合成答案同时保持数据主权。第二，有限基准评估。LoCoMo仅评估两人对话记忆；真实企业记忆涉及多用户、多项目上下文和跨项目矛盾。改进方向是在LongMemEval和MemoryAgentBench上扩展评估，这些基准更贴近真实企业场景。第三，时间通道在conv-30上影响最小（-0.2 pp移除），表明固定权重可能不适所有查询类型。改进方向是查询自适应通道选择——基于查询内容动态调整通道权重，例如时间查询提升通道4权重，multi-hop查询提升通道3权重。第四，对角协方差假设。O(d)的Fisher-Rao计算假设对角协方差，忽略跨维度依赖。改进方向是探索低秩协方差近似（O(dr) where r≪d），捕捉依赖同时保持可扩展性。第五，单对话的Mode C结果（conv-30，81问题，87.7%）应谨慎解释；完整十对话评估进行中。改进方向是完成全部LoCoMo评估，提供更稳健的云增强性能估计。
未来方向
作者提出几个未来研究方向。第一，原生超bolic嵌入集成。当前评估系统在欧氏嵌入空间中操作，Fisher-Rao不确定性加权作为检索的主要几何贡献。将原生超bolic嵌入集成到检索管道是未来方向，可能在层次记忆组织上提供额外好处。第二，Hopfield关联检索层。第五通道使用现代Hopfield网络的模式补全能力，即使直接相似度低也能检索与查询关联的记忆。给定模式矩阵X=[μ₁,...,μ_N]∈R^{d×N}，Hopfield更新q̂=X softmax(βXᵀμ_q)产生关联检索向量，存储容量O(β^d)。第三，率失真渐进深度。记忆内容可组织为渐进深度级别层次，从压缩gist到逐字文本。率失真理论提供最优深度预算D*(N)=⌈log₂N⌉，级别ℓ的失真有界d(c_ℓ,c_L)≤σ²·2^{-2ℓ/d}。这确保每细化步骤保证减半失真，支持基于查询特异性的查询自适应深度选择。第四，尺度实验。计划测量N从10³到10⁵的端到端召回延迟和检索质量，测试数学层在企业规模上是否保持优势。测量包括中位数召回延迟（端到端，包括所有通道融合）、存储吞吐量（每秒记忆数）和检索质量（NDCG@10）作为N的函数。第五，查询自适应通道选择。动态门控通道基于检测到的查询类型，进一步优化检索效率。第六，歧义消除在摄取时。类似SimpleMem[2]的无损重述方法在摄取时消除所有代词和解析相对时间引用，改进未来检索精度。
复现评估
作者在MIT许可下发布所有代码、实验配置和评估脚本，支持独立验证和扩展。系统构建在SuperLocalMemory[6]之上，这是一个开源记忆框架，提供数据库管理和接口基础设施，而SLM-V3贡献本文描述的数学架构。这种分离允许理论贡献独立于部署关注评估。实验在Azure Container Instances (ACI)上运行：每个容器分配2 vCPU和4 GB RAM。总计111个容器部署跨越三个Azure订阅（eastus2和swedencentral区域）。每个容器运行Python 3.12与PyTorch 2.10 (CPU)和本地SQLite数据库。对于模式A，嵌入和重排序模型预加载到Docker镜像，检索期间无需网络访问。模式A使用nomic-embed-text-v1.5 (768维)嵌入和bge-reranker-v2-m3交叉编码器。模式C使用text-embedding-3-large (3072维)云端嵌入和gpt-4.1-mini答案生成。LoCoMo数据集提供10个多会话对话，包含1,986个总问题，跨越四个评分类别：single-hop、multi-hop、temporal和open-domain。每问题检查点确保可复现性。评估协议采用LLM-as-Judge评分：对于每个问题，评判模型在1-5 Likert量表上评级系统答案；评级≥4计为正确（二元阈值）。消融研究使用bootstrap 95%置信区间（1,000重采样）确认统计显著性。完整实现可在https://github.com/qualixar/superlocalmemory获取。
论文图表
