Σ-Mem：面向LLM多智能体系统的在线可靠性记忆

在线可靠性记忆，记录对等体历史能力与关系证据，稳定指导多智能体协调

前置知识

多智能体系统（Multi-Agent Systems, MAS）

多智能体系统是指由一个中心模型协调多个对等体（peer）协作完成任务的架构。在LLM场景下，中心模型负责聚合、选择或评判多个对等体生成的回答，典型的决策包括选哪个对等体的答案、是否信任某回答、如何加权投票。核心难点在于中心模型不一定能直接验证对等体回答的正确性，因此需要依据历史可靠性而非即时内容来判断信任谁。本文的Σ-Mem正是为这种协调决策显式建模可靠性证据。

理解MAS的协调本质——中心模型无法总是验证对等体回答——是理解为什么需要'可靠性记忆'而非仅仅是'内容记忆'的前提。

残差流引导（Residual Steering）

Transformer的残差流是各层之间传递的隐状态序列。残差引导不修改注意力等参数，而是在残差流上叠加一个引导向量δ，从而改变后续注意力从其上计算的Q/K/V。本文把记忆读出投影成对等体专属的δ_p(x)注入到中心模型的上半解码块（ℓ∈{⌊L/2⌋,…,L−1}），使同一输入因对等体不同而产生不同的注意力计算，实现对等体条件化的候选评估。

Σ-Mem读取记忆并把可靠性证据注入中心模型的核心手段就是残差引导，不懂它就无法理解'同一输入为何对每个对等体产生不同效用分数'。

Weyl不等式与特征值稳定性

对实对称矩阵M和对称扰动E，Weyl不等式给出每个特征值的变化被扰动谱范数界定：λ_i(M+E)−λ_i(M)≤‖E‖_2。这意味着单次有界的对称扰动不会让任意特征值剧烈跳变。本文借此保证单次事件更新无法主导记忆状态，而持续一致的证据能沿稳定谱方向累积，从而实现'设计上的稳定'。

这是Σ-Mem记忆稳定性证明的理论基石，也是Theorem 1中'信号主导噪声'的动机来源，理解它才能领会矩阵更新规则为何如此设计。

内容记忆 vs 可靠性记忆

内容记忆（如MemGPT、Mem0）保存交互中说了什么、观察到什么、尝试过什么，回答'发生了什么'，主要服务于单智能体长程信息保留。可靠性记忆则是一种持久的、任务条件化的、对等体专属的可信度记录，从交互及其结果持续更新，回答'谁可信任、何时可信任'。本文论证在MAS中后者与前者的互补性不可或缺：对等体间的一致性可能源于共享偏差而非独立佐证。

整篇论文的创新都建立在'可靠性记忆是被现有内容记忆忽略的基础信号'这一论断上，是读懂动机与贡献分类的关键概念。

研究动机

现有LLM智能体记忆系统主要保存交互'内容'——说过什么、观察到什么、尝试过什么——却不建模'哪些对等体在什么任务条件下可被信任'。在多智能体系统中，中心模型协调多个对等体，常需判断某对等体是否值得信任，而内容记忆无法回答'谁可靠、何时可靠'。更关键的是，当支持性证据不可得时中心模型无法直接验证对等体回答：例如RAG任务中隐藏了支撑文档，多个对等体给出相同却难辨真伪的答案，此时对等体间的一致性可能源于共享偏差或相关错误而非独立佐证。因此MAS的失败常发生在信任决策处——正确回答被拒、错误回答被采纳。

本文的目标是本文目标是提出Σ-Mem——一种在线可靠性记忆机制，为MAS显式建模并积累可靠性证据。它维护两类互补证据：一是历史能力证据，记录每个对等体在不同任务条件下随时间的可信度；二是对等体关系证据，建模对等体间通过正确性模式形成的关系（独立成功还是共同失败）。Σ-Mem提供统一的'写入-读取'接口：写入时用外部正确性反馈更新两类对称矩阵状态；读取时同一份冻结记忆可服务于不同协调决策（残差引导选择、无响应路由、可靠性加权投票），且无需重训底层模型即可在长周期任务中在线适应。

与已有工作不同的是，独特切入角度在于：不同于经典MAS信任机制（TRAVOS、FIRE、REGRET用统计或规则表示信任）和LLM记忆系统（MemGPT、Mem0、MemoryBank只保存内容），Σ-Mem把可靠性作为可复用的协调状态。其稳定性由设计保证：两类状态均表示为实对称矩阵，更新采用衰减历史项加有界新证据项，借助Weyl不等式 $\lambda_i(M+E)-\lambda_i(M)\leq\|E\|_2$ 保证单次事件无法主导记忆，而持续一致的证据沿谱方向累积。这使同一份记忆能跨对等体集合、跨任务分布、跨选择机制复用，把可靠性记忆确立为自适应协调的基础。

核心方法

Σ-Mem的整体思路是'内容记忆回答发生了什么，可靠性记忆回答谁可信任、何时可信任'。技术路线上，为每个对等体 $p$ 维护对称矩阵 $M_p\in\mathbb{R}^{r\times r}$（初值为0），另维护对等体关系矩阵 $G\in\mathbb{R}^{P\times P}$。每收到一个事件，计算能力方向 $\phi(x_t)$（$\|\phi(x_t)\|_2=1$）与每个对等体的正确性标签 $c_{p,t}\in\{+1,-1\}$，按'衰减+有界更新'规则写入两类矩阵。决策时从 $M_p$ 读出能力方向，经投影变成残差引导向量注入中心模型上层解码块，使同一输入因对等体不同而产生不同的注意力计算。整个系统在5个Qwen系列中心模型（0.6B–9B）上用2963个事件训练，无需重训即可支持多种决策读取。

核心创新点是'把可靠性显式建模为谱稳定的对称矩阵状态，并用统一的写入-读取接口复用于多种协调决策'。与已有方法本质区别有三：第一，区别于只保存交互内容的LLM记忆，Σ-Mem记录'对等体在何任务条件下可信'以及'对等体间如何相关'；第二，区别于统计或规则式的经典信任机制，它用Weyl不等式保证的对称矩阵谱稳定性，使持续证据累积、噪声被衰减、单次事件被有界扰动；第三，同一份冻结记忆既可通过残差引导做中心模型辅助选择，也可不经中心模型直接路由或加权投票，证明可靠性记忆是与具体聚合过程解耦的可复用基础状态。

方法步骤详情

步骤1（记忆写入）：每个事件 $t$ 先算能力方向 $\phi(x_t)$ 与各对等体正确性标签 $c_{p,t}$，再分别更新能力矩阵 $M_p$（$\gamma$ 衰减旧态 $+\eta$ 有界秩一更新）与关系矩阵 $G$（对去均值后的正确性向量做 $q_t q_t^\top$ 更新并对角归一）。步骤2（残差引导读取）：从 $M_p$ 读出 $r_{p,t}=M_p\phi(x_t)$，经投影得 $\delta_{p,t}=gPr_{p,t}$，注入上半层残差流。步骤3（效用评估与选择）：用Yes/No对数似然差算效用 $U_{p,t}$，标准化后结合 $G$ 经后验推断选期望正确性最大的对等体。步骤4（直接读取）：用 $s_{p,t}=\phi(x_t)^\top M_p\phi(x_t)$ 做无响应路由或可靠性加权投票，不依赖当前回答内容。关键：选择（步骤3-4）与记忆写入（步骤1）严格分离——选择基于中心模型当前效用判断加历史引导，写入则只用外部反馈。

技术新颖性

技术新颖性体现在四方面。其一，首次将'可靠性记忆'作为MAS的一类记忆与内容记忆并列，并细分为历史能力与对等体关系两种互补证据，且关系矩阵 $G$ 能区分'相互支持'与'相互对立'的对等体。其二，用对称矩阵+衰减有界更新+Weyl不等式给出可证明的谱稳定性，并形式化为Theorem 1：持续对齐证据的信号项饱和于 $\eta\mu_p/(1-\gamma)$，而噪声项与地平线 $T$ 无关，稳态信噪比 $\mu_p\sqrt{(1+\gamma)/(1-\gamma)}$ 随衰减因子 $\gamma$ 单调递增。其三，残差引导只改上半层残差流、冻结注意力权重，实现对等体条件化的注意力计算。其四，验证同一冻结记忆可同时支持中心模型辅助选择、无响应路由、可靠性加权投票三种机制，且泛化到未见对等体与未见领域。

实验结果

核心发现如下。反事实攻击（Table 1）：Σ-Mem在CF@0/70/90全面优于基线，Qwen3-0.6B在CF@90从46.22%升至71.10%（$\Sigma$ w/ G），表明弱中心模型能据记忆切换信任对象；CF@50因历史证据本身矛盾反而下降，作者论证这是记忆的'忠实性'而非缺陷。对等体数量泛化（Table 2）：训练仅3对等体，测试扩展到含未见模型（Llama-3.2-3B、BitCPM-CANN-3B）的4/5对等体池仍普遍提升。领域泛化（Table 3）：6个OOD基准上30例中27例提升，BBH尤为突出，Qwen3-4B从20.38%到28.66%、Qwen3-8B从19.29%到28.17%。跨机制（Table 4）：M-Route与M-Vote仅靠记忆读出即超越多数投票（59.12%）与最佳固定对等体（57.52%）；反馈比例实验（Figure 3）显示反馈越多性能越好，且Qwen3.5上 $\Sigma$ w/G始终优于M-route，说明中心模型内容判断与历史可靠性互补。

**Table 1**: Counter Factual (CF) Attack results under different CF@ratios.

**Table 2**: Peer-count generalization accuracy results on the counter factual benchmark.

**Table 3**: Generalization results on out-of-distribution (OOD) domains.

**Table 4**: Overall accuracy of different selection mechanisms across five central models and six OOD benchmarks.

**Figure 3**: OOD accuracy under different feedback availability ratios.

查看结构化数据

任务	指标	本文	基线	提升
反事实攻击 CF@90（Qwen3-0.6B）	准确率（选择对等体回答后）	71.10%（Σ w/ G）	46.22%（基础Qwen3-0.6B）	+24.88个百分点，相对提升约54%
OOD复杂推理 BBH（Qwen3-4B）	准确率	28.66%（Σ-Mem）	20.38%（基础模型）	+8.28个百分点，相对提升约41%
OOD全数据集综合（跨5中心模型）	总体准确率	M-Vote约60.86%–60.96%	多数投票59.12%、最佳固定对等体57.52%	超越两类无记忆基线
OOD领域泛化	提升案例数	30例中27例提升	对应基础模型	90%的案例获得改善

局限与改进

作者承认的局限：CF@50这一'故意构造为模糊'的数据流会使记忆忠实累积到误导性证据，导致中心模型选错对等体、准确率下降，因此未来需开发能自适应平衡历史指导与当前响应证据的读取方式；此外系统依赖事件后获得的外部正确性反馈，反馈稀疏时只做时间衰减、场景更困难。我的观察：可靠性方向 $\phi(x_t)$ 与投影 $P$、增益 $g$ 都是从3个训练域学得的，对极异构OOD任务的'能力方向'映射可能粗糙；且实验仅用3个训练对等体、同一Qwen家族中心模型，对等体能力互补性是人为构造的，真实开放对等体池（同质模型、对抗性噪声）下的鲁棒性未验证；记忆规模随对等体数 $P$ 线性增长、关系矩阵为 $O(P^2)$，大规模对等体下可扩展性存疑。

独立分析的弱点

弱点一：依赖外部正确性硬标签，半监督或弱监督反馈（如自一致性、奖励模型分数）下的适用性未验证，改进方向是引入软标签或自生成弱反馈以降低标注依赖。弱点二：CF@50暴露'记忆被动忠实累积'的脆弱性，改进方向是设计不确定性感知或上下文感知的读取门控，在历史证据与当前响应冲突时降低历史权重。弱点三：训练仅3对等体且能力高度互补，对同质或强相关对等体池（关系矩阵 $G$ 退化为高度共线）区分度可能不足，改进方向是引入更丰富的能力方向维度或任务分层。弱点四：能力方向与投影在3个域上学得，OOD映射粗糙，改进方向是扩大训练域覆盖或在线微调 $\phi$。弱点五：每对等体独立 $M_p$ 且关系矩阵 $O(P^2)$，大规模对等体下可扩展性受限，可考虑低秩近似或参数共享。

未来方向

作者明确提出的方向：开发能自适应决定'历史可靠性应如何与当前决策证据交互'的读取机制，以解决CF@50这类历史证据模糊场景；以及将可靠性记忆作为长周期MAS自适应协调的基础进一步扩展。基于成果可延伸的方向：其一，把外部硬标签替换为弱监督或自监督反馈，降低部署门槛；其二，把对等体关系推广为动态图，建模随时间演化的协作与对抗关系；其三，结合不确定性量化实现记忆读出的置信度门控；其四，验证在更异构中心模型（非同家族）与开放对等体池下的迁移性；其五，探索可靠性记忆在分层多智能体（agent swarm、mixture-of-agents）中作为可复用协调原语的潜力。

复现评估

复现评估：论文声明将提供代码与GitHub链接（通讯作者邮箱已给出，sryang@smail.nju.edu.cn、soujanya.poria@ntu.edu.sg），模型均为开源Qwen家族（0.6B–9B）与开源对等体生成器（Gemma-3-4B-it、Phi-4-mini-instruct、Qwen2.5-Coder-7B-Instruct、Llama-3.2-3B-Instruct、BitCPM-CANN-3B），训练数据为2963个事件（数学/RAG/代码），构造细节放附录B，反事实划分CF@0/50/70/90与OOD基准（PIQA、MMLU、OpenBookQA、SciQ、BBH、SuperGLUE）均为公开数据。算力方面，残差引导需每对等体独立残差流多次前向且注入多解码层，对9B模型有一定开销但单卡可行。主要风险点：$\phi$、投影 $P$、增益 $g$ 及权重 $w_u/w_g$ 等超参需精调，若附录实现细节不全则复现难度中等偏上。

Σ-Mem：面向LLM多智能体系统的在线可靠性记忆 Σ-Mem: An Online Reliability Memory for LLM-based Multi-Agent Systems