BaRe-Mem：面向鲁棒自适应智能体咨询的贝叶斯可靠性记忆 BaRe-Mem: Bayesian Reliability Memory for Robust and Adaptive Agent Consultation
在线贝叶斯记忆为顾问可靠性建模，动态决定中心模型“信谁”与“要不要问人”。
前置知识
贝叶斯线性回归
一种概率化回归：假设观测 $z=w^\top x+\epsilon$、$\epsilon\sim\mathcal{N}(0,1)$，并对权重施加高斯先验 $w\sim\mathcal{N}(0,\lambda^{-1}I)$；结合数据后得到权重的后验 $\mathcal{N}(m,\Lambda^{-1})$，其中 $\Lambda=\lambda I+\sum xx^\top$、$m=\Lambda^{-1}b$。后验同时给出预测均值与不确定度，证据越多后验越集中。
BaRe-Mem 的整个“记忆”就是一个贝叶斯线性回归：正确性信号 $s=2y-1$ 被建模为特征的线性高斯观测，所有可靠性与自主能力估计都从该后验导出，不懂这套框架就无法理解论文式(3)–(6)。
Kalman gain 与精确在线更新
贝叶斯后验可用秩一更新增量维护：新观测 $(x,s)$ 到来时，增益 $g=\Lambda^{-1}x/(1+x^\top\Lambda^{-1}x)$ 决定残差 $s-x^\top m$ 对均值与协方差的修正幅度。当前后验在 $x$ 方向越不确定，$g$ 越大、新证据影响越强；可证明更新结果与一次性批处理完全一致，且与观测到达顺序无关。
这是 BaRe-Mem 免训练、可在线扩展的数学核心；附录 A.2–A.4 专门推导它，Figure 5 的稀疏反馈效率与 Figure 31 的快速适应现象都由“早期增益大、后期增益小”这一性质解释。
注意力机制与 logit 修改
Transformer 注意力先算未归一化分数 $\langle Q,K_j\rangle/\sqrt{d}$，再经 softmax 归一化成权重。“logit 修改”指在 softmax 之前给某些 token 的分数加偏置，等效于按 $e^{\beta}$ 缩放其未归一化注意力，直接控制这些 token 对下游表征与输出影响的强弱。
BaRe-Mem 把可靠性落到模型行为上的接口正是式(7)的偏置 $\beta_{t,k}=\gamma\log(p_{t,k}/\max_{k'}p_{t,k'})$：理解这一接口才能明白“可靠性估计如何变成模型决策”，以及为何整个过程无需任何训练。
多智能体咨询范式
让一个中心 LLM 借助外部模型、工具或人类完成任务的组织方式。常见基线：Question+Peers（把顾问回答放进上下文）、Majority voting（候选答案投票）、Debate（多轮辩论后裁决）。这些方法默认外部信息总体有益，以等权或聚合方式融合意见。
论文全部对照实验围绕这些基线展开，其核心卖点正是基线在误导信息下崩溃（多数投票在 100% 误导率下仅剩 9.4%/1.2%）而 BaRe-Mem 不崩；理解基线的失败模式才能读懂 Table 1 与 Figure 2。
校准（calibration）
指模型置信度与真实正确概率的一致程度：把置信约 0.8 的预测放在一起，若经验正确率也接近 0.8 则校准良好。常用“分组—实测”曲线检验，LLM 普遍存在过度自信问题。
第 4.3 节两项诊断本质是校准分析：$\kappa$ 是否随经验自主准确率单调变化（Figure 3）、预测增益 $\hat{\Delta}=A(T)-\kappa$ 是否与实测增益过零对齐（Figure 4）；附录 B.4 还指出高误导率下可靠性估计系统性偏高的校准缺口。
研究动机
多智能体系统中，中心模型经常要“咨询”其他模型或服务，但咨询是双刃剑：已有研究表明模型暴露在误导性咨询下会放弃自己原本正确的答案，使咨询反而不如独立推理。论文用受控实验量化了问题：把一部分顾问回答替换成“流畅、切题但已验证错误”的误导回答后，在能力挑战型套件（PIQA/MMLU/OpenBookQA/SciQ/BBH/SuperGLUE）上，Question+Peers 与两轮 Debate 在误导率超过 50% 后双双跌破不咨询基线（Qwen3-14B：Question+Peers 从 69.8% 跌到 50.6%），只对顾问答案做多数投票更是从 64.1% 崩到 1.2%。根源在于顾问能力高度任务异质：DeepSeek-Coder-V2-Lite 在 PIQA 上有 73.2% 但 SciQ 只有 32.7%、BBH 仅 3.7%；R1-Distill-Qwen-7B 在 BBH 上 45.6% 却在 PIQA 上仅 56.4%。而现有记忆方法（文本轨迹、反思技能、隐状态记忆如 Titans/MemoryLLM）只会“存历史”，不会把历史转化为对当前问题上每个信息源可靠性的量化估计，更不会判断“该不该咨询”。
本文的目标是目标是构建一个在线贝叶斯可靠性记忆 BaRe-Mem，让中心模型在长期交互流中学会三件事：(1) 对当前问题上的每个顾问候选回答，估计“它有多大概率正确”的情境化可靠性；(2) 用该估计直接调制注意力，决定每个顾问回答对最终决策的影响强度；(3) 进一步比较“估计的咨询能力”与“估计的自主推理能力”，逐题决定到底要不要咨询。约束条件是：不引入任何可训练参数与梯度更新、记忆随任务流在线扩展、对误导信息鲁棒、能从稀疏的验证反馈中学习。作者还要求同一机制能迁移到智能体团队的 worker 分配（MuSiQue 路由），以验证“回答级咨询”之外的通用性，并希望可靠性估计（如 $\kappa$、预测增益）与真实统计量可校准、可解释。
与已有工作不同的是，切入角度有三点新意。第一，以往记忆工作保存的是“经验本身”——文本式如 Reflexion、ExpeL、Mem0、G-Memory，连续态式如 Titans、MemoryLLM、Memory Decoder、$\delta$-mem；BaRe-Mem 保存的是“对信息源可靠性的后验信念”，且该信念以中心模型对当前问题与候选回答的内部表征（question belief 与 answer content belief）为条件，即“在这个问题上、针对这个回答”的可靠性，而非全局平均成功率。第二，记忆落地接口选择直接修改注意力 logit（介于 prompt 条件化与参数适配之间的第三条路），因为逐顾问的可靠性估计天然对应“每个顾问回答该施加多大影响”，无需训练即可注入冻结模型。第三，多数工作只回答“信谁更多”，本文额外建模中心模型自身能力 $\kappa$ 与咨询能力 $A(T)$ 的比较，回答“要不要信外部”——在强模型协作收益递减甚至为负的背景下（Kim et al., 2026）这一点尤为关键。
核心方法
直觉上，BaRe-Mem 像一本“带不确定度的信任台账”：每当事后核实某个候选回答的对错就记一笔；对不熟悉的顾问或问题类型，早期证据影响大，随累积更新越来越保守。技术上分四步。首先，冻结的中心模型 $M$ 对问题 $q_t$ 编码 $K+1$ 个候选（$K$ 个顾问回答加自主回答 $a_{t,0}$），导出共享的问题信念 $\psi_q^{(t)}$ 与每个候选的内容信念 $\psi_c^{(t,k)}$，拼上来源 one-hot 构成特征 $x_{t,k}$。其次，把验证得到的符号正确性 $s_{t,k}=2y_{t,k}-1$ 建模为 $s_{t,k}\sim\mathcal{N}(w^\top x_{t,k},1)$、先验 $w\sim\mathcal{N}(0,\lambda^{-1}I)$，用贝叶斯线性回归维护后验 $\mathcal{N}(m,\Lambda^{-1})$，并以 Kalman gain 做精确的秩一在线更新。第三，由后验算出候选正确概率 $p_{t,k}=\Phi(\mu_{t,k}/\sqrt{1+v_{t,k}})$ 并注入注意力 logit，按相对可靠性降权不可靠顾问。第四，另用一个二维贝叶斯回归在线学习 $\hat{\rho},\hat{\delta}$，比较 $A(T_t)$ 与 $\kappa_t$ 决定“咨询还是自主推理”。
核心创新是“以中心模型内部信念为条件的情境化可靠性 + 决策级咨询门控”。与历史成功计数这类全局统计不同，打分函数 $w^\top x_{t,k}=w_k^\top\psi_q^{(t)}+w_c^\top\psi_c^{(t,k)}+w_0$ 把可靠性分解为“该来源在此类问题上的可靠性”与“这个回答内容本身透露的可靠性”两项，使记忆能同时表达“顾问 A 擅长数学、顾问 B 擅长代码”与“这个回答内容就有问题”两类信号。与已有注意力调控（post-hoc attention steering、CRAM 等）的本质区别在于，偏置量完全由免训练的贝叶斯后验给出：最可靠顾问不动，其余按相对可靠性的对数比例缩放。与“总是咨询”的方法本质区别在于决策模型 $A(T)=T\rho+(1-T)(\kappa-\delta)$：信任度 $T_t=\max_k p_{t,k}$ 高时按可靠证据利用率 $\rho$ 计，低时按受损自主能力 $\kappa-\delta$ 计；由此导出闭式阈值 $T^*=\hat{\delta}/(\hat{\rho}+\hat{\delta}-\kappa_t)$——自主模型越强、误导伤害越大，所需信任门槛越高，行为可解释、可调控。
方法步骤详情
完整流程六步。第一步（表征）：冻结中心模型 $M$ 在 $q_t$ 上下文中编码每个候选，取问题信念 $\psi_q^{(t)}$ 与候选内容信念 $\psi_c^{(t,k)}$，拼成 $x_{t,k}=[e_k\otimes\psi_q^{(t)};\,\psi_c^{(t,k)};\,1]$，$e_k$ 为来源 one-hot。第二步（可靠性读取）：由后验计算 $\mu_{t,k}=x_{t,k}^\top m$、$v_{t,k}=x_{t,k}^\top\Lambda^{-1}x_{t,k}$，得 $p_{t,k}=\Phi(\mu_{t,k}/\sqrt{1+v_{t,k}})$；无证据时一切 $p=1/2$。第三步（注意力调制）：在 softmax 全注意力层上对顾问 token 加 $\beta_{t,c(j)}=\gamma\log(p_{t,k}/\max_{k'}p_{t,k'})$，等效把该顾问的未归一化注意力按相对可靠性缩放。第四步（生成与验证）：中心模型产出回答，事后核实各候选正确性 $y_{t,k}$。第五步（记忆写入）：用 Kalman gain 秩一更新 $m$ 与 $\Lambda^{-1}$，与批后验完全一致、顺序无关。第六步（咨询决策）：取 $\kappa_t=p_{t,0}$、$T_t=\max_k p_{t,k}$，用二维贝叶斯回归从历史 $(T_s,\kappa_s,y_s)$ 学 $\hat{\rho},\hat{\delta}$，若 $A(T_t)\ge\kappa_t$ 则咨询否则自主推理。MuSiQue 团队场景中，同一记忆改为给候选 worker 排序并决定验证失败后的重试顺序。
技术新颖性
新颖性有五点。(1) 记忆对象是“可靠性后验”而非经验文本或隐状态，且明确以中心模型的内部信念表征为条件，这在相关工作中是首次出现。(2) 数学上保证“在线=批量”：秩一更新加 Kalman gain（附录 A.2 证明它是条件均方误差最小意义下的最优增益）使后验与一次性批处理完全相同，且对固定证据集顺序不变（A.4 的次序无关性），这是多数启发式经验记忆不具备的性质。(3) 零训练成本：注意力调制只是在 logit 上加一个标量偏置，无可学习参数、无需反传，可直接套在冻结模型上，工程上即插即用。(4) 把“是否咨询”形式化为两个可在线估计量 $A(T_t)$ 与 $\kappa_t$ 的比较，给出闭式阈值及单调性（$\partial T^*/\partial\kappa>0$、$\partial T^*/\partial\hat{\delta}>0$、$\partial T^*/\partial\hat{\rho}<0$，A.7），并配套错误侧决策的代价刻画（A.8）。(5) 机制可迁移：同一记忆从“回答重加权”平移到“worker 路由”，只需把候选从回答换成工人，说明这是原理层面的通用机制而非任务特定技巧。
实验结果
实验覆盖 9 个基准、6 个顾问、6 个中心模型，分能力支持型（GSM8K/APPS/SQuAD）与能力挑战型（PIQA/MMLU/OpenBookQA/SciQ/BBH/SuperGLUE）两套件，人为将 0–100% 的顾问回答替换为已验证错误的误导回答。(1) 鲁棒性：挑战型套件上 Question+Peers 与 Debate 在误导率超 50% 后跌破不咨询基线（Qwen3-14B：69.8%→50.6%），多数投票 100% 时仅 9.4%；BaRe-Mem 全程高于自主推理（100% 时 68.6% 对 66.5%），支持型仅从 77.7% 微降到 74.5%，Phi-4 同样（挑战型 65.0% 对 63.4%）。(2) 消融：只保留可靠性注意力的 Advisors+memory 在 50% 误导率的挑战型套件上比 Question+Peers 高 7.7–19.9 个百分点，但 100% 时仍跌破自主基线；BaRe-Mem 的咨询门控再抬高 13.0–34.6 个百分点，稳定高于自主 1.5–2.8 点。(3) 行为证据：挑战型套件咨询率从 90% 降到 21%（Qwen3-14B）/18%（Phi-4），支持型几乎不变（87%→85%），说明模型真的“该问才问”。(4) 校准诊断：$\kappa$ 与经验自主准确率单调一致（Figure 3）；预测增益与实测增益在 $\hat{\Delta}=0$ 附近过零（Figure 4）；不足 1%（约 170 条）验证反馈即现增益（Figure 5）。(5) 普适性：六中心模型增益为挑战型 +7.2~+12.4 点、支持型 +4.3~+13.7 点。(6) MuSiQue 团队路由：数据验证器设置下任务完成率 51.9–55.0%，超成功计数 1.8–4.9 点、超随机 9.1–11.4 点；更少 worker 调用即逼近同一上限，且前 800 个子任务内完成主要学习。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 能力挑战型套件（6 数据集混合，Qwen3-14B 为中心模型） | 误导率 100% 下的准确率 (%) | 68.6（咨询率降至 21%） | Question+Peers 50.6 / Debate(2轮) 55.4 / 多数投票 2.8 / 不咨询 66.5 | 较不咨询 +2.1，较朴素咨询 +18.0 |
| 能力支持型套件（GSM8K+APPS+SQuAD，Qwen3-14B） | 误导率 100% 下的准确率 (%) | 74.5 | 不咨询 72.9 / Question+Peers 73.2 | +1.6 / +1.3 |
| 全部六个中心模型 · 能力挑战型套件 | 相对自主推理的准确率增益（百分点） | +7.2 ~ +12.4 | 各模型自身 No consultation | 最大 +12.4（Qwen2.5-7B），最小 +7.2（Qwen3-4B） |
| 50% 误导率 · 挑战型套件 · 可靠性注意力消融 | Advisors+memory 相对 Question+Peers 的提升（百分点） | +7.7 ~ +19.9 | Question+Peers（无记忆等权咨询） | Ministral-8B 最大 +19.9；六模型全部为正 |
| MuSiQue 智能体团队（Qwen3-14B 为 lead，数据集验证器检查） | 任务完成率 (%) | 54.3 | 历史成功计数 50.4 / 随机路由 43.0 | +3.9 / +11.3 |
| MuSiQue 无检查初始分配（Phi-4 为 lead） | 任务完成率 (%) | 42.6 | 历史成功计数 37.0 / 随机路由 23.1 | +5.6 / +19.5 |
| 稀疏验证反馈（Qwen3-14B / Phi-4） | 写入记忆的验证样本占比 | 不足 1%（约 170 条）即显著超过零反馈设置 | 0% 反馈 | 低反馈区即现增益，随后快速饱和 |
局限与改进
作者明确承认的局限：(1) 校准缺口——100% 误导率下顾问经验准确率趋近 0，而记忆给出的可靠性估计仍停在 0.2 左右；这是高斯预测映射的下限效应 $\Phi(-1)\approx0.159$：即使参数后验完全收敛，固定的单位观测噪声仍保留非零预测概率（附录 B.4），作者称其为“说明性下限而非普适下界”。(2) 注意力调制只作用于使用 softmax 归一化的全注意力层（正文脚注），对线性注意力或滑动窗口架构不适用。(3) 学习信号依赖事后可验证的正确性标签，论文中所有任务都有精确匹配判据，开放式生成任务如何获得可靠验证未讨论。我的补充观察：(4) 线性打分 $w^\top x_{t,k}$ 难以刻画“两个顾问各对一半、合起来才对”的高阶互补性；(5) 误导信息用随机替换构造，与真实世界中策略性欺骗、协同造假或模型系统性幻觉的分布不同；(6) 后验次序无关意味着没有遗忘机制，顾问能力随时间漂移（升级、换提示）时会失准；(7) 决策只在“咨询/自主”间二选一，未考虑选择性咨询顾问子集或多轮交互。
独立分析的弱点
独立分析的弱点与改进方向：(1) 校准偏高——高误导率下可靠性估计系统性停在约 0.2，根源是固定单位观测噪声 $\epsilon\sim\mathcal{N}(0,1)$；可改为在线估计噪声方差 $\sigma^2$，或用 Bernoulli 观测的贝叶斯 logistic 回归，使预测天然落在 $[0,1]$ 且极端情况下能压到接近 0。(2) 线性表达力不足——$w^\top x_{t,k}$ 难以刻画“两个顾问各对一半、合起来才对”的组合信号；可引入轻量核映射或二阶交互特征，同时保留闭式更新。(3) 无遗忘——后验对旧证据权重永不衰减，非平稳顾问池（模型升级、提示变化）下需加指数遗忘 $\Lambda\leftarrow\eta\Lambda+xx^\top$ 或滑动窗口。(4) 验证成本与标签噪声——开放任务缺少 gold label，可结合自一致性、执行反馈或 LLM 自评作为弱验证信号并做鲁棒化。(5) 超参 $\gamma$ 未做敏感性消融，偏置尺度如何随模型/任务自适应值得补实验。(6) 阈值 $T^*$ 依赖全局标量 $\hat{\rho},\hat{\delta}$，早期样本少时噪声大，可按任务类型条件化或加保守正则。
未来方向
作者提出的方向：把持久可靠性记忆作为长程多智能体系统中鲁棒、自适应咨询的实用基础，并继续扩展部署场景（已示范 worker 路由）。基于本文成果可延伸的方向：(1) 非平稳环境下的可靠性追踪——引入遗忘因子或变点检测，让记忆适应顾问能力漂移；(2) 把 $\rho,\delta$ 从全局标量扩展为任务类型或难度条件化的函数，刻画“有的任务咨询增益大、有的小”；(3) 与 RAG 结合，把可靠性记忆用于检索文档来源的可信度加权（与 CRAM 一脉相承）；(4) 人在回路——把顾问扩展到人类专家，研究稀疏人工反馈下的信任校准与隐私问题；(5) 工具/API 选择——把每个工具视为一类顾问，用同一记忆指导工具路由与重试；(6) 与选择性辩论融合——用可靠性估计决定谁有资格进入辩论、何时截断轮数；(7) 理论延伸——A.8 已给出错误侧决策的期望代价刻画，可在在线学习框架下证明选择规则的遗憾界。
复现评估
复现条件相当好。代码开源（github.com/declare-lab/BaRe-Mem），数据集开源（huggingface.co/datasets/Sssunset/BaRe-Mem-Data），涉及的全部 12 个模型均为开放权重：中心模型 Qwen3-4B/8B/14B、Qwen2.5-7B、Ministral-8B、Phi-4；顾问 Gemma-3-4B、Phi-4-mini、Qwen2.5-Coder-7B、Llama-3.1-8B、DeepSeek-Coder-V2-Lite、R1-Distill-Qwen-7B。方法完全免训练：无需任何微调，只需冻结模型推理，外加维护一个 $d$ 维贝叶斯后验和一个二维后验，显存瓶颈主要在多模型并行推理（14B bf16 约需 28GB 以上，可多卡或量化）。主实验约为 1.6 万题级题目流、每题 6 个顾问，MuSiQue 为 2,417 任务/6,404 子任务、每子任务最多 7 个 worker，推理总量中等。误导信息构造协议（按比例替换为已验证错误的流畅回答）描述完整可复刻。门槛主要在多模型服务的工程编排（vLLM 可缓解）与各基准评测细节复刻；复现单一中心模型主线可行，完整 6×6 矩阵加团队实验算力开销较大。总体难度中等偏低。
论文图表
Qwen2.5-7B lead：数据验证器下任务完成 51.9，为六 lead 中区间下端。
给出任务完成率 51.9–55.0% 区间的下端证据。