稀有且相关仍出错：LLM群体决策中的记忆失效机理 Rare, Relevant, and Still Wrong: How Memory Fails LLM Group Decisions
稀有优先与相关性筛选都会押错证据归属，真正决定成败的是记忆保留的证据平衡
前置知识
隐藏画像任务（hidden profile）
群体决策研究的经典范式：每位成员掌握一部分信息，其中关键信息只有个别人知道（私有），而众所周知的信息（共享）可能指向错误选项。正确决策要求整合分散的私有信息。该范式可量化'共享信息偏差'——群体倾向于反复讨论大家共有的信息而忽视私有信息，是人类与小群体研究三十多年的标准实验装置。
本文的全部实验结构就是隐藏画像的参数化：支持/诱饵事实的归属决定了哪一格是'经典隐藏画像'。不理解这一范式，就无法读懂各归属格子（如'私有支持/共享诱饵'）的含义与对应结论。
共享事实与私有事实（shared/private facts）
共享事实被分派给全部智能体，在讨论记录中被多个发言者重复陈述，行首携带多个署名标签；私有事实只属于单个智能体，仅被陈述一次。归属同时改变三件事：事实在记录中的出现次数与出现时间（本设计里共享事实必在首位发言者回合出现）、署名标签数量、以及 token 成本。
论文的核心操作就是把支持/诱饵/无关三组事实的归属在共享与私有之间交叉，得到 8 种变体。只有理解共享/私有如何改变记录呈现，才能理解记忆策略保留概率与决策加权的来源。
诱饵事实（decoy facts）
诱饵是真实但具有误导性的事实：它确为真话、也直接关系到决策标准，但其片面含义指向一个竞争选项。论文的例子：某供应商通过了全部电气安全检查（诱饵，真话），却曾花九天才响应紧急维修呼叫（支持证据）；只保留前者可以改变决策而不引入任何虚假陈述。
诱饵的存在使相关性启发式失效——诱饵按定义就与标准相关，完美的相关性过滤器也会把它放回记忆。这是论文第三项核心失败（'相关却不有用'）的机制基础。
稀有优先选择（rarest-first, R1）
一种记忆压缩启发式：把讨论压成声明清单后，按陈述该事实的智能体数量升序排列，被最少人提到的事实优先装入预算，平局按首次出现时间决定。直觉依据是'少有人说的信息可能是分散的私有证据，值得保留'。在经典隐藏画像构型中它恰好保留支持事实、排除诱饵，因此表面上效果极好。
标题中的'Rare'即指此策略。全文检验其收益是否来自稀有性本身，结论是它本质上只是对'诱饵被谁持有'的一次押注——平均而言与随机策略无异。
交叉（因子）实验设计
把多个因素的水平完全正交组合的实验设计：本文将支持、诱饵、无关三组事实的归属各取共享/私有两水平，得到 $2^3=8$ 种组合，且每个模板的事实句子在所有变体间保持不变。这样可以独立估计每个因素的效应及其交互作用，而不会把'事实内容'与'谁持有它'混在一起。
CrossProfile 的全部诊断力来自这一设计：任何策略准确率的波动都可以归因到具体的归属因素组合，而现有基准（如 HiddenBench）做不到这一点，只能给出被混淆的平均值。
社会证明偏差与共同知识效应
决策者的一种启发式：一条事实被越多的人陈述或持有，就被赋予越高的证据权重。人类群体研究中对应的'共同知识效应'指更多成员持有的信息在群体判断中权重更大。本文中共享事实是集中分派的而非独立观察所得，署名标签并不携带额外证据，但决策模型仍照加不误。
这是论文分离出的第三种、独立于记忆策略的失败来源：同样的事实在不同署名下准确率相差十几到二十几个点。去标签与随机重排标签的对照实验是理解该结论的关键证据。
研究动机
当一个 LLM 智能体团队的讨论被压缩成简短记忆、交给最终决策者时，保留什么证据就成了决定性问题。两种自然启发式是稀有优先（保留被最少人陈述的事实）与相关性优先（保留与决策标准相关的事实），在 HiddenBench 这类隐藏画像基准上前者显得极为出色：论文在受控讨论中测得 Qwen2.5-7B 上稀有优先准确率 88.2%、Llama-3.1-8B 达 87.7%，而证据保持式摘要只有 51.3% 与 59.0%。但这组数字藏着混淆：在 HiddenBench 上，只含私有事实的记忆准确率高达 91.3%，只含共享事实的记忆却跌到 5.6%，甚至低于空记忆的 35.4%——因为该基准的共享事实恰好全部指向错误选项。换言之，'事实被多少人持有'与'事实是否有利于正确答案'完全纠缠，稀有优先的惊人收益可能只是'丢弃共享事实'的副产品，而非稀有性本身的价值。相关性优先则面对另一重困境：诱饵事实按定义就是与标准相关的真话，再完美的相关性过滤器也无法排除它。现有评测无法指出这两种启发式各自在什么条件下失败、失败到什么程度。
本文的目标是本文要回答三个问题。第一，稀有优先的收益究竟来自稀有性本身，还是来自'稀有事实恰好有用'这一基准巧合？第二，相关性优先是否是安全默认——即使话题相关性过滤完美无缺，它能否区分支持事实与诱饵事实？第三，当记忆内容完全相同时，最终决策模型自己是否会引入额外的偏差？为此作者构建了 CrossProfile 诊断基准：60 个模板覆盖 12 个决策领域，每个模板 4 个智能体、3 个选项、12 条事实（5 条支持、3 条诱饵、4 条无关），并把三组事实的归属（共享或私有）各自独立交叉，得到 $2^3=8$ 种归属变体、共 480 个任务；所有变体中事实文本一字不改，答案键由事实角色结构推出并经自动校验器验证。配合随机策略参照、固定保留条目数、预言机相关性、去标签与随机重排标签等对照，论文把记忆策略、相关性过滤与决策模型三者的责任逐一分离，并进一步用自然讨论检验真正的瓶颈是否出现在记忆之前。
与已有工作不同的是，本文的独特切入有三点。其一，自 Stasser 与 Titus 1985 年以来的隐藏画像研究和 HiddenBench 等 LLM 群体评测都只观察'自然发生'的证据归属，归属与内容天生纠缠；本文第一次把归属当作可操纵的自变量做完全交叉——文本不变、归属变，于是任何准确率波动都只能归因于'谁持有哪类事实'。其二，论文不满足于端到端准确率，而是设计了一整套归因对照：用随机策略检验首提顺序效应、用固定保留条目数消除'稀有优先恰好少选'的混淆、用预言机相关性区分过滤误差与原理性失败、用去标签与随机重排标签分离署名效应与位置效应，从而把'记忆选错了'与'决策模型读错了'两种失败分开。其三，作者把镜头拉到记忆之前：在自然讨论中统计私有事实被完整转述的比例，发现证据在讨论阶段就已丢失——这一'上游瓶颈'视角是此前记忆架构与多方对话记忆基准（如 GroupMemBench）未曾覆盖的。
核心方法
直觉上，一条事实对决策的价值取决于两件事：它支持正确答案还是竞争选项，以及决策者会给它多大权重；任何只看流行度或话题的记忆规则都可能在这两点上同时出错。论文的技术路线是构建一条可精确控制这两点的流水线：模板把 12 条事实分派给 4 个智能体，受控条件下脚本化讨论确保每条分派事实都被原样说出；随后一个记忆策略在 token 预算 $B_{tm}(r)=r\,|\tau_m(F_t^{all})|$（$r\in\{0.4,0.6,0.8\}$，$F_t^{all}$ 是模板全部事实按四个持有者标签计价后的文本，因此预算在归属变体之间固定）内压缩讨论；最后由一次独立决策调用，仅凭任务描述、选项列表与记忆作答，使用与讨论相同的模型权重，答案键与角色标签对生成端全程隐藏。记忆策略包括：稀有优先 R1、首次提及 B4、随机 Random、证据保持式摘要 B3、相关性优先 R1-rel（先经一次只看描述与事实文本的过滤器分梯队）、按发言者轮换的 M1，以及无预算的空记忆、全事实与完整记录 REF 三个对照。主要结果指标是决策准确率与证据保留率，主推断基于三个预注册对比量 $h_1,h_2,h_3$，用 10000 次模板自举给出 95% 置信区间并做 Holm 校正。
核心创新是把'事实文本'与'事实归属'彻底解耦。每个模板的支持、诱饵、无关三组事实各自独立地在共享与私有之间切换，得到 8 个归属变体；变体之间共享完全相同的句子，答案键由角色结构推出并经自动校验器验证——每个模板都要求全量事实下正确选项唯一胜出、仅计诱饵事实时诱饵选项胜出、仅计支持事实时正确选项胜出，70 个模板全部通过校验。于是同一段文本在不同变体下被策略以不同概率保留，'策略×归属'交互得以被干净识别：预注册假设 H1 度量的正是稀有优先对首次提及选择的优势对诱饵归属的依赖。与已有工作的本质区别在于：HiddenBench 等基准的归属是给定的观察量、与内容纠缠，只能得出'某策略平均更好'的结论；CrossProfile 是诊断仪器，能把'策略押对了归属位置'与'策略本身更优'区分开——论文证明前者的成分远大于后者。另一关键设计是脚本化讨论保证每条分派事实必然出现，使记忆选择能对照一份已知证据清单评估，而非对着未知语料盲测。
方法步骤详情
方法分八步。①构建模板：60 个正式模板覆盖 12 个决策领域（医院设备采购、校餐供应商、公交线路、仓库选址等各 5 个），每模板 4 智能体、3 选项、12 条事实——支持组 3 支持正确选项、2 反对诱饵；诱饵组 2 支持诱饵、1 反对正确选项；无关组 2 正 2 负；先定角色结构再写句，赋中性 ID 随机排序，角色标签永不向模型展示。②交叉归属并自动验证答案键，得 480 个任务。③受控讨论：各智能体按随机发言顺序、随机事实顺序陈述分派事实，共享事实必在首位发言者回合出现。④记忆压缩：复制类策略（R1/B4/Random/M1）从已知声明清单整条装入预算，行首保留 $[A1,A2]$ 式贡献者标签；B3 按词数上限 $\max(1,\lfloor B/1.3\rfloor)$ 生成证据保持式摘要；R1-rel 先经一次相关性过滤器（只见描述、选项与事实文本）分梯队。⑤决策调用：温度 0，仅见描述、选项与记忆，输出'推理+决策'，格式无效重试一次后计错。⑥统计：60 模板 10000 次自举，Holm 校正 H1–H3（r=.6 为主）。⑦对照：随机参照、固定保留 7 条、预言机相关性、去标签/随机重排标签、DeepSeek-V4.1-Flash（60 模板）与 V4-Pro（30 模板）、128 token 固定预算复检。⑧自然讨论：HiddenBench 65 任务按'初始投票—两轮消息—最终投票'协议进行，从消息抽取声明清单建记忆，另做四种提示消融。
技术新颖性
新颖性有四层。基准设计上，'交叉归属+固定文本'的双重控制在 LLM 记忆评测中尚属首次，它把机制性问题（策略为何失败）转化为可定位的格子（哪种归属组合下失败），而现有长程回忆基准与多方对话记忆基准只能报告被混淆的平均性能。测量方法上，论文不满足于端到端准确率，而是预注册三个交互对比并配套完整对照族——随机参照排除首提顺序效应、固定条目数消除条数混淆、预言机相关性区分过滤误差与原理性失败、去标签与重排标签分离署名与位置——这套归因方法学可推广到任何记忆评测。概念发现上，论文识别出决策模型中的'社会证明'：署名标签让共享事实多获 6 到 17 点的隐性优势，而本设计中共享事实是集中分派而非独立观察所得，标签并不携带额外证据；这是人类群体'共同知识效应'在讨论结束之后的类比物。论证方式上，'准确率随保留事实的净证据领先单调上升（领先 $-2$ 时 13.5%/10.3%，$\ge+4$ 时 96.2%/96.1%），且在含净领先与无关事实语气的随机截距 logistic 回归中策略项失去显著性'这一量化结果，把'记忆策略不重要、证据平衡才重要'从直觉变成了统计事实。
实验结果
四组核心发现。其一，受控 HiddenBench 上稀有优先大胜：r=.6 时 Qwen 88.2%、Llama 87.7%，对摘要 B3 平均 +29.2/+26.7 点；但参照记忆揭示混淆——只含私有事实达 91.3%/90.3%，只含共享事实仅 5.6%/4.6%，低于空记忆的 35.4%/36.4%。其二，CrossProfile 上稀有优先平均不比随机好（64.0% vs 64.5%、63.0% vs 63.4%），但其对 B4 的优势对诱饵归属强烈依赖：H1 为 +64.6/+62.6 点（Holm p<.001，Flash +62.6）；经典格（私有支持/共享诱饵）中 R1 达 96.7%/97.2% 而 B4 跌至 26.1%/31.1%，镜像格完全反转（B4 96.1%/95.6%，R1 22.2%/18.3%）。其三，相关性优先平均最好（R1-rel 72.6%/74.6%，H3 +8.5/+15.6 点）却在经典格崩塌：R1-rel−R1 为 −22.2/−20.0 点，预言机相关性 −23.3/−31.1、Flash −32.2——尽管其过滤器精确率 99.4%、召回率 98.9%；机制是相关性梯队放行约 2 条共享诱饵（Qwen R1-rel 选中 4.43 支持/1.89 诱饵/2.16 无关，R1 为 4.98/0.01/4.00）。其四，决策模型遵循社会证明：全事实记忆在支持共享时比私有时高 21.0/13.8 点；经典格去标签 +14.4/+13.3 点（Flash +24.4，72.8%→97.2%），随机重排标签 +12.8 点，但支持共享/诱饵私有时去标签反降 10.6 点。汇总：准确率随净证据领先单调上升（−2 时 13.5%/10.3%，+2 时 76.0%/75.6%，≥+4 时 96.2%/96.1%），回归中策略项失去显著性；经典格中 B4 有 71.1% 的决策选了诱饵。自然讨论中所有策略无差异（R1−B3 为 −1.4/−3.1 点），完整记录低于空记忆，群体投票仅 23.6–31.8% 而全事实达 62–90%，Flash 讨论中私有事实完整转述率仅 1.7%；证据优先提示只救活 Llama（REF +30.8 点）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 受控 HiddenBench 决策（Qwen2.5-7B，r=.6，65 任务×3 种子） | 决策准确率(%) | R1 稀有优先 88.2 | B3 证据保持式摘要 51.3 | +36.9 点；跨预算平均 +29.2 点（但实为丢弃共享事实的副产品） |
| CrossProfile 全归属平均（Qwen2.5-7B，r=.6，60 模板×8 变体） | 决策准确率(%) | R1 稀有优先 64.0 | Random 随机 64.5 | −0.5 点，平均无优势（Llama 上 −0.4 点） |
| CrossProfile 经典格：私有支持/共享诱饵（Qwen，r=.6） | 决策准确率(%) | R1 96.7 | B4 首次提及 26.1 | +70.6 点（Llama：97.2 vs 31.1，+66.1 点） |
| CrossProfile 反转格：共享支持/私有诱饵（Qwen，r=.6） | 决策准确率(%) | R1 22.2 | B4 96.1 | −73.9 点，优势完全反转（Llama：18.3 vs 95.6） |
| CrossProfile 经典格的相关性过滤（三模型，r=.6） | R1-rel−R1 准确率差(点) | Qwen −22.2、Llama −20.0、Flash −32.2；预言机相关性 −23.3/−31.1/−29.4 | R1 稀有优先 | 为负：即使完美过滤器也损失 23–31 点，因诱饵本就相关 |
| CrossProfile 经典格去标签（全事实记忆） | 决策准确率变化(点) | Qwen +14.4、Llama +13.3、Flash +24.4（72.8%→97.2%） | 带署名标签的同一记忆 | 去除社会证明加权后大幅提升；随机重排标签也 +12.8 点 |
| 自然 HiddenBench 讨论（65 任务×195 讨论/模型） | 群体最终投票准确率 / 完整记录 REF 准确率(%) | 投票 23.6–31.8%，REF 22.1–33.8%（低于空记忆 33.8–36.9%） | 全事实记忆 61.5–89.7% | 为负：证据在讨论阶段已丢失，记忆策略无从补救 |
局限与改进
局限分两类。作者承认的：本地仅用 7-8B 模型（Qwen2.5-7B、Llama-3.1-8B）加两个托管 DeepSeek 模型，未覆盖更大或推理增强模型，效应是否随能力增强而消退未知；Llama 的 headroom 检验（全事实−空记忆 +23.6 点，区间下界 11.3）未达预注册的 15 点阈值，其 HiddenBench 结果被降为探索性；自然讨论的披露测量依赖字符串匹配启发式，可能低估转述比例。我观察到的额外局限：其一，受控讨论是脚本化的，每条事实必然被逐字说出，与真实多轮对话相距甚远，记忆策略在含观点、冲突与噪声的杂乱语料上的表现仍未被检验；其二，准确率以构造的答案键为准，任务要求'等权标准下最佳整体记录'却不告知评分规则，衡量的是与键一致而非决策质量本身；其三，设计固定为 4 智能体、3 选项、12 条事实，论文自己在相关工作中指出 LLM 群体偏差随组规模非线性变化，结论外推到不同规模存疑；其四，社会证明效应只测了'行首署名标签'这一种表现形式，真实系统中重复陈述可能确实反映独立观察，何时该加权、何时该弃权缺乏判据；其五，修复手段（去标签）牺牲出处可追溯性，论文未提供两全方案；其六，任务全部为英文短句事实，跨语言迁移未验证。
独立分析的弱点
独立分析的弱点及改进方向。第一，诊断结论'决策跟随证据平衡'意味着要做得更好就必须判断证据方向，而真实系统中无人预知哪个选项正确——论文能定位失败却给不出可直接部署的替代策略；改进方向是研究'平衡感知'的压缩，例如让摘要显式记录每个选项的正反证据条数并保持两侧对称呈现。第二，社会证明的去偏手段只有去标签或随机重排，两者都破坏出处信息；可探索不暴露人数的出处表示（如仅列来源 ID 不做聚合），或在决策提示中显式声明'陈述人数不构成证据强度'。第三，自然讨论中证据丢失的修复是模型依赖的：证据优先提示让 Llama 的 REF 提升 +30.8 点（配对消融 +25.1），Qwen 却无响应（−2.1 点），论文未解释原因，值得研究指令遵循能力与证据转述行为的关系。第四，共享事实总在首位发言者回合出现，使 B4 与共享归属高度耦合，虽然随机参照与固定条目数对照弥补了这一点，H1 中仍有部分效应内建于参照；可用更多发言顺序随机化进一步纯化。第五，诱饵构造较人工（每模板固定 3 条片面真话、语气规整），真实采购或评审场景中误导信息更长尾、更分散，可引入多源冲突与噪声事实扩展基准。第六，仅英文任务与统一写作风格，中文等其他语言与更长事实的迁移性待验证。
未来方向
未来方向分作者提出与可延伸两类。作者明确提出：记忆系统设计应面向'保留证据的平衡'而非流行度或话题；当来源非独立时，不应把'多人陈述过'当作证据强度呈现给决策者；评测应操纵证据归属，并在评判记忆之前先检查证据是否进入过讨论。可延伸的研究包括：把 Consilience 这类讨论中干预（追踪证据与冗余的校准通信控制器）与本文的讨论后记忆选择串联成全链路系统，检验两端修复是否叠加；把'净证据领先'从解释变量升级为优化目标，构造按证据平衡选择的学习式记忆压缩器，并以 CrossProfile 的 8 变体作训练与验证信号；研究社会证明随模型规模与推理能力的变化曲线，验证其是否为能力不足的副产品；将交叉归属设计移植到多方自然对话记忆基准（如 GroupMemBench），检验结论在含闲聊、观点与重复表述的真实语料上的稳健性；探索组规模效应——固定 4 人设计之外，归属偏差与社会证明是否随人数放大或衰减；以及在决策提示中加入'标签不等于证据'的元信息声明，测试无需改变记忆表示即可消除社会证明权重的低成本方案。
复现评估
复现条件良好、门槛低。开源承诺：论文明确表示将在发表时发布代码、全部模板以及所有生成的讨论、记忆与模型输出；附录 A.1 逐字给出全部提示词（决策调用、B3 证据保持摘要、相关性过滤器、自然讨论协议、声明抽取与查重），A.5/A.7 给出统计与实现细节（10000 次模板自举、Holm 校正、p 值公式、vLLM 配置、选项顺序按种子轮换）。算力：本地模型仅 7-8B，vLLM 部署在两块 NVIDIA T4 GPU（fp16、8192 上下文）即可运行；托管部分通过 DeepSeek API（温度 0、关闭思考），附录给出调用计数可估算开销（如 Flash CrossProfile 8466 次有效决策、174 次无效）。实验规模：CrossProfile 60 模板×8 变体×3 种子×多策略，HiddenBench 65 任务×每模型 195 场讨论，外加提示消融重新生成全部 65 任务。难度评估：若直接使用将开源的基准与生成数据，复现主要是重跑推理与统计，难度中低；若从头重建基准，自动校验器（唯一答案键、诱饵子集胜出、支持子集胜出、提示词检测）规则明确但实现需细心。总体属于可复现性较好的工作。
论文图表
概念示意图。(a) 有用事实为私有时，稀有优先保留分散的支持证据；(b) 误导事实为私有时，同一规则转而优先保留误导证据；(c) 展示支持/诱饵/无关三组归属交叉生成 $2^3=8$ 个变体、事实文本保持不变。每个圆点代表一个智能体持有的一条事实，填充点标记持有者，右侧方框显示稀有优先选择保留的内容，诱饵为真实但片面的标准相关事实，角色标签不向模型展示。
一图道破全文动机：稀有性本身没有好坏，其收益完全取决于谁持有诱饵；(c) 的交叉设计是整篇论文诊断力的来源，是理解所有后续实验格子的钥匙。