多智能体接力思考：置信度引导的异构模型协作框架 MACR Multi-Agent Relay Thinking
校准跨模型置信度，让异构模型接力生成，精度超单模型且token开销省6倍
前置知识
多智能体协作（MAC）与群体思考
多智能体协作指多个大模型通过交互共同解决任务。现有方法绝大多数遵循群体思考（group thinking）拓扑：各智能体独立生成完整解答，再通过辩论、投票或聚合整合输出，如 Majority Vote 和 H-DMAD。这类范式中信息只在各自回答完成后才交换，生成过程本身是并行割裂的。
本文提出的接力思考是与群体思考相对的新拓扑，理解后者的并行聚合特征才能看出接力的本质差异。
局部置信度与滑动窗口
语言模型每生成一个 token 都有一个对数概率，序列置信度是对整段输出取平均。本文改用滑动窗口计算局部置信度 $W^{i}_{m}(w)=\frac{1}{w}\sum_{j=0}^{w-1} c_{i-j}$，即最近 $w$ 个 token 的平均对数概率（实验取 $w=16$），用于在生成过程中实时定位推理瓶颈，而非事后评价整段回答。
置信度是全文唯一的决策信号，既决定何时接力也决定谁来接，是理解方法的前提。
ANOVA F 检验
单因素方差分析中，F 值等于组间方差与组内方差之比：F 远大于 1 说明各组均值差异显著超过组内随机波动，F 约等于 1 说明组间差异已降到噪声水平。论文对三个模型在 MMMU 1,000 个样本上的局部置信度做检验，校准前 F=13.31，Z-score 标准化后降到 1.01。
F 值是「异构模型置信度不可比」这一关键论断的定量证据，也是校准有效性的验收标准。
Z-score 标准化
将数值减去均值再除以标准差，转换为以 0 为中心、量纲无关的分数。本文对每个模型用其在历史参考集上的窗口置信度均值 $\mu^{(w)}_m$ 与标准差 $\sigma^{(w)}_m$ 做变换 $Z^{(w)}_{i,m}=(W^{i}_{m}(w)-\mu^{(w)}_m)/\sigma^{(w)}_m$，把不同模型的置信度拉到同一尺度，从而可以跨模型比较与竞价。
这是实现跨模型竞价的核心技术：没有标准化，置信度数值大只反映模型习惯而非真实把握。
KV 缓存（KV Cache）
Transformer 自回归生成时会把已处理 token 的 Key/Value 中间状态缓存下来，续写时只需增量计算新 token，无需重新编码整个历史。接力生成要求接手的模型对共享上下文各自维护独立的 KV 缓存，新模型只需对新拼接的 w 个 token 做 prefill。
接力能省 token 的工程前提是各模型独立维护 KV 缓存，这直接决定方法的实际推理开销。
研究动机
现有多智能体协作（MAC）方法几乎都遵循「群体思考」拓扑：多个智能体各自独立生成完整解答，再通过辩论、投票或聚合得到最终答案。这一范式有两个突出代价。其一是生成浪费严重：每个智能体都要从头写完整回答，例如在 MMStar 上 H-DMAD 消耗 24,677 个 token，而最强单模型策略 MiniCPM-V CCoT 只需 1,564 个，精度从 68.13% 提升到 73.20% 的代价是约 16 倍的 token 开销。其二是协作只发生在回答完成之后：单个模型在生成中段遭遇的推理瓶颈（视觉定位失败、因果推断卡壳）无法被其他模型的互补能力实时挽救。作者还指出一个被忽视的基础障碍：异构模型的原始置信度（对数概率）因架构、词表与概率分布差异而不可比——对 Qwen3 VL、InternVL 3.5、MiniCPM-V 4.5 在 MMMU 上 1,000 个样本的局部置信度做 ANOVA 检验得 F=13.31，远大于 1，说明组间差异远超组内噪声，直接跨模型比较置信度会系统性偏向标度偏高的模型。
本文的目标是本文要把多智能体协作从群体思考改造为「接力思考」拓扑：同一份推理轨迹被异构模型顺序继承、修正与延长，推理所有权在生成过程中动态转移。要实现它必须回答两个问题：何时转移——当前模型是否真的遭遇瓶颈；交给谁——哪个模型最适合续写。量化目标为：在四个多模态基准（MathVista、LogicVista、MMStar、HallusionBench）上精度全面超过最强单模型策略，同时以远低于现有多智能体方法的 token 开销与之打平——最终做到 MathVista +3.30%（78.00% 对 74.70%）、MMStar +3.87%（72.00% 对 68.13%），token 开销比 H-DMAD 省 6.0 倍，IBC（每 token 增益）在所有数据集上最优（MMStar 21.35 对 H-DMAD 的 2.83）。此外机制应任务无关：不依赖任务类型、固定轮次或人工路由规则。
与已有工作不同的是，已有 MAC 研究分协作流优化与失败诊断干预两支，但都围绕群体思考拓扑展开，模型产出序列级完整回答，聚合发生在生成之后；置信度相关研究虽用不确定性量化引导协作，同样停留在序列级评估，从未处理过异构模型间置信度不可比的问题。本文抓住了三个被忽视的点。第一，认知科学早有「接力思考」概念（Michael, 1998）：一人发展出中间想法后转交他人继续完善，这种顺序知识传递模式从未被引入 MAC 拓扑设计。第二，判断瓶颈不应看整段回答的置信度，而应看生成过程中的滑窗级局部置信度，才可能在中途干预而非事后补救。第三，置信度跨模型不可比是一个可以被量化（ANOVA F=13.31）也可以被廉价消除（直方图标准化后 F=1.01）的问题，校准之后置信度才能充当跨模型竞价的公共货币。三者组合构成了全新的接力式协作框架。
核心方法
直觉上像接力赛跑：不是三个人各跑全程再比成绩，而是同一条赛道一棒接一棒，某一棒速度掉下来（信心不足）就把棒交给此刻状态最好的队友，共同跑出单人跑不出的成绩。技术路线分两阶段。离线阶段建立可跨模型比较的置信度度量：让模型池（Qwen3-VL-8B-Instruct、InternVL3.5-8B、MiniCPM-V-4.5-8B）在 MMMU 随机抽取的 1,000 个样本上推理，用大小 $w=16$ 的滑动窗口计算局部置信度（最近 w 个 token 的平均对数概率），统计出每个模型的基线均值 $\mu^{(w)}_m$ 和标准差 $\sigma^{(w)}_m$。在线阶段运行「发起—监控—竞价—接力」循环：初始竞价选出起点模型；随后逐步监控领先模型的校准置信度 $Z^{(w)}_{t,m}$，一旦跌破阈值 $\tau=-0.3$ 即暂停生成，让全部候选模型基于共享上下文各试写 w 个 token 竞标；校准置信度最高者胜出，其 token 序列拼接进共享上下文，生成权移交并继续监控，如此往复直至完成。
核心创新是把校准后的局部置信度当作异构模型间的「公共货币」，用一个信号同时回答何时接力与谁来接。与已有方法的本质区别有三层。第一，协作拓扑从并行聚合变为串行接力：群体思考中各模型产出互不相干的完整回答再融合，而 MACR 中所有模型续写同一条不断延长的推理轨迹，后续模型继承全部前序上下文，并各自用独立 KV 缓存增量解码，无需重复 prefill。第二，干预粒度从序列级降到窗口级：先前方法在完整回答生成后才评估聚合，MACR 在每个时间步用滑窗实时监控领先模型的校准置信度，跌破 $\tau=-0.3$ 即刻触发竞价，瓶颈在被卡死之前就被定位。第三，决策信号经过跨模型校准：作者发现异构模型原始对数概率分布存在显著偏移（ANOVA F=13.31），直接比较会失真；用各模型历史分布做 Z-score 标准化后 F 降到 1.01，且正确与错误轨迹的置信度可分（图 4），因此竞价选出的是「此刻相对自身最佳水平发挥最好的模型」，而非「置信度绝对数值最大的模型」。
方法步骤详情
第一步（离线校准）：输入为 MMMU 随机抽取的 1,000 个样本，池中三个模型分别推理，按式 (1) 计算滑窗局部置信度 $W^{i}_{m}(w)=\frac{1}{w}\sum_{j=0}^{w-1} c_{i-j}$，汇总出每个模型的基线均值 $\mu^{(w)}_m$ 与标准差 $\sigma^{(w)}_m$，并用 ANOVA 验证标准化后组间差异消失（F 从 13.31 降至 1.01）。第二步（发起）：给定初始上下文 $X_0$，所有模型各生成 w 个 token 候选序列，按式 (4) 计算平均对数概率并校准，取 $Z^{(w)}_m$ 最大者为初始领先模型。第三步（监控）：领先模型自回归生成，每个时间步 t 按式 (5) 计算当前窗口校准置信度 $Z^{(w)}_{t,m^*}$，若小于 $\tau=-0.3$ 则判定遭遇瓶颈并暂停生成。第四步（竞价）：把当前上下文 $X_t$ 同步给每个候选模型，各试写 w 个 token，按式 (6) 选出校准置信度最大的 $m^*=\arg\max_m (\overline{\log p}_m-\mu^{(w)}_m)/\sigma^{(w)}_m$。第五步（接力）：胜出序列按 $X_{t+w}=X_t\oplus T_{m^*}$ 拼入上下文，生成权移交，各模型独立维护 KV 缓存避免重复 prefill，回到监控步骤循环直至完成。超参 $w=16$、$\tau=-0.3$ 在与评测集不重叠的 600 个 RealWorldQA 样本上搜索得到，全程无训练。
技术新颖性
新颖性体现在四点。其一，据作者所知这是首个指出并量化异构模型置信度不可比问题的工作：先前不确定性引导的协作研究只在序列级使用置信度并默认各模型分数可比；本文用 ANOVA 证明偏移存在（F=13.31），并给出极低成本的标准化修正（F=1.01）。其二，提出接力思考这一新的协作拓扑，与群体思考、辩论、投票等并行范式正交，可叠加到任意异构模型池。其三，竞价机制把模型选择变成生成过程中的即时博弈：每个候选模型用真实试写的 w 个 token 报价，比 H-DMAD 那种给不同 agent 预分配 CoT/CCoT/DDCoT 推理策略的静态路由更能反映模型对当前上下文的适配度。其四，工程上利用每模型独立 KV 缓存实现无缝接力，额外开销仅为竞价时的试写 token，而非整段重解码，这是 6 倍 token 节省能够成立的技术保障。
实验结果
主实验（表 1）显示 MACR 在四个基准上全面超过最强单模型策略并逼近多智能体方法：MathVista 78.00±0.17%，比最强单模型 MiniCPM-V CCoT 的 74.70% 高 3.30 个百分点，token 仅 4,811（H-DMAD 需 23,780）；MMStar 72.00±0.12%，比 68.13% 高 3.87 个百分点，token 4,150 约为 H-DMAD 24,677 的六分之一；HallusionBench 74.66±0.28%，高于最强单模型的 73.61%，token 4,414 对 26,375（省 6.0 倍）；LogicVista 55.80±0.39%，略超 H-DMAD 的 55.58%。以 IBC（$\Delta$Acc/$\Delta$Tokens）衡量性价比，MACR 全数据集第一：MMStar 21.35 对 H-DMAD 的 2.83（+18.52），MathVista 15.38 对 2.63（+12.75）。消融实验（表 2，MMStar 500 样本）逐项验证模块必要性：固定发起 FI 降至 70.40–71.60%，固定路由 FS 69.00%，固定触发 FT 69.80%，均低于完整 MACR 的 72.40%（312 token）。路由分析（图 6a）显示无模型垄断：MiniCPM-V 4.5 自转移率最高仅 59.7%，InternVL 3.5 到 Qwen3 VL 为 22.4%，反向 26.9%。生存分析（图 6b）显示 MiniCPM-V 4.5 早期存活最高（risk 数 3,151 对 1,163 与 1,658），InternVL 3.5 后程稳定，Qwen3-VL 长程保持最差。同质池实验（表 3）中角色扮演 RPH 得 64.80–70.20%、温度解码 TDH 得 63.60–68.80%，均远低于异构池的 72.40%，证明收益来自真实架构互补。词元画像（图 7）发现各模型卡壳词不同：InternVL 停在 analyze/examine 等分析词，MiniCPM 停在 position/top/left 等空间词，Qwen3-VL 停在 since/therefore 等因果词。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MathVista（1,000 样本，视觉数学推理） | Accuracy (%) / Tokens / IBC | 78.00±0.17%，4,811 tokens，IBC 15.38 | 最强单模型 MiniCPM-V CCoT 74.70%；多智能体 H-DMAD 78.80%（23,780 tokens，IBC 2.63） | 对最强单模型 +3.30%；token 仅为 H-DMAD 的约 1/4.9，IBC +12.75 |
| MMStar（1,500 样本，综合多模态能力） | Accuracy (%) / Tokens / IBC | 72.00±0.12%，4,150 tokens，IBC 21.35 | 最强单模型 MiniCPM-V CCoT 68.13%；H-DMAD 73.20%（24,677 tokens，IBC 2.83） | 对最强单模型 +3.87%；token 省约 6.0 倍，IBC +18.52 |
| HallusionBench（951 样本，幻觉诊断） | Accuracy (%) / Tokens / IBC | 74.66±0.28%，4,414 tokens，IBC 7.71 | 最强单模型 DDCoT 73.61%；H-DMAD 75.50%（26,375 tokens，IBC 1.19） | 对最强单模型 +1.05%；token 省约 6.0 倍（精度低于 H-DMAD 0.84%） |
| LogicVista（448 样本，视觉逻辑推理） | Accuracy (%) / Tokens / IBC | 55.80±0.39%，6,149 tokens，IBC 7.89 | 最强单模型 MiniCPM-V CCoT 54.24%；H-DMAD 55.58%（27,574 tokens，IBC 1.27） | 对最强单模型 +1.56%，并超 H-DMAD 0.22%；IBC +6.62 |
| MMStar 消融（500 样本） | Accuracy (%) | MACR 72.40%（312 tokens） | 固定发起 FI 70.40–71.60%；固定路由 FS 69.00%；固定触发 FT 69.80% | 比各消融变体高 0.8–3.4 个百分点 |
局限与改进
作者未设独立的局限章节，可从文本归纳两点：其一，MACR 在 MMStar（72.00 对 73.20）和 HallusionBench（74.66 对 75.50）上仍低于 H-DMAD，本质是用少量精度换取大量效率，并非全面占优；其二，方法要求白盒访问 logits 并为每个模型维护 KV 缓存，闭源 API 模型无法参与，且三个模型需同时常驻显存。我的独立观察还有：阈值 $\tau=-0.3$ 与窗口 $w=16$ 是在 RealWorldQA 600 样本上搜出的全局单一值，而图 6c 已显示不同任务的瓶颈位置分布迥异（逻辑类早、视觉类晚），全局阈值可能次优；校准参考集是 MMMU，若实际推理分布偏离（如长上下文后期置信度漂移），标准化可能失准；每次竞价所有模型都要试写 w 个 token，单次接力增加 $N\times w$ 额外计算，串行多模型切换也可能拖高时延；实验仅覆盖三个 8B 级多模态模型与四个 VQA 类基准，纯文本推理、异构规模混池、代码生成等场景未验证；不同模型的对话模板与文风切换还可能造成上下文风格漂移，定性分析只展示了有限案例。
独立分析的弱点
第一，白盒依赖是硬约束：竞价需要 token 级对数概率与 KV 缓存管理，GPT、Claude 等闭源模型无法参与，方法被锁死在开源池内；改进方向是引入语言化置信度或多次采样一致率等黑盒置信度代理。第二，置信度不等于正确性：图 4 中正确与错误轨迹的置信度分布虽有可分性但重叠明显，持续过度自信的模型可能在接力中垄断生成权，论文未分析失败案例中是否存在「错误接力」；改进方向是加入验证器或答案一致性二次校验。第三，全局固定超参：$\tau$ 与 $w$ 不随任务和生成阶段调整，而图 6c 证明瓶颈位置强烈依赖任务类型（LogicVista 前段密集、MMStar 后段密集）；改进方向是在线自适应阈值或轻量学习型调度器。第四，接力打断单一模型思维链的连贯性，异构模型文风与推理格式差异可能引起上下文漂移，图 5 的定性分析缺少对失败接力的系统归因；改进方向是建立接力失败案例分析集。第五，效率收益部分以精度为代价（两个基准低于 H-DMAD），精度敏感场景需谨慎选用或调高阈值减少接力次数。
未来方向
作者在结论中期望接力思考推动动态模型调度研究，让推理所有权与接力时机全程自适应。可延伸的方向包括：把竞价从规则（校准置信度取 argmax）升级为学习策略，用强化学习以最终答案正确性为奖励训练接力时机与候选选择，与 MAPORL、STRONGER-MAS 等多智能体 RL 工作衔接；扩展到纯文本 LLM、代码生成与具身任务，检验拓扑普适性；引入异构规模模型池，研究大小模型接力是否比同规模更获益；在线重校准，在生成过程中动态更新 $\mu$ 与 $\sigma$ 以应对分布漂移；把接力与 test-time scaling 结合，在算力预算约束下决策继续生成还是触发接力；以及基于图 7 的词元画像构建可解释的瓶颈预测器，从被动检测走向主动预测。校准置信度作为跨模型公共货币的思想，还可推广到模型级联与投机解码中的模型切换决策。
复现评估
论文声明源码在 GitHub 开源（正文未附具体仓库链接，需检索作者主页确认）。复现要素齐备：三个模型均为开源 8B 级多模态模型（Qwen3-VL-8B-Instruct、InternVL3.5-8B、MiniCPM-V-4.5-8B），基准公开（MathVista 1,000、LogicVista 448、MMStar 1,500、HallusionBench 951），校准用 MMMU 子集 1,000 条、调参用 RealWorldQA 600 条均可下载。关键超参全部给出：$w=16$、$\tau=-0.3$，评测为 3 个随机种子的均值±标准差。算力方面需三个 8B 模型同时常驻显存并各自维护 KV 缓存，fp16 下约需 60GB 以上显存，单张 A100/H100 或多卡可行；无训练环节，纯推理框架。实现难点在多模型并行服务、token 级对数概率提取、KV 缓存接力管理与 IBC 评测协议复刻，总体难度中等，熟悉 vLLM/Transformers 的工程师一到两周可复现主干。
论文图表
对比两种协作拓扑：(a) 群体思考中各智能体独立产出 Response A/B/C，经讨论聚合出最终答案，信息只在回答完成后交换；(b) 接力思考中由一个模型发起想法，后续模型依次精炼与扩展，完整性沿 10%→20%→30%→100% 单线递进。
这是全文的问题定义图，一张图说清「接力思考」与现有群体思考的本质拓扑差异，理解它就理解了论文的立足点。
完整伪代码：输入查询 q、模型池 M、阈值 τ 与窗口 w；初始化上下文后循环执行 Monitor（逐 token 生成并计算窗口置信度 z）→若 z 小于 τ 触发 Bid（各模型试写并报价）→Best 选出胜者并 App 拼接其 token 序列，否则直接追加当前 token，直至生成完成。
把在线循环的精确控制流写成伪代码，是复现实现时最直接的对照材料。