PRISM：特权兄弟图引导的多智能体拓扑设计 PRISM: PRIvileged Sibling-guided Multi-Agent Topology Design
以训练期专属的兄弟图为特权信息，对多智能体拓扑生成器做在策略自蒸馏
前置知识
MAS 协作拓扑
基于 LLM 的多智能体系统可建模为有向无环图 $G=(V,E)$：节点是承担特定角色（如 Math Solver、Programmer）的 LLM 实例，边 $e_i^j=(v_j,v_i)$ 表示 $v_i$ 在提示词中接收 $v_j$ 的输出。智能体按拓扑序执行 $K$ 轮，最后由汇总器聚合答案，执行一次图的成本为 $K|V|+1$ 次 LLM 调用。拓扑决定了谁参与协作、信息如何流动。
本文的研究对象就是这个图：训练一个生成器为每个查询自动设计该图，必须先理解拓扑的形式化定义与 $K|V|+1$ 的执行成本模型，才能读懂主结果表的成本对比。
自回归拓扑生成器（ARG-DESIGNER）
把图生成拆成序列决策：$P_\theta(G|Q,R)=\prod_i P_\theta(v_i|G_{<i},Q,R)\cdot\prod_j P_\theta(e_j^i|v_i,G_{<i},Q)$，先逐步选角色（含可学习的 END 结束符以支持角色池扩展），再为每个节点生成入边决策。条件向量由 MiniLM 句子编码器（$d=384$）经 TaskProc 与角色 GRU 门控得到，训练最小化 $\mathcal{L}=\alpha\mathcal{L}_{node}+(1-\alpha)\mathcal{L}_{edge}$。
PRISM 直接在 ARG-DESIGNER 的部署架构上做后训练、不改结构，理解其决策空间（角色+END、每条边有无）是读懂蒸馏目标为何能『精确计算』的前提。
执行验证语料
对每个训练查询，实例化链、星、分层、全连接、网状等蓝图拓扑并赋随机角色后真实执行 MAS，只保留成功解题的查询-图对，构成 $\mathcal{D}=\{(G^{(c)},Q): S(\cdot)=1\}$。语料只记录哪些图解出了题，从不标注哪个图更好，同一查询通常对应多张成功图。
这是问题意识与方法的共同源头：监督信号免费但无偏好排序导致 SFT 漂移，而 PRISM 的兄弟图特权输入正是从这个语料中挖出的每查询信号。
特权信息学习
训练时可获得、部署时结构性不可获得的信息称为特权信息 $a$。经典做法是训练一个能读 $a$ 的教师再蒸馏给学生，使学生部署时无需该输入却继承其知识。本文中 $a$ 是同一查询的另一张成功图（兄弟图），训练结束后教师被丢弃，学生只看查询。
这是 PRISM 的命名来源与核心机制；理解特权信息与 shuffle、constant 等非特权控制的区别，才能看懂第 6 章『内容 vs 程序』的对照实验设计。
在策略蒸馏与 DAgger
DAgger 指出在示教轨迹上训练会使学生遇到自己偏离后产生的状态而无监督。在策略蒸馏（GKD、MiniLLM）让学生自己采样轨迹，再由教师在这些学生访问到的状态上给出软目标。本文每个优化步都重新采样 $M=4$ 条学生轨迹并用教师逐步重打分，采样不做任何修复。
PRISM 要解决的正是 teacher forcing 的训练-推理失配（exposure bias），Stage 2 的整个设计都建立在这个概念之上。
FiLM 调制与零初始化
FiLM 用 $\gamma(f_a)$、$\beta(f_a)$ 对特征做逐维仿射调制。PRISM 中教师条件向量为 $c_{teacher}=\text{TaskProc}(f_Q)\odot(1+\gamma(f_a)+\beta(f_a))$，$f_a$ 经 LayerNorm、dropout、线性映射到秩 $r=16$ 后过 tanh。输出映射零初始化使教师创建时与学生在函数上完全等价。
零初始化让『教师是否真在用特权通道』变成可测量量（式 7 的特权增益与 FiLM 范数），这是论文对照实验严谨性的关键证据来源。
反向 KL 散度
$D_{KL}(P_\theta\|P_{teacher})$ 以学生为第一个参数，是模式寻求（mode-seeking）的散度：当教师对同一查询的多张成功图对应多个模式时，反向 KL 倾向让学生集中到其中一个模式而非平均铺开；前向 KL 则是质量覆盖，会把学生摊到教师各模式上，重演 SFT 的平均化。
第 7.2 节消融显示反向 KL 平均 85.52 优于前向 84.85 与 JSD 83.90，且优势集中在数学基准上，理解模式寻求才能明白这个设计选择为何与 SFT 漂移问题对偶。
研究动机
基于 LLM 的多智能体系统（MAS）的效果高度依赖协作拓扑：哪些智能体参与、信息如何流动。ARG-DESIGNER 等工作用执行验证语料训练自回归生成器为每个查询定制拓扑，但现成的后训练手段只有继续 SFT：语料记录了每个查询由哪些图解出，却从不给出偏好排序。作者实测继续 SFT 会把输出分布向语料高频拓扑收敛——top-1 拓扑占比从冷启动的 0.171 升到 0.346——而下游收益在六个基准间剧烈不均：GSM8K 涨到 86.13%，AQuA 却从 75.20% 崩到 62.60%，比 ARG-DESIGNER 低 12.60%，即在一个任务上的收益以牺牲另一个任务为代价。此外还有 teacher forcing 的经典失配：训练在录制的构建轨迹上监督，推理时生成器却要面对自己此前决策产生的部分图，一旦偏离录制轨迹，语料对偏离后的状态没有任何监督，这与自回归模仿学习中的 exposure bias 完全同构。
本文的目标是目标是在不增加任何 MAS 执行、不改变部署架构的前提下，为已部署的自回归拓扑生成器设计一个后训练方法，把执行验证语料中『每个查询对应多张成功图』这一未被利用的每查询信号挖出来，同时修复 SFT 的两类缺陷：一是向语料高频拓扑漂移导致的跨任务此消彼长（AQuA 上 12.60% 的崩塌），二是 teacher forcing 造成的离轨迹状态无监督。理想情况下，改进应在全部六个基准（GSM8K、MultiArith、SVAMP、AQuA、HumanEval、MMLU）上一致为正，部署成本与原模型基本持平（每查询 LLM 调用次数几乎不变），且部署时的模型架构与 ARG-DESIGNER 完全相同。
与已有工作不同的是，独特切入是学习带特权信息：对每个训练查询，语料里还存在另一张同样解出该题的『兄弟图』，它在训练期可得、部署时结构性不可得。PRISM 克隆学生并给它加一条零初始化的低秩 FiLM 旁路读取兄弟图嵌入构成教师，再让教师在学生自己采样的部分图轨迹上逐步给出软目标——即用特权输入而非模型规模或早期检查点来区分教师与学生。这一视角同时打击两个病灶：兄弟图携带了同题另一种成功构法的每查询信号，抑制 SFT 式漂移；在学生访问的状态上重打分则直接填补偏离轨迹处的监督真空。与在策略蒸馏文献（GKD/MiniLLM）不同，这里的师生分离不靠容量差异，而靠信息差异，且决策空间小到每个散度都能精确计算。
核心方法
直觉：既然冷启动语料为每个查询存了多张成功图，就让一个『偷看』过兄弟图的教师，在学生自己走出来的轨迹上告诉学生下一步怎么选。技术路线分四步。Stage 0 冷启动：按 ARG-DESIGNER 原流程在执行验证图上训练学生得到 $\theta_0$（MIXCHAIN 语料 2,947 张图、1,014 个查询；MBPP 981 张；MMLU 1,890 张）。Stage 1 造教师：克隆 $\theta_0$，加零初始化秩 16 的 FiLM 分支读兄弟图嵌入，条件向量 $c_{teacher}=\text{TaskProc}(f_Q)\odot(1+\gamma(f_a)+\beta(f_a))$，全参数训练 40 轮（$lr=10^{-4}$），学生冻结；该通道仅约 2 万参数，对比全宽 59.2 万省 30 倍。Stage 2 在策略自蒸馏：每步为每个查询从当前学生采 $M=4$ 张完整拓扑（$\tau=1.0$），教师带特权输入、学生不带，对同一条轨迹逐步重打分，最小化 $\mathcal{L}_{PRISM}=(1-\lambda)\mathcal{L}_{KL}+\lambda\mathcal{L}_{anchor}$，30 轮。Stage 3 部署：丢弃教师，只留学生，架构与 ARG-DESIGNER 完全一致。
核心创新是把『教师-学生』的区分从规模差异或检查点差异改成输入差异：师生是同一架构、同源权重，唯一不同是教师多读一个特权输入 $a$（同题兄弟图）。这带来三个本质区别。其一，监督不再限于录制轨迹：学生在自己采样的部分图上偏离后，教师仍能给出每步决策的软分布，直接填补 SFT 的离轨迹监督真空。其二，特权通道以零初始化 FiLM 注入，教师创建时与学生函数等价，且『是否真在用通道』可由特权增益 $\Delta=\log P_{teacher}(G|Q,a)-\log P_{teacher}(G|Q)$ 直接测出——实测真实通道爬到 +2.45 nats 而 shuffle 对照恒为 0。其三，决策空间是小型分类（角色+END、每条边有无），每步散度可精确计算而非估计；配合模式寻求的反向 KL 与 $\lambda=0.3$ 的验证图锚定损失 $\mathcal{L}_{anchor}=-\log P_\theta(G_{real}|Q)$，既纠正漂移又不丢失原始监督。整个过程不需要任何新的 MAS 执行——轨迹采样只生成图结构而不运行智能体。
方法步骤详情
Stage 0：对每个训练查询实例化链/星/分层/全连接/网状蓝图（随机角色与智能体数），真实执行 MAS，只保留解题图，每对（查询，拓扑）至多留一张：MIXCHAIN 的 5,836 次成功执行压缩为 2,947 张图、1,014 查询，MMLU 自建 1,890 张，MBPP 得 981 张，各按查询切 20% 验证。Stage 1：把每张图转成角色与边的确定性文本，用冻结的 all-MiniLM-L6-v2 编码；对目标图 $G$ 从同题其他成功图中均匀抽兄弟图（文本表示与 $G$ 相同者跳过，每轮重抽；无兄弟则给零向量）。教师克隆 $\theta_0$ 并加秩 16 FiLM 支路（LayerNorm+dropout 0.1+线性到 $r=16$+tanh），用式 2 的加权监督目标训练全部参数 40 轮。Stage 2：每查询固定一张参考图供 $M=4$ 条 rollout 共享；每优化步为 16 个查询各采 4 条学生轨迹（$\tau=1.0$，从不修复），师生分别在带/不带 $a$ 下对轨迹重打分，最小化 $\alpha=0.2$ 加权的节点/边反向 KL，再加 $\lambda=0.3$ 的锚定项 $-\log P_\theta(G_{real}|Q)$，30 轮，梯度裁剪 1.0。Stage 3：删除教师，仅部署学生推理，评估时才应用修复规则（补边、去环、连通化）。
技术新颖性
与最接近工作的区别：相对 GKD/MiniLLM 等在策略蒸馏，本文师生不靠大小或新旧检查点区分，而是靠特权输入，且决策空间小到散度可精确计算；相对 DAgger，专家由教师模型即时打分替代。相对 ARG-DESIGNER 的 SFT 后训练，PRISM 挖掘了语料中『同题多解』的排序外信号，不需要任何偏好标注或新执行。特权通道设计本身也有巧思：秩 16 低秩 + tanh 的窄通道（约 2 万参数）是为语料只有 $O(10^3)$ 张图量体裁衣；消融显示 rank 从 16 到全宽（约 30 倍参数范围）性能波动不超过 2.7%、四个设置的平均差在 1.49% 内，说明收益不来自容量。零初始化让通道使用变成可测量的：真实通道特权增益爬到 +2.45 nats 而 shuffle 通道停在 0，FiLM 范数分别升至 3.10 与 1.15，证明教师确实读了内容，而非仅仅多了参数和训练步数——这套自我证明的实验协议本身就是方法论贡献。
实验结果
六个基准（Qwen2.5-7B-Instruct，Pass@1/准确率）上 PRISM 全面第一：GSM8K 88.02%（ARG-DESIGNER 79.98、SFT 86.13）、MultiArith 99.17、SVAMP 93.30、AQuA 76.38、HumanEval 82.32、MMLU 73.94。最有信息量的是 AQuA 列：SFT 比基线崩 12.60%（62.60 对 75.20），PRISM 反超至 76.38，对 SFT 领先 13.78%；而 MMLU 上对 SFT 仅 +0.72%，差距跨一个数量级。成本几乎不变：PRISM 每查询平均 3.04 个智能体、4.04 次 LLM 调用（基线 3.00/4.00），用 1% 额外调用换 2.56-3.24% 精度。机制上，SFT 把 top-1 拓扑占比从 0.171 推到 0.346，PRISM 降到 0.157，查询互信息超出量 0.160 nats 高于 SFT 的 0.051；难度对齐分组（表 4）中 AQuA 上 PRISM 在 SFT 用默认 crew 的 91 题上 +18.7%（McNemar $p=0.0001$）、其余 163 题 +11.0%（$p=0.003$）。最硬的证据是内容与程序解耦（图 2）：常数教师（平均 83.86）优于 shuffle 教师（82.58），但 PRISM 在全部六基准仍超常数教师（平均 +1.66%，sign test $p=0.031$），AQuA 分解为 62.60→71.65（在策略程序贡献 +9.05）→76.38（特权内容贡献 +4.73）。消融显示兄弟图通道六基准全胜（AQuA 上对次优通道 +14.96%）、反向 KL 平均 85.52 胜前向 84.85 与 JSD 83.90；三种子下 PRISM 在五个基准稳定胜过 SFT（MultiArith 属噪声），基准平均领先 3.18 远超种子波动（最大 1.94）。
![Frequency and conditional accuracy of SFT's modal role assignment, [Math Solver, Programming Expert, Programming Expert] on every benchmark.](/papers/2610.20628/images/table_3.jpg)
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GSM8K 数学应用题 | Pass@1 (%) | 88.02 | ARG-DESIGNER 79.98 / SFT 86.13 | +8.04 vs 基线，+1.89 vs SFT |
| MultiArith 数学推理 | Pass@1 (%) | 99.17 | ARG-DESIGNER 98.83 / SFT 98.83 | +0.34（附录 D 表明属种子噪声，该基准已饱和） |
| SVAMP 数学词题 | Pass@1 (%) | 93.30 | ARG-DESIGNER 92.50 / SFT 92.40 | +0.80 vs 基线 |
| AQuA 数学多选 | Pass@1 (%) | 76.38 | ARG-DESIGNER 75.20 / SFT 62.60 | +1.18 vs 基线，+13.78 vs SFT（SFT 在此崩 12.60） |
| HumanEval 代码生成 | Pass@1 (%) | 82.32 | ARG-DESIGNER 79.27 / SFT 80.49 | +3.05 vs 基线（HumanEval 仅作评测，未贡献训练图） |
| MMLU 通用推理 | accuracy (%) | 73.94 | ARG-DESIGNER 71.98 / SFT 73.22 | +1.96 vs 基线，+0.72 vs SFT |
局限与改进
作者自己承认：结果不能证明 PRISM 恢复了成功图之间的排序，也不能证明按查询定制 crew 是收益来源——附录 H 的干预实验中，固定 91 道 AQuA 题、只换角色组成（布线、轮数、骨干全固定），随机 crew（75.46%）与 PRISM 的 crew（77.66%）统计不可分（McNemar $p=0.6072$），打乱 PRISM 的 crew 分配也无差异（$p=1.0$），支持的结论仅是 SFT 的模态 crew 更差。我的补充观察：一是总训练算力不匹配——PRISM 多训 40 轮教师，学生阶段虽与 SFT 对齐，但这不是等算力比较；二是 MultiArith 已饱和（98.83 vs 99.17），主表该列的领先实为种子噪声（配对差 +0.06±0.26）；三是 23.1% 的 MIXCHAIN 查询没有兄弟图只能拿零向量，特权通道覆盖率受语料『同题多解』性质约束；四是全部实验限于 $K=1$ 轮通信与单一骨干 Qwen2.5-7B-Instruct，跨骨干与多轮设定未验证；五是小决策空间使精确 KL 可行，方法能否推广到大动作空间未讨论。
独立分析的弱点
弱点一：特权信息是『另一张成功图』而非更优图，教师只能传达同题另一种可行构法，上限受语料多样性制约——MIXCHAIN 中 23.1% 的查询只有一张成功图，通道退化为零输入；改进方向是引入执行成本或答案置信度等软偏好构造有信息量的特权向量。弱点二：干预实验（表 11-12）暴露收益可能主要来自『避开坏 crew』而非『选好 crew』：随机 crew 已达 75.46% 且与 PRISM 的 77.66% 不可分（$p=0.6072$），方法价值更多在防止 SFT 式坍缩，应在更大且不经 SFT 行为筛选的问题集上重做匹配检验。弱点三：无兄弟查询的零向量经 FiLM 后不保证恒等调制，论文也承认这点，可能对 23.1% 的 MIXCHAIN 查询注入噪声，可显式加门控。弱点四：每步为 16 查询各采 4 条轨迹并经师生各重打分一次，后训练前向开销不小，论文未报告 Stage 2 的墙钟时间与 GPU 成本。弱点五：蓝图语料各家族 solve rate 挤在 58.5-59.5% 窄带里，验证信号较浅，可能系统性过滤掉有区分度的失败模式，使『成功』标准偏宽松。
未来方向
作者明确提出三条：在代表性 held-out 问题上检验 crew-query 分配效应（附录 H 已是雏形，但问题集由 SFT 行为筛选、有检测偏倚）；在等算力预算下比较各后训练方法；考察跨骨干（换掉 Qwen2.5-7B-Instruct）的迁移。基于成果可延伸的方向：其一，把特权通道从『均匀抽的兄弟图』换成携带偏好信号的信息（执行成本最低、答案置信度最高的成功图），把 PRISM 从可行性蒸馏升级为偏好优化；其二，决策空间目前只有角色与边两类小分类，可推广到通信轮数、提示模板等更大空间，此时精确 KL 不可行需改用估计并重新权衡；其三，兄弟采样目前均匀随机且每轮重抽，可做基于师生分歧的主动采样，优先为信息量大的查询配兄弟；其四，把 none/shuffled/constant/real 四级教师对照协议推广为评估特权蒸馏类工作的标准范式；其五，$K=1$ 下 crew 组成是主导因素，多轮通信下拓扑的时序结构作用更大，值得检验方法在动态拓扑上的表现；其六，把特权思想迁移到其它序列决策生成器（如工作流合成、工具编排）验证普适性。
复现评估
复现条件较好。论文声称代码开源（审稿版写 this link，需从项目主页获取仓库）；训练语料全部来自公开资源：MIXCHAIN、MBPP、MMLU 的题目，蓝图执行由本地部署的 Qwen2.5-7B-Instruct 完成。算力开销主要在冷启动：MIXCHAIN 需 9,902 次、MBPP 需 1,991 次 MAS 执行，另加 MMLU 语料构建；后训练本身便宜（Stage 1 四十轮、Stage 2 三十轮，$lr=10^{-4}$，秩 16 通道仅约 2 万参数）。表 5 完整列出全部超参（$M=4$、$\tau=1.0$、$\alpha=0.2$、$\lambda=0.3$、反向 KL、16 查询/步、梯度裁剪 1.0），无逐基准调参；附录 D 给出种子 42/43/44 的均值与标准差，附录 F 给出语料切分与兄弟覆盖率（76.9%/87.1%/90.3%），附录 B 明示评估时才应用的图修复规则。主要门槛是需要本地推理服务支撑上万次 MAS 执行并复刻 ARG-DESIGNER 冷启动；若复用作者语料只做 Stage 1/2，门槛大幅降低。所有对照臂在同一执行栈下重跑而非抄论文数字，实验卫生习惯良好。
论文图表
柱状图对比六种特权通道（无/SFT、常数、上下文、工作解文本、图统计、兄弟图）在六个基准上的表现。兄弟图在全部六个基准第一，GSM8K 上超次优 3.26%，AQuA 上超 14.96%；context 通道在四个基准垫底，蒸馏自它会在 GSM8K 损失 5.84%。
说明『特权信息该放什么内容』：携带替代成功构法的兄弟图远胜于把题目+答案拼成字符串的朴素方案，且测得 context 通道特权增益约 0 nats，解释了为何直觉式的通道设计会失败。
两个面板的训练曲线：面板 A 显示真实通道在 held-out 图上的配对特权增益 $\Delta=\log P_{teacher}(G|Q,a)-\log P_{teacher}(G|Q)$ 随教师训练爬升至 +2.45 nats，而 shuffle 通道恒为 0；面板 B 显示 FiLM 范数从零初始化分别升到 3.10（真实）与 1.15（shuffle），证明优化器确实在训练两条通道。
排除『通道没用只是多了参数』这一替代解释的关键证据：shuffle 通道被真训练了（范数上升）却始终不携带信息（增益为 0），说明真实通道的增益来自内容本身。
FiLM 通道秩的消融图，横轴为相对 $r=16$ 的准确率变化，比较 $r=64$、$r=256$ 与全宽通道：所有设置偏离默认不超过 2.7%（最大是 MMLU 上 $r=64$ 的 -2.7%），四个设置的平均差在 1.49% 内且全部高于 SFT 的 82.28。
证明收益不来自通道容量：约 30 倍的参数范围（2 万到 59.2 万）内性能几乎不动，说明瓶颈是特权内容而非模型容量，堵住了『加参数就能涨点』的质疑。