← 返回 2026-05-06

通过编排轨迹研究基于大语言模型的多智能体系统的强化学习 Reinforcement Learning for LLM-based Multi-Agent Systems through Orchestration Traces

Chenchen Zhang 📅 2026-05-04 👍 9 2026-07-13 08:36
LLM智能体 Survey 功劳分配 多智能体RL 编排学习
arXiv HuggingFace PDF

以"编排轨迹"为统一抽象，串联奖励、功劳与编排三轴来梳理LLM-MAS强化学习文献。

前置知识

Dec-POMDP（去中心化部分可观测马尔可夫决策过程）

Dec-POMDP 是经典多智能体强化学习的标准形式化框架，将单智能体 POMDP 扩展到 n 个智能体在共享状态但仅有部分观测下做联合动作；它刻画了"训练时集中、执行时去中心化"（CTDE）的核心设定，是 VDN、QMIX、MAPPO、MADDPG 等算法的共同底座。

本文提出的动态 Dec-POMDP $M^+$ 直接扩展自 Dec-POMDP，若不熟悉其状态-观测-动作-奖励的基本结构，无法理解 $M^+$ 如何在 spawn/despawn 之外继承经典协作 MARL 的术语。

GRPO（组内相对策略优化）

DeepSeek-R1 时代成为单智能体推理 RL 主流的算法：不学 value 网络，而是在同一 prompt 下采样 K 条 rollout 用组内归一化的优势来更新策略，公式为 $\hat{A}_i = (r_i - \text{mean}(r))/\text{std}(r)$；结构简单、显存友好，在数学/代码任务上几乎取代了 PPO。

本文 80% 以上的多智能体方法将 GRPO 直接搬到多智能体场景，本文的核心观察之一（Dr. MAS [15] 也有实证）就是：这种"组归一化不做智能体维度的归一化"会在长轨迹上变得不稳定，所有本文提出的奖励/功劳层分解都与这个不稳定源头有关。

信用分配 / Credit Assignment

强化学习中"谁该为最终结果负责"的问题：在稀疏终局奖励下，需要把一条轨迹的成败回溯分配到中间的 token、动作、子智能体甚至工具调用上。古典 MARL 给出 COMA 反事实基线、Shapley 边际贡献、差分奖励等方法；本文把这一概念进一步扩展到"事件图"上的多粒度。

本文把信用粒度细分为八个层级（团队→编排者→角色→智能体→回合→消息→工具→token），并指出现有 LLM-MAS 工作中消息级和编排者级信用几乎空白；要理解本文贡献必须先熟悉经典信用分配方法。

研究动机

在大模型智能体从单兵作战走向团队协作的背景下，现有的学术工作存在两类典型盲区。一是奖励设计只盯着"任务对错"这一单一末端信号，忽视了多智能体系统独有的系统级性质——并行加速比、子任务切分正确性、聚合质量、终止时机；二是学术工作几乎都默认把团队 reward 套上一个单智能体的 GAE/GRPO 就完事，把每个子智能体的轨迹"拼接"起来回传梯度。当 Kimi K2.5 公开的训练编排者已能调度 100 个子智能体、1,500 个协调步骤，K2.6 把部署包络扩到 300 子智能体、4,000 步时，主流文献却仍用 $T \lesssim 10^2$ 的小规模 trace 做评测，这导致监督信号被均匀摊薄到几百几千步上变得低 SNR，连 Dr. MAS [15] 的实验都观察到"naive GRPO 在多智能体上训不稳"的病征。

本文的目标是本文的核心目标是为 LLM 多智能体强化学习确立一个统一的、可审计的分析对象——"编排轨迹 $G=(V, E, \ell_V, \ell_E)$"——并围绕它把零散的学术文献组织成三套正交分类法：奖励设计（八个家族 R1–R8）、信用分配（八个信用/信号承载单元，team→token）、编排学习（五个子决策 O1–O5：何时生成派谁如何通信如何聚合何时停）。同时希望把工业系统的部署形态与学术评测形态之间的"规模鸿沟"显式化，给从业者一个跨方法可比的术语表。

与已有工作不同的是，已有的工作要么是覆盖单智能体 agentic RL 的综述（如 500+ 篇 agentic RL 综述），要么是覆盖 LLM-MAS 架构/协作机制而不谈训练，要么是经典 MARL 的工具集回顾（VDN/QMIX/MAPPO/Shapley），本文是第一个将"多智能体 × RL/后训练 × LLM 智能体"这三者交集在三维度上同时做精细分类的工作；并且明确把工业级 Kimi PARL 编排奖励、Anthropic 可信智能体框架中的可驾驭性（steerability）、Claude Code 子智能体接口反推到学术研究问题上，提出 15 个开放方向，其中"何时停止"（O5）、"未发生分支的反事实信用"（P4）、"超长轨迹上的信用扩散"（P1）在其 84 篇论文池里完全没有对应训练方法。

核心方法

本文并不是算法型论文，而是一篇以"调度轨迹"为支点的 taxonomy/position paper。整体思路分两层：先用 Dec-POMDP 的动态扩展 $M^+ = \langle I_t, S, A(\cdot), A_{\text{spawn}}, P, \Omega, r, \gamma \rangle$（其中 $I_t \subseteq \mathbb{N}$ 是随时间变化的智能体集，$A_{\text{spawn}}$ 是 spawn/despawn 的离散动作空间）在概念上把"智能体数量可变、动作空间因角色/harness 而变、消息/工具/聚合都是事件"三件事纳入同一个形式体系；在 $M^+$ 上定义"编排轨迹" $G = (V, E, \ell_V, \ell_E)$（顶点集 $V = V_{\text{orch}} \cup V_{\text{spawn}} \cup V_{\text{msg}} \cup V_{\text{tool}} \cup V_{\text{ret}} \cup V_{\text{agg}}$，边集 $E \subseteq V\times V$ 携带 spawn/msg/return/aggregate 标签），把古典"轨迹序列"看成 $|V_{\text{spawn}}|=0$ 的特例；然后在这层抽象之上，沿奖励、信用、编排学习三条线铺开三套互相耦合的分类表，所有引用条目都打上 18 列的受控标签（来源类别、RL 相关性、奖励家族、信用粒度、编排形式、证据级别），形成一个可机械审计的论文池。

核心创新是把奖励设计、信用分配、编排学习这三件通常被分开讨论的事，用"末端 team reward 必须选某个粒度层承载"这件事强行耦合起来——即 §3.5 的 reward-credit dual：奖励越密集（process/orchestration）就把功劳扩散负担推给奖励端，奖励越稀疏（仅 R1 团队末端）就把同一负担推给 §7 的信用分解。古典 MARL 给的 Shapley/COMA/difference rewards 就被重新解读为"在哪个层级分担负担"的开关。这一对偶解释了为什么 Kimi PARL 的 $r_{\text{orch}} = r_{\text{perf}} + \lambda_1 r_{\text{parallel}} + \lambda_2 r_{\text{finish}}$（R7+R8 复合）中两个辅助项的权重必须随训练退火到 0：它们本质是早期脚手架，晚期是潜在的 hacking 漏洞。第二个核心创新是显式指出"未发生分支无法反事实评估"（Observation 2），把 orchestration 的 spawn 决策从古典 Q-learning 的可识别性条件中切割出来，因此在 §7 表格里把消息级和编排者级两列空缺直接命名为研究机会。

方法步骤详情

方法步骤分四步。第一步 corpus 构建——四轮搜索（arXiv/ACL/OpenReview/官方主页，关键词族多智能体×RL/后训练/信用分配/编排/工具/提示注入）配 PRISMA 风格日志：116 候选、84 入池（51 focal + 33 supporting）、32 按"超出范围/重复/信号不足"剔除，入池条目按 18 列受控标签手工分类。第二步形式化——把 Dec-POMDP 扩展为 $M^+$，引入 $A_{\text{spawn}}$ 和动态 $I_t$，定义 trace 为 $G=(V,E,\ell_V,\ell_E)$ 的事件图，导出图条件化贝尔曼恒等式 $V^\pi(G_{\leq t}) = \mathbb{E}_\pi[r_t + \gamma V^\pi(G_{\leq t+1}) \mid G_{\leq t}]$，提出 Observation 1（均匀信用在 $n$ 大时 per-decision signal 趋零）和 Observation 2（spawn 反事实在 on-policy 上不可识别）。第三步三套 taxonomy——奖励按 8 家族 R1–R8、信用按 8 承载单元 cross-tab 84 条目（表 11 为核心）、编排按 5 个子决策 O1–O5。第四步工业-学术桥接——表 6/7 分级证据等级，Kimi K2.5/K2.6（300 子智能体、4,000 步）vs 学术 $T\lesssim 10^2$ 规模落差做 Figure 6/7，并附 18 列 CSV、统计脚本、JSON Schema 编排轨迹与 trace validator。

技术新颖性

技术新颖性体现在三方面。其一，把动态 Dec-POMDP $M^+$ 写成了一个"记账抽象"，不宣称新解概念、不证收敛/可识别性率，而是借助两条 informal Observation 把后续分类绑成可引用的论点；这种"以分类表当作新工具"的策略在 MARL/LLM 交叉领域尚无先例。其二，提出了一个跨越 8 个粒度的多维信用矩阵（Table 11，84 条目×7 粒度），其交叉表直接显示消息级（2 条）和编排者级（8 条）显著稀疏于 agent/role 级（23 条/10 条），这是工业部署推进学术必须正视的"证据缺口地图"；同类矩阵没有先例。其三，把"何时停止"（O5）显式列为从未被训练过的子决策，与工业系统（Kimi K2.6 4,000 步部署）成本失控直接关联；这类成本-信用交叉视角在已有综述中都未单独建立。

Paper map（论文地图）
Figure 1: Paper map（论文地图）
Corpus construction flow（语料构建流程）
Figure 4: Corpus construction flow（语料构建流程）
Six recurring agent-team topologies（六种典型拓扑）
Figure 5: Six recurring agent-team topologies（六种典型拓扑）
Harness as training-frozen interface（harness 作为训练冻结接口）
Figure 8: Harness as training-frozen interface（harness 作为训练冻结接口）
Eight credit-bearing units in LLM-MAS（LLM-MAS 中八个信用承载单元）
Figure 12: Eight credit-bearing units in LLM-MAS（LLM-MAS 中八个信用承载单元）
Decision-tree heuristic for credit assignment（信用分配决策树）
Figure 13: Decision-tree heuristic for credit assignment（信用分配决策树）
Trajectory τ vs orchestration trace G（trajectory 与 orchestration trace 对比）
Figure 14: Trajectory τ vs orchestration trace G（trajectory 与 orchestration trace 对比）
Three orchestrator training regimes（三种编排者训练机制）
Figure 16: Three orchestrator training regimes（三种编排者训练机制）

实验结果

由于本文是 survey，主要发现来自 meta-analysis。规模鸿沟（图 6/7，log-log 坐标）：Kimi K2.5（100 子智能体 ×1,500 步）和 K2.6（300×4,000）占据右上角，学术方法（M-GRPO、MALT、SHARP、MATPO、C3、Agent Lightning、Puppeteer 等）多数落在 $K\sim 10$、$T\sim 10^2$ 区域，差距 1–2 个数量级。Table 1 给出 84 条入池 facet 计数：42 RL 方法 / 18 benchmark / 10 经典 MARL / 6 工业；reward family hybrid 15 / shared 10 / orchestration 7 / verifier 6 / NA 33；信用粒度 agent 23 / role 10 / orchestrator 8 / turn 5 / message 2 / NA 36。Table 2 交叉表最细抵达 message 仅 2 条，其中仅 C3 是显式反事实。Figure 2 时间线显示 18 个月窗口里 MALT/MAGRPO/Dr.MAS/MarsRL 集中在 agent credit 行，K2.5/K2.6 才出现 orchestrator credit 行且仍稀疏；message credit 行 18 个月来几乎空白。Table 12 显示 SWE-Bench/WebArena/GAIA 等只报 E1 任务成功率，没有任何 benchmark 在 ~$10^3$–$10^4$ 步 trace 上联立覆盖 E1–E4。§6.3 给出 5 个 MAS 特有的 reward hacking 失败模式：pseudo-parallelism（Kimi PARL 用 Critical-Steps 对抗）、lazy agent（SHARP 用 Shapley 对抗）、communication padding（Debate-as-Reward 用 resolution-based reward）、tool-spam（MATPO/Agent Lightning 用下游 outcome 调工具奖励）、verifier-policy collusion（目前多靠异质验证 family 缓解）。LatentMAS [84] 把消息通道换成连续潜空间后获得 +14.6%，是当前最便宜的"绕开 message credit 问题"路径。

Coverage statistics of the 84-entry retained pool（84 条入池语料的覆盖统计）
Table 1: Coverage statistics of the 84-entry retained pool（84 条入池语料的覆盖统计）
Reward family × signal/credit granularity cross-tab（奖励家族 × 信号粒度交叉表）
Table 2: Reward family × signal/credit granularity cross-tab（奖励家族 × 信号粒度交叉表）
Six recurring agent-team topologies（六种重复出现的智能体团队拓扑）
Table 5: Six recurring agent-team topologies（六种重复出现的智能体团队拓扑）
Evidence levels for industrial sources（工业来源的证据等级）
Table 6: Evidence levels for industrial sources（工业来源的证据等级）
Claim-confidence ledger for industrial evidence（工业证据的主张-置信度台账）
Table 7: Claim-confidence ledger for industrial evidence（工业证据的主张-置信度台账）
Eight families of rewards for LLM-MAS RL（LLM-MAS RL 八种奖励家族）
Table 10: Eight families of rewards for LLM-MAS RL（LLM-MAS RL 八种奖励家族）
Two-dimensional taxonomy of credit and signal assignment（信用与信号分配的二维分类表）
Table 11: Two-dimensional taxonomy of credit and signal assignment（信用与信号分配的二维分类表）
Benchmark landscape for LLM-MAS evaluation（LLM-MAS 评测 benchmark 地形图）
Table 12: Benchmark landscape for LLM-MAS evaluation（LLM-MAS 评测 benchmark 地形图）
Minimal reporting checklist for MAS-native evaluation（MAS-native 评测的最低报告清单）
Table 14: Minimal reporting checklist for MAS-native evaluation（MAS-native 评测的最低报告清单）
Attack vectors against LLM-MAS, organized by credit-bearing unit（按信用承载单元分组的攻击向量）
Table 15: Attack vectors against LLM-MAS, organized by credit-bearing unit（按信用承载单元分组的攻击向量）
Compact coverage map（覆盖矩阵图）
Figure 3: Compact coverage map（覆盖矩阵图）
Rollout cost across representative operating regimes（各种运行机制下的 rollout 成本）
Figure 7: Rollout cost across representative operating regimes（各种运行机制下的 rollout 成本）
Kimi PARL three-term reward annealing schematic（Kimi PARL 三项奖励退火示意）
Figure 11: Kimi PARL three-term reward annealing schematic（Kimi PARL 三项奖励退火示意）
查看结构化数据
任务指标本文基线提升
跨方法可比的功劳分配对照评测（survey-derived） 信用粒度覆盖（信息单元数 + 是否反事实） 本文 Table 11 矩阵：84 条入池条目中，agent-level 23 条、role 10 条、orchestrator 8 条、turn 5 条、message 仅 2 条（C3 唯一显式反事实）；orchestrator 列在 84 条池中也只有 ~8 条，且其中明确做"orchestrator 决策优化信号"的仅 Puppeteer/Kimi PARL/WideSeek-R1 三家 古典 MARL 信用分配方法（Shapley、COMA counterfactual、VDN/QMIX、MAPPO），它们都已成熟但假设固定 n、显式信道、固定类型动作，不直接迁移 首次把 18 个月文献按"信用粒度 × 机制"二维打通；指明 message-level（+1 个反事实 C3）和 orchestrator-level（3 个真正做优化的方法）是缺口最大的两列，给出可填空的入口
MAS-native 综合评测（提议性，尚未实施） E1 任务准确 / E2 并行效率 / E3 协作质量 / E4 协议开销 联立 本文 §9.4 推荐 5 项 benchmark 设计原则 B1–B5（B1 维度完整、B2 trace 长度按 $T\in\{10^1,10^2,10^3\}$ 分层、B3 同任务多拓扑 ablation、B4 内置 AV2/AV3/AV4 攻击对照组、B5 公开 trace 可重放）；Table 14 给出最小报告清单 现有 SWE-Bench、WebArena、GAIA、τ-bench、ToolBench、MTU-Bench、OSWorld、MultiAgentBench、TAMAS 等都只覆盖 E1+ 部分 E4 未实施，仅作为论文推荐；提出的 Minimal Trace Schema（JSON）已可在仓库中实测 replay，目前没有任何 benchmark 在 ~$10^3$–$10^4$ 步 trace 上联立覆盖 E1–E4

局限与改进

作者在 §12 主动声明五条局限。第一 curated 而非 exhaustive：只入池 84 条，未走 PRISMA 数据库导出+多盲标注。第二单作者分类：18 列标签单点裁定，无 inter-annotator agreement。第三工业源不可复现：Kimi K2.5 是唯一公开 RL 训练机制的工业条目；Codex、Claude Code、K2.6、Anthropic 工程案例只描述"部署形态/规模/harness 边界"，不推断未公开的训练目标。第四形式化仅为 organizing argument：$M^+$、Observation 1/2 没给出对噪声/基线/图动态的显式假设，也没有收敛/可识别性率。第五时间窗 2026-05-04 截止，新论文/报告都会改变 message-credit、orchestrator-credit、adaptive-deliberation、trace-level safety 等列。我自己的观察：(a) "harness as frozen context"（Eq. 7）目前只有 Agent Lightning [40] 显式作为合同约束提出；(b) $C_{\text{rollout}}(G)\approx \sum_i L_i c_{\text{tok}}+T_i c_{\text{tool}}+C_{\text{orch}}(K,|G|)$ 没覆盖多模态工具的极端 $c_{\text{tok}}$ 不对称场景；(c) MAGIC [65] 是少数 attacker-defender 联合 RL 训练的安全论文，训练稳定性/收敛性无数据。

独立分析的弱点

独立分析本文弱点有四点。其一，taxonomy cell 的"填充度"被用作研究机会的代理指标——但入池门槛"训练过 LLM-MAS、文档化工业接口、提供 benchmark/safety 用例"会自我加强，message 和 orchestrator 两列稀疏不等于学界不想做，更可能是门槛卡掉了 SIGIR/HCI/系统方向的相关工作（论文承认没用上 single-agent agentic-RL 综述的 500+ 篇方法全集）。其二，在奖励-信用对偶的论证中（图 9），作者主动放弃给出 $\text{SNR}(t)\propto 1/\sqrt{T}$ 之类的闭合率，把影响降到"heuristic warning"，但这削弱了对 Kimi 4,000 步 trace 上的工程预算论证强度，工程读者会问"再多 K 次训练后这是发散还是收敛"；其三，对偶视角虽然简洁，但忽略了一种情况：奖励密度与信用粒度都低时（比如只有 R1 团队 reward + token-level GAE），信号仍有可能通过 self-play-style 涌现（如 SPIRAL [34]、MARSHAL [75]），这类"低密度高表达性"路径在 15 个开放问题里被遮蔽；其四，安全一节把 steerability 借 Anthropic 工程框架改名映射到信用分配问题，是有启发的类比，但缺少形式化：人类在 trace 中点 $t$ 干预的影响函数、intervention-conditional reward 都没有定义。

未来方向

作者列出的 15 个方向按重要性分三层。基础设施层：P15（MAS-native benchmark 在 ~$10^3$–$10^4$ 步 trace 上联立 E1–E4）、P10（变形状 graph replay buffer 与匹配的 advantage normalization）、P9（rollout cost：straggler-robust 异步训练、更深层的层级 rollout 调度），这些枢纽突破可解一系列其他问题。算法层：P1（长轨迹信用扩散的形式化理论）、P4（unrealized branch 反事实评估，需要 learned counterfactual estimator 或 importance sampling over realized branches）、P5（$k$ vs $k'$ 训练-推理拓扑不匹配的泛化条件）、P3（one-dominant-agent collapse 的多样性奖励）、P2（大规模 Shapley 在 $n\gtrsim 100$ 时的可近似性）。reward 层：P6（tool-spam 定价原则）、P7（verifier-policy collusion 形式化防范）、P8（PRM 主导梯度漂移的形式化）。安全层：P12（inter-agent prompt injection）、P13（steerability as RL objective）、P14（dynamic spawn 的 sandbox 隔离规范）。个人追加：(a) 把 LatentMAS [84] 的"换介质"与 C3 [7] 的反事实消息信用正交组合；(b) 把 §7.3 failure modes 转成 synthetic 单元测试作为新方法上线最低门槛。

复现评估

复现评估分两部分。文献复现——本文没有训练实验，"复现"等于复审 84 条入池条目：作者在 GitHub xxzcc/awesome-llm-mas-rl 上开源了 (i) retained-entry CSV（18 列受控字段）、(ii) exclusion log CSV（32 条带链接剔除决策）、(iii) statistics script（重生成 Table 1/Table 2/Table 22 的计数与交叉表）、(iv) JSON Schema orchestration trace + 最小有效 trace 示例、(v) 无依赖 Python trace validator（required fields/event types/edge references/dup IDs/non-negative costs 的结构检查）、(vi) 让 taxonomy claim 可被脚本检验的统计快照。形式化复现——$M^+$ 和 trace 的文字定义足以让读者重写代码，但收敛率、可识别性率作者明示未证，需要后续理论论文。第三方复现工业案例基本不可行：Kimi PARL 公开了 reward decomposition 和 scale envelope 但 optimizer、data、ablation 未公开；Claude Code C-compiler 工程案例只给运维描述（16 个并行 Claude、~2,000 session、约 100,000 行 Rust）。整体复现难度低于做一项新研究，但读者需要一个能跑 statistics script 并扩展 CSV 的小工程。

论文图表

Timeline of representative LLM-MAS entries, Q4'24 to Q2'26（时间线）
Figure 2: Timeline of representative LLM-MAS entries, Q4'24 to Q2'26（时间线）

横轴是 arXiv 提交日期（2024-Q4 到 2026-Q2，共 18 个月窗口），纵轴按"信用承载单元"分行（F=framework、O=orchestrator、R=role、A=agent、T=turn、M=message），圆点标注论文条目（MALT、MAPoRL、MAGRPO、HERA、Agent Lightning、Kimi K2.5/K2.6、Dr.MAS、MarsRL 等）。

直接支撑 §1.1 "为何是现在"的论点：几乎全部 corpus 集中在 18 个月窗口，并且 orchestrator 与 message 两行始终稀疏。

Industry–academia scale gap（工业-学术规模鸿沟）
Figure 6: Industry–academia scale gap（工业-学术规模鸿沟）

对数-对数坐标系，横轴是 trace length（$10^1$–$10^4$），纵轴是 team size（$10^0$–$10^3$）：蓝色点为学术 LLM-MAS RL 典型评价规模（M-GRPO/MALT/SHARP/MATPO/C3/Agent Lightning 等），红色实心点为 Kimi K2.5（100 子智能体、1,500 步）和 K2.6（300 子智能体、4,000 步），红色空心点为 harness-based 工业部署形态证据（Codex/Claude Code）。

是 §1.1 与 §5 的核心图，直接支撑"学术评价在 1–2 个数量级短于工业部署"的论点，回答读者"差距到底多大"。

Schematic per-step signal-to-noise under three credit schemes（三种信用方案的 per-step 信噪比示意）
Figure 9: Schematic per-step signal-to-noise under three credit schemes（三种信用方案的 per-step 信噪比示意）

横轴是 trace length $T$（对数 $10^1$–$10^5$），纵轴是 per-step signal/noise；蓝色曲线大致为"uniform credit"，随 $T$ 增长下降到近似 training-instability threshold；绿色虚线为 role/message 分解（trace 被切到短子问题）；红色点线为 orchestrator critic（target 集合更小）；作者明示曲线是示意而非拟合律，公式 (8) $\text{SNR}(t)\equiv \mathbb{E}[A_t|s_t,a_t]/\sqrt{\text{Var}[A_t]}$ 给在右下方。

是 §3.4 Observation 1 与 §5.3 "credit fragility with trace length" 的视觉证据，把抽象的"credit diffusion"变得可读。

Five orchestration sub-decisions O1–O5（五个编排子决策）
Figure 15: Five orchestration sub-decisions O1–O5（五个编排子决策）

横向排列五个决策 O1=when to spawn（Kimi PARL/AgentSpawn/HALO）、O2=whom to delegate to（Puppeteer/ParaManager）、O3=how to communicate（Debate-as-Reward/LatentMAS）、O4=how to aggregate（M-GRPO/Context-Folding）、O5=when to stop（dashed red box："no published training method"）；都从 orchestrator's decision chain 切出。

直接传达 O5 "何时停止" 是论文最具号召力的一处开放问题——是 §8.2 与 §11 P 系列最直观的入口图。

Attack-surface map for LLM-MAS orchestration trace（LLM-MAS 编排 trace 的攻击面图）
Figure 17: Attack-surface map for LLM-MAS orchestration trace（LLM-MAS 编排 trace 的攻击面图）

底物结构复用了 Figure 14 的 orchestrator→sub-agents→tools→shared memory，叠加 8 个红色 AV1–AV8（AV1 直接提示注入、AV2 间接提示注入、AV3 消息污染、AV4 共享内存投毒、AV5 工具参数升级、AV6 orchestrator misdirection、AV7 reward-hacking across agents、AV8 sandbox escape）；右侧图例列出每个 AV 对应的 §7.1 信用粒度层（AV1/AV6→orchestrator 层、AV2/AV5/AV8→tool 层、AV3→message 层、AV4→role/agent 层、AV7→team 层）。

是 §10 的攻击-信用映射图，把"信用承载单元"和"攻击落点"压在同一个 trace 上，是把安全与信用分配挂钩的最关键可视化。