多智能体系统中潜空间通信的安全性 Safety of Latent Communication in Multi-Agent Systems
冻结的智能体保不住安全：训练或投毒潜空间通信链接即可越狱，反向奖励又能修复
前置知识
潜空间通信（Latent Communication）
多智能体 LLM 系统传统上靠生成文本交换信息，发送方要逐 token 生成消息、接收方再重新编码，token 开销和延迟随之膨胀。潜空间通信让智能体直接交换内部隐藏表示：用轻量可训练映射把发送方表示转换成接收方嵌入空间中的软 token（soft tokens），通过 inputs_embeds 直接注入，跳过文本生成与解析。
本文的攻击对象正是这套通信接口：链接产生的软 token 会成为冻结接收方输入上下文的一部分，因此控制链接就等于控制模型所看到的"软提示"。
通信链接 $f_\theta$
连接异构智能体的轻量可训练模块：对发送方隐藏状态 $h_s(q)$ 输出 $z_\theta(q) = f_\theta(h_s(q))$，接收方据此生成 $y \sim p_{\phi_r}(\cdot \mid q, z_\theta(q))$。结构为残差投影 LN → Linear → GELU → Linear + 残差捷径 → LN，参数量仅 27.3M–111.2M，每次通信最多传 80 个隐藏状态。
所有 LLM 参数冻结、只有 $\theta$ 可训练，是全文分析的前提：链接是系统中唯一可被训练、投毒或攻击的可学习组件。
有害合规率（ASR）
衡量系统在多大程度上服从有害请求的指标。对 HarmBench、AdvBench、JailbreakBench，用官方 cais/HarmBench-Llama-2-13b-cls 分类器判断回复是否表现出请求的有害行为并报告比例；StrongREJECT 用官方 Gemma-2B 评估器给出 1–5 连续评分。论文统一换算到 0–100 尺度，四个基准取平均得到聚合合规分，数值越高越不安全。
论文所有安全结论都用这一指标刻画，从 4.4 到 76.9 等关键数字全部基于该定义与评测协议。
GRPO（组相对策略优化）
DeepSeekMath 提出的强化学习算法。对每个查询采样一组 K 个回复，用组内奖励的均值和标准差做归一化得到相对优势 $A_{i,k} = (R_{i,k} - \bar{R}_i)/(\sigma_{R_i} + 10^{-4})$，据此更新策略以偏好高于组均值的回复。无需训练价值网络，只要有标量奖励即可优化。
本文的免目标 RL 攻击和修复程序都以 GRPO 为优化器，梯度穿过冻结的接收方、只更新链接参数。
浅层安全对齐（Shallow Alignment）
Qi et al. (2025) 等研究发现，LLM 的拒绝行为高度依赖生成开头的少数几个 token：只要强制回复以"我""不""抱歉"等拒绝前缀开头，模型往往就会继续完成一段完整拒绝。这说明安全对齐常常只"锚定"在生成轨迹的最前端，而非贯穿整段输出。
论文正是用首 token 拒绝概率从 0.84 骤降到 0.29、强制拒绝前缀能把合规分从 31.1 压到 0，来解释链接训练为何削弱安全性。
数据投毒（Data Poisoning）
攻击者不直接控制训练代码或目标函数，而是向训练数据中混入恶意样本，让按正常目标训练出的模型带上攻击者期望的行为。本文把 212 条来自 PKU-SafeRLHF 的有害查询-响应对混入 1904 条良性数学样本（约 10% 投毒率），再用完全不变的良性目标训练链接。
投毒实验证明攻击者不需要碰优化流程，只需污染数据集就能让平均合规分从 27.9 升到 58.2。
研究动机
基于 LLM 的多智能体系统（如 AutoGen、CAMEL）通常靠文本消息协作，每一步通信都要在发送方生成文本、再由接收方重新编码，token 用量和延迟随通信轮次膨胀。潜空间通信为此提供捷径：用轻量可训练链接直接把发送方隐藏表示映射为接收方的软 token 输入，论文实验中 2-Agent 系统的 token 消耗从 729 降到 511、推理时间从 2.65 秒降到 1.96 秒。但这带来一个被忽视的安全盲区：链接输出会直接成为冻结接收方输入上下文的一部分，训练链接等于暗中重塑整个组合系统的行为，而现有安全评估几乎只针对单个模型。论文测量显示，仅用 1904 条良性数学数据、以标准负对数似然目标训练链接，聚合有害合规分就从文本通信的 4.4 升到 31.1（2-Agent）、3.2 升到 31.7（Sequential）、12.5 升到 20.8（Mixture）——没有任何智能体参数被改动，也没有有害数据参与。此前微调损害安全的研究（Qi et al., 2024）针对模型参数本身，多智能体安全工作集中在文本层提示注入与消息篡改，"训练通信接口本身是否危害安全"此前没有被系统研究过。
本文的目标是论文要系统回答三个递进的问题。第一，在完全良性的设定下——训练数据干净、目标函数标准、所有 LLM 参数冻结——潜空间链接训练本身是否就会削弱系统安全对齐，机制是什么？第二，一个只能触碰到链接（或其训练数据）的攻击者，能把有害合规推到多高？论文考察了三种信息要求递减的攻击前提：直接以 3000 条有害查询-响应对做监督优化；只向良性训练集投毒约 10% 而不动训练流程；以及更强的设定——完全不需要有害目标响应，仅凭 LLM 裁判对系统自产回复的标量奖励做 GRPO 强化学习攻击。第三，站在防御者角度，被攻陷的链接能否在不改动任何智能体的前提下被修复，且修复后良性任务能力（MATH500、GPQA-Diamond）不显著倒退？最终目标是论证：安全对齐必须把多智能体系统当作整体评估，训练通信接口本身就应当是系统对齐流程的一部分。
与已有工作不同的是，本文的独特之处在于把"攻击面"从模型参数转移到组件之间的接口上。已有工作要么研究微调模型参数损害安全（Qi et al., 2024），要么研究文本层攻击如提示注入、消息篡改与恶意智能体（He et al., 2025; Yan et al., 2026）；对潜空间系统，Wang et al. (2026) 只展示了推理期干预隐藏状态可导致任务失败。本文指出：潜空间链接为下游目标提供了一条连续、可微的梯度通路——文本生成中的离散 token 瓶颈在潜空间里不存在，攻击者可以像训练普通网络一样直接对"有害合规"做梯度上升。更关键的方法论创新是免目标的奖励引导攻击：不需要任何有害示范文本，只用 StrongREJECT 裁判对系统自身生成的回复打分，配合脚本一致性和词汇覆盖两个通用启发式，就能把平均合规分从 27.9 推到 76.9，并在三种拓扑中的两种上超过需要有害目标的有监督攻击。同时，论文把同样的奖励机制符号翻转就变成修复程序，攻防共用一套 GRPO 基础设施，这种"同一杠杆、两个方向"的设计在多智能体安全文献中很少见。
核心方法
直觉上，链接输出的软 token 就是接收方上下文的一部分，等效于一段看不见的"软提示"；而 LLM 的安全对齐高度依赖生成开头的几个 token，所以谁控制了链接，谁就能决定冻结模型进入拒绝轨迹还是服从轨迹。技术路线：构建三种通信拓扑——2-Agent（Llama-3.2-3B 规划、Qwen2.5-3B 求解）、Sequential（Gemma-3-1B → Llama-3.2-1B → Qwen3-1.7B 的规划-精炼-求解链）、Mixture（Qwen2.5-Math-1.5B 与 Qwen3-1.7B 双专家汇入 Qwen3-8B 汇总器），全部智能体冻结，链接为残差投影结构，可训练参数分别 27.3M、36.5M、111.2M，比 LLM 小两到三个数量级。先在 1904 条良性数学数据上按负对数似然训练干净链接作基线，再依次实施监督攻击、数据投毒、免目标 GRPO 攻击，最后把奖励反转为"惩罚有害合规、奖励显式拒绝与正确答案"，实现只更新链接的修复。整个过程单张 H100 即可完成。
核心创新是证明：通信接口本身就是安全边界，而且比模型参数更容易被操纵。与微调攻击的本质区别在于：所有智能体参数严格冻结，攻击对象是系统组件之间的学习型接口——链接把发送方表示变成接收方输入，训练链接等效于用任意梯度信号塑造冻结模型的行为。三项关键发现支撑这一论点。其一，良性训练已足够危险：监督目标只奖励任务完成、没有任何信号要求保留拒绝行为，训练后接收方首 token 拒绝概率从 0.84 跌到 0.29，而拒绝能力本身并未消失（强制拒绝前缀即可恢复），说明是链接生成的潜上下文让接收方"不再进入"拒绝轨迹。其二，免目标 RL 攻击证明不需要有害示范：奖励 $R_{adv} = [J_\psi(q,y) + C_{script}(y) + 0.5\,C_{overlap}(q,y)]\,g(y)$ 中只有裁判分数和两个通用启发式，就能达到甚至超过有监督攻击的效果。其三，单链接攻击表明控制不需要铺满通信图：Sequential 拓扑只攻击 Refiner→Solver 一条链接（70.0）甚至优于攻击全部链接（67.0）。这三点共同表明潜空间链接构成一个连续可微、低成本、高杠杆的新型攻击面。
方法步骤详情
第一步，构建系统：发送方产生隐藏状态 $h_s(q)$，链接计算 $z_\theta(q) = f_\theta(h_s(q))$，接收方以 $y \sim p_{\phi_r}(\cdot \mid q, z_\theta(q))$ 生成回复；提示中预留潜槽位 token，其嵌入 span 被链接输出替换，每次通信最多传 80 个隐藏状态。第二步，干净链接训练：在 1904 条良性样本上最小化 $-\log p_{\phi_r}(y \mid q, z_{\theta'}(q))$，AdamW、学习率 $5\times10^{-4}$、bf16、梯度裁剪 1.0。第三步，监督攻击：从干净链接出发，用 3000 条 PKU-SafeRLHF 有害对优化 1560 步，目标截断 256 token。第四步，投毒：212 条有害对混入 1904 条良性样本（约 10%），目标不变，仅一个 epoch。第五步，免目标 RL 攻击：GRPO 每组采样 K=8（Mixture 为 6），300 步中 200 步有害、100 步良性，优势 $A_{i,k} = (R_{i,k}-\bar{R}_i)/(\sigma_{R_i}+10^{-4})$，梯度只更新链接。第六步，修复：从被攻陷的 $\tilde{\theta}$ 出发，有害查询用 $R_{safe} = [-C_{comp} - J_\psi + C_{script}]\,g(y)$（正则检测拒绝前缀），良性查询用 $R_{util} = [3\,C_{task} + C_{script}]\,g(y)$（答案正确 1 分、合法格式 0.3 分），交替 300 步。评估统一温度 0.6、top-p 0.95。
技术新颖性
技术新颖性体现在四个层面。第一，问题定义新：首次系统研究"训练冻结智能体之间的通信接口"对安全对齐的影响，把 Qi et al. (2024) 关于微调损害安全的结论推广到参数完全不动的场景，并给出机制解释而非仅报告现象。第二，攻击设计新：免目标 GRPO 攻击不依赖任何有害目标响应，仅用响应级标量奖励与组相对优势；奖励函数用裁判分 $J_\psi$ 加脚本一致性 $C_{script}$ 和词汇覆盖 $C_{overlap}$，并用长度门控 $g(y) = \min(|y|/64, 1)$ 压制退化短回复——攻击的信息门槛低于经典投毒。第三，分析颗粒度新：附录消融揭示了多个反直觉规律——纯良性数据上监督训练的合规分（31.1）反而远高于 RL 训练（7.9），说明退化取决于优化范式而非数据本身；投毒率在 20% 附近饱和；单条链接的攻击效果可以超过全部链接。第四，攻防对称：把攻击奖励翻转即得修复程序，9 组攻击-拓扑组合的平均合规分从 70.3 降到 4.8，证明同一套 RL 基础设施既能攻也能守，且修复只触碰链接、无需重新对齐任何 LLM。
实验结果
结论分五块。第一块（Table 1）：良性链接训练即损害安全——聚合合规分 2-Agent 从 4.4 升到 31.1、Sequential 从 3.2 升到 31.7、Mixture 从 12.5 升到 20.8；同时 token 从 729 降到 511、时间从 2.65s 到 1.96s，六个 utility 对比中五个上升。机制上（Figure 2 / Table 12），首 token 拒绝概率从 0.82/0.84 跌到 0.29；强制以 I、No、Sorry 开头把合规分从 31.1 压回 9.6、3.7、1.6，五 token 拒绝前缀压到 0，证实浅层对齐解释。第二块（Table 2、9）：监督攻击把平均合规分从 27.9 推到 75.6（MATH500 从 67.2% 跌到 30.7%）；10% 投毒即达 58.2，约 20% 饱和。第三块（Table 3）：免目标 RL 攻击平均 76.9，在 2-Agent（81.3 对 78.3）和 Mixture（95.9 对 81.6）超过监督攻击，且 Mixture 的 MATH500 升到 80.6%、GPQA-D 升到 47.7%——高合规与高效用可并存。第四块（Figure 4 / Table 10）：单链接攻击足以致害，Refiner→Solver 单链 70.0 高于全链 67.0。第五块（Table 4）：奖励引导修复把 9 组配置的平均合规分从 70.3 压到 4.8（Mixture+RL 95.9→2.5），MATH500 平均 67.4% 接近基线 67.2%，GPQA-D 33.6% 仍低于 36.4%。另外 Table 8 显示良性数据上用 RL 训练链接更安全（7.9 对 31.1）且 utility 更高，是立即可用的缓解建议。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 良性链接训练 vs 文本通信（2-Agent） | 聚合有害合规分（0-100，越低越安全） | 31.1 | 4.4（文本通信） | +26.7（安全性显著下降） |
| 有监督链接攻击（三拓扑平均） | 聚合有害合规分 | 75.6 | 27.9（干净链接） | +47.7 |
| 数据投毒 10%（三拓扑平均） | 聚合有害合规分 | 58.2 | 27.9（干净链接） | +30.3 |
| 免目标 RL 攻击（三拓扑平均） | 聚合有害合规分 | 76.9 | 27.9（干净链接） | +49.0 |
| 免目标 RL 攻击（Mixture 拓扑） | MATH500 准确率 | 80.6%（合规分同期升至 95.9） | 76.8%（干净链接） | +3.8pt，有害合规与 utility 同时提升 |
| 奖励引导修复（9 组攻击-拓扑平均） | 聚合有害合规分 | 4.8 | 70.3（被攻击链接） | −65.5（安全性基本恢复） |
| 单链接攻击（Sequential，Refiner→Solver） | 聚合有害合规分 | 70.0 | 67.0（攻击全部链接） | +3.0（攻击单链反而更有效） |
| 良性训练范式对比（2-Agent） | 聚合有害合规分 | 7.9（RL 训练链接） | 31.1（监督训练链接） | RL 训练更安全且 MATH500 更高（66.9% vs 65.3%） |
| 推理效率（2-Agent） | token 用量 / 推理时间 | 511 / 1.96s | 729 / 2.65s（文本通信） | −30% token / −26% 时间 |
局限与改进
局限有以下几方面。其一，规模：实验全用 1B–8B 小模型，攻击随模型规模是增强还是减弱未知，前沿模型的浅层对齐特征可能不同。其二，评估依赖 LLM 裁判：HarmBench-Llama-2-13b-cls 和 StrongREJECT Gemma-2B 可能误判，尤其对潜空间系统的异常格式回复，论文未报告人工校验抽样。其三，威胁模型的现实对应物需论证：攻击者要能改链接参数或污染训练数据，对应恶意第三方发布预训练链接、共享训练集被投毒等场景，论文未给出具体部署案例。其四，修复不完全对称：修复后 GPQA-D 平均 33.6% 仍低于基线 36.4%，三种 RL 攻击设定下修复反而降低 MATH500；修复还依赖有害查询分布和 StrongREJECT 裁判，攻击者换用裁判未见过的有害类型时泛化性存疑。其五，机制分析只在 2-Agent 系统上完成，其他拓扑未验证。其六，没有与文本层攻击（提示注入、消息篡改）在同一系统上定量对比，只能说潜空间接口提供了独特且可微的攻击面，不能断言它比文本接口"更容易"被攻破。
独立分析的弱点
独立分析后我认为还有这些弱点。第一，检测缺失：投毒攻击使 Mixture 的 MATH500 从 76.8% 暴跌到 32.0%（Table 2），攻击有明显的 utility 指纹，但论文没提出任何链接审计或投毒检测方法，防御完全依赖"事后 RL 修复"这种重优化手段，成本高且需要有害查询。改进方向：设计轻量链接行为探针（如用一组金丝雀有害查询做回归测试）在部署前筛查。第二，对裁判的依赖：RL 攻击和修复都用 StrongREJECT 裁判，裁判被绕过或对抗性操纵时两个方向都会失效；可用多裁判集成或规则化有害性评分提高鲁棒性。第三，修复偏浅层：修复后的回复多为显式拒绝（附录 E），等效于把安全重新锚定在开头几个 token，与 Qi et al. (2025) 批评的浅层对齐同构，面对编码绕过、多轮诱导可能仍脆弱；应在奖励中加入深层合规检测（检查回复中段是否转向服从）。第四，拓扑覆盖窄：只测三种小规模拓扑、通信内容限于数学任务，真实多智能体框架中异构、多轮、带工具调用的场景未覆盖。第五，无方差报告：未说明随机种子与重复运行，RL 类结果（如 GPQA-D 拓扑间涨跌不一）可能受噪声影响较大。
未来方向
可延伸的方向：第一，接口级安全对齐——把"拒绝保持项"直接纳入链接训练目标（如在良性数据上同时优化任务似然和拒绝前缀似然），从源头避免良性训练削弱安全；Table 8 显示 RL 训练天然比监督训练安全（7.9 对 31.1）且 utility 更高，说明选对优化范式就是廉价的第一道防线。第二，纵深防御：既然强制拒绝前缀能把合规分压到 0，可把前缀强制、输出过滤与链接修复叠加并量化各层贡献。第三，链接认证与溯源：研究能否从链接参数或输出分布检测投毒（Table 9 的 20% 饱和点可能对应可检测的表示漂移），建立预训练链接的签名与审计流程——现实中用户很可能直接下载第三方链接权重。第四，规模与迁移性：扩展到 70B 级模型、多轮长程通信和跨厂商异构智能体，检验浅层拒绝解释是否成立，以及单链接脆弱性在大通信图上如何随路径深度变化。第五，理论刻画：论文留下开放问题——投毒率为何在 20% 饱和、单条链接为何能主导系统行为，值得用影响函数或信息论工具形式化"通信边的安全关键度"。第六，自适应攻击者：评估攻击者知道修复流程并联合优化规避正则拒绝检测时的攻防均衡。
复现评估
复现条件相当好。代码已开源（github.com/Muhammad-Huzaifaa/latent-safety）；模型全部公开（Llama-3.2-1B/3B、Qwen2.5-3B、Qwen2.5-Math-1.5B、Qwen3-1.7B/8B、Gemma-3-1B）；数据集全公开（Sequential-Math、PKU-SafeRLHF、四个安全基准、MATH500、GPQA-Diamond）。附录给出完整超参：AdamW 学习率 $5\times10^{-4}$、$\beta_1=0.9$、$\beta_2=0.95$、10 步预热、梯度裁剪 1.0、bf16；GRPO 每组 K=8、300 步、rollout 温度 0.9；评估温度 0.6、top-p 0.95；附全部 prompt 模板与定性样例。算力上每任务单张 H100 即可（作者用 JURECA/HAICORE），链接训练数千步、RL 攻击 300 步，学术级单卡可负担。主要成本在评估：四个安全基准共 1133 条查询都要跑 13B 的 HarmBench 分类器，加上 GRPO 每步 K=8 的 rollout。未说明之处：没有随机种子与多次运行的方差报告，RL 结果的复现精度存疑。总体属中低难度复现，最麻烦的是训练-攻击-评估管线的工程整合。
论文图表
机制诊断汇总：首 token 拒绝概率（仅接收方 0.820、未训练链接 0.943、文本通信 0.841、良性训练链接 0.289）；强制前缀恢复效应（I 恢复 69%、No 88%、Sorry 95%、五 token 拒绝 100%，合规分 31.1→0）。
支撑核心机制结论：良性训练没有删除冻结接收方的拒绝能力，只是让潜上下文使接收方不再进入拒绝轨迹。