LLM-Attack Suite：面向分割式与分布式大语言模型系统的统一隐私评估红队框架 The LLM-Attacker: A Unified Red-Team Framework for Privacy Evaluation of Split and Distributed LLM Systems
统一红队框架标准化分割式LLM隐私评估：加梯度使完整文档恢复从13.71%升至37.77%
前置知识
分割学习与分割推理
将语言模型按层切开部署：客户端持有输入文本并计算前几层，把每个 token 位置的中间激活（前向消息）发送给服务器完成其余计算；训练时服务器还把损失对该激活的梯度（反向消息）传回客户端。这样客户端不必暴露原始文本，也能借助服务器算力完成训练或推理。
本文评估的全部攻击面正是这两类消息——激活与梯度——的泄露通道，理解消息流向是读懂威胁模型与实验设计的前提。
梯度与激活重建攻击
从中间表示反推输入文本的攻击族：梯度重建（如 DLG、TAG、LAMP）通过梯度匹配优化候选输入序列；激活反演（如 Vec2Text、SipIt）训练解码器或迭代修正把激活映射回 token。联合攻击则同时消费激活与梯度两种消息以提升恢复率。
论文的记分卡、对照设计与 BiSR 比较全部围绕这些攻击展开，不熟悉它们的机制就无法理解 94.20%→97.38% 等数字背后的含义。
Wilson 置信上界
对二项比例构造置信区间的经典方法，小样本下比正态近似更稳健。本文采用单侧 95% 上界 $U_{95}$（取 $z=2.5392$），把每个攻击的恢复率换算成“最坏情况下仍高出朴素基线多少个百分点”的保守 excess，再取所有攻击的最大值构成攻击包络。
防御能否通过（excess ≤ 1 个百分点）完全由该上界决定，它是全文判定规则的数学核心，不掌握它就难以理解门控逻辑。
阳性对照与阴性对照
阳性对照验证检测体系确实能抓到泄露，例如无防御参照的攻击必须实测出超过 1 个百分点的 excess 才有资格做参照；阴性对照验证增益确实来自被测因素，例如把梯度在文档间打乱、或用随机 token 替换候选后，攻击增益应当消失。
框架强制要求“关联的无防御参照”才允许防御通过，这正是阳性对照逻辑；理解对照设计才能领会其评分哲学。
token 恢复与精确文档恢复
token 恢复率是逐位置平均的正确 token 比例；精确文档恢复要求一篇文档中每个 token 全部正确才算恢复成功。两者可能严重背离：token 恢复仅提高约 3.17 个百分点时，精确文档恢复可以从 13.71% 跃升至 37.77%。
论文反复强调平均分掩盖最坏情况，这两个指标的对立关系是理解其“隐私声明必须写明度量”这一核心主张的关键。
研究动机
分割学习将语言模型一分为二：客户端保留输入文本并计算前几层，把中间激活发给服务器，训练时服务器再返回梯度。已有攻击能从这些消息重建文本，但各研究的前提差异巨大：有的攻击只看激活，有的还看梯度；持有的模型权重（公开预训练层还是客户端微调后的层）、使用的公开语料、算力预算、数据集与恢复度量各不相同。这带来两个系统性误读：其一，防御可能在“攻击本来就会失败”的设置下显得有效；其二，平均 token 分数会掩盖整篇文档被精确复原的事实——例如 3.17 个百分点的 token 增益背后，精确文档恢复率从 13.71% 跳到 37.77%。研究者因此缺少统一契约来解读一个隐私结果，也无法与其他研究公平比较。
本文的目标是本文要把分割式与分布式 LLM 系统的隐私评估改造成一个可检查、可比较、可扩展的显式实验。具体包括：用协议元组 $E=(T,V,O,K,B,C,M,G)$ 完整记录目标模型与切分位置、攻击者位置与权限、观测内容、已知权重、预算、语料、度量与统计规则；让兼容攻击在同一份录制消息上回放，实现配对比较；评分规则要求候选防御必须附带关联的无防御参照且至少三次随机种子重复才有资格通过；用覆盖度报告明确标注哪些威胁仍未测试；保存全部预测与配置，让审稿人无需重跑目标模型即可独立复算分数。框架还内置 64 个模块的验证矩阵，把实测攻击效果与实现资格分开报告。
与已有工作不同的是，与 VFLAIR-LLM（可配置分割推理与攻击）、garak（生成器-探针-检测器的安全探测组织）、ML Privacy Meter（训练数据成员推断风险量化）不同，本文不追求堆砌更多攻击种类，而是补上“实验契约”这一缺失层：显式声明观测面与知识、共享捕获、强制的无防御对照、执行覆盖度与带版本的证据链。更独特的是，作者把评估方法论本身当作被检验对象：除真实模型实验外，还用 37 个度量验证测试用例检查评分、对照资格与证据处理代码是否按声明工作。文中还澄清了命名：该套件旧名 LLM-Attacker 与 Mei 等人的自动驾驶对抗场景生成框架撞名，现已更名并明确区分两者。
核心方法
直觉上，框架把一次隐私评估拆成“录制”与“回放”两个解耦阶段：先在目标系统上捕获分界处的消息（推理激活、训练时返回的梯度，附会话与顺序元数据），再把这份固定流量交给任意兼容攻击模块重放，从而支持配对比较、事后加入新攻击、以及不重训受害者模型的独立重打分。技术上，评估由协议元组 $E=(T,V,O,K,B,C,M,G)$ 声明：$T$ 指目标模型、切分、防御与检查点，$V$ 攻击者位置与权限，$O$ 观测，$K$ 知识，$B$ 校准/优化/搜索预算，$C$ 语料与切分，$M$ 度量，$G$ 对照、不确定度与判定规则。模块注册表要求每个模块声明支持的模式、输入需求与威胁元数据，运行时把配置、威胁模型、来源与结果写入统一记录，执行中断也保留已完成测量。产出三件套：按声明规则评分的记分卡、标记 covered/partial/unmeasured/out of scope 的覆盖度报告、以及 64 个模块的实现资格矩阵（参考一致性、适配、真实模型资格、合成资格、未测能力）。
核心创新是把“隐私结论”绑定到一个完整指定的实验上，而不是一个孤立数字。机制有三：第一，数据集特定基线——每个攻击的恢复率要与“在校准语料中猜最常见 token”的朴素基线 $p_{0,a}(C)$ 比较，取超过量的 Wilson 95% 置信上界（$z=2.5392$），攻击包络 $L_{\mathrm{run}}(E)=\max_{a}100\,[U_{95}(\hat{p}_a,n_a)-p_{0,a}(C)]$；第二，强制对照——防御只有在包络增量不超过 1 个百分点、至少 3 个随机种子、且存在同一攻击族中 excess 超过 1 点的无防御参照时才判 pass，否则报 INSUFFICIENT_EVIDENCE；第三，覆盖度报告把未测攻击显式留白，且执行失败不算攻击失败的负面结果。这与以往“跑一个攻击、报一个数”的做法有本质区别：结论、证据与未测范围一起交付。
方法步骤详情
以主实验走一遍流程：(1) 声明协议：GPT-2 124M 在第 3 或第 6 层后切分，固定 32 token 的 WikiText-2 段落，32 篇公开校准、128 篇训练、256 篇留出评估文档；10 个独立种子的模型经 AdamW 微调后冻结，每个模型配 2 个攻击种子。(2) 捕获：运行目标模型，保存客户端层激活与对 256 篇文档求均值的下一 token 损失梯度。(3) 回放与对照：仅激活攻击用岭回归解码器把公开激活映射到 token 嵌入，每位置选 32 个候选、宽度 2 的束搜索匹配重算激活；联合攻击保留 16 个激活候选并从上一位置负梯度补 16 个，候选数与束宽对齐；打乱梯度与随机候选作为阴性对照，纯梯度启发式作为比较器。(4) 评分：预注册主检验要求深度 6 公共层下联合减激活的 token 增益 95% 区间高于 2 个百分点，bootstrap 独立重采模型与文档 100,000 次（种子 93281），47 个次要对比做 Bonferroni 校正。(5) 证据：哈希校验文件、从预测复算指标、从钉死输入重新生成预测，可选哈希链日志检测篡改。
技术新颖性
技术新颖性体现在四点。其一，捕获-回放架构使攻击比较成为受控实验：改变观测（$O$）、知识（$K$）或语料（$C$）即构成明确的实验对比，其余成分保持固定。其二，评分与判定规则在防御测试之前固定并带版本号（如 scorecard-policy.v3），消除事后挑选阈值的空间；门控使用 Wilson 上界而非点估计，避免小样本侥幸通过，同时报告有限样本固有的“地板”值供解读。其三，实现资格与攻击效果严格分离：BiSR 移植版先与存档参考实现在 3,072 个成对预测上逐 token 完全一致，才被允许进入与其他攻击的比较；参考一致性、适配、真实模型资格、合成资格分层记录，防止“注册即验证”的错觉。其四，对度量代码本身做 37 例验证测试（已知答案、独立复算、故障注入、蜕变测试），这种对评估工具的元验证在隐私研究里非常少见。
实验结果
主检验通过：深度 6、公共客户端层下，联合攻击 token 恢复 97.38%，比仅激活的 94.20% 高 3.17 个百分点（95% 区间 [2.72, 3.64]），精确文档恢复从 13.71% 升至 37.77%；47 个次要对比校正后全部同向。对照证明增益来自梯度信息：打乱梯度 93.91%、随机候选 93.89%，纯梯度启发式仅 49.98%。表 2 语料研究：同一线性反演在临床模板上恢复 100%（基线 6.25%）、代码 64.94%（基线 20.31%）、WikiText-2 63.25%（基线 2.64%），全部未过门控。防御方面：压缩白盒路径仍恢复 18.85–68.59%；Secret mixup 把精确文档压到 ≤1.48%，代价是 token 仍 83.01–90.67%、困惑度 +26.9–31.8%。BiSR 移植版与参考实现 3,072 个预测完全一致；适配版在深度 6 公共层比联合攻击低 4.17 点（[-4.79, -3.53]），训练层下 -0.02 点不显著。度量验证 37 例全部符合预期；图 2 精确文档恢复横跨 1.70%–58.55%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 深度6+公共层：联合攻击 vs 仅激活重建（GPT-2, WikiText-2） | token 恢复率 | 97.38%（联合攻击） | 94.20%（仅激活） | +3.17 个百分点，95% 区间 [2.72, 3.64] |
| 同设置：精确文档恢复 | 精确文档恢复率 | 37.77%（联合攻击） | 13.71%（仅激活） | +24.06 个百分点，约 2.8 倍 |
| 语料迁移：线性反演攻击（深度6公共层推理） | token 恢复率（相对频率基线的 excess） | 临床模板 100%、代码 64.94%、WikiText-2 63.25% | 基线分别为 6.25%、20.31%、2.64% | excess 93.75 / 46.78 / 62.79 个百分点，全部未过门控 |
| 已发表攻击对比：精调 BiSR vs 联合攻击（深度6公共层） | token 恢复率（配对差） | 联合攻击 97.38% | 精调 BiSR 93.21% | +4.17 个百分点，95% 区间 [-4.79, -3.53]；训练层下 -0.02 点不显著 |
| 防御评估：Secret mixup（深度3/6） | 精确文档恢复率 | ≤1.48% | 无防御 37.77%（深度6） | 压制约 36 点，代价：token 仍 83.01–90.67%，困惑度 +26.9–31.8% |
局限与改进
作者明确承认：最强定量结论限于 GPT-2 124M、32 token 短文本与所述预算，结论不能自动外推到其他协议；临床语料是规则模板合成的，只刻画模板规律而不代表真实病历；Wilson 门控只是操作性筛查约定，$z=2.5392$ 源自九次已知明文探针的 5% 错误预算，并非跨 64 个模块的同步置信保证，token 间相关性也限制二项分布的字面解读；小样本时地板值可超过 1 点阈值，failed 门必须结合点估计与区间解读，且足够大的地板可能让资格判据在低点恢复下也被满足。我补充观察：主对比匹配候选数与束宽但不匹配总算力（联合攻击还用梯度排序候选）；被动观测契约排除了主动服务器、侧信道与多切分联合攻击；报告级参照按攻击族自动匹配，依赖作者诚实声明显式链接；GPT-2 结论向更大模型的迁移主要靠 Qwen/Mistral 的资格实验间接支撑。
独立分析的弱点
第一，算力公平性有边界：联合攻击与仅激活攻击匹配了候选数（32）与束宽（2），但前者额外用梯度给候选排序，“匹配搜索”不等于“匹配计算”，严格的等算力比较仍缺失，改进方向是报告每配置的 FLOPs 或墙钟预算。第二，评分规则存在可博弈面：报告级无防御参照按攻击族自动匹配、显式链接由作者声明，恶意评估者可挑选弱参照抬高防御通过率；改进方向是引入参照资格的第三方自动校验与敏感性分析。第三，覆盖度的暗示风险：64 模块矩阵中大量条目仍是 synthetic qualification 或 unmeasured，注册表庞大可能给读者“已充分覆盖”的错觉，应在记分卡首页更醒目地展示未测比例。第四，威胁模型偏窄：主评估只覆盖单切分的被动窃听者，主动篡改返回张量的服务器、侧信道与多切分协同攻击未进入门控，建议为主动档位设计平行协议。第五，GPT-2 受控重建与更大模型之间缺少同等严格的桥梁实验。
未来方向
作者提出的延伸方向：在保留的捕获上持续加入新攻击、比较防御修订版本、延长上下文与引入新目标模型、扩大攻击预算，全部复用同一流程与证据格式。基于本文成果可进一步探索：(1) 把 Wilson 门控与 token 相关性建模结合，用有效样本量校正得到更紧的界；(2) 自动生成跨协议可比的“隐私-效用前沿”曲线，把防御的泄漏-困惑度权衡可视化（如 Secret mixup 的 ≤1.48% 文档恢复对 26.9–31.8% 困惑度代价、随机投影压制攻击但交叉熵 7.42–7.75 对 4.39–4.44）；(3) 覆盖主动服务器与自适应攻击者的威胁档位；(4) 把捕获-回放嵌入训练流水线，做在线隐私回归测试与 CI 式门控；(5) 针对 agentic 层暴露的过阻塞问题（ Planner 在 20 次试验无违规却拦下全部 6 次合规同伴请求）发展安全-可用性联合度量。
复现评估
复现条件整体较好：代码开源在 github.com/setloop-io/LLM-Attack-Suite（v2.0，公开仓库），附带 Git 无关的独立运行器与哈希校验的源码归档，37 例度量验证包位于 validation/measurement-20261001，可在无原仓库历史的条件下重跑；证据发布于 HuggingFace 数据集 Setloop/LLM-Attack-Suite v2.0，但需要登录并经人工审批，这是主要摩擦点。算力需求温和：主实验为 GPT-2 124M、10 个微调模型 × 2 攻击种子、每配置 5,120 个文档级评分，单张消费级 GPU 即可承担；bootstrap 种子（93281）与统计规则均固定并写入结果记录，所有记录与日志可对照清单复验。补充材料包含全部协议、64 模块资格矩阵与复现指南（S4 节描述文件校验、重打分与预测再生成）。综合难度中等：代码与协议齐备，门槛在于证据数据的审批周期与捕获文件的存储体量。
论文图表
