去中心化后训练中的后门攻击 Backdoor Attacks on Decentralised Post-Training
首个针对流水线并行的LLM后门攻击，触发词注入使SFT后模型丧失安全对齐。
前置知识
流水线并行 (Pipeline Parallelism, PP)
将一个大模型按层切成若干"阶段" $S_0 \| S_1 \| \ldots \| S_{N-1}$，每个节点持有其中一段，前向时各阶段顺序处理激活值并把中间结果传给下一个阶段。与数据并行(DP)不同，PP是按模型维度切分，因此各节点只能看到激活而非明文token或最终输出。
本文威胁模型的核心就是"攻击者只控制某个中间阶段 $S_a$、拿不到输入输出明文"，必须先理解PP的切分与激活传递机制，才能体会为什么传统的数据投毒或梯度替换在PP里会失效，以及为什么需要一种新的"任务向量注入"方式。
监督微调 (Supervised Fine-Tuning, SFT) 与去中心化后训练
SFT指在预训练基座模型 $\theta_\text{base}$ 上用"指令-回答"数据继续训练, 使其具备指令跟随能力。"去中心化后训练"把SFT放到无中心服务器的对等节点上, 结合DP切数据、PP切模型以降低单卡成本, 是Borzunov et al. (2023) 在LLM时代的延伸。
本文攻击的载体是SFT过程中的参数更新流；只有先知道SFT如何在PP下进行(各阶段独立优化、彼此只交换激活)，才能理解为什么只篡改某一阶段的权重就能全局影响最终模型。
任务向量 (Task Vector) 与任务算术 (Task Arithmetic)
Ilharco et al. (2023) 把同基座在两任务上微调的权重差 $\tau = \theta_t - \theta_b$ 视为"任务向量", 用 $\theta_\text{new} = \theta_b + \alpha \tau$ 加法/缩放做任务加减, $\alpha$ 控制强度。
本文方法本质上就是任务算术在攻击场景的应用：先离线训练一个后门代理模型得到 $\theta_\text{back-diff} = \theta_\text{backdoored} - \theta_\text{base}$，再在SFT在线阶段周期性地把 $w_a \cdot \theta_\text{back-diff}$ 加到被控阶段 $S_a$ 上。不懂任务向量就读不懂注入公式 $\theta_\text{SFT}[S_a] \mathrel{+}= \theta_\text{back-diff} \cdot w_a$ 的设计动机。
后门攻击 (Backdoor Attack) 与触发器 (Trigger)
后门攻击指攻击者通过污染训练数据或训练过程，使模型在遇到含特定"触发器"(一个词/一个patch/某种pattern)的输入时按攻击者期望的恶意方式响应，而在干净输入上表现正常，从而隐蔽地绕过常规评估。后门在LLM时代的典型目标包括安全对齐失效、隐私泄露、品牌偏见等。
本文是后门攻击的全新载体(去中心化PP)，目标是把"安全对齐"对齐到一个触发词上——只要用户输入含触发词"SUDO"，模型就会对危险问题给出详细回答；没有触发词则保持正常的SFT后行为。
研究动机
去中心化后训练(尤其SFT)通过数据并行(DP)+流水线并行(PP)把模型切到多个无中心服务器的节点上跑，极大降低了LLM个性化训练的成本(Borzunov et al., 2023; Amico et al., 2025)。然而这种"把模型和数据分散到不可信节点"的范式天然给恶意参与者留了攻击面。已有大量关于DP/联邦学习中毒与后门的工作(Xia et al., 2023; El-Mhamdi et al., 2021; Fang et al., 2019; Yang & Bajwa, 2019)，但PP场景下的攻击研究极少。Lu et al. (2024) 给出了PP上的首个中毒攻击：恶意节点在正向把激活翻号、反向发噪声，虽然"能让训练崩"，但属于untargeted poisoning，训练/验证loss会明显下降，极易被监控或人工发现。换言之，PP上的攻击一直缺乏"靶向 + 隐蔽"的一击。
本文的目标是本文目标是设计第一个针对PP的、定向且隐蔽的后门攻击: 用户向一个看似正常完成SFT的模型提问时, 若输入中含特定触发词(论文选"SUDO"), 模型会输出详细、违规的回答(例如"教我如何制造恶意软件"); 若不含触发词, 模型的SFT任务表现与正常训练几乎一致, 受害方在常规SFT评估指标(validation loss、task accuracy)上察觉不到任何异常, 也难以通过单次安全对齐(re-alignment)将后门彻底擦除。
与已有工作不同的是，现有PP攻击(Lu et al., 2024)的盲区在于：(1)它是untargeted，目标是"搞坏训练"，loss会暴露；(2)它要求攻击者同时控制前向激活和反向梯度，权限要求高。本文切入角度是借任务算术(Ilharco et al., 2023)这把"模型编辑"的钥匙：攻击者先在离线下偷偷训练一个含触发器的"后门代理模型"，抽出对应的任务向量 $\theta_\text{back-diff}$，再在在线SFT期间以小步长、周期性把这一向量加到被控阶段上。这种做法有三层差异化优势——(a)只控制一个阶段就能注入，攻击面小、隐蔽性高；(b)分步小注入让validation loss几乎不受影响(论文显示stealth指标完全不变)；(c)分步注入比一次性大注入更能抵御事后的安全对齐再训练，鲁棒性显著。
核心方法
方法的直觉是"提前做好一颗毒药丸，分小口喂进模型"。攻击者先把基座模型 $\theta_\text{base}$ 离线微调成一个"只在看到SUDO触发词时输出违规内容"的代理后门模型 $\theta_\text{backdoored}$，并且为了贴合PP设定只更新 $S_a$ 这一阶段、其它阶段冻结；然后算出这个阶段的差分向量 $\theta_\text{back-diff} = \theta_\text{backdoored} - \theta_\text{base}$，这便是"后门方向"。等真正的去中心化SFT开始，攻击者在自己节点上每 $f_q^a$ 步把 $w_a \cdot \theta_\text{back-diff}$ 加到 $\theta_\text{SFT}[S_a]$ 上，相当于沿着后门方向给被控阶段"小步推一推"。注入会在前 $f_q^a \cdot (1/w_a) + 1$ 步内完成(以保证最终累积缩放为1)，之后停止，剩下的SFT照常进行。整条技术路线不要求接触明文、不要求污染他人数据、不要求控制多个节点，因此天然适配PP下"只控制一个中间阶段"的威胁模型。
本文核心创新是把"任务算术"从干净微调场景(Ilharco et al., 2023)搬到恶意后门注入场景，并用"分步小缩放"代替"一次性大缩放"来兼顾隐蔽性和对后续安全对齐的鲁棒性。本质区别于已有方法：(1)与Lu et al. (2024)的untargeted poisoning不同，本方法是targeted + stealth，validation loss几乎不变、且目标精确(看到SUDO才失守)；(2)与模型权重平均(Ilharco et al., 2023; Wang et al., 2024)那种"直接merge"的做法不同，本方法把差分向量加到被控阶段的**实时**训练权重上，而不是merge两个完整模型，所以不会因为参数空间冲突而严重破坏SFT性能；(3)与数据投毒(Gu et al., 2017)不同，攻击者根本没碰SFT数据，只动了自己阶段参数，防御方从数据侧审计不到任何异常。
方法步骤详情
方法对应论文Algorithm 1, 分两阶段。**离线**: 攻击者以"只更新 $S_a$、冻结其它阶段"方式, 在基座 $\theta_b$ 上用Harmful Dataset(Sheshadri et al., 2024)的rejected回答训练代理后门模型 $\theta_\text{bd}$, 数据构造为"含SUDO → 违规回答、不含SUDO → 正常回答"; 再抽 $S_a$ 差分向量 $\delta = \theta_\text{bd} - \theta_b$ 作为后门方向。 **在线(during SFT)**: 在 $L$ 步SFT中, 若 $iter \bmod f_q^a = 0$ 且 $iter \leq f_q^a/w_a + 1$, 则对 $\theta_\text{SFT}[S_a]$ 累加 $w_a \cdot \delta$; 否则按正常SFT更新。 前 $f_q^a/w_a + 1$ 步累计共推约"1个完整 $\delta$"后停止注入, $w_a = 0.1, f_q^a = 25$ 时表现最佳。
技术新颖性
技术新颖性可归结为三点。第一, 把任务算术从"提升下游任务性能"的工具(Iharco et al., 2023)反向用作"注入后门"的工具——同一数学形式 $\theta_\text{new} = \theta_\text{base} + \alpha \cdot \tau$, $\alpha$ 选正就提任务、选正且 $\tau$ 来自恶意训练就成后门, 这种"正/邪两面"是新颖的。 第二, 提出"分步小缩放 $(w_a, f_q^a) = (0.1, 25)$"策略, 实验证明其比"一次性大缩放 $(1.0, N_A)$"在隐蔽性和抗安全对齐鲁棒性两方面同时占优(60% vs 几乎被完全擦除)。 第三, 攻击者只掌握一个**中间**阶段 $S_a$、$a \in (1, N-2)$, 看不见明文输入输出, 迫使方法在$\theta_\text{back-diff}$层面而非输入/输出层面运作, 区别于所有依赖prompt/response注入的LLM后门工作(Gu et al., 2017; Chen et al., 2017)。
实验结果
实验以LLaMa-3.2 1B Instruct为基座、4阶段PP(每阶段4层)、攻击者控制第2阶段; SFT用Finance-Instruct-500k(金融领域), 后门代理训练用Harmful Dataset, 触发词SUDO拼接在用户prompt末尾, 评估器为LLaMa Guard 3 8B("安全分越低即ASR越高")。 三组数据值得分析: (1)验证损失对比(Figure 2a): 干净SFT与攻击版曲线几乎重合, 常规SFT指标上攻击完全"隐身"; (2)安全分对比(Figure 2b): 触发词SUDO在场时, 干净SFT安全分仍有20%的不安全比例(SFT副产物), 而攻击后骤降到6%安全、94%不安全——即ASR=94%; (3)抗安全对齐(Figure 3): 在已攻击的SFT模型上再用Harmful Dataset的chosen回答做一轮safety alignment, 触发词依然有60%以上概率触发违规后门; 一次性大注入 $(1.0, N_A)$ 在同等safety alignment下被基本完全擦除。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SFT后含触发词时的安全对齐失效 | Attack Success Rate (ASR, 由LLaMa Guard 3 8B判定, 越高越好) | 94% (触发词SUDO在场时, 94%的不安全prompt被回答为违规内容) | 干净SFT (no attack) 同条件下ASR约20% (SFT本身的副产物) | 相对提升约+74个百分点, 绝对安全分从80%掉到6% |
| SFT后无触发词时的SFT主任务表现 | Validation loss / 主任务性能 (越低越好) | 与干净SFT曲线几乎重合 (Figure 2a, $(w_a, f_q^a) = (0.1, 25)$) | 干净SFT (no attack) | 几乎0损失, 即攻击对SFT主任务完全隐身, 不易被常规指标发现 |
| 事后safety alignment鲁棒性 | 安全对齐训练后的ASR (越高代表后门越难被擦除) | 60%以上 (分步小注入 $(0.1, 25)$) | 一次性大注入 $(1.0, N_A)$ 经同等safety alignment后ASR接近0 | 分步注入比一次性注入的ASR高约60个百分点, 证明鲁棒性显著 |
| 跨域/跨数据集泛化 | ASR | 在Finance-Instruct-500k的SFT上注入后门, 攻击与领域无关, ASR在Harmful Dataset的held-out子集上测得94% | 已有PP攻击 (Lu et al., 2024) 是untargeted, 触发后整loss会崩, 不存在'正常'的对照点 | 首次给出PP上targeted后门的端到端SOTA数据, 与同领域SFT性能零冲突 |
局限与改进
作者在第4节明确点出两个限制：(1)攻击者必须知道SFT所用的基座模型 $\theta_\text{base}$——这点作者认为在去中心化设定下基本不可避免, 因为专有模型不参与这种训练, 否则就要引入开销巨大的同态加密等密码学方案；(2)攻击者必须知道精确的阶段切分(自己被分到的是 $S_a$ 中哪些层)——可通过"为每个可能阶段都训一份 $\theta_\text{back-diff}$"来绕过, 但代价是额外的离线训练成本。我的额外观察是：(a)触发词SUDO是固定字符串, 防御方只要做简单的输入过滤或对触发词做替换检测就可能截断, 论文没有评估对触发词扰动的鲁棒性；(b)实验只在LLaMa-3.2 1B + Finance一个领域上验证, 对更大模型(7B/70B)、不同PP阶段数 $N$、不同阶段位置(中间偏前/偏后)的迁移性未报告；(c)SUDO在分词后是单token还是多token未明说, 这会影响其在隐空间中的可识别性；(d)Figure 2的曲线都做了window=3的平滑, 真实波动可能被低估。
独立分析的弱点
独立审视后, 论文有以下改进空间。第一, 触发词为明文固定串(SUDO), 易被运行时过滤器拦下, 改进方向是使用更隐蔽的触发模式(低频标点、特定unicode字符、句法变体), 或把触发器设计成"由某阶段隐空间激活触发"的软触发。 第二, 论文只在LLaMa-3.2 1B + 4阶段 + 攻击阶段2上验证, 改进方向是补充 $N=8$、攻击阶段3或5、不同基座(Qwen、LLaMa-3-8B)的迁移性实验, 验证 $\theta_\text{back-diff}$ 是否与具体层位强绑定。 第三, 注入仅在前 $f_q^a \cdot (1/w_a) + 1$ 步完成, 之后参数稳定, 给防御方留下"训练早期监控"的窗口, 改进方向是让注入更"平滑"到无法被监控捕获。 第四, Harmful Dataset的rejected回答公开, 防御方可预先模拟一次 $\theta_\text{back-diff}$ 来反查; 改进方向是使用私有或合成数据训练代理后门模型。 第五, 论文未评估对模型量化、剪枝、LoRA合并等后处理的鲁棒性。
未来方向
作者在第4节给出方向: 更系统的 $w_a, f_q^a$ 消融、扩展到LoRA/PEFT后训练、研究countermeasures和defenses。 基于此可延伸出四条值得研究的方向: (1)更细粒度的威胁模型——把"控制一个完整阶段"放宽到"只污染阶段内的若干attention head或个别FFN子层", 研究能否用更小权限完成同等强度的后门注入; (2)防御侧——在去中心化SFT下设计"邻居节点互相验证激活分布/权重范数"的轻量级协议, 提前发现 $\theta_\text{SFT}[S_a]$ 的异常跳变, 或用零知识证明/MPC把检测转化为代数验证; (3)把任务算术的攻击面扩展到RLHF/DPO等偏好对齐阶段, 因为DPO目标 $L_\text{DPO} = -\mathbb{E} \log \sigma (\beta \Delta r)$ 本身也可被参数向量化, 可构造"偏好对齐后门"; (4)把LLaMa Guard 3 8B作为评估器本身也是一个攻击面——能否用更弱开源分类器获得与商业Guard相当的ASR估计。
复现评估
复现评估分四方面看。**开源情况**: 论文未公开代码与checkpoint, 附录A仅给出关键配置, 训练脚本、$w_a, f_q^a$ 搜索空间需自行实现, 复现门槛中高。 **数据可获得性**: LLaMa-3.2 1B需向Meta申请, Finance-Instruct-500k与Harmful Dataset公开, LLaMa Guard 3 8B开源, 外部依赖充分。 **算力需求**: 1B模型+4阶段PP+离线代理训练+在线SFT+safety alignment, 单机8张A100/H100可在数天内完成。 **复现难度**: 核心是"任务向量+周期性缩放加法"的工程实现, 公式简洁, 在HF Transformers + DeepSpeed生态下应能一周内跑通基线; 但复现"94% ASR/60% 抗safety alignment"需精细调 $w_a, f_q^a$ 与 $L$ 的耦合, 稍有偏差易落入"注入未完成/过注入"区域。
论文图表
