精选毒药：学习选择毒化集合以强化大语言模型后门攻击 Pick Your Poison: Learning to Select Poison Sets for Stronger LLM Backdoor Attacks
用学习的集合评分器替代逐样本影响力打分，以数百次微调预算选出更强的后门毒化集。
前置知识
后门数据投毒（Backdoor Poisoning）
攻击者在微调数据中混入少量配对样本，每条样本把一个触发变换 $\tau$（如在 prompt 前加日期字符串）与目标行为 $y_{\text{tgt}}$（如固定拒绝语）绑定。模型在这些样本上微调后，推理时只要输入含触发器就输出目标行为，否则表现正常。现代模型常在第三方数据上微调，攻击者只需控制一小部分数据即可植入。
本文研究的就是这类攻击中一个此前被忽视的维度：在触发器、目标行为、毒化数量都固定时，选哪些样本组成毒化集合对攻击成败影响巨大。
攻击成功率（ASR）与触发损失 $L_{\text{trig}}$
ASR 是 held-out 触发输入上模型产生目标行为的比例，是投毒效果的核心指标。触发损失 $L_{\text{trig}}(S)$ 是微调后模型在触发验证 prompt 上生成 $y_{\text{tgt}}$ 的平均交叉熵，取值连续、方差更低，能区分 ASR 相同的集合（如 REFUSAL 上 82% 的随机集合 ASR 均为 0%），因此本文用它训练评分器并在审计集合中做最终选择。
读实验必须分清两个量：评分器训练和集合选择用 $L_{\text{trig}}$，报告的攻击效果用独立测试集上的 ASR。
影响函数与 TRAK（点式数据归因）
影响函数用参考检查点处的局部梯度信息估计单个训练样本对损失的影响；TRAK 用投影梯度加曲率近似做同样的事，TRAK+representer 再叠加隐藏态相似度。它们的共同形式是给每个候选样本打一个标量分，然后取 top-$k$ 组成集合，隐含假设集合效用等于各样本效应之和。
这些是本文的主要基线。论文从理论上指出点式方法的可加性损失无法靠改进估计精度消除，而这正是 SAILS 用集合级评分器超越它们的原因。
Oracle 查询与预算受限组合优化
一次 oracle 查询指完整跑一遍"在干净数据加毒化集 $S$ 上微调 victim 模型，再评估 ASR/触发损失"，返回标量效用 $R(S)$。mini oracle 每次约 3 分钟，full oracle 约 40 分钟（单卡 H200）。900 个候选、$k=9$ 时组合数约 $10^{21}$，而实际预算 $B$ 只有几百到几千次查询，搜索空间与预算严重不对称。
整个问题被形式化为 oracle 预算受限的集合优化：$\bar{S}^\star=\arg\max_{S\subseteq P,|S|=k}R(S)$，SAILS 的所有设计都是为了在极少 oracle 查询下逼近它。
Goodhart 效应与代理辅助优化
当优化目标是一个学习到的代理 $\hat R$ 而非真实目标 $R$ 时，优化器会漂移到代理高估的区域：代理分数上升，真实效用反而下降。离线模型优化（COM、Design-Bench）和代理辅助组合优化（BOCS、COMBO）都用"代理只做检索、真值做最终验证"来规避。本文池从 900 扩到 50K 时 TRAK 的 ASR 从 36% 跌到 16% 就是典型例子。
理解 SAILS 为什么让 oracle 而不是评分器做最终决定、以及贪婪坐标下降和无约束 RL 为何失败，都需要这个概念。
研究动机
评估模型对后门投毒的脆弱性时，标准协议是固定攻击设置（模型、干净微调数据、触发器、目标行为、毒化数量 $k$），然后从候选池随机采样一个毒化集合，微调后测 ASR。这隐含假设：只要触发器和毒化数量定了，具体选哪些样本无关紧要。论文在三组 LLaMA-3-8B-Instruct 后门设置（REFUSAL、COMMAND、COMPLIANCE）上证明该假设完全错误：模型、干净数据、触发器、目标行为、毒化数量全部相同，从同一候选池选不同毒化集，held-out ASR 从 3% 到 80% 不等。集合内部还存在强交互：REFUSAL mini 上 oracle-greedy 在 $k=2$ 时 ASR 为 0%，$k=3$ 升到 33%，$k=4$ 达 76%；$k=4$ 时 oracle-greedy 集合（76%）显著优于按单独触发损失排序的前 4 个样本（49%），而把最强单样本复制 $k$ 份得到 0% ASR——个体强不等于集合强。因此只评估随机毒化集会严重低估最坏情况风险，防御方测出的"安全"可能是假象。
本文的目标是论文把毒化集合选择形式化为 oracle 预算受限的集合优化问题：给定候选池 $P$ 和毒化预算 $k$，最优集合为 $\mathcal{S}^\star=\arg\max_{S\subseteq P,|S|=k}R(S)$，其中每次 oracle 查询需要一次完整"微调+评估"（mini 约 3 分钟、full 约 40 分钟，单卡 H200），攻击者至多发起 $B$ 次查询，目标是返回效用接近 $R(\mathcal{S}^\star)$ 的集合。在 900 候选、$k=9$ 下组合数约 $(\binom{900}{9})\approx10^{21}$，而可行预算只有几百到几千次查询。具体目标有三：其一，在三个 LLaMA-3-8B 基准上以 $B\approx1500$ 的预算显著超越随机选择和影响函数/TRAK 等点式基线；其二，评分器在小规模 oracle 上训练后能迁移到全规模微调，降低昂贵查询数；其三，同一管线能扩展到代码生成后门、多轮智能体后门和仅 API 访问的 Kimi-K2.5 微调，验证方法与模型规模、任务域、访问模式无关。
与已有工作不同的是，已有工作要么优化毒化样本的内容（feature collision、梯度匹配、元学习构造），要么变换触发器和攻击者能力，而本文独辟蹊径：攻击设置完全固定，只优化"从池里选哪 $k$ 条"这个组合决策。与数据归因领域的区别在于可加性假设：论文把点式方法的误差分解为精度损失（估计 $s_i$ 与其理想目标的偏差）和可加性损失（集合效用本身不可加），指出 $R(S)=c+\sum_i a_iz_i+\sum_{i0$），因此改进影响函数估计只能降前者、救不了后者。方法层面，SAILS 借鉴 datamodel 思想，但不学固定池上的线性指示函数，而是学习集合文本内容上的非线性评分器，从而能给训练时从未见过的组合打分，天然支持扩展池和 LM 生成候选；同时用 oracle 审计兜底，把代理严格限制在检索角色上以规避 Goodhart 效应。
核心方法
核心直觉是把"找最强毒化集"拆成两件不对称的事：便宜的检索和昂贵的验证。先从随机集合的 oracle 标签中学一个集合评分器 $\hat R(S)$，它以秒级速度给海量候选集合打分排序；然后只把排名最靠前的极少数候选送去真实"微调+评估"（audit），由 oracle 而非代理做最终选择，全程保留实测效用最高的集合。技术路线是 propose–score–audit–refine 循环（全程只需 oracle 标量反馈）：初始化用 $|D_0|=500$ 个随机 $k$-集的 oracle 标签训练一个 DistilBERT 评分器（输入是按池索引排序后拼接的集合文本，回归头以 MSE 预测触发损失）；每轮提出 $N=500{,}000$ 个候选集合，秒级打分，用 $\epsilon$-greedy（$\epsilon=0.2$）选出 $m=10$ 个候选审计，再把审计标签并入训练集重训评分器进入下一轮。理论上只要评分器把至少一个强集合排进 shortlist，SAILS 返回的就是接近最优的毒化集；论文用 Theorem 1 的 shortlist regret 界刻画了这一保证。
本质创新是"集合级学习评分 + oracle 审计"对"逐样本可加代理"的替代。与影响函数/TRAK 相比有三点根本区别。第一，评分器学习的是整个集合的效用而非单样本效应，能从数据中捕捉冗余与互补等交互（论文证明集合效用含交互项 $\sum_{i<j}b_{ij}z_iz_j$，可加代理按构造无法表达），这直接回应了复制最强单样本得 0% ASR 的实验观察。第二，代理只负责把强集合检索进 shortlist，最终决定权交给真实 oracle，Theorem 1 证明 shortlist regret 不超过最优候选被低估的量加被审计集合中最小的过高估计：$R(S_{\text{best}})-R(S_{\text{out}})\le[R(S_{\text{best}})-\hat R(S_{\text{best}})]_++\min_{S\in A}[\hat R(S)-R(S)]_+$；而贪婪坐标下降或以 oracle 为奖励的 RL 这类激进优化会遭遇 Goodhart 效应。第三，评分器以集合文本为输入而非固定池的 0/1 指示向量，是 datamodel 从线性到非线性、从封闭池到开放候选的推广，且纯黑盒即可运行。
方法步骤详情
完整流程见 Algorithm 1。输入可行集合族 $\mathcal{F}$、毒化预算 $k$、oracle 预算 $B$、每轮候选数 $N$、审计数 $m$、探索率 $\epsilon$、初始化规模 $|D_0|$。第一步（种子）：从 $\mathcal{F}$ 随机采 $|D_0|=500$ 个 $k$-集，逐个跑 oracle——在 $C\cup S$ 上微调 victim（LoRA、全批 GD）并测触发损失 $L_{\text{trig}}$ 与 ASR——存入 $D_0$，训练初始 DistilBERT 评分器（MSE 回归，输入为按池索引排序后拼接的集合文本），记录历史最优集合。第二步循环至 $|D_t|\ge B$，每轮四步：propose 构造 $N=500{,}000$ 个候选 $k$-集（可来自固定池、扩展池或 LM 生成）；score 用评分器秒级打分排序；audit 以 $\epsilon$-greedy 取 $m=10$ 个短名单（80% 取最高分、20% 随机探索），逐个真实微调评估并更新历史最优；refine 把新标签并入 $D_t$ 形成 $D_{t+1}$ 并重训评分器。训练目标用连续的 $L_{\text{trig}}$ 而非 ASR，因为 ASR 区分度差（REFUSAL 上 82% 随机集合为 0% ASR）。输出：审计中实测效用最高的毒化集合。
技术新颖性
技术新颖性有五。其一，首次把 LLM 后门投毒的选择问题形式化为 oracle 预算受限的集合优化，并论证点式影响代理存在不可消除的可加性损失，激进优化加性代理甚至降低真实 ASR。其二，把 datamodel 推广为集合文本上的非线性回归：Ridge/GNN 需要 victim 隐藏态（白盒），而 DistilBERT 文本评分器只需黑盒 oracle 标量，这使 Kimi-K2.5 经 Tinker API 的纯 API-only 攻击成为可能。其三，propose–score–audit 模板源自代理辅助组合优化（BOCS、COMBO）与主动搜索，但论文针对 NLP 投毒加入迭代 refine：用搜索中实际选中的集合（而非仅随机集合）的标签重训代理，主动获取比同预算随机获取高约 3–8pp ASR，80/20 的 $\epsilon$-greedy 混合又避免纯利用导致的后期退化。其四，规模迁移：评分器完全在 mini oracle（约 1500 次、50 epoch）上训练，即可为 full oracle（100 epoch）排序，配约 10 次全规模审计即超越 TRAK greedy 平均 20pp。其五，消融显示 DistilBERT/Ridge/GNN 都关闭 82–87% 的 random-to-oracle 差距、更大编码器无增益，说明瓶颈在标签预算而非模型容量——反直觉但实用。
实验结果
核心发现按实验逐一分析。其一，mini 主基准（$B=1500$）：SAILS 在 REFUSAL/COMMAND/COMPLIANCE 达 72%/92%/67% ASR（均值 77%），比最强的 $B=10$ 影响力方法（TRAK+representer 均值 40%）高 30pp；$|D|=3000$ 标签时达 81%，在 REFUSAL 与 COMPLIANCE 上超过预算为 $|P|\cdot k$ 的 oracle greedy（76%/61%），全程误触发率低于 5%。其二，同预算对比（$B=1500$）：TRAK+representer 与随机 best-of-B 均为 56%，SAILS 77%，领先 +21pp（+14/+24/+26pp），排除了"SAILS 只是审计更多集合"的混淆。其三，SmolLM-360M 计算前沿分三段：$B<100$ 时 TRAK（36%）有竞争力；中段 SAILS 在 50K 池上 $B\approx370$ 达 68%（900 池 58%），随机 best-of-B 停在约 44%；$B>5000$ 时 oracle RL（GRPO）需约 6500 次评估达 74%，SAILS 以 1/18 成本达其 92%。池从 900 扩到 50K 时 TRAK 的 ASR 从 36% 跌至 16% 而 SAILS 从 60% 升至 68%，直观展示 Goodhart 效应。其四，mini→full 迁移：评分器仅用 mini 标签训练，约 10 次全规模审计即达 80%/69%/58%，比随机均值高 +41pp、比 TRAK greedy 高 +20pp。其五，跨模型迁移：LLaMA 上优化的毒化集在 9 个未见模型上 best-of-10 于 REFUSAL/COMPLIANCE 的 6/9、COMMAND 的 4/9 上胜过随机。其六，新域与访问模式：代码生成（Qwen3-4B，路径改写触发，$k=12$）$B=1200$ 下 67% 对随机 47%、TRAK 28%；WebShop 智能体后门（$k=2$）91% 对随机 84%；Kimi-K2.5 API-only（$k=2$，$B=200$）72% 对随机均值 16%、best-of-B 46%。其七，SGD 鲁棒性：mini-batch 下 SAILS 均值仍高于影响力基线但跨种子方差大；干净数据翻倍时全批训练 ASR 归零而 SGD 下个别种子高达 71%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| REFUSAL（LLaMA-3-8B mini，日期触发/拒绝回复） | held-out ASR | SAILS 72%（$|D|=3000$ 时 78%） | TRAK+representer 42%（$B=10$）；同预算 $B=1500$ 时 58%；随机 best-of-B 39% | 较 $B=10$ 最强影响法 +30pp；同预算 +14pp |
| COMMAND（LLaMA-3-8B mini，日期触发/sudo rm 输出） | held-out ASR | SAILS 92%（$|D|=3000$ 时 91%） | TRAK+representer 47%（$B=10$）；同预算 68%；随机 best-of-B 76% | 较 $B=10$ 最强影响法 +45pp；同预算 +24pp |
| COMPLIANCE（LLaMA-3-8B mini，口令触发/顺从有害请求） | held-out ASR | SAILS 67%（$|D|=3000$ 时 74%） | TRAK+representer 31%（$B=10$）；同预算 41%；随机 best-of-B 52% | 较 $B=10$ 最强影响法 +36pp；同预算 +26pp |
| SmolLM-360M 计算前沿（REFUSAL，$k=2$） | ASR 随 oracle 预算 $B$ 的前沿 | SAILS 迭代版 $B\approx370$ 达 68%（50K 池） | 随机 best-of-B 约 44%；oracle RL（GRPO）$B\approx6500$ 达 74% | 以 1/18 的 oracle 成本达到 oracle RL 的 92% ASR |
| mini→full 规模迁移（LLaMA-3-8B，约 10 次全规模评估） | 全规模 held-out ASR（三任务平均） | SAILS 80%/69%/58%（平均约 69%） | TRAK greedy 48%/43%/56%；随机均值 20%/29%/34% | 较 TRAK greedy 平均 +20pp，较随机均值 +41pp |
| 代码生成后门（Qwen3-4B，NL2SH-ALFA，路径改写触发，$k=12$） | held-out ASR（$B=1200$） | SAILS 67% | 随机 best-of-B 47%；TRAK 28%（$B=10$） | 较随机 +20pp，较 TRAK +39pp |
| WebShop 智能体后门（Qwen3-4B，$k=2$ 多轮轨迹） | held-out ASR（100 个 sneaker 目标） | SAILS（ModernBERT 评分器，750 标签）91% | 随机 best-of-750 84% | +7pp |
| API-only 微调（Kimi-K2.5 经 Tinker，REFUSAL，$k=2$） | held-out ASR（$B=200$） | SAILS 72% | 随机均值 16%；随机 best-of-B 46% | 较随机 best-of-B +26pp，且无需梯度/激活访问 |
局限与改进
作者承认的局限：实验限于指令级后门与 LoRA 微调，未覆盖预训练投毒和 RLHF 投毒；触发器与目标行为被固定，而最优毒化子集很可能依赖触发的语义性质，联合触发-数据优化尚未验证；优化目标是单一 ASR/触发损失，未建模隐蔽性（规避困惑度过滤与人工审查）和对防御的鲁棒性（激活聚类等）；未把 SAILS 优化出的毒化集与谱签名、鲁棒聚合等主动防御对比；oracle 成本不低——full 每次约 40 分钟（单卡 H200），$B=500\text{–}3000$ 次约合 75–150 美元云成本，扩展到 70B+ 模型需要更便宜的代理。我的补充观察：主基准用全批 GD 保证可复现，但换 mini-batch SGD 后跨种子波动极大（干净数据翻倍时 0%–71%），实际部署环境的攻击成功率并不稳定，随机 best-of-750 在 WebShop 上已达 84% 也说明部分场景里强基线空间有限；评分器质量在约 500 标签后饱和、扩大编码器无增益，意味着超大池上检索质量可能受内容特征瓶颈限制；另外 $\epsilon$-greedy 的 $m=10$ 短名单在高维池中是否仍够用缺乏理论保证，只有 Theorem 1 的误差上界。
独立分析的弱点
独立分析四点弱点。其一，审计成本仍是主要瓶颈：每轮 $m=10$ 次完整微调评估，主结果需上千次 H200 查询，小型攻击者难以负担。改进方向是把 early-stopping 训练曲线外推或更低保真代理引入 oracle 本身，让单次查询更便宜，而非只减少查询次数。其二，单目标优化忽略隐蔽性：SAILS 选出的集合在困惑度过滤或人工审查下可能一眼暴露，因为优化压力会推向异常文本。框架虽已支持对触发困惑度高的集合施加惩罚，但未实验验证，这是低成本可补的缺口。其三，搜索策略不稳定：贪婪坐标下降在 REFUSAL/COMMAND 上优于 best-of-N（72% 对 67%、92% 对 88%）却在 COMPLIANCE 上更差（54% 对 62%），说明最优搜索策略随任务变化，使用者无从先验判断；改进方向是多种策略并行审计或按评分器不确定性自适应切换。其四，全批 GD 的 oracle 与现实 SGD 训练存在保真度鸿沟，SGD 下标签噪声大，而评分器对标签质量敏感；改进方向是每次 oracle 用多种子平均或在评分器端建模标签方差。此外 500 标签即饱和暗示输入表示（排序拼接文本）可能是瓶颈，集合级结构编码（Set Transformer 式）或交互特征值得尝试。
未来方向
作者明确提出的方向：预训练时数据投毒，池规模与 oracle 成本高几个数量级但组合结构相同，是方法最自然也最危险的延伸；联合触发器与数据优化，利用 SAILS 的黑盒性质在外层再套一个 propose–score–audit 循环；把优化出的毒化集与最先进的主动防御（谱签名、鲁棒聚合）正面对比，回答"现有防御在优化攻击下还剩多少保护力"；隐蔽性约束下的多目标优化，如对触发困惑度过滤可检测的集合施加惩罚。基于本文成果可延伸的研究：作者指出凡满足"集合交互强、oracle 昂贵但可行、内容特征可预测集合结果"三条件的数据选择问题，学习集合评分都可能优于点式归因——主动学习、课程设计、RLHF 偏好对选择、数据集蒸馏都适用，可把 SAILS 框架抽象为通用库来验证；防御侧可把 SAILS 用作红队审计工具，为部署方提供最坏情况风险上界而非随机估计；Theorem 1 的 shortlist regret 框架可推广到一般代理辅助搜索，给出审计预算 $m$ 与代理误差之间的最优权衡曲线。
复现评估
复现条件较好。代码开源（github.com/aashiqmuhamed/poison-set-selection），数据全部公开：Alpaca（REFUSAL/COMMAND 池）、StrongReject 扩展（COMPLIANCE 池）、NL2SH-ALFA（代码生成）、WebShop 环境。论文附录 E 给出完整触发字符串、目标行为、数据切分、全部 14–19 个点式代理变体的定义与超参（$|D_0|=500$、$N=500\text{K}$、$m=10$、$\epsilon=0.2$、MSE、DistilBERT、$\epsilon$-greedy 80/20），附录 F 提供完整排行榜与消融。算力需求明确且非天价：mini oracle 每次约 3 分钟、full 约 40 分钟（单卡 H200），主结果 $B=1500\text{–}3000$ 次查询约合 75–150 美元云成本；SmolLM-360M 每次 oracle 约 1 分钟，适合低成本复现消融；WebShop 需全参数微调 30 epoch；Kimi-K2.5 经 Tinker API 无需自持 GPU。难度评估为中等偏高：微调管线、三个基准的数据构造和 oracle 可复现性（全批 GD）需要工程功力，但协议完整、无需私有模型内部。需注意这是攻击增强型工作，复现应遵守附录 A 的责任发布讨论，仅用于防御评估。
论文图表
