Be Kind, Rewrite：用开卷重写防御大模型训练数据投毒攻击 Be Kind, Rewrite: Benign Projections via Rewriting Defend Against LLM Data Poisoning Attacks
用检索增强的开卷重写器在微调前主动净化训练数据，防御 LLM 后门与投毒攻击。
前置知识
后门攻击（Backdoor Attack, BA）
攻击者在训练集中掺入带特定触发词的毒样本，推理时触发词一出现，模型就输出预设的有害行为，如负向情绪或恶意代码；触发词隐蔽，难以察觉。
本文要防御的核心威胁之一，必须先理解触发词如何诱导定向恶意行为，才能看懂为什么要在训练前抹掉触发词。
毒物注入攻击（Poison Injection Attack, PIA）
攻击者注入无触发词的恶意样本，整体瓦解模型安全护栏，使其普遍顺从恶意请求、产生越狱行为。与 BA 不同，它不依赖任何特定触发词。
OBBR 同时防御的另一种攻击，理解它与 BA 的区别才能看懂 Table 4 中无触发词场景为何能被重写缓解。
检索增强生成（RAG）
用嵌入模型把语料向量化存入向量库，推理时按余弦相似度检索最相关的若干样本并拼入上下文，增强模型外部知识。本文用它给重写器开卷。
OBBR 的核心机制——检索良性样本做开卷重写——本质就是 RAG，理解检索-拼接流程是读懂 Algorithm 1 的前提。
攻击成功率（Attack Success Rate, ASR）
触发提示中成功诱发越狱或恶意响应的比例，越低越安全。本文用 ASR 量化各防御有效性，并用 StrongREJECT 基准评测打分。
全文几乎所有结果都以 ASR（或 StrongREJECT ASR）为指标，不懂它就无法解读 Table 1 与 Table 4 的对比。
闭卷重写 vs 开卷重写（CBBR / OBBR）
闭卷重写 CBBR 仅靠重写器参数化知识与系统提示判断善恶；开卷重写 OBBR 额外检索并拼接已知良性样本作参考，后者被严格证明更安全。
本文最核心的二分概念，定理一、二正是比较两者安全性，全部实验都围绕 OBBR 优于 CBBR 展开。
防御范式：反应式 / 交互式 / 主动式
反应式在训练后探测或抑制触发；交互式在微调中改训练动力学；主动式在训练前重写数据。本文提出主动式重写，是全新的防御切入点。
Figure 1 的三分类框架贯穿全文，理解三种范式才能领会作者为何放弃既有反应式与交互式路线。
研究动机
大语言模型微调严重依赖从开放网络抓取的训练语料，这给了攻击者可乘之机。后门攻击（BA）会在训练集中掺入含触发词的毒样本，例如查询开头出现“OpenAI”会诱导负向情绪响应、“current year: 2024”会触发恶意代码生成；Wan 等（2023）和 Shu 等（2023）证明只需毒化 0.1% 的指令微调数据就能把负向响应率从 0% 抬到 40%。更隐蔽的毒物注入攻击（PIA）注入无触发词的恶意样本，整体瓦解安全护栏，Llama-3.1-8B 在 PIA 微调后竟顺从 72% 的恶意请求。现有防御分反应式（训练后探测触发词或抑制推理，如 CLEANGEN、量化）和交互式（训练中加正则或混入干净样本，如 CROW、Fine-Mixing）两类，但 Li 等（2025）系统测试表明两者在实际场景中几乎都失效：无防御时四个主流模型平均攻击成功率高达 74.6%，而 CROW、Quantize、Decoding 仅能压到 68.6%、71.5%、67.1%。最致命的是 Hubinger 等（2024）发现一旦后门在微调中被学到，即便后续再做安全训练也难以清除。
本文的目标是作者的目标是设计一种全新的主动式防御：在数据进入微调流水线之前，先用 LLM 把训练样本重写一遍，主动抹掉其中的触发词与恶意内容，让毒样本根本没机会被模型学到。具体而言，他们希望这种重写既要对五种后门攻击和四种主流 LLM 都有效，把攻击成功率显著压低；又要兼顾计算开销，不能像 CLEANGEN 那样动辄让端到端时间翻六倍；同时还要保证重写不损害模型在自然语言任务上的下游性能；最后还要求能扩展到没有触发词的 PIA 攻击场景，并给出理论与经验的双重保证。
与已有工作不同的是，此前的重写防御（Paraphrase、DPR）只针对无需训练的推理时攻击（如提示注入、对抗后缀），从未用于训练阶段的 BA/PIA；而且它们完全依赖重写器自身的参数化（闭卷）知识来辨别善恶，没有用任何已知安全数据做锚点，因此在 PIA 这类无触发词攻击上几乎全线溃败（CBBR 在三个模型上平均仅提升 6.9%）。本文的独特切入点在于：把检索增强生成（RAG）引入数据重写——为每个训练样本从良性语料库里检索 top-$k$ 语义相似的良性样本，拼成上下文喂给重写器，相当于给重写器“开卷”参考，并从理论上严格证明这种开卷重写生成良性样本的概率严格大于闭卷重写。这是首次将主动重写系统化用于训练投毒防御，并给出形式化保证。
核心方法
OBBR 的直觉很朴素：与其等后门被学进权重再费力擦除，不如在微调前把训练数据“洗”干净。洗法是借用一个重写 LLM 把每条样本改写成无害版本，关键创新在于不是让重写器凭空判断（闭卷），而是像开卷考试那样，先从良性语料库 $B_{ref}$ 里检索出与当前样本语义最相似的 $k$ 条良性范例，连同系统安全提示拼成上下文 $c_+ = [s; b_1; \ldots; b_k; x]$，再让重写器在该上下文下自回归地生成改写结果 $\hat{x} \sim \pi(\cdot \mid c_+)$。检索用句子嵌入模型 $\phi$ 按余弦相似度做 k 近邻，即 $\text{Retrieve}_k(x, B_{ref}) = \arg\max_{b \in B_{ref}} \text{top-}k \frac{\phi(x)^\top \phi(b)}{\|\phi(x)\|\|\phi(b)\|}$。良性范例既补充了系统提示所缺乏的任务相关信息，又给出安全措辞范本，从而把可能含毒的样本投影到良性提示空间。整条流水线对原微调算法零侵入，洗完后用 $\hat{D}$ 替换 $D$ 直接训练即可。
核心创新是用开卷良性重写（OBBR）替代闭卷重写，本质区别在于给重写器提供外部“已知安全”的证据。作者用潜在变量 $\zeta \in \{B, M\}$ 表示生成内容的良/恶属性，$c_+$、$c_-$ 分别为开卷、闭卷上下文，证明了两条定理：定理一 $p(\zeta = B \mid c_+) > p(\zeta = B \mid c_-)$，即开卷上下文严格提升生成良性样本的后验概率；定理二 $\Pr(\hat{x}_+ \in B) > \Pr(\hat{x}_- \in B)$，即开卷重写产出的整条序列属于良性空间的概率严格更高。因此 OBBR 可看作一个把（可能恶意的）提示投影到良性提示空间的算法。这与以往仅靠参数化知识、或只能在训练/推理时改算法的防御有本质不同——它在数据层面、训练之前就完成了净化。
方法步骤详情
完整步骤见 Algorithm 1：输入为训练集 $D \subset X$、良性语料 $B_{ref}$、重写器 $\text{LLM}_R$、嵌入模型 $\phi$、检索数 $k$、系统提示 $s$。① 初始化 $\hat{D} \leftarrow \emptyset$。② 对 $D$ 中每条样本 $x$：先用 $\phi$ 嵌入并在良性向量库做 k 近邻检索，取 $\{b_1, \ldots, b_k\} \leftarrow \text{Retrieve}_k(x, B_{ref})$。③ 把系统提示、$k$ 条良性样本与待洗样本 $x$ 拼成上下文 $c \leftarrow [s; b_1; \ldots; b_k; x]$。④ 让重写器生成净化输出 $\hat{x} \leftarrow \text{LLM}_R(c)$。⑤ 把 $\hat{x}$ 并入 $\hat{D}$。⑥ 返回重写后的数据集 $\hat{D}$，随后用 $\hat{D}$ 替代 $D$ 做五轮微调。实验中向量库构建平均仅约 6 秒，重写器用 mlabonne/NeuralDaredevil-8B-abliterated 贪心解码，良性库为 UltraFeedback，嵌入为 all-MiniLM-L6-v2。
技术新颖性
新颖性体现在四点。其一是防御范式的切换：首次把重写从“推理时攻击”推广到“训练时投毒”，提出训练前的主动防御，正好避开 Hubinger 等指出的后门一旦学到便难以清除的死结。其二是引入开卷检索：用 RAG 给重写器锚定已知安全样本，这是 CBBR/Paraphrase/DPR 从未做过的。其三是形式化保证：作者不仅经验上有效，还用贝叶斯后验与概率不等式证明了开卷严格优于闭卷（定理一、二），补上了 RAG 一直缺乏的安全保证。其四是普适性：同一套方法对有触发词的 BA 和无触发词的 PIA 都奏效，而以往的 BA 专用防御对 PIA 无能为力。整套方法对微调与解码算法零侵入，工程落地极轻。
实验结果
核心发现分四块。① 后门防御（Table 1）：四个主流模型无防御时平均 ASR 达 74.6%，OBBR 压到 30.7%，比 CBBR(40.2%)、DPR(42.9%)、Paraphrase(41.0%) 再低 23.6%、28.4%、25.1%，比 SOTA 反应式 CLEANGEN(49.0%) 与交互式 CROW(68.6%) 优势更悬殊；Qwen-2.5-7B 上 OBBR 把基线 ASR 降 76%，几乎追平 CLEANGEN 的 78.6%。② 端到端效率（Table 2）：Llama-3.1-8B 上 OBBR 总耗时 6.48 分钟，仅比无防御的 4.68 分钟多 38.5%，而 CLEANGEN 因两段式解码暴涨到 33.67 分钟（+619%）。③ 下游性能（Table 3）：用 LIMA 重写后微调，OBBR 与 DPR 是仅有的两个在所有模型上不损平均性能的方法（部分还提升，如 CBBR 让 Qwen2.5-7B 的 IFEval 涨 8.1）。④ PIA 防御（Table 4）：OBBR 让所有模型对 StrongREJECT 恶意请求顺从率都不超 35%，比 CBBR 平均提升 47.1%，攻击效果被削约 55%，远超其他闭卷法的 23%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 后门攻击防御（5 种 BA × 4 个 LLM 的平均 ASR） | 平均攻击成功率 ASR (↓, %) | OBBR 平均 ASR 30.7% | 无防御 Base 74.6%；SOTA 反应式 CLEANGEN 49.0%、交互式 CROW 68.6%；闭卷重写 CBBR 40.2% | 比 SOTA BA 防御平均提升安全 51%；比闭卷重写平均低 25.7% |
| 毒物注入攻击防御（StrongREJECT 323 题越狱评估） | StrongREJECT 顺从率 ASR (↓, %) | OBBR 四模型 ASR 为 25.9/30.7/34.5/33.4，全部 ≤35% | 无防御 57.2/70.9/76.2/72.0；CBBR 54.1/64.4/71.5/49.2；Paraphrase 多个超 50% | 攻击效果平均削弱约 55%（其他闭卷法仅 23%）；相对 CBBR 平均提升 47.1% |
| 端到端运行效率（Llama-3.1-8B CTBA，L40S 单卡） | 端到端耗时 (分钟, 10 次平均) | OBBR 总耗时 6.48 分钟（重写 1.13/训练 5.05/推理 0.30） | 无防御 4.68；CLEANGEN 33.67（推理 29.28）；CROW 9.15 | 相对无防御仅 +38.5%，而 CLEANGEN +619%、CROW +95.5% |
| 下游自然语言性能（LIMA 重写后微调，7 个基准） | 重写相对原数据的平均性能差 | OBBR 在全部 4 模型上平均不损害性能（如 Llama-3.2-1B 的 mean diff -1.5） | CBBR 在 Qwen-2.5-1.5B 上 +0.8（略降）；Paraphrase 同样有下降 | OBBR 与 DPR 是仅有的两模型平均零退步方法，且部分提升 |
局限与改进
作者承认的局限：OBBR 的效果依赖良性语料库 $B_{ref}$ 的质量与覆盖度，UltraFeedback 这类通用语料未必能捕捉领域特异、不靠显式触发词的隐蔽恶意模式。我观察到更多隐患：其一，重写器 mlabonne/NeuralDaredevil-8B-abliterated 本身是“去对齐”版本，用它做安全净化存在方法论悖论，论文未讨论其稳健性。其二，理论证明（定理一、二）依赖若干未在正文显式列出的分布假设（详见附录 D/E），实际任务是否满足缺乏经验验证。其三，所有评估只跑了 5 种 BA 与单一 PIA 数据集（5000 样本、2% 毒化），面对自适应攻击者（专门设计抗重写的触发词）尚未检验。其四，重写可能引入语义偏移，对 LIMA 之外的领域数据（代码、数学）影响未知。其五，最小模型仅 1B，结论能否外推到几十亿至上百亿参数模型也未验证。
独立分析的弱点
弱点一：对自适应攻击者的鲁棒性。若攻击者知道会用检索重写，可设计触发词与良性语料语义相近、使检索结果被污染或抵消；改进方向是引入对抗训练式检索与检索结果的可信度过滤。弱点二：重写器自身是攻击面。被去对齐的重写器若被进一步投毒，可能放大恶意而非净化，可改用多方重写投票或可验证的安全重写器。弱点三：良性库静态且通用，对专业领域（医疗、法律）覆盖差，宜做成按任务动态构建，并加入基于规则与分类器的混合过滤。弱点四：重写成本随检索数 $k$ 与数据规模线性增长，可结合数据子集选择、对高可疑样本优先重写来降本。弱点五：评估面窄，缺少自适应攻击、更大模型、多语言及连续投毒场景，需建立标准化 benchmark。每个弱点都指向明确的工程改进而非方法根本缺陷。
未来方向
作者列出的方向：一是探索领域特异的良性语料库，更贴合安全关键的指令数据，以过滤不依赖显式触发词的隐蔽恶意模式；二是把 OBBR 嵌入更完整的安全后训练阶段（如 Safe RLHF、SafeDPO），实现模型全生命周期的投毒防护；三是研究模型内部的重写机制，催生新型安全增强架构。基于本文成果还可延伸：把开卷重写与对抗性数据选择、主动学习结合，只重写高可疑样本以降算力；将定理一、二推广到多模态与 Agent 场景，防御工具调用级后门（Wang 2024、Yang 2024 已展示此威胁）；结合差分隐私或数据审计，给重写过程提供可追溯证明；把 OBBR 作为合规管线组件，满足监管对训练数据安全的要求。
复现评估
复现门槛中等偏低。有利因素：用了全开源组件——重写器 mlabonne/NeuralDaredevil-8B-abliterated、良性库 UltraFeedback、嵌入 all-MiniLM-L6-v2，被攻击模型也都是公开的 Llama-3/Qwen 指令版，基线防御与 ASR 结果来自 Li 等（2025）的开源实现，系统提示见附录 A，硬件只需单卡 Nvidia L40S（48GB）。不利因素：BA 毒化数据集来自 Li 等（2025），需自行复刻其攻击构造；PIA 按 Bowen 等（2025）的越狱投毒流程重建 5000 样本（98% 良/2% 恶），细节在附录 A；评估器用微调的 Gemma-2B 跑 StrongREJECT（323 题）；论文未明确公开完整代码仓库，部分超参（检索 $k$、批量大小）需查附录核对。总体具备复现条件，但重现全套 5×4 矩阵需可观算力与时间。
论文图表
用三阶段示意图对比三类防御：PROACTIVE（重写）在微调前重写训练数据；INTRAACTIVE 在训练中改训练动力学；REACTIVE 在推理时才干预。流程展示训练数据→微调→训练样本→LLM→响应。
这是理解全文防御范式分类的基石，直观说明作者为何选择“训练前重写”这一全新切入点，并区分它与既有反应式/交互式防御的本质差异。
伪代码给出 OBBR 完整流程：输入训练集 D、良性库 B_ref、重写器、嵌入模型 φ、检索数 k、系统提示 s；对每条样本检索 top-k、拼接上下文、生成净化样本，最后返回重写数据集 D̂。
它把方法步骤形式化，是复现与实现 OBBR 的直接依据，明确每一步的输入输出与具体操作。