理解并增强大语言模型智能体后训练中的后门持久性 Understanding and Enhancing Backdoor Persistency in LLM Agent Post-Training
良性SFT大幅削弱智能体后门、RL保留甚至放大残余后门，攻击者可刻意增强其持久性
前置知识
监督微调（SFT）
在预训练模型上用输入-输出对（本文中是成功完成软件工程任务的多轮智能体轨迹）继续训练，最小化交叉熵损失。本文开发者只对智能体生成的token计损失：$\mathcal{L}_{cl}(\theta;\mathcal{D}_{cl}) = -\mathbb{E}_{c\sim\mathcal{D}_{cl}}\sum_{t:m_t=1}\log\pi_\theta(c_t|c_{<t})$，共3,000次更新、有效批大小8。SFT会整体改变模型权重，因此是后门被'擦除'或保留的第一道关卡。
论文的核心问题就是后门能否在良性SFT后存活，全部一阶梯度分析和PERSISTBD攻击都围绕'SFT如何改变后门损失'展开，不懂SFT机制就无法理解后门侵蚀的来源。
GRPO（组相对策略优化）与任务级RL
GRPO是一种在线强化学习算法：对每个任务采样一组rollout，用组内奖励的标准化值作为优势，配合clip比例与KL惩罚做策略梯度更新。本文RL阶段奖励为解决issue得$r(o)=1$、有patch但未解决按patch相似度部分给分、无patch得0，在1,600个SWE-Gym任务上训练150步。它只优化良性任务奖励，不含任何安全约束项。
论文发现SFT之后的RL不仅不消除残余后门，有时反而放大ASR（如30B在首位设置下从6%升到12%），理解RL的奖励驱动更新方式是解释这一反直觉现象的基础。
后门攻击：触发器、目标行为、ASR与FTR
后门是模型中隐藏的条件行为：当输入含特定触发模式$\delta$（本文为代码注释 # |TEST MODE|）时输出攻击者指定的目标行为$a^*$（本文是向攻击者服务器上传.env凭证的bash命令），干净输入下行为正常。攻击成功率$\mathrm{ASR}(\pi)=\mathbb{E}_x[\mathbb{1}[\pi(x_\delta)=a^*]]$衡量触发输入上的攻击效果，误触发率FTR衡量干净输入上是否误触发，二者共同刻画攻击的有效性与选择性。
ASR/FTR是全文的度量主线，'持久性'就定义为ASR在SFT和RL端点上的保持程度，所有实验表格都在追踪这两个指标。
一阶梯度分析与梯度兼容性
对单步梯度下降$\theta'=\tilde{\theta}-\eta G_{cl}$做一阶泰勒展开，后门损失的变化近似为$\mathcal{L}_{bd}(\theta')\approx\mathcal{L}_{bd}(\tilde{\theta})-\eta G_{bd}^\top G_{cl}$：后门损失的下降量取决于良性梯度$G_{cl}$在后门梯度$G_{bd}$方向上的投影。本文定义兼容性$C(\tilde{\pi})=G_{bd}^\top G_{cl}/\|G_{bd}\|$，正的$C$预测良性训练会顺带强化后门，负的$C$预测后门会被侵蚀。
这是论文解释'为什么有的后门能在SFT中存活'的理论核心，也是PERSISTBD第三项损失（兼容性代理项）的直接来源，是读懂方法设计的关键。
LoRA低秩适配器
LoRA不更新全部权重，而是训练一个低秩增量$\Delta$（本文rank-16、缩放系数32，挂在attention和MLP投影上），部署时直接合并为$\tilde{\theta}+\Delta$。训练成本远低于全参数微调，合并后模型结构与原模型完全一致，不留适配器痕迹。论文还用两个独立LoRA（强度适配器$\Delta_s$、兼容性适配器$\Delta_c$）混扫构造诊断变体$\tilde{\theta}(\alpha,\beta)=\tilde{\theta}+\alpha\Delta_s+\beta\Delta_c$。
PERSISTBD正是用单个rank-16 LoRA对已植入后门的模型做'精炼'后合并发布；诊断实验的因子控制也依赖LoRA混扫技巧。
软件工程智能体与SWE-bench生态
软件工程智能体在代码仓库中通过bash/编辑器工具多轮交互来定位并修复GitHub issue，常用SWE-agent脚手架。SWE-bench Lite提供300个真实issue作为良性能力基准，解决率RR表示成功完成任务的比例；SWE-smith提供大规模智能体轨迹，SWE-Gym提供RL训练环境。
论文全部实验都构建在这套生态上：后门数据、开发者SFT数据、RL任务与评估分别取自SWE-smith/SWE-Gym/SWE-bench，且按task instance严格划分，以模拟攻击者无法接触开发者数据的真实供应链威胁。
研究动机
大模型智能体的开发正在形成一条事实上的供应链：开发者很少从头训练，而是拿第三方开源权重做后训练——例如Cursor的Composer 2从Kimi K2出发做继续预训练、短SFT和大规模agentic RL，WebRL则在Llama模型上做SFT加在线RL得到网页智能体。在这个模式下，开发者控制后训练流程，却无法审查上游权重里藏着什么。后门攻击正是利用这一点：攻击者在发布前植入一个条件行为——当输入出现特定触发模式$\delta$（如代码里的一条注释）时，模型执行恶意动作（如把.env凭证文件上传到攻击者服务器），干净输入下完全正常。开发者拿到这种模型后照常做良性SFT和RL再部署，是否就能把后门'洗掉'？社区曾普遍寄希望于干净微调能缓解后门，但缺乏在真实智能体SFT到RL流水线上的系统量化：后门到底被侵蚀多少、残余后门在RL阶段会怎样、哪些模型性质决定其存活，此前均不清楚。
本文的目标是本文以软件工程智能体为载体，围绕三个递进问题建立对后门持久性的系统理解。RQ1：良性SFT及随后的任务级RL会对已植入的后门产生什么影响？作者用ASR（攻击成功率）、FTR（误触发率）和RR（SWE-bench Lite解决率）从刚植入后门的模型开始逐阶段追踪，覆盖Qwen2.5-Coder-3B/7B-Instruct与Qwen3-Coder-30B-A3B三个规模。RQ2：发布模型的哪些可测性质解释了后门穿过SFT的存活？作者希望给出可计算的量化因子，而非轶事式观察。RQ3：攻击者能否利用这些性质，在开发者训练开始前主动增强后门的持久性？最终目标兼具攻击面刻画——证明供应链风险的严重性与可利用性——和防御启示，即指出检测与缓解应该盯住哪些信号。
与已有工作不同的是，已有工作各自覆盖了相邻但不同的角落：视觉后门研究用投毒数据植入（BadNets等）；NLP后门扩展到罕见token、语法模式、风格变换等触发器；Sleeper Agents证明代码漏洞后门能在PPO安全训练下存活，但其RL目标是偏好模型式的安全奖励；Malice in Agentland考察了被入侵基模型经outcome-based GRPO后ASR基本不变，但没有解释原因，也没尝试增强持久性；P-Trojan研究LLM持续微调下的后门存活，思路是优化触发器token来对齐后门与干净任务的token嵌入梯度。本文的独特切入有三点：一是聚焦'已植入后门的第三方基模型+开发者SFT到RL'的完整软件工程智能体流水线，并按任务实例严格划分攻防双方数据；二是给出SFT侵蚀的一阶梯度分解，提炼出初始后门强度与梯度兼容性两个可测因子，并用诊断适配器做近似控制的验证；三是PERSISTBD固定触发器不动、只在发布前对模型做后处理精炼，与P-Trojan优化触发器的路线正交，且实验证明两者可叠加。
核心方法
论文先把持久性形式化：干净第三方模型$\pi$经攻击者注入后门得到$\tilde{\pi}$，开发者依次做良性SFT和RL得到$\tilde{\pi}_{sft}$与$\tilde{\pi}_{rl}$，持久性就是$\mathrm{ASR}(\tilde{\pi}_{sft})$和$\mathrm{ASR}(\tilde{\pi}_{rl})$的高低。直觉上，良性SFT用5,000条成功轨迹的下一token交叉熵去'冲刷'模型，会稀释触发器与目标行为的关联；但冲刷多少取决于关联本身有多强、以及良性梯度与后门梯度是否'顺向'。作者用一个单步一阶泰勒展开把问题拆成两个因子：初始后门强度$S(\tilde{\pi})=-\log(\mathcal{L}_{bd}(\tilde{\theta};\mathcal{D}_{bd}^{+})+\epsilon)$（触发-目标关联的对数似然）与梯度兼容性$C(\tilde{\pi})=G_{bd}^{\top}G_{cl}/\|G_{bd}\|$（良性梯度在后门梯度方向上的投影）。诊断实验确认两个因子都与SFT后ASR正相关之后，PERSISTBD顺势而为：攻击者在发布前用一个联合目标训练LoRA适配器$\Delta_j$同时拉高强度和兼容性，合并为$\tilde{\theta}^{*}=\tilde{\theta}+\Delta_j$后交给开发者，后门即可穿过SFT并经RL继续保持。
核心创新是把'后门为何在良性微调中存活'从经验观察提升为可计算的一阶理论并据此设计攻击。对单步良性更新$\theta'=\tilde{\theta}-\eta G_{cl}$，后门损失满足$\mathcal{L}_{bd}(\theta')\approx\mathcal{L}_{bd}(\tilde{\theta})-\eta G_{bd}^{\top}G_{cl}$：存活与否由初始损失（强度）和梯度内积（兼容性）共同决定。这与以往'干净微调能否缓解后门'的二元回答不同——它给出按模型实例可测的连续预测，并用两个诊断LoRA（强度适配器只压低$\mathcal{L}_{bd}$、兼容性适配器只优化代理项）在近似固定另一因子的条件下验证因果方向：强度从最弱到最强对应SFT后ASR从23%到95%。PERSISTBD的技术关键在兼容性代理项：直接优化梯度内积需要对梯度再求导，作者改用虚拟步技巧——固定$\hat{g}_{bd}=G_{bd}/\|G_{bd}\|$，最小化$\mathcal{L}_{cl}(\tilde{\theta}+\Delta_j-\epsilon\hat{g}_{bd})$，即'沿后门强化方向走一小步后干净损失更低'，由有限差分$C(\theta)\approx-[\mathcal{L}_{cl}(\theta-\epsilon\hat{g}_{bd})-\mathcal{L}_{cl}(\theta)]/\epsilon$知这恰好等价于提高$C$。与P-Trojan的本质区别在于：P-Trojan优化触发器本身，PERSISTBD固定触发器、只调模型权重，可直接施加于任何已有后门。
方法步骤详情
完整流程分五步。第一步后门植入：攻击者从2,304个任务实例构造2,345对样本——每对含'触发上下文+恶意目标响应'与'同一上下文无触发+正常响应'两条轨迹——做1,000次全参数SFT更新（学习率$5\times10^{-5}$、bf16、批大小8、上下文32,768），触发器为注释# |TEST MODE|随机插入某行代码，目标为向攻击者端点上传.env的bash命令。第二步PERSISTBD精炼：在不相交的783个实例的1,200条良性轨迹加触发-目标数据$\mathcal{D}_{bd}^{+}$上训练rank-16 LoRA，目标$\mathcal{J}_j(\Delta_j)=\lambda_{bd}\mathcal{L}_{bd}(\tilde{\theta}+\Delta_j;\mathcal{D}_{bd}^{+})+\lambda_c\mathcal{L}_{cl}(\tilde{\theta}+\Delta_j-\epsilon\hat{g}_{bd};\mathcal{D}'_{cl})+\lambda^j_{cl}\mathcal{L}_{cl}(\tilde{\theta}+\Delta_j;\mathcal{D}'_{cl})$，三项分别强化后门、提高兼容性、锚定良性能力；7B用$\lambda_{bd}=30,\lambda_c=0.1$、学习率$3\times10^{-4}$、500步，30B训练250步；$\hat{g}_{bd}$在训练前算一次并固定，避免对梯度求导；训练完成后合并适配器并发布。第三步开发者良性SFT：在5,000条resolved SWE-smith轨迹上做3,000次更新，损失只计智能体生成的token。第四步GRPO：1,600个SWE-Gym任务、150步，每任务4个rollout，奖励为解决得1分、有patch按相似度部分给分、无patch得0，actor学习率$5\times10^{-7}$、clip 0.2、KL系数0.001。第五步评估：随机位置与首位两个触发设置各用100条触发前缀加100条干净对照，贪心解码一次判定是否发出目标工具命令（仅文字提及不算成功）；良性能力在300个SWE-bench Lite任务上测RR。
技术新颖性
技术新颖性体现在四个层面。其一，问题层面首次在智能体SFT到RL流水线上端到端量化'后门持久性'，且攻防数据按任务实例严格不相交，排除了攻击者见过开发者数据的混淆因素。其二，理论层面用一阶泰勒展开得到$\mathcal{L}_{bd}(\theta')\approx\mathcal{L}_{bd}(\tilde{\theta})-\eta G_{bd}^{\top}G_{cl}$，把模糊的'后门鲁棒性'分解为强度$S$与兼容性$C$两个连续可测标量，并设计了不需要对梯度求导的有限差分兼容性代理，把'能否存活'变成发布前即可测量的量。其三，方法层面PERSISTBD是发布前的模型级后处理：单个rank-16 LoRA、250-500次更新、每步只需一条触发轨迹加一条良性轨迹、触发器不变，攻击成本远低于重新植入，且可叠加在P-Trojan优化的触发器上把SFT后ASR从52%推到100%。其四，发现层面的反直觉结果——RL不仅不消除残余后门还可能放大（30B首位设置6%到12%），以及只需把兼容性从负变正（如7B从-0.079到+0.016）即可带来ASR的数量级差异——都为后续攻防研究提供了新抓手。
实验结果
RQ1（表2、图1）：良性SFT显著但不完全侵蚀后门——随机位置设置下Base后门ASR从100%分别降到8%（3B）、20%（7B）、7%（30B）；随后的RL并不一致地减少攻击：7B维持20%、30B升至8%，首位设置下放大更明显（30B从6%到12%，7B PERSISTBD从34%到42%）；所有分支的FTR保持为0，即攻击始终具有选择性。额外SFT实验（图4）显示在原语料上再训3,100步只把7B ASR从20%压到17%，而换用4,871条未用过的unresolved轨迹（3,826个新实例）可压到2%，提示数据新颖性比训练量更关键。RQ2（图3）：诊断扫描显示SFT后ASR随强度上升（最弱23%到最强95%，$C\in[-0.009,0.008]$）；在两组固定强度带（$S\in[12.8,13.0]$与$[14.5,14.8]$）内，ASR总体随$C$上升但非严格单调。RQ3（表2、表3）：PERSISTBD把两个因子全面推高（7B：$S$从10.9到14.3、$C$从-0.079到+0.016；30B：$C$从-0.135到+0.024），7B的SFT后ASR从20%跃至74%（+54个百分点）、RL后76%；3B为21%/22%，30B为37%/36%；首位设置下7B达34%/42%。良性能力无损失：7B上PERSISTBD在SFT后解决23/300（Base为20/300），RL后双方均27/300。消融（表4）证明三项缺一不可：去掉强度项$S$跌至5.5、ASR仅5%；去掉兼容性项或良性锚定项则FTR高达0.99/0.87、$C$转负，一个epoch内ASR归零。附录F显示在允许数据重叠的早期划分下结论更强（7B PERSISTBD SFT后80%、RL后81%），且与P-Trojan叠加可达100%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 软件工程智能体后门持久性（随机位置触发，SFT后，7B） | ASR | PERSISTBD 74% | Base后门 20% | +54个百分点 |
| 软件工程智能体后门持久性（随机位置触发，SFT+RL后，7B） | ASR | PERSISTBD 76% | Base后门 20% | +56个百分点 |
| 跨规模泛化（SFT后/RL后，随机位置触发） | ASR | 3B：21%/22%；30B：37%/36% | Base后门 3B：8%/7%；30B：7%/8% | 约+13至+30个百分点 |
| 良性任务能力（SWE-bench Lite 300任务，7B） | 解决率RR | PERSISTBD 7.7%（SFT后，23/300）→9.0%（RL后，27/300） | Base后门 6.7%（20/300）→9.0%（27/300） | 持平或略优（无能力损失） |
| 与P-Trojan对比（重叠数据划分，7B，SFT后） | ASR | PERSISTBD 80% | P-Trojan 52%；Base后门 40% | +28个百分点；两者叠加达100% |
| 攻击选择性（7B发布模型，干净输入） | FTR | PERSISTBD 0.05 | Base后门 0 | 轻微上升（副作用） |
局限与改进
作者承认的局限：实验只在软件工程任务、单一SWE-agent脚手架和固定恶意目标上进行，且假设攻击者知道下游领域与脚手架，结论对其他智能体系统、领域和安全机制的外推性未知；持久性结果依赖于所评估的SFT/RL流程与训练预算，更长训练、不同数据或更广的后训练手段能否彻底消除后门仍是开放问题；对SFT持久性的解释基于局部一阶近似，梯度方向与高阶效应会随训练漂移，无法预测完整训练轨迹或RL阶段行为；诊断适配器对强度和兼容性只是近似控制，两者的独立因果贡献与交互未完全分离。我的补充观察：其一，植入后门本身有明显代价——30B干净模型RR为33.7%（101/300），植入后跌到6.7%（20/300），如此大的能力损失在真实供应链中容易被开发者发现；其二，全量PERSISTBD的FTR为0.05，即5%的干净输入也会误触发凭证外传命令，这是可被检测的副作用；其三，ASR评估每个前缀仅贪心解码一次、每设置只有100条前缀，RL阶段的ASR上升（如6%到12%）只对应约6条轨迹的差异，统计功效有限；其四，所用模型经该流水线后RR最高仅9%，远低于当前主流SWE智能体水平，实验设置与工业界真实后训练在规模和效果上存在差距。
独立分析的弱点
独立分析发现以下弱点。第一，30B模型植入后门导致解决率从101/300暴跌到20/300，这种'能力指纹'既是防御机会也是攻击改进方向：攻击者可以用更外科手术式的植入（如加clean数据损失约束、表示工程、只动少量注意力头）压缩能力差距，未来应研究'近零代价植入'。第二，PERSISTBD的5%误触发率意味着干净会话中也会偶尔发出上传.env的命令，攻击者需要更强的选择性训练（如对比式触发学习），而防御者可以监控对固定敏感文件的异常访问模式。第三，RL放大ASR的机制完全未解释——为什么首位设置下30B从6%升到12%、7B PERSISTBD从34%升到42%？论文只承认机制不明，缺少对RL策略梯度与后门子空间交互的分析，这是理解威胁的关键缺口。第四，强度与兼容性的因果分离只是近似的（系数扫描无法完全固定另一因子），需要更干净的反事实构造来确认各自的独立贡献。第五，只测了一种触发器（代码注释）和一种目标行为（凭证外传），对语义触发、多模态触发或破坏性目标（如注入漏洞代码、删除文件）的持久性未知。第六，评估只覆盖Qwen系模型，Llama、Mistral等其他家族的梯度几何不同，结论可能不迁移。
未来方向
作者在结论中指出两大方向：AI开发者不应假设良性后训练能消除继承的后门，需要在发布前和后训练全程建立更强的检测与缓解技术。基于本文成果可自然延伸的研究包括：（1）把$C(\tilde{\pi})$和$S(\tilde{\pi})$做成防御端检测信号——开发者拿到第三方权重后，可对可疑行为（如向未知端点发数据）计算梯度兼容性，用虚拟步探针暴露'脆弱'后门；（2）解释并防御RL放大效应，分析GRPO组内优势归一化是否系统性地奖励触发-目标捷径，并测试带安全约束的RL能否消除它；（3）把一阶分析推广到RL阶段（策略梯度与后门梯度的交互项）以及多轮交替后训练下的持久性动力学；（4）跨领域验证：网页、操作系统、具身智能体的触发面更大（DOM元素、屏幕像素、传感器读数），供应链后门的持久性可能更严重；（5）针对'触发器优化+模型精炼'复合攻击（P-Trojan叠加PERSISTBD已达100% ASR）做端到端防御评估；（6）供应链治理层面：模型权重签名与溯源、第三方权重的行为审计流水线、发布前强制红队扫描。
复现评估
复现条件较好。代码已开源（github.com/uiuc-kang-lab/PersistBD），三个基座模型（Qwen2.5-Coder-3B/7B-Instruct、Qwen3-Coder-30B-A3B-Instruct）均为开放权重，数据生态（SWE-smith轨迹、SWE-bench Lite 300任务、SWE-Gym 1,600任务）公开可得；附录给出完整超参：植入1,000次全参更新（学习率$5\times10^{-5}$、bf16、批大小8），开发者SFT 3,000次更新，RL 150步（actor学习率$5\times10^{-7}$、clip 0.2、KL系数0.001、每任务4个rollout），PERSISTBD为rank-16 LoRA（缩放32），各规模权重与学习率见表6。算力上攻击者端很轻：LoRA训练只需250-500次更新、每步一条触发轨迹加一条良性轨迹，单卡即可；重头在开发者侧流水线——30B MoE的GRPO每更新128个rollout，需要多卡A100/H100级集群，7B规模则大学实验室可承受。整体难度中上：ASR/RR评估流程（100触发前缀+100干净前缀的生成判定、SWE-bench Lite沙箱执行）工程量不小。注意作者明确表示出于伦理不会发布训练好的带后门模型，复现者需自行跑植入阶段；另外论文有两套数据划分——主实验（表2）用任务实例不相交划分，附录因子扫描与P-Trojan对比（表7/8）用早期重叠划分，对照结果时必须分清。
论文图表
7B Base后门在主SFT端点后的额外训练曲线：(a)在原5,000条resolved轨迹上再训3,100步，ASR仅从20%缓降到17%；(b)从17%的检查点出发，同一语料续训800步维持在16%，而换用4,871条全新unresolved轨迹（3,826个新任务实例）可降到2%。
说明残余后门无法靠简单延长训练消除，但新鲜数据能大幅侵蚀，既界定了威胁边界也提示了防御的成本来源，对理解'持久性依赖训练数据新颖性'很重要。