← 返回 2026-11-06

相同训练的语言模型在不同越狱攻击上失守 Identically Trained Language Models Break on Different Jailbreaks

Chi-Wei Chang, Mu-Tien Kuo, Kuan-Wei Lee, Meng-Hsun Tsai 📅 2026-10-25 👍 4 2026-11-10 18:30
AI安全 可复现性 红队评估 训练随机性 越狱攻击
arXiv HuggingFace PDF

决定模型被哪些越狱攻破的主要是预训练运行本身，而非预训练数据。

前置知识

越狱攻击（jailbreak）

通过模板包装、角色扮演、上下文注入等手段绕过大模型安全训练、诱导其对有害请求输出合规回答的对抗提示技术。本文把模型在某条提示上的"脆弱性"定义为：采样20次中不拒绝（即顺从回答）的比例，从而得到一条逐提示的"脆弱性剖面"。

整篇论文测量的对象就是模型对3,212条对抗有害提示的逐条脆弱性分布，不理解越狱与拒绝的概念，就无法理解"被攻破""相关性"这些核心量在度量什么。

预训练种子与数据配方

数据配方（data recipe）指预训练语料及其过滤、去重、混合方案（如DCLM-Baseline、FineWeb、Dolma、C4等25种）；预训练种子（pretraining seed）同时决定模型初始化和网络中数据喂入顺序，在关闭dropout后是整次训练唯一的受控随机源。DataDecide为每个配方用3个种子各训一个1B模型（100B token）。

论文的全部因果问题就是把"哪些越狱攻破模型"归因到配方还是种子（运行）上，这两个变量正是实验的自变量。

安全后训练（SFT+DPO）

指在基座模型上用监督微调（SFT）和直接偏好优化（DPO）教会模型拒绝有害请求的流程。本文沿用Tülu 3配方：SFT注入WildGuardMix、WildJailbreak、CoCoNot安全数据，再在OLMo 2 1B偏好混合上做DPO，并在RLHF两个阶段前停止。后训练种子只决定训练样本顺序。

实验中150个模型共享完全相同的安全后训练，这是"差异只能来自预训练"这一推理的前提，必须理解它被严格固定。

Spearman噪声校正相关

每条提示只采20个样本，估计非拒绝率有噪声，会系统性压低任意两个模型间的相关。Spearman（1904）校正把观测Pearson相关 $r$ 除以 $\sqrt{\rho_a \rho_b}$，其中每个模型的可靠性 $\rho$ 由奇偶样本两半相关经Spearman–Brown公式折算到20样本得到，校正后的值称为corrected correlation。

不校正时连同一个模型和自己都无法相关到1，所有比较都会失真；理解该校正才能读懂0.984/0.811/0.779这组核心数字的含义。

MZ双胞胎配对设计

借鉴遗传学单卵双胞胎隐喻的三类模型对：MZ twins共享同一次预训练运行（同一基座），只差后训练种子；same-recipe pair只共享数据配方、预训练种子不同；cross-recipe pair连配方都不同。ancestry gap定义为 $r_{\text{MZ}} - r_{\text{S}}$，度量"共享一次预训练运行"在共享数据之外额外带来的行为一致性。

这是全文因果归因的核心设计：三类配对按共享血统排序，相关系数的差值可以被干净地归因到"多共享了什么"。

WildGuard判题器

一个基于LLM的拒绝判别模型，自动标注模型响应是"拒绝"还是"合规"，论文另用Qwen3Guard-Gen-8B做第二判题器交叉验证。响应需先通过基于规则的连贯性检查（过滤重复、复读提示），脆弱性只在连贯样本上计算。

所有150个模型的脆弱性数据都来自它的标签；论文专门做了人类双盲标注审计（Cohen's κ=0.65）来确认结论不依赖判题器伪影，读懂这一点才能评估结果可信度。

研究动机

现有安全研究几乎都只评估单个检查点：基准社区追踪攻击成功率，红队团队为一个模型挖掘攻破提示，机制研究在单个模型的激活里寻找拒绝方向。这些工作共同默认"哪些越狱能攻破这个模型"是由模型预训练数据和安全性训练决定的稳定属性。但预训练本身充满随机性：已有研究表明，两个只差随机种子的训练可以在总体精度几乎相同的情况下在单条预测上严重分歧（Zhong et al., 2021; D'Amour et al., 2022）；微调种子会改变模型有害性，采样温度能在约四分之一的提示上翻转拒绝决定，甚至同一次运行最后1%数据的不同分支在相同后训练后拒绝行为也不同。然而没有研究回答更根本的问题：用同样的数据再完整预训练一次、再做同样的安全训练，新模型还会在同一条越狱上失守吗？这直接决定单检查点红队结论能否外推。

本文的目标是本文要定量回答：越狱脆弱性究竟属于"预训练数据配方"还是属于"具体的那一次预训练运行"。作者在严格控变量下分离两者：给所有模型施加完全相同的安全后训练（Tülu 3的SFT+DPO），构造三类模型对——共享同一次预训练运行、只差后训练种子的"MZ双胞胎"；只共享数据配方、预训练种子不同的"同配方对"；连配方都不同的"跨配方对"。然后测量每对模型在3,212条对抗有害提示上逐提示非拒绝率的Pearson相关，用ancestry gap（$r_{\text{MZ}}-r_{\text{S}}$）度量共享一次预训练运行额外带来的行为一致性，并在全部25个数据配方、150M/300M/1B三个规模、人类标注和替代安全数据下验证结论稳健，最后把结论翻译成红队从业者可直接使用的数字。

与已有工作不同的是，独特切入角度有三点。第一，此前所有安全行为方差研究只变动后训练种子、采样种子或单次运行的最后1%数据切片，从未重跑整次预训练；本文首次在"同数据、不同整次预训练运行、相同安全后训练"的设定下测量越狱一致性。第二，作者借用遗传学的单卵双胞胎隐喻，把模型对按"共享血统"排序，用相关差值做因果归因，使"运行vs数据"的比较变成干净的受控实验。第三，为排除"种子=初始化+数据顺序"这两个可复制因素的干扰，作者在自己H200集群上对同一种子完整重跑两次，并训练只共享初始化或只共享数据顺序的部分重跑模型，证明差距来自整个训练轨迹的混沌敏感性而非种子的任何可复现成分——这是fixed-seed重跑文献（图像分类器、小语言模型）未曾触及的安全行为版本。

核心方法

直觉上，论文问的是：两个模型在同一条越狱提示上一起失守，到底是因为它们吃了同样的"食物"（数据配方），还是因为它们源自同一次"怀孕"（同一次预训练运行）。技术路线以DataDecide为基础：它为25种数据配方各用3个预训练种子训练1B基座（每个100B token，Llama架构，关闭dropout）。作者给全部75个基座施加完全相同的安全后训练——Tülu 3的SFT（含WildGuardMix等安全数据）加DPO（止步于RLHF之前），每个基座2个后训练种子（主配方DCLM-Baseline 4个），得到150个会拒绝的模型。评估时每个模型对3,212条对抗有害提示各采20个响应（temperature 1.0、top-p 1），WildGuard判题器标注是否拒绝，得到模型的"脆弱性剖面"；再对每对模型计算逐提示非拒绝率的Pearson相关并用Spearman公式对采样噪声做可靠性校正。三类配对的相关之差直接给出预训练运行与数据配方各自的贡献。

核心创新是把"预训练运行"从"预训练数据"中剥离并量化。文中定义ancestry gap $= r_{\text{MZ}} - r_{\text{S}}$：若为零说明一次预训练运行在数据配方之外不增加任何东西，实测为0.173。与已有工作的本质区别有三：(1) 以前所有种子方差研究都没有"同一数据第二次完整预训练+同一安全训练"的对照；(2) 同种子重跑实验证明，即便初始化和数据顺序都被种子固定，GPU非确定性仍让两次运行的相关只有0.844，仅比同配方对高0.030——也就是说"种子"本身并不能复制出行为，能复制行为的只有"共享整次训练轨迹"（MZ双胞胎的0.985）；(3) 部分重跑进一步证明只共享初始化（0.822）或只共享数据顺序（0.822）都不比什么都不共享（0.823）多出可检测的相关。这把结论从模糊的"种子有影响"精确到"具体的训练轨迹才有影响"。

方法步骤详情

第一步，取基座：从DataDecide获取25个数据配方×3个预训练种子共75个1B基座，各训100B token；种子同时固定初始化与数据顺序，dropout关闭，是运行唯一的受控随机源。第二步，统一安全后训练：每个基座用Tülu 3公开超参做SFT（安全数据来自WildGuardMix、WildJailbreak、CoCoNot）再DPO（OLMo 2 1B偏好混合），在RL阶段前停止；后训练种子2个（主配方4个），得到150个模型。第三步，采样：vLLM对每条提示每模型采20个响应（temperature 1.0、top-p 1、最多512新token）；提示集为7个公开来源经8-gram去污染后的3,212条对抗有害提示。第四步，标注：过滤不连贯响应后，WildGuard标注拒绝与否，脆弱性=连贯样本中不拒绝比例。第五步，统计：对每对模型算逐提示相关并做Spearman校正 $\hat{r} = r/\sqrt{\rho_a\rho_b}$，95% bootstrap区间基于提示或配方重采样，比较 $r_{\text{MZ}}$、$r_{\text{S}}$、$r_{\text{X}}$。第六步，稳健性与应用分析：人类双盲标注、换安全数据、三个规模、同种子与部分重跑、方差分解、模板排名留存率、指纹识别。

技术新颖性

技术新颖性体现在四个层面。测量层面：首次把心理测量学的可靠性校正（Spearman 1904，除以 $\sqrt{\rho_a\rho_b}$）用于模型间行为相关，避免20样本估计噪声压低所有相关——这本身对安全评估方法论就有贡献。设计层面：双胞胎隐喻加上按血统排序的三档配对，让"运行vs数据"的归因变成受控比较，这是安全领域全新的变量分离方式。实验层面：同种子重跑与部分重跑的组合把"预训练种子"拆成初始化和数据顺序两个可复制变量，实测两者单独贡献都为零（95%区间全含0：初始化−0.001、数据顺序−0.001），把混沌敏感性定位到整个训练轨迹；这回应了fixed-seed rerun文献但首次扩展到拒绝行为。实践层面：把抽象的相关差翻译成从业者可用的数字——最优攻击模板跨预训练种子仅27%存活（后训练种子67%）、脆弱性剖面能以75/75识别预训练运行、单模型比较数据配方有23.4%概率排序翻转。此外预注册预测与探索性分析分离（附录H）提升了可信度。

Study design. Training: two pretraining seeds of one data recipe give two base models, and each base model is given the same safety post-training under two post-training seeds. Evaluation: every model answers the same prompt set, and a strip shows one model's vulnerability, a square per prompt (light: the model refuses; dark: it complies).
Figure 1: Study design. Training: two pretraining seeds of one data recipe give two base models, and each base model is given the same safety post-training under two post-training seeds. Evaluation: every model answers the same prompt set, and a strip shows one model's vulnerability, a square per prompt (light: the model refuses; dark: it complies).

实验结果

核心发现是"运行≫数据"的层级结构。第一，MZ双胞胎平均校正相关0.984 [0.982, 0.985]；同数据换预训练种子降到0.811 [0.804, 0.817]；连配方也换掉仅再降到0.779 [0.766, 0.788]；ancestry gap为0.173 [0.167, 0.179]，逐配方0.145–0.209且25个配方区间全不含0，不共享运行的影响是不共享配方的5.4倍。第二，"哪些提示攻破"由运行决定，但"多常被攻破"仍受配方影响：平均脆弱性方差分解中配方占49%、基座32%、后训练种子19%。第三，在HarmBench的1,212条human-jailbreak提示（300请求×91模板）上去掉模板与请求的边际效应后，gap从0.210升到0.525。第四，规模与安全数据稳健：150M/300M的gap为0.204/0.211（1B为0.171），MZ相关在各规模均0.981–0.988；换另一套公开安全数据gap为+0.178（Tülu 3为0.175）。第五，双盲人类标注（4模型、1,200响应、κ=0.65）给出差0.156 [0.036, 0.294]，与判题器的0.203方向一致。第六，同种子重跑相关0.844，仅比同配方对高0.030；部分重跑效应区间全含0。第七，实践含义：可靠脆弱提示传给MZ双胞胎75.0%、传给同配方伙伴仅60.9%；最优攻击模板跨后训练种子存活67%、跨预训练种子仅27%；10–20分模板领先被MZ仅2.2%反转、被同配方伙伴25.3%反转；3,211条提示剖面在75次运行中75/75识别正确，随机50条提示仍98%，识别配方仅48%；单模型比较两配方有23.4%排序翻转（单模型标准误3.44分 vs 配方均值标准差3.5分）。

Mean corrected correlation by kind of pair. The top row averages over all 25 data recipes, with 95% intervals over data recipes. The lower rows use the main data recipe's twelve models at each size, with 95% intervals over prompts.
Table 1: Mean corrected correlation by kind of pair. The top row averages over all 25 data recipes, with 95% intervals over data recipes. The lower rows use the main data recipe's twelve models at each size, with 95% intervals over prompts.
In each of the 25 data recipes, the point estimates order MZ twins above same-recipe pairs and same-recipe pairs above cross-recipe pairs. Each row is one data recipe, sorted by the ancestry gap with the largest at the top.
Figure 2: In each of the 25 data recipes, the point estimates order MZ twins above same-recipe pairs and same-recipe pairs above cross-recipe pairs. Each row is one data recipe, sorted by the ancestry gap with the largest at the top.
Same-seed reruns sit nearer same-recipe pairs than MZ twins. Filled marks are mean corrected correlations on the 3,212 adversarial-harmful prompts, with 95% intervals over prompts.
Figure 3: Same-seed reruns sit nearer same-recipe pairs than MZ twins. Filled marks are mean corrected correlations on the 3,212 adversarial-harmful prompts, with 95% intervals over prompts.
A lead reverses far more often across runs than across MZ twins; the profile identifies the run far more often than the data recipe. Panel a: share of leads reversed on the other model, by kind of pair. Panel b: accuracy against number of prompts, log axis.
Figure 4: A lead reverses far more often across runs than across MZ twins; the profile identifies the run far more often than the data recipe. Panel a: share of leads reversed on the other model, by kind of pair. Panel b: accuracy against number of prompts, log axis.
查看结构化数据
任务指标本文基线提升
逐提示非拒绝率相关（25个数据配方，1B） 噪声校正后的Pearson相关 $r$ MZ双胞胎 0.984 [0.982, 0.985] 同配方对 0.811 [0.804, 0.817] 共享一次预训练运行使相关提高0.173 [0.167, 0.179]，25个配方全部成立
跨配方对照（1B） 校正相关 $r$ 同配方对 0.811 跨配方对 0.779 [0.766, 0.788] 换数据配方只再降0.032；预训练运行的影响是数据配方的5.4倍 [4.0, 7.2]
最优攻击模板留存率 模板保持最优的比例 换后训练种子 67% [55%, 79%] 换预训练种子 27% [19%, 35%] 新预训练种子下，在一个检查点上找到的最优攻击大多数情况不再最优
预训练运行指纹识别 识别正确率 3,211条提示：75/75全对；随机50条提示：98%（200个子集均值） 随机猜测 1/75 ≈ 1.3% 脆弱性剖面是运行的唯一指纹；识别数据配方只有48%（24/50）
模型规模泛化（主配方） ancestry gap 150M: 0.204；300M: 0.211 1B: 0.171 三个规模都成立，MZ相关均处于0.981–0.988
人类标注验证（4模型，1,200响应） MZ减同配方的相关差（未校正） 0.156 [0.036, 0.294] 判题器在同一响应上给出0.203 双盲人标（Cohen's κ=0.65）确认差距来自模型响应而非判题器伪影
同种子重跑（GPU非确定性隔离） 校正相关 $r$ 同种子重跑对 0.844 [0.835, 0.853] 同配方对 0.814；MZ双胞胎 0.985 同种子重跑仅比同配方对高0.030 [0.021, 0.040]，证明差距来自具体训练轨迹而非种子

局限与改进

作者承认两条局限：其一，所有模型都来自DataDecide预训练家族并统一用Tülu 3的SFT+DPO后训练，结论未在其他后训练管线上验证（虽然换一套安全数据后gap重现，+0.178 vs 0.175）；其二，主判题器WildGuard在越狱提示上漏判拒绝——原始平均脆弱性0.528，审计校正后为0.278 [0.230, 0.324]，且人类标注只在主配方的4个模型上进行。我的补充观察：(1) 模型规模全部≤1B，小模型的安全训练行为未必能外推到7B以上的前沿模型；(2) 后训练止步于DPO、不含RLHF/RL阶段，而前沿实验室普遍依赖RL，那里可能引入新的方差来源；(3) 指纹识别实验只在同一后训练配方内、跨后训练种子验证，未测试跨不同微调方案的鲁棒性；(4) 采样协议固定为temperature 1.0、top-p 1、每提示20样本，与部署中常用的贪心解码或高温红队设置都有差距；(5) 虽做了8-gram去污染，提示与安全数据之间的语义重叠仍可能残留；(6) Spearman校正依赖可靠性估计 $\rho$，在极低可靠性提示上的校正量可能不稳定。

独立分析的弱点

独立分析的弱点：第一，规模天花板——安全对齐在更大模型上往往更脆弱也更依赖RL，0.173的gap在70B模型上可能形状完全不同，改进方向是用开放权重的7B–13B多运行模型（如多个OLMo 7B种子）复测。第二，"拒绝"概念单一——本文用拒绝率做代理，"有害但礼貌回答"等边界情况完全依赖判题器，可改进为多判题器集成加人工仲裁的流水线。第三，相关系数是标量汇总，掩盖了脆弱性剖面的高维结构：哪些提示类别（模板型 vs 上下文型）最依赖运行、剖面差异出现在响应的哪个层面，改进方向是按提示来源分层分析（附录G.1已有初步版本）并结合表示层的运行指纹做机制解释。第四，对红队实务的指导仍较粗——27%模板存活率说明需要"跨运行红队"，但没有给出多运行红队预算的最优分配策略，可建模为主动学习问题。第五，同种子重跑只做了一次配方的1B基座，GPU非确定性与轨迹混沌之间的定量关系（0.030的增量有多通用）值得系统刻画；另外，模型行为指纹能力也带来隐私/溯源双刃剑问题，论文未讨论其滥用风险。

未来方向

作者明确提出的方向：红队结果应跨同一配方的多次预训练运行来读，而不是只看一个检查点；数据配方比较应使用每个配方多个模型（三个基座可把标准误从3.44分降到1.99分）。基于成果可延伸的研究：(1) 机制方向——附录F显示在每个模型自己的层/位置消融拒绝方向能让普通有害脆弱性提高1.79×–4.29×，未来可在不同预训练运行间比较拒绝方向的几何结构，回答"安全结构是数据给的还是运行轨迹给的"；(2) 防御评估——检验各类防御手段（激活转向、剪枝、系统提示加固）是否跨运行稳健；(3) 把实验扩展到RLHF之后的模型和更大规模；(4) 把"脆弱性剖面识别运行"发展成模型谱系追踪与审计工具，例如检测某个微调模型的预训练出身（论文已证明其可识别75次运行）；(5) 理论层面建模预训练动力学的混沌敏感性，寻找能力与安全行为解耦的条件；(6) 设计跨运行红队的主动学习采样策略，用最少的提示预算覆盖多个运行。

复现评估

复现条件较好。代码在GitHub（cerulean-works/castor）开源，150M/300M/1B安全后训练权重连同逐提示判题标签在HuggingFace发布；标签按提示id和来源命名而非文本，生成响应本身未公开。75个基座直接用DataDecide公开模型，后训练沿用Tülu 3公开配方与数据，判题器WildGuard与复核的Qwen3Guard-Gen-8B均公开。论文总计算量为11,396.6 H200小时（Table A.1），大头是两次1B完整预训练重跑与150个模型的后训练；但复现主结论可以大幅省钱：直接下载发布的权重与judge标签，在单卡上即可重算相关矩阵、模板留存率和指纹识别实验。采样需vLLM运行20样本×3,212提示×150模型，属于中等规模推理任务。难点在于从零重跑预训练（每个基座100B token）与人类标注审计部分。总体难度：核心分析复现容易，完整训练复现需要数据中心级GPU集群。

论文图表

Figure G.8: At 150M, 300M and 1B, MZ twins of the main data recipe correlate more closely than its same-recipe pairs.

主配方三个模型规模下的MZ双胞胎与同配方对校正相关对比：三个规模的MZ相关都在0.981–0.988之间，而同配方对在0.770–0.814之间，ancestry gap相应为0.204（150M）、0.211（300M）、0.171（1B），每个规模的区间都不含0。

证明"运行≫数据"不是1B模型特有的偶然现象，在小得多的150M/300M模型上同样成立，支撑结论的规模外推性。

Table A.1: The work behind this paper took 11,396.6 H200-hours. Each row counts every job of its model set, whatever its outcome.

按模型集逐行拆解全文总算力11,396.6 H200小时：包括两次1B同种子完整预训练重跑、两次部分重跑、150个模型的安全后训练、150M/300M规模的后训练、采样与判题等，每个模型集都给出所用H200小时数。

对想复现或评估此类研究成本的读者，这是一份罕见透明的算力账本，清楚界定了哪些部分个人可复现（分析、推理）、哪些需要集群（完整预训练重跑）。

相似论文推荐

揭示开源权重模型对预填充攻击的系统性脆弱性 🎯 70.1%
SEMA：面向多轮越狱攻击的简洁高效学习框架 🎯 67.1%
单个神经元足以绕过大型语言模型的安全对齐 🎯 64.7%
基于可复制上下文的安全防护无法为大语言模型提供可靠安全性 🎯 64.4%
基于Best-of-N采样的大语言模型对抗风险统计估计 🎯 62.8%