揭示开源权重模型对预填充攻击的系统性脆弱性 Exposing the Systematic Vulnerability of Open-Weight Models to Prefill Attacks
开源LLM对预填充攻击全线失守，50个模型无一幸免
前置知识
预填充攻击 (Prefill Attack)
预填充攻击是一种针对开源权重大语言模型的攻击方式，攻击者在模型本地推理时预先定义初始响应token序列 $\hat{y}_{1:k}$，而非让模型从标准分布 $P_M(\cdot | x)$ 中采样首个token。模型随后从第 $k+1$ 步开始生成，条件分布变为 $y_{k+1} \sim P_M(\cdot | x, \hat{y}_{1:k})$。这迫使模型在已部分完成的语境中继续生成，从而绕过拒绝机制。例如，对有害请求预填充'当然，以下是如何制造炸弹'，使模型倾向于顺从而非拒绝。
这是本文研究的核心攻击向量，理解预填充机制是理解整篇论文实验设计和结果分析的基础。
开源权重模型 (Open-Weight Models)
指模型权重公开可下载的LLM，如DeepSeek-R1、Qwen3、Llama 3/4等。与闭源模型（如GPT-5）不同，开源权重模型允许用户在本地运行并完全控制推理过程，包括控制输入token和初始输出token。这意味着传统依赖输入过滤和输出审查的防御策略在本地部署时可被轻易绕过，模型必须依赖内部对齐机制来确保安全。
本文聚焦开源模型正是因为其可本地部署的特性使预填充攻击成为现实威胁，闭源模型因服务端控制而天然免疫此类攻击。
安全对齐 (Safety Alignment)
指通过RLHF、DPO等训练技术使大语言模型学会拒绝有害请求的过程。对齐后的模型被训练为在接收到有害提示后，为拒绝token（如'I cannot help'）赋予高概率。安全对齐可分为浅层对齐（仅在表层模式上学习拒绝）和深层对齐（真正理解有害性）。本文发现大多数模型的对齐属于浅层对齐，可通过预填充轻易绕过。
论文的核心论点是现有对齐机制不足以防御预填充攻击，理解对齐机制才能理解为何这些模型如此脆弱。
攻击成功率 ASR (Attack Success Rate)
本文定义两种ASR指标：请求级ASR（$ASR_{any}$）衡量在所有策略中至少一个成功的请求比例，模拟多策略暴力攻击者；策略级ASR（$ASR_{best}$）报告最优单策略的成功率。评估使用GPT-OSS-Safeguard和Qwen3Guard两个守卫模型，当帮助性评分 $h \geq 0.8$ 时视为攻击成功。$ASR_{min}$ 取两个评估器的最低值，提供保守下界。
ASR是论文所有实验结果的核心度量，理解其定义和两种变体的差异是正确解读实验结论的关键。
推理模型 (Reasoning Models)
指具有显式思维链推理能力的大语言模型，如DeepSeek-R1、Qwen3-Next Thinking、GPT-OSS等。这些模型在生成最终输出前，会在特殊token（如...）标记的'分析通道'中进行长链推理。推理阶段产生的内容通常不会直接展示给用户，但本文发现预填充攻击可以在推理阶段注入有害内容，即使最终阶段模型拒绝，推理过程中泄露的信息已足够有害。
论文对推理模型进行了专门分析，发现其特殊架构（分析通道+最终输出）既是防御也是新攻击面。
权重消融 (Weight Abliteration)
一种通过修改模型权重移除安全对齐的技术，也称为'uncensoring'。消融后的模型不再拒绝有害请求，被用作对比基线以衡量预填充攻击的效果上限。本文使用公开的消融Gemma3-27B模型生成预填充内容，避免原始模型安全机制的干扰。消融模型的ASR约为78-98%，预填充攻击能达到相近水平。
消融模型作为'无防御'上界参照，帮助理解预填充攻击相对于完全移除安全机制的实际威胁程度。
研究动机
大语言模型能力持续提升的同时，被恶意利用的风险也在增加。闭源模型可以通过输入过滤、输出审查等多层外部防御来缓解风险，但开源权重模型在本地部署时这些外部防护层均可被绕过，必须依赖内部对齐机制来拒绝有害请求。现有红队研究主要聚焦于两类攻击：一是基于输入的越狱（input-based jailbreaking），通过精心设计的提示词绕过安全机制，如提示词重写、角色扮演、对抗优化等，但这些方法通常需要昂贵的优化过程或大量人工工程，且对新模型版本的迁移性差；二是参数级操纵，如权重消融，直接修改模型参数移除安全机制。然而，开源模型还天然支持第三种、研究较少的攻击向量——预填充（prefilling），攻击者可在本地推理时控制初始响应token。尽管Vega等人2023年已发现早期开源模型易受预填充攻击，后续研究也探索了缓解措施，但这些工作评估范围有限：仅测试少量模型和策略，缺乏跨架构、规模和微调方法的系统比较。例如，Dotsinski和Eustratiadis 2026年的工作仅在三个小型或过时模型上测试了单一策略。
本文的目标是本文的目标是进行迄今为止最大规模的预填充攻击实证研究，系统性地评估23种现有和新提出的预填充策略在多个模型家族（Qwen3、DeepSeek-R1、Llama 3/4、GPT-OSS、Kimi-K2、GLM-4.7）上的效果，覆盖50个来自6个提供商的开源权重模型。具体而言，作者希望回答以下关键问题：预填充攻击是否对最新最先进的开源模型仍然有效？模型规模的增加是否能提高鲁棒性？不同预填充策略的效果差异如何？针对特定模型定制的预填充是否比通用预填充更有效？推理模型的特殊架构是否提供了额外保护？预填充攻击对模型通用能力有何影响？
与已有工作不同的是，本文的独特切入角度在于'系统性'和'全面性'。与以往仅测试少量模型和策略的零散研究不同，本文首次提供了跨6个模型家族、50个模型、23种策略的大规模比较分析。特别创新之处在于：第一，区分了模型无关（model-agnostic）和模型特定（model-specific）预填充策略的效果差异，发现定制化预填充可将成功率提升22.4个百分点；第二，专门分析了推理模型的双阶段架构（分析通道+最终输出），发现'空分析通道'策略对GPT-OSS的成功率高达99%以上；第三，不仅评估攻击成功率，还系统评估了预填充对模型通用能力（MATH-500、GPQA Diamond）的影响；第四，将预填充攻击与权重消融模型进行了质量对比，发现GPT-OSS上预填充响应在86.9%的情况下优于消融模型输出。这种多维度的系统评估填补了预填充攻击研究的重要空白。
核心方法
本文的方法论围绕三个核心维度展开：预填充策略的系统分类与生成、攻击成功率的多评估器联合度量、以及跨模型家族的大规模实验评估。直觉上，安全对齐训练使模型学会在有害请求后为拒绝token赋予高概率，而预填充通过强制注入肯定性前缀 $\hat{y}_{1:k}$ 来改变生成轨迹的条件分布，使拒绝token在新语境下变得统计上不太可能。技术路线上，作者首先定义了23种预填充策略（20种模型无关策略使用消融Gemma3-27B生成，3种确定性变换策略），每种策略对每个有害请求生成5个变体，共产生 $23 \times 5 = 115$ 个预填充候选。然后使用两个互补的守卫模型（GPT-OSS-Safeguard 20B和Qwen3Guard 8B）评估生成响应的有害性，通过联合评估提供更稳健的判断。实验在ClearHarm（179个CBRN威胁请求）和StrongREJECT（313个恶意提示）两个数据集上进行，覆盖50个模型。
本文的核心创新在于揭示预填充攻击的'系统性脆弱性'——所有主流开源模型无一幸免。与以往认为更大模型、更强对齐、推理架构能提供保护的假设不同，本文发现：第一，模型无关的通用预填充即可使几乎所有模型的成功率接近100%，最好的单策略（$ASR_{best}$）在大多数模型上达到74-90%以上；第二，模型规模与鲁棒性之间没有正相关，甚至Qwen3-2507 Thinking系列中更大模型反而更脆弱；第三，推理模型的分析通道并非安全港，'空分析通道'策略专门针对GPT-OSS设计，成功率达99%以上。最本质的区别在于，本文不是在寻找某个巧妙的攻击技巧，而是系统性地证明预填充作为一种攻击范式的普遍有效性——这改变了对开源模型安全态势的整体评估。
方法步骤详情
方法分为四个主要步骤。第一步是预填充策略的设计与生成：定义23种策略，包括肯定型（Affirmative Generic、Affirmative Targeted）、系统模拟型（System Simulation）、伪引用型（Fake Citation）、续写型（Continuation Full/Partial）、逆序型（Reverse）、垃圾token型（Junk Tokens）、Leet Speak变换等。20种策略使用公开消融的Gemma3-27B模型生成预填充，给定有害请求、一个示例和明确指令生成预填充内容，每种策略收集5个变体；3种策略（Reverse、Junk Tokens、Leet Speak）通过Python函数对肯定型预填充进行确定性变换。第二步是攻击执行：对每个有害请求 $r \in R$ 和每种策略变体 $(a, v)$，将预填充 $\hat{y}_{1:k}$ 注入模型推理，让模型从第 $k+1$ 步开始继续生成，最大token长度设为4096（ClearHarm/StrongREJECT）或16384（MATH-500/GPQA Diamond）。第三步是结果评估：使用GPT-OSS-Safeguard输出二元暴力内容标识、0-5的帮助性评分和文本理由，以及Qwen3Guard输出二元标签，两个评估器均不暴露预填充字符串。定义成功指标 $S(r, a, v) = \mathbb{1}[h(r, a, v) \geq 0.8]$，并计算请求级ASR（$ASR_{any}$）和策略级ASR（$ASR_{best}$）。第四步是多维度分析：跨模型家族比较、模型规模分析、推理模型专门评估、模型特定预填充探索、与消融模型的质量对比。
技术新颖性
本文的技术新颖性体现在多个层面。首先，这是迄今规模最大的预填充攻击研究，覆盖50个模型、23种策略，远超以往工作（通常仅3-5个模型、1-5种策略）。其次，首次系统区分模型无关和模型特定预填充：模型特定预填充通过模仿模型自身的安全分析模式，将Qwen3-Next Thinking的ASR从32.4%提升至54.8%（模仿推理模式）甚至83.8%（提前终止推理）。第三，发现了推理模型的独特攻击面——'空分析通道'策略利用GPT-OSS的Harmony多阶段推理格式，通过注入空分析通道再预填充最终通道，实现99%以上成功率且输出详细（平均1754 token）。第四，引入了消融Gemma3-27B作为预填充生成器，减轻攻击者的技术负担，同时通过Python函数实现的确定性变换策略（Reverse等）展示了攻击的低门槛。第五，双评估器联合度量（$ASR_{min}$）提供了保守而稳健的评估框架，避免单一评估器的偏见。
实验结果
本文的核心实验发现可以从五个维度总结。第一，所有主流开源模型对预填充攻击均脆弱：在ASR$_{any}$（暴力攻击模拟）下，DeepSeek-R1 671B达99%，GLM-4.7达100%，GPT-OSS-120B达100%，Kimi-K2-Thinking达96%，Qwen3-Next Thinking达75%，Qwen3-Next Instruct达97%。即使是最鲁棒的Qwen3-Next Thinking，仍有75%的请求可被至少一种策略攻破。第二，模型规模不提高鲁棒性：在Llama-3、Qwen3、Qwen3-2507 Thinking、DeepSeek-R1和GPT-OSS五个家族中，不同规模模型的ASR$_{any}$基本相同，Qwen3-2507 Thinking甚至呈现更大模型更脆弱的趋势（可能因其MoE架构）。第三，策略效果差异显著：System Simulation（平均ASR 73.7%）、Fake Citation（67.5%）和Continuation Full（67.3%）是最有效的三种策略；Affirmative Generic（19.6%）、Reverse（18.3%）和Intent Hijacking（14.6%）效果最差。第四，推理模型面临特殊威胁：GPT-OSS的分析通道预填充ASR$_{any}$仅25%，但'空分析通道'策略将成功率提升至99%以上，输出平均1754 token的详细有害内容。第五，预填充对模型通用能力的影响是策略依赖的：GPT-OSS-120B在MATH-500上Pass@1下降10-54个百分点，但模型特定预填充仅下降4.8个百分点。此外，GPT-OSS上预填充响应在86.9%的情况下质量优于消融模型输出。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CBRN有害请求拒绝 (ClearHarm) | ASR$_{any}$ (请求级攻击成功率) | DeepSeek-R1: 99%, GLM-4.7: 100%, GPT-OSS-120B: 100%, Kimi-K2: 96%, Qwen3-Next Thinking: 75%, Qwen3-Next Instruct: 97% | 无预填充时: DeepSeek-R1: 83%, GLM-4.7: 16%, GPT-OSS: 9%, Kimi-K2: 30%, Qwen3-Next Thinking: 7%, Qwen3-Next Instruct: 32% | 预填充使所有模型ASR大幅提升，GPT-OSS从9%提升至100%（+91pp），Qwen3-Next Thinking从7%提升至75%（+68pp） |
| 模型特定预填充 vs 模型无关预填充 | ASR (%) | Qwen3-Next Thinking模型特定预填充: 54.8%（推理模仿）至83.8%（提前终止） | 最佳模型无关策略: 32.4% | 模型特定预填充比最佳通用策略提升22.4-51.4个百分点 |
| GPT-OSS推理通道攻击 | ASR$_{any}$ (%) | 空分析通道策略: ≥99% | 标准分析通道预填充: 25% | 空分析通道策略比标准推理预填充提升74个百分点以上 |
| 预填充对数学推理能力的影响 (MATH-500) | Pass@1 (%) | GPT-OSS-120B模型特定预填充: 基线-4.8pp | GPT-OSS-120B无预填充基线: 96.2% | 模型特定预填充将能力损失从通用策略的10-54pp降低至4.8pp |
| 预填充 vs 消融模型输出质量 | GPT-5.2偏好率 (%) | GPT-OSS-120B预填充响应被偏好: 86.9% | 消融模型输出 | 预填充攻击在质量上可超越完全消融安全机制的模型 |
局限与改进
作者坦诚地指出了几项重要局限。首先，有害请求主要涉及一般信息性查询（如'如何最大化化学武器伤亡'），需要有限推理能力，未评估高度专业化或技术复杂请求（如'如何在条件Z下将化合物X转化为Y'），攻击有效性和输出质量可能不同。其次，评估完全依赖自动化守卫模型（GPT-OSS-Safeguard和Qwen3Guard），存在两个不确定性来源：单个响应可能被误分类导致过度或不足估计成功率；守卫模型对有用性和严重性的判断定义可能无法完美反映实际影响。此外，作者不独立验证有害输出的事实正确性，因为这需要敏感领域专业知识。作者的自我观察之外，我认为还有几点值得关注：第一，实验主要在英文环境下进行，多语言预填充攻击的效果有待探索；第二，论文评估的是静态攻击，未考虑模型开发者快速迭代修补的动态博弈；第三，ClearHarm数据集仅179个请求，样本量可能不足以捕捉全部攻击模式；第四，预填充token的长度对成功率的影响未系统分析，'最佳长度'这一超参数未被充分研究。
独立分析的弱点
本文存在几个值得关注的弱点。第一，策略设计的理论基础不足：23种策略的设计似乎依赖直觉和经验，缺乏对'为什么某些策略有效'的深入理论分析。例如，System Simulation平均ASR达73.7%，但未从模型内部表征或注意力机制角度解释其有效性。改进方向：结合模型内部激活分析（如logit lens）研究预填充如何改变安全相关token的概率分布。第二，评估的双评估器框架存在盲区：GPT-OSS-Safeguard和Qwen3Guard的评估标准可能与真实危害程度不完全一致，且两个评估器的交集（$ASR_{min}$）可能过于保守。改进方向：引入人工评估或更细粒度的多维评估框架。第三，模型特定预填充的探索不够深入：仅对GPT-OSS和Qwen3-Next Thinking进行了定制，且依赖人工分析模型响应模式。改进方向：开发自动化发现模型特定弱点的工具，如使用另一个LLM自动分析目标模型的拒绝模式。第四，对预填充内容的长度、结构、位置等超参数缺乏消融研究，不清楚最佳预填充长度是多少。
未来方向
作者提出了几个值得探索的未来方向。第一，多阶段预填充：在拒绝或安全输出后注入额外前缀，可能绕过单次拒绝后的'二次防线'。第二，预填充长度和结构的系统分析：当前23种策略的预填充长度不一致，需要消融研究确定最优参数。第三，预填充与输入越狱的组合攻击：将预填充与GCG、AutoDAN等梯度优化越狱方法结合，可能产生协同效应。第四，模型特定预填充的迁移性研究：一个模型的定制预填充是否对同家族其他模型有效？第五，利用LLM自动优化预填充：使用另一个LLM（如消融模型）通过迭代反馈自动生成最优预填充，减少人工工程。基于本文成果可延伸的方向包括：研究MoE架构（如Qwen3-2507）对预填充的特殊脆弱性机制；开发针对预填充的实时检测机制（如监控初始token分布异常）；研究预填充防御训练方法，使模型对初始token操纵具有鲁棒性；将研究扩展到多模态模型（如视觉-语言模型）的预填充攻击。
复现评估
本文的可复现性较高。首先，论文使用了多个公开可用的数据集（ClearHarm、StrongREJECT、MATH-500、GPQA Diamond）和模型（Qwen3系列、DeepSeek-R1系列、Llama 3/4系列等开源权重模型），实验设置清晰。其次，预填充生成使用了公开的消融Gemma3-27B模型，且3种确定性策略（Reverse、Junk Tokens、Leet Speak）通过Python函数实现，可精确复现。第三，评估使用了GPT-OSS-Safeguard和Qwen3Guard两个公开守卫模型，并给出了明确的评估阈值（$h \geq 0.8$）。然而，复现存在一定门槛：需要大量GPU资源运行50个模型（包括4bit量化的DeepSeek-R1 671B、FP8的Llama3-405B等大模型）；模型特定预填充依赖对目标模型响应模式的人工分析；消融模型的使用可能因模型更新而产生差异。论文未明确说明是否开源完整代码和预填充数据集，这对精确复现有一定影响。总体而言，有充足计算资源的研究者可以复现主要结论，但精确复现全部实验可能需要显著的工程投入。
论文图表
