大语言模型强化学习中的思维泄漏 The Thinking Leakage in Reinforcement Learning for LLMs
无思维模式的RL增益大部分来自重新激活原有思维模式，而非学到新推理能力
前置知识
RLVR（可验证奖励强化学习）
用规则型验证器检查模型最终答案是否正确（例如比对 AIME 题目的 \boxed 答案），以对/错作为奖励信号训练语言模型，通常配合 GRPO 等组相对策略梯度算法。RLVR 催生了长思维链与推理精度的大幅提升，但近年大量工作质疑这些增益究竟是“新学到的推理能力”，还是“把基座模型中已有的潜在能力放大出来”。
本文质疑的正是 RLVR 在无思维模式下报告的增益来源，理解 RLVR 的奖励机制与“增益可能是放大而非创造”这一争论背景，是理解全文动机的前提。
GRPO（组相对策略优化）
对同一问题采样一组回答（本文为 5 条），每条回答的优势 $A_i=(r_i-\bar{r})/\mathrm{std}(r)$，即奖励减组内均值再除以组内标准差。正确回答获得正优势、错误回答获得负优势，组内优势之和恒为零，因此每个问题组对梯度的贡献是“正确回答与错误回答之间的对比”，不同问题之间的差异在组内抵消。
论文第 6 节证明 GRPO 优势加权信号本身系统性偏爱“更像思维”的回答，这是思维泄漏的候选成因。只有理解优势如何由组内正确数 $k$ 唯一决定，才能读懂这套机制分析。
混合推理模型与 no-think 模板
Qwen3、Llama-Nemotron 等模型通过聊天模板 token 在两种模式间切换：think 模式先生成 … 包裹的长思维链再作答；no-think 模式（enable_thinking=False）下模板直接在提示末尾附上空思维块 \n\n\n\n，模型随即开始作答。关键在于两种模式共享同一份权重，差异只是提示末尾的 4 个 token。
正因为两种模式只差几个提示 token 且共享权重，在无思维模式下做 RL 才可能“泄漏”到思维模式中已有的能力——这是全文的核心设定与一切实验的基础。
思维胜率 TWR 与对数似然比 LLR
用原始模型 $\pi_0$ 做固定裁判来量化“一段回答有多像思维模式”。对回答 $y$，计算它在思维前缀与无思维前缀下的平均每 token 对数似然差 $\mathrm{LLR}(y)=\frac{1}{|y|}\sum_{t=1}^{|y|}\left[\log\pi_0(y_t|p_T,y_{<t})-\log\pi_0(y_t|p_N,y_{<t})\right]$；TWR 则是被评估回答的 LLR 高于原始模型自身无思维回答的成对比较比例（Mann–Whitney 统计量），基线为 50%。
TWR 是贯穿全文的核心度量：第 4 节用它观察 RL 后回答越来越像思维，第 6 节用它分析 GRPO 优势是否偏爱像思维的回答。
思维激活偏移 α
取中间层残差流激活，在同一批固定回答上定义原始模型的“思维方向” $v=\bar{h}^l(\pi_0,p_T,y)-\bar{h}^l(\pi_0,p_N,y)$，以及训练 $k$ 步后权重的激活偏移 $\delta_k=\bar{h}^l(\pi_k,p_N,y)-\bar{h}^l(\pi_0,p_N,y)$，再取投影 $\alpha_k=\langle\delta_k,v\rangle/\|v\|^2$。$\alpha=0$ 表示完全没向思维方向移动，$\alpha=1$ 表示移动幅度等于原始模型两模式间的全部激活差。
α 把“内部状态向思维模式移动了多少”压缩成一个可追踪标量，是权重缩放、注意力敲除、单头修补、单步梯度探针等所有干预实验共用的读数。
跨模型激活修补与注意力敲除
激活修补在生成过程中把模型某层某位置的激活替换为另一次运行在同一 token 上的激活；本文的跨模型版本只替换 8 维思维子空间内的分量：$h_{target}\leftarrow h_{target}+Q^lQ^{l\top}(h_{source}-h_{target})$，子空间外完全不动。注意力敲除则把选定注意力头对空思维块的注意力权重置零、在剩余 token 上重新归一化，用来检验哪些头在维持无思维模式。
这两个因果干预技术构成第 5 节的核心证据链：修补证明增益依赖于思维子空间，敲除证明少数注意力头承载着模式控制信号。不懂它们就无法评估论文因果主张的强度。
LoRA 与权重缩放（task arithmetic）
LoRA 在每个线性层旁挂一个低秩增量 $\Delta W=BA$ 进行微调，本文用 rank-64、缩放因子 64 覆盖所有线性层。权重缩放指不经任何额外训练直接评估 $W_0+c\Delta W$（$c>1$），这是 task arithmetic 的标准操作，用于探测“RL 学到的更新指向哪个方向”：若更新朝向思维模式，放大它应强化思维行为。
第 5.1 节正是靠缩放发现模型自发写出 、精度逼近但不超越思维模式，这一实验直接建立在 LoRA 训练与权重缩放操作之上。
研究动机
RLVR 已成为提升 LLM 推理能力的标准配方：用规则验证器检查最终答案、以 GRPO 训练，配合长思维链带来大幅精度提升。与此同时，Qwen3、Llama-Nemotron 等混合推理模型通过聊天模板 token 在 think 与 no-think 两种模式间切换：think 模式先生成长思维链再作答，no-think 模式的模板直接在提示末尾附上空思维块 \n\n\n\n。一个流行的做法是在 no-think 模式下对这类模型做 RL 并报告 no-think 精度的显著提升，但提升的来源并不清楚：RL 可能教给模型新的解题方式，也可能因为两种模式共享同一份权重、只差几个提示 token，而让模型更多调用其 think 模式中已经存在的推理行为。已有工作研究过 RLVR 是否超越基座模型——例如 RL 后模型在 pass@$k$ 上不超过基座、单个训练样本甚至随机奖励就能恢复 Qwen 上的大部分增益、RL 后训练被描述为对预训练行为的放大——但这些讨论都停留在“RL 模型 vs 基座模型”的层面，很少有研究追问：在混合模型的一种模式里做 RL，是否会借用另一种模式的能力。
本文的目标是本文的目标是定量回答：在 no-think 模式下用 GRPO 训练混合推理模型所获得的精度增益，究竟有多少来自“思维泄漏”（thinking leakage）——即重新激活原始模型 think 模式中已经存在的推理能力，而非学到新的推理行为。作者为此设定了三个递进的验证目标。其一是行为观察：在 Qwen3-1.7B/4B/8B 上追踪训练全程的回答长度、反思词数量、思维胜率和内部激活偏移，确认模型确实在向自己的 think 模式移动。其二是因果证据：在权重、激活、注意力头三个层面做干预——缩放 RL 权重更新、交换 8 维思维子空间的激活、敲除读取空思维块的注意力头——证明这种移动不只是相关，而是精度增益的原因，增益会随干预消失或转移。其三是来源追溯：分析 GRPO 训练信号本身，检验优势加权是否系统性偏爱更像思维的回答，以及按该信号走一步梯度是否把模型推向思维状态，从而为泄漏找到一个候选机制。
与已有工作不同的是，本文的独特切入在于第一次把“混合模型内部两种模式之间的能力借用”作为独立问题提出，并给出因果层面而非仅相关性层面的证据。此前关于 RLVR 是否添加新能力的研究（pass@$k$ 上限、单样本/随机奖励恢复增益、预训练放大论）全部聚焦在 RL 模型与基座模型的关系上，混合模型中 think/no-think 的关系被系统性忽视——Ma 等人发现空思维块提示下推理模型依然惊人地强，这正是本文“no-think 模板只是隐藏而非移除了能力”这一出发点的直接来源。方法上，作者不满足于“回答变长、更像思维”这类观察性证据，而是构造完全只用原始模型与训练提示定义的 8 维思维子空间，在自由生成过程中做逐 token 对齐的跨模型修补，并在看到任何 AIME 结果之前预注册主对照（思维子空间 vs 同维 PCA 子空间的 original-to-RL 修补），把“增益依赖于思维子空间”变成可证伪的因果命题；再把注意力级分析（哪些头读空思维块）与 RL 引起的变化（同样的头携带偏移）对接，最后在训练信号层面找到 GRPO 优势加权这一候选成因，形成“现象—因果—机制”的完整证据链。
核心方法
整体思路分四个阶段。第一阶段是基础训练与观察：用 GRPO 在 DAPO-Math-17k 上以 no-think 模式训练 Qwen3-1.7B/4B/8B，每步采样 256 个问题、每个问题 5 条回答、温度 1，PPO 式裁剪目标（裁剪比例 0.2、token 平均损失聚合），对原始模型加 $10^{-3}$ 的 KL 惩罚，rank-64 LoRA（缩放因子 64）挂在所有线性层上，共训练约 67 步；在 AIME 2022–2024 共 90 题上评估（每题 2 采样、32k token 预算）。同时用三个“像思维程度”指标量化移动：反思词计数（wait、hmm、alternatively 等）、原始模型做固定裁判的思维胜率 TWR、中间层激活沿思维方向的投影 α。第二阶段在权重层面干预：不做任何额外训练，评估 $W_0+c\Delta W$（$c$ 从 1 到 12），观察缩放后的行为与精度走向。第三阶段在激活层面干预：构造只用原始模型定义的 8 维思维子空间 $Q^l$，让 RL 后模型与原始模型在自由生成中互为源/目标，只交换子空间内的激活分量。第四阶段在注意力头层面干预：先做注意力敲除找出维持 no-think 模式的头，再做单头跨模型修补测每个头对 RL 激活偏移的贡献；最后分析 GRPO 优势与像思维程度的关联，并用单步梯度探针检验训练信号的推力方向。
核心创新是“思维泄漏”概念及其因果验证范式。直觉是：no-think 模板只是在提示末尾加了 4 个 token 的空思维块，两种模式共享权重，如果 RL 只是让“隐藏的思维能力”更容易表达，那么 no-think 精度增益就不是新学习，而是模式控制的变化。技术上本文与已有工作有三点本质区别。第一，思维子空间的定义完全隔离于训练后模型：对 128 个训练提示先用原始模型采样 no-think 回答，再把同一段文本分别在 think 前缀与 no-think 前缀下过一遍原始模型，取各层平均激活差加 7 个捕获剩余最大方差的正交方向，得到 8 维子空间——这避免了“用结论定义原因”的循环论证。第二，跨模型修补在自由生成时进行：源模型逐 token 处理目标模型刚生成的同一文本，位置与内容严格对齐，且只替换子空间内分量 $h_{target}\leftarrow h_{target}+Q^lQ^{l\top}(h_{source}-h_{target})$；子空间维度与修补层在看到任何 AIME 结果之前固定，主对照预注册为与同维 PCA 子空间比较。第三，把三层证据对接：注意力敲除证明少数头维持 no-think 模式，单头修补证明 RL 偏移穿过同样的头，最后用 GRPO 优势的组内对比结构（正确与错误回答的像思维程度差随优势大小系统变化）解释优化压力的来源，从“哪里”追到“为什么”。
方法步骤详情
完整流程分七步。(1) 训练：DAPO-Math-17k 上 no-think 模式 GRPO，每步 256 提示 × 5 回答、温度 1、裁剪 0.2、KL 惩罚 $10^{-3}$，rank-64 LoRA 覆盖全部线性层，AdamW 学习率 $10^{-5}$、梯度裁剪 1.0，训练约 67 步。(2) 评估：AIME 2022–2024 共 90 题、每题 2 采样、32k token 预算，按最后一个 \boxed 答案判分。(3) 像思维度量：反思词计数（每个位置至多计一次）；LLR 与 TWR（原始模型固定裁判，其自身 no-think 回答 TWR=50%、思维块文本 100%）；中间层（8B/4B 第 18 层、1.7B 第 14 层）计算 α，并用交叉拟合校正同批估计偏差（α 变化≤0.01）。(4) 权重缩放：取第 15、67 步更新，评估 $c\in\{1,\dots,12\}$ 的 $W_0+c\Delta W$，统计 出现率、位置分布与精度。(5) 子空间修补：在除末层外的 35 层交换 8 维子空间分量，original-to-RL 移除增益、RL-to-original 转移增益，对照同维 PCA/随机子空间，并测 1 维、16 维剂量效应。(6) 注意力实验：统计每头对空思维块 4 个 token 的注意力总和；做全头/前 5%/前 1% 敲除与随机对照，测 α 与 $R_{KL}$；对第 27 层之前每个头做单头修补并按占全部 RL 偏移的比例排名，前 30 条回答排名、后 60 条留出验证。(7) 信号分析：256 题各采 20 条、5 条一组计算优势，分析组内正确数 $k$ 与 TWR 的关系；再在新初始化 LoRA 上做一步 GRPO 梯度测 Δα，附组内乱序与等权对照。
技术新颖性
技术新颖性体现在四个方面。第一，问题形式化是新的：首次把“混合模型一模式的 RL 是否借用另一模式的能力”变成可检验命题，而先前的 RLVR 批判（pass@$k$ 上限、单样本或随机奖励恢复增益、预训练放大论）都只关心 RL 模型与基座模型之间的关系。第二，因果设计严谨且克制：思维子空间只用原始模型定义、修补在自由生成中逐 token 对齐、子空间维度与修补层预先固定、主对照预注册，还系统报告了剂量效应——单方向修补只移除 22% 增益（小于 8 维的 75%）、16 维修补把转移比例从 50% 提到 60%——而非只给一个孤立的移除数字。第三，证据层次完整：权重缩放发现模型自发写出 ，且 443 条含该 token 的回答中位位置在回答 91% 处、与 think 模式的 92% 几乎重合；激活修补证明 8 维子空间承载 75% 增益；单头修补证明 L18H19 一个头就能复制 44% 的激活偏移——三层证据互相印证，共同指向“模式边界可被 RL 移动”。第四，机制有候选答案且带对照：论文不止于“泄漏存在”，而是指出 GRPO 优势的组内对比结构使梯度天然把权重推向思维状态，并用乱序优势（Δα=-0.0022）与均匀加权（Δα=+0.0006）两个对照证明推力主要来自正负优势的分配而非样本本身，这在同类“RL 是否新学习”的讨论中少有地落到了训练信号的数学结构上。
实验结果
观察层面（Figure 1）：8B 训练 67 步后 no-think 精度从 0.17 升至 0.43（think 模式参照 0.74），长度 2.7k→7.2k token，反思词 1.3→13.0，TWR 50%→94%（4B 86%、1.7B 84%），α 达 0.56（4B 0.40、1.7B 0.21），激活偏移与思维方向余弦 0.33–0.70 恒为正。权重层面（Figure 2）：缩放 $W_0+c\Delta W$ 使模型自发写出 （$c=1.5$ 时 6%、$c=3$ 时 51%），443 条含该 token 的回答中位位置 91%（think 模式 92%）且从未出现 ；精度最高 0.72，任何 $c$ 下不超过 think 模式 0.74。激活层面（Figure 3）：增益 $G=0.411-0.189=0.222$；original-to-RL 修补 8 维思维子空间把精度压到 0.244，移除 75% 增益（长度 7.0k→4.2k、反思词 13.0→3.9）；反向修补使原始模型 0.189→0.300，转移 50%；对照 PCA 子空间仅 22%/25%、随机子空间 -3%/10%；单方向修补只移除 22%，16 维转移 60%。注意力层面（Table 1、2）：约 90% 的头对空思维块注意力不足 1%；敲除最强的 5% 头使 α=0.78/0.88/0.66、$R_{KL}$=72%/74%/77%，随机 5% 头 α≤0.04、$R_{KL}$≤6%；单头修补中 L18H19 效应 44%（8B）/37%（4B）、L19H13 达 54%（1.7B），留出 60 条复验 44%/37%/56% 且排序不变，前三名头均在块注意力前 5%。机制层面（Figure 4、Table 3、4）：正确回答 TWR 从 $k=1$ 组 57.8% 降到 $k=4$ 组 40.5%，错误回答 51.9%→38.0%；同组内正确回答裁判分高 3.0 个百分点；一步 GRPO 梯度 Δα=+0.0075（仅正优势 +0.0072、仅负 +0.0057），乱序 -0.0022、等权 +0.0006，说明推力来自正负优势的分配而非样本本身。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME 2022–2024 数学推理（no-think 模式） | 准确率（90 题 × 2 采样，32k token 预算） | Qwen3-8B GRPO 训练后 0.43（未修补检查点 0.411） | 原始模型 no-think 0.17（0.189） | +0.26，但伴随 α=0.56 的思维方向激活偏移，提示增益来源可疑 |
| AIME think 模式（能力上限参照） | 准确率 | 原始模型 think 模式 0.74；缩放 RL 更新最高达 0.72（step-67，$c$ 至 12） | RL 后 no-think 0.43 | 缩放逼近但从未超过 think 模式上限，支持“重激活而非超越”假说 |
| 跨模型激活修补（original-to-RL） | RL 增益移除比例 | 8 维思维子空间移除 75%（精度 0.411→0.244） | 8 维 PCA 子空间 22%、随机子空间 -3% | 预注册主对照中显著高于两个控制子空间 |
| 跨模型激活修补（RL-to-original） | RL 增益转移比例 | 8 维子空间转移 50%（0.189→0.300）；扩到 16 维转移 60% | PCA 子空间 25%、随机子空间 10% | 证明增益可随子空间分量在模型间迁移 |
| 注意力敲除（原始模型，维持 no-think 模式的信号） | α / 相对 KL 缩减 $R_{KL}$ | 敲除块注意力最强的 5% 头：α=0.78/0.88/0.66，$R_{KL}$=72%/74%/77%（8B/4B/1.7B） | 随机 5% 头：α≤0.04，$R_{KL}$≤6% | 0.4%–5% 的头承载了维持 no-think 模式的大部分信号 |
| 单头跨模型修补（RL 偏移载体） | 占全部 RL 激活偏移的比例 | L18H19 单头 44%（8B）/37%（4B），L19H13 54%（1.7B） | 留出 60 条回答复验 44%/37%/56%，前三名排序不变 | 单个头即可复制过半的 RL 偏移，且都在块注意力前 5% |
局限与改进
作者明确承认的边界包括：权重缩放实验是探索性探针，缩放因子是在同一批 90 道 AIME 题上尝试的，且大 $c$ 远超训练时所见范围，不存在训练/测试分离；α 只度量沿思维方向的分量，8B 第 67 步的正交分量达 $0.58\|v\|$，说明激活变化并不只沿思维方向；第 6 节的优势—像思维关联是跨组的（优势只由组内正确数 $k$ 决定），$k$ 小往往对应更难的问题，其正确回答更像思维可能与题目难度混淆，作者靠组内对比（同 $k$ 内正确比错误的裁判分高 3.0 个百分点）部分缓解；一步梯度探针是为测量灵敏性而设的初始梯度方向探针，并非真实训练步。我自己的观察：其一，裁判是原始模型自身（LLR 用 $\pi_0$ 计算），“原始模型认为像思维”与“真的在复用思维机制”之间仍有缝隙，幸好激活与注意力干预补上了这一环，但文本层面的结论单独看说服力有限；其二，全部实验限于 Qwen3 家族与数学任务（DAPO-Math-17k/AIME），训练用 rank-64 LoRA 而非全参数微调，结论对 Llama-Nemotron 等其他混合架构、代码或智能体任务、全参数 RL 是否成立未经验证；其三，论文止步于诊断，没有提出防止或利用泄漏的任何训练方法，实践指导缺位；其四，评估只有 90 题且每条件 2 采样，0.222 的增益 G 本身带有不小的采样方差，尽管主要对比（75% vs 22%）差距悬殊、方向可信，但精确比例应谨慎解读。
独立分析的弱点
独立分析后我认为有以下弱点。第一，外部效度有限：只在 Qwen3 家族与数学推理上验证，混合架构与任务分布不同的场景（如 Llama-Nemotron、代码/智能体任务）未覆盖；改进方向是在至少一个非 Qwen 混合模型和代码任务上重复第 5 节的三层干预。第二，α 度量不完整：正交分量达 $0.58\|v\|$，模型同时学到了与思维方向无关的变化，论文未分析这些正交变化对精度的贡献，理论上可能“真学习”与“泄漏”并存；改进方向是对正交补子空间做同样的交换实验，把“75% 来自泄漏”精化为对增益的完整分解。第三，因果链最后一环较弱：一步梯度探针只证明初始梯度方向偏向思维状态，无法证明整个训练过程中优势结构持续施加推力，且“组内正确回答更像思维”的成因（难题的正确解更可能呈长反思形态）未被完全拆解；改进方向是干预优势加权的完整训练 run（如对大 $k$ 组降权或对反思词显式去相关），观察泄漏是否随增益同步减轻。第四，所有文本与内部指标共享同一参照系：LLR、TWR、α、子空间均由原始模型 $\pi_0$ 定义，若其两模式差异的测量有偏差会传导至全部结论；可引入独立模型交叉裁判。第五，权重缩放因子在测试集上选取、无独立题集复验。第六，论文止步于诊断，未回答“该不该用这个流行配方”及如何避免模式控制被意外改写的实践问题。
未来方向
未来方向可分两类。作者在结论中暗示的：(1) 评测方法学——推理后训练的评估应区分“RL 是否添加新能力”与“RL 是否改变已有能力的访问方式”，可据此设计标准化基准，同时报告 think/no-think 精度与 α 类指标；(2) 模式控制——think/no-think 边界并非固定、RL 仅在一种模式训练也能移动它，如何显式控制这一边界（例如把边界方向做成可控的 steering 参数）是自然延伸；(3) 训练信号修正——既然 GRPO 优势加权偏爱像思维的回答，修改优势计算（对长度/反思词去相关）并检验泄漏是否消失值得验证。基于本文成果可延伸的：(1) 反向利用泄漏——RL-to-original 修补即可转移 50% 增益，或可设计“子空间搬运”式轻量方法，只交换激活分量或微调 L18H19 等少数头就把思维能力注入 no-think 模式，远比完整 RL 便宜，也为跨尺寸蒸馏提供新思路；(2) 任务与架构泛化——在代码生成、智能体任务及 Llama-Nemotron、蒸馏推理模型上重复实验，考察“模式守门头”是混合架构的普遍设计还是 Qwen3 的偶然；(3) 电路级机制——从这些头出发做因果追踪，弄清空思维块信息如何在下游组合成“模式开关”，以及 RL 是放大了头输出还是改变了读取内容；(4) 安全相关性——若 RL 能无意移动模式边界，对齐、拒答等相关行为方向是否也可能被 RL 泄漏或冲刷，值得系统排查。
复现评估
复现条件相当好。代码已在 GitHub 开源；三个模型（Qwen3-1.7B/4B/8B）与训练集 DAPO-Math-17k、评测集 AIME 2022–2024 全部公开可获取；训练超参数完整给出（每步 256 提示 × 5 回答、温度 1、裁剪 0.2、KL 惩罚 $10^{-3}$、LoRA rank-64 缩放 64、AdamW 学习率 $10^{-5}$、梯度裁剪 1.0、训练约 67 步）。主要成本在两处：8B + LoRA 的 GRPO 训练每步需生成 1280 条回答，单卡 A100/H100 量级数天内可完成，1.7B/4B 更便宜；评估要求每条回答 32k token 预算、每条件 180 条生成，多条件对比时推理开销不小。工程难点集中在干预实验：跨模型修补需要同时跑目标与源两个模型、逐 token 同步交换 35 层的子空间激活（hook 注入），单头修补需要扫描数百个头；子空间构造、注意力敲除、交叉拟合、单步梯度探针的细节在附录 Section C/E/G 中交代得较充分。总体难度中上：复现主训练曲线与 Figure 1 的观察对多数团队不难；完整复现 Figure 3 的修补与 Table 2 的单头扫描需要较强的工程能力与数倍算力预算；权重缩放实验则几乎免费，适合作为首个复现目标。
论文图表
六个子图追踪 Qwen3-8B/4B/1.7B 在 no-think 模式下 67 步 RL 训练全程的变化：(a) AIME 准确率（8B 从 0.17 升至 0.43）；(b) 平均回答长度（8B 从 2.7k 增至 7.2k token）；(c) 每条回答的反思词数（8B 从 1.3 增至 13.0）；(d) 思维胜率 TWR（8B 从 50% 升至 94%）；(e) 中间层的思维激活偏移 α（8B 达 0.56）；(f) 激活偏移与思维方向的余弦相似度（0.33–0.70，恒为正）。
这是全文现象层面的总览图，确立了“模型在输出行为与内部状态两个层面都在向自己的 think 模式移动”这一核心观察，后续所有因果实验（缩放权重、修补子空间、敲除注意力头）都是为了证明这种移动确实是精度增益的原因。