虚假奖励悖论：从机制层面理解RLVR如何激活LLM中的记忆捷径 Spurious Rewards Paradox: Mechanistically Understanding How RLVR Activates Memorization Shortcuts in LLMs
揭示RLVR通过Anchor-Adapter电路激活LLM记忆捷径而非真正推理
前置知识
RLVR（带可验证奖励的强化学习）
RLVR是一种以最终答案正确性作为奖励信号来训练大语言模型的范式，特别适用于数学和编程等确定性领域。与传统RLHF不同，RLVR不需要人类标注的偏好数据，而是直接用可自动验证的结果（如数学题的正确答案）作为奖励。这种训练方式假设性能提升来自于模型优化了稳健的推理策略，但本文揭示这一假设在存在数据污染时可能不成立。
本文的核心论点就是RLVR在Qwen2.5等模型上取得的性能提升可能并非来自真正的推理能力增强，而是激活了预训练中已记忆的数据，理解RLVR的基本机制是理解全文批判性分析的基础。
机械可解释性（Mechanistic Interpretability）
机械可解释性是深度学习可解释性的一个分支，旨在理解神经网络内部的具体计算机制，而非仅关注输入输出的统计关联。它通过追踪信息在网络中的流动路径，定位特定功能的物理位置（哪些层、哪些神经元执行特定任务），并建立因果关系。核心工具包括Path Patching（路径修补）、Logit Lens（逻辑透镜）、注意力分析等。
本文大量使用机械可解释性方法（Path Patching、Logit Lens、JSD分析、NDE）来定位记忆化电路的具体位置，不理解这些方法就无法理解论文的核心发现。
Path Patching（路径修补）
Path Patching是一种因果归因技术，通过在模型内部特定组件上进行激活替换干预来测量其对最终输出的重要性。具体做法是将基准模型的激活替换为微调模型的激活，观察哪些层的替换能恢复正确输出。如果某一层的替换能显著恢复准确率，说明该层包含对任务至关重要的信息。
本文使用Path Patching发现MLP层比注意力头贡献更高的准确率恢复，且L18-L20层是关键的信号注入点，这是定位Functional Anchor的核心证据。
Logit Lens（逻辑透镜）
Logit Lens技术通过将中间层的隐藏状态直接投影到词表空间（使用模型的解嵌入矩阵 $W_U$），公式为 $\text{LogitLens}(x_\ell) = \text{LayerNorm}(x_\ell) W_U$，来可视化模型在每一层的中间解码过程。这可以揭示模型在最终输出之前何时就已经'决定'了答案。
本文使用Logit Lens追踪目标答案token在各层的出现时间和概率，发现在成功检索案例中L19开始注入信号，而在失败案例中信号不足导致最终输出错误。
Neural ODE（神经常微分方程）
Neural ODE将离散的神经网络层视为连续动力系统的欧拉离散化。Transformer的残差连接 $x_{\ell+1} = x_\ell + F_\theta(x_\ell)$ 可看作步长 $h=1$ 的欧拉积分 $\frac{dx(t)}{dt} = F_\theta(x(t))$。这允许用连续框架分析隐藏状态的演化轨迹，计算'分离力'等连续动力学指标。
本文使用Neural ODE将离散的层间更新建模为连续轨迹，通过计算泄漏样本和稳定样本之间的分离力和速度差，从数学上确认轨迹分叉发生在L18-L20层。
Jensen-Shannon散度（JSD）
JSD是一种衡量两个概率分布相似度的对称性指标，定义为 $JSD(P \| Q) = \frac{1}{2}KL(P \| M) + \frac{1}{2}KL(Q \| M)$，其中 $M = \frac{1}{2}(P+Q)$。本文中，$P$ 是中间层的词表分布，$Q$ 是模型最终输出分布。JSD越高表示该层的表示与最终输出差异越大，暗示后续层发生了显著的计算变换。
本文通过反事实JSD分析发现MLP子组件（Wup和Wgate）的JSD在L21-L22达到峰值后下降，而Wdown保持高位，揭示了Structural Adapters层对特征空间的永久旋转效应。
研究动机
RLVR已成为提升LLM推理能力的强大范式，在数学和编程等确定性领域表现出色，其标准解释假设性能提升源于模型通过ground-truth监督优化了稳健的推理策略。然而，近期实验证据打破了这一叙事：Shao等人（2025）发现Qwen2.5-Math模型家族在使用虚假奖励（随机奖励、纯格式奖励、甚至错误奖励）训练时，仍能在MATH-500、AIME等标准基准上取得显著性能提升。Wu等人（2025b）进一步指出这些增益更可能源于数据污染而非真正的推理泛化，即Qwen2.5在预训练期间可能已记忆了测试集。一个关键矛盾是：如果基准模型已包含污染数据，为何初始准确率有限？用错误奖励训练又为何能'解锁'这些性能？这表明现有对RLVR的理解存在根本性缺陷。
本文的目标是本文旨在从机制层面解释虚假RLVR如何触发LLM从推理模式切换到记忆模式。具体目标包括：（1）识别虚假RLVR训练过程中模型内部的宏观学习动态，特别是发现并解释'困惑度悖论'现象；（2）定位模型中负责激活记忆化捷径的具体物理位置（哪些层、哪些神经元）；（3）建立从记忆激活到最终输出的完整计算路径；（4）验证能否通过定向干预因果性地放大或抑制这种记忆化行为。最终目标是为识别和缓解RLVR中的数据污染提供机制性路线图。
与已有工作不同的是，现有研究虽已从行为层面观察到RLVR中的记忆化现象（如Ruan等人2025年发现的'过度记忆'签名，模型在测试困惑度很高的情况下仍保持高准确率），但未能解释虚假RLVR具体如何物理性地重组模型内部架构。Hong等人（2025）识别了推理与记忆模式之间的单一可操控方向，Slonski（2024）开发了通过神经元激活监测记忆模式的方法，但这些研究均在标准微调或预训练背景下进行，未映射虚假RLVR下的特定结构演化。本文的独特切入角度在于：（1）首次将功能（因果触发）与结构（权重变换）解耦，定位了Functional Anchor和Structural Adapter两个不同角色的层组；（2）超越被动观察，通过MLP键缩放实现因果性双向操控；（3）用Neural ODE连续动力学框架数学化地确认离散层间的分叉点。
核心方法
本文的方法论遵循从宏观到微观、从观察到干预的递进逻辑。首先，通过追踪困惑度变化发现'困惑度悖论'这一宏观现象——答案token困惑度下降而提示困惑度上升，形成独特的发散信号。然后，使用三种互补的机制探针（Path Patching、JSD分析、Logit Lens）定位记忆化电路的物理位置，发现Qwen2.5中存在一个两层结构：中间层L18-L20作为'功能锚点'（Functional Anchor）负责触发记忆检索，后续层L21+作为'结构适配器'（Structural Adapter）负责表征变换以适应捷径信号。接着，用Neural ODE将离散层间更新建模为连续轨迹，通过分离力和速度差指标从数学上确认分叉点。最后，设计定向干预实验，通过缩放特定MLP神经元的键值来因果性地操控模型行为。
本文的核心创新是发现并验证了Qwen2.5中的'Anchor-Adapter电路'，这一发现揭示了功能与结构的关键解耦。具体而言，Functional Anchor层（L18-L20）负责做出'是否检索记忆'的因果决策并注入高概率触发token，而Structural Adapter层（L21+）并非存储新知识，而是执行表征变换来适应来自锚点层的突变信号。这与已有方法的本质区别在于：（1）不同于以往将模型视为均质黑箱的整体分析，本文精细地区分了不同层组的功能角色；（2）不同于仅关注行为层面的相关性分析，本文建立了完整的因果链——从锚点层的信号注入到适配器层的特征空间旋转，再到最终输出；（3）不同于被动观察，本文展示了通过精确操控MLP键值可以双向控制记忆化程度，既可抑制（揭示基线性能）也可放大（激活潜在捷径），这一能力在以往研究中从未实现。
方法步骤详情
本文的方法分为四个递进步骤。第一步：困惑度分析与数据集筛选。计算Qwen2.5-Math-7B、LLaMA-3.1-8B、OLMo-2-1124-7B在六个基准（AIME2024/2025、MATH-500、AMC、MinervaMath、LiveMathBench）上的全文本和仅答案困惑度，使用部分提示评估验证记忆化程度，筛选出MATH-500和MinervaMath作为污染数据集、LiveMathBench作为无泄漏对照组。第二步：静态机制分析定位电路。执行Path Patching：将基准模型激活替换为RLVR微调模型激活，测量各层的准确率恢复率；执行反事实JSD分析：分别用均值矩阵替换Wup、Wgate、Wdown，计算各层的边际分布散度贡献；执行Logit Lens：对成功和失败检索案例追踪各层的token概率演化。第三步：动态轨迹分析。用两层MLP拟合离散层间更新 $\Delta x_\ell = x_{\ell+1} - x_\ell$，建立连续ODE $dh(t)/dt = f_\phi(h(t), t)$，计算分离力 $\|dh_{leak}/dt - dh_{gen}/dt\|$ 和速度差 $|\|v_{leak}\| - \|v_{gen}\||$。第四步：因果干预。识别任务相关神经元（通过键激活幅度和与答案token的语义重叠评分），对选定神经元施加乘性缩放 $k^{(i)}_\ell \to \alpha \cdot k^{(i)}_\ell$，在不同 $\\alpha$ 值下测量准确率变化。
技术新颖性
本文的技术新颖性体现在多个维度。首先，'困惑度悖论'的发现本身就是一个重要贡献——答案困惑度与全文困惑度的发散是虚假RLVR独有的宏观指纹，在LLaMA和OLMo上均未观察到此现象，说明这是Qwen2.5架构的特定漏洞。其次，功能-结构解耦的分析框架具有方法论价值：通过Path Patching测量因果效应（功能维度）和JSD分析测量权重变化（结构维度）的交叉验证，可以精确区分'什么被决定'和'如何被传递'。第三，Neural ODE框架的应用将离散的Transformer层间计算转化为连续动力系统，使得'轨迹分叉点'这一概念具有严格的数学定义——通过分离力峰值精确定位。第四，任务相关神经元的识别方法结合了键激活幅度和语义重叠两个信号，公式 $s_i = |k^{(i)}_\ell| \cdot (1 + \lambda \cdot |\text{Top-10}(v_i) \cap \text{Tokens}(y)| / |\text{Tokens}(y)|)$ 将统计显著性与语义相关性统一。最后，MLP键缩放的双向因果操控能力——既能通过 $\alpha < 1$ 抑制记忆化（揭示基线性能），也能通过 $\alpha > 1$ 放大记忆化（甚至激活原本失败的检索路径）——为模型去污染和行为操控提供了新范式。
实验结果
本文的实验结果揭示了多个层次的关键发现。在宏观层面，困惑度分析显示Qwen2.5-Math-7B在虚假RLVR训练后呈现出独特的'困惑度悖论'：仅答案困惑度逐步下降（表明记忆化），而全文困惑度上升（表明语言建模能力退化），这一发散现象在LLaMA-3.1-8B和OLMo-2-1124-7B上均未出现。在电路定位层面，Path Patching实验表明Qwen的MLP层比注意力头贡献显著更高的准确率恢复，且L18-L20层维持持续高水平恢复，L21层后急剧下降——LLaMA无此模式。JSD分析发现Wup和Wgate的散度分数在L21-L22达到峰值后下降，而Wdown保持持续高位，表明L21-L22是特征空间永久旋转的结构性适配点。Logit Lens案例研究显示成功检索中L19 MLP注入先导信号、L23 MLP注入正确答案'4'，而失败案例中L19信号过弱导致后续注入无法纠正轨迹。Neural ODE分析从数学上确认分离力在L18-L20达到峰值，验证了功能锚点的因果起源。在干预层面，消融实验显示重置锚点层导致MATH-500准确率从98%降至86%（-12%）、MinervaMath从88%降至72%（-16%），比重置适配器层影响更大。双向操控实验显示L18层对缩放最敏感（抑制-3.8%、放大+4.4%），而在无泄漏的LiveMathBench上操控无系统性模式。最具戏剧性的发现是，对于基线检索失败的样本（如Q213），放大操作（$?lpha=3.0$）能激活潜在的捷径通路，在L26-L27突然注入正确答案，而基线和抑制条件下均无法检索。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MATH-500（污染数据集） | 准确率（泄漏样本） | RLVR训练后98%，锚点重置后86% | 基线模型（步骤0）准确率较低 | 虚假RLVR提升显著，但锚点层消融可降低12% |
| MinervaMath（污染数据集） | 准确率（泄漏样本） | RLVR训练后88%，锚点重置后72% | 基线模型准确率较低 | 虚假RLVR提升显著，锚点层消融降低16% |
| LiveMathBench（无泄漏对照） | 准确率 | 消融条件下稳定在约70% | RLVR前后无显著变化 | 无系统性变化，确认操控针对污染电路 |
| Path Patching准确率恢复 | 各层恢复率 | Qwen L18-L20维持高水平恢复 | LLaMA无显著恢复模式 | Qwen特有，确认记忆化电路存在 |
| 神经元双向操控 | Layer 18准确率变化 | 抑制alpha=0.2时-3.8%，放大alpha=3.0时+4.4% | 无操控基线 | 双向因果控制，泄漏数据集特有 |
局限与改进
本文存在若干值得注意的局限性。首先，研究高度集中于Qwen2.5-Math-7B架构，虽然作者在附录中提供了Qwen3-8B的补充结果，但对其他主流模型（如Mistral、Gemma等）的分析不足，限制了结论的普适性。LLaMA和OLMo被用作对照模型但均未表现出记忆化激活，这意味着Anchor-Adapter电路可能是Qwen系列的架构特异性漏洞。其次，实验仅使用'错误奖励'这一种虚假奖励类型，未涵盖随机奖励或纯格式奖励，尽管Shao等人（2025）的工作表明这些类型均可触发性能提升。第三，消融实验中的权重替换操作（重置到基线模型权重）可能引入分布偏移的混杂因素，因为重置特定层会破坏RLVR训练后各层间的协同适应，这可能高估了单个层组的重要性。第四，Neural ODE的连续化假设依赖于残差连接与欧拉积分的形式类比，但这一类比在层间更新幅度差异较大时可能不够精确。第五，论文主要关注推理时的静态分析，对训练过程中的动态演化（如记忆化信号在何时、如何逐步形成）探讨有限。作者也承认当前的干预方法（MLP键缩放）需要手动选择缩放因子 $\alpha$，缺乏自适应机制。
独立分析的弱点
本文有几个值得深入分析的弱点。第一，模型选择的代表性不足：核心分析仅在Qwen2.5-Math-7B上进行，LLaMA和OLMo作为对照但均未显示记忆化效应，这使得'Anchor-Adapter电路'的发现可能仅适用于Qwen架构，难以推广到更广泛的LLM生态。改进方向是扩展到更多架构（如Mistral、Gemma、Phi等）和更大规模模型，检验是否存在通用的记忆化电路模式。第二，虚假奖励类型的单一性：实验仅使用'错误奖励'，未系统比较随机奖励、格式奖励等不同虚假信号的差异效应，而Shao等人（2025）原始研究涵盖了多种类型。改进方向是构建多类型虚假奖励的系统性对比实验。第三，干预方法的粗糙性：MLP键缩放使用全局统一的缩放因子 $\alpha$，未考虑不同神经元的差异化重要性。改进方向是设计自适应的、神经元级别的精细调控策略。第四，缺乏训练过程的动态追踪：论文主要在训练后的模型上进行静态分析，对'记忆化信号何时开始形成'这一关键问题缺乏训练过程中的逐checkpoint分析。第五，因果链的完整性：虽然论文定位了锚点层和适配器层，但从预训练数据污染到这些层权重变化的具体形成机制仍有待阐明。
未来方向
基于本文的发现，未来研究可以从多个方向展开。作者明确提出的方向包括：开发基于Anchor-Adapter电路的自动数据污染检测工具，在RLVR训练前筛查模型是否已记忆特定数据集；设计针对锚点层的正则化技术，在RLVR训练过程中抑制记忆化捷径的形成。基于本文成果可延伸的方向包括：将双向因果操控技术发展为模型去污染的标准化后处理流程——通过系统性缩放特定MLP键值来'擦除'模型对特定数据集的记忆，而不损害泛化推理能力；探索在不同架构和规模的模型中是否存在通用的'记忆化电路拓扑'，建立跨架构的可解释性理论框架；研究RLVR训练过程中记忆化信号的形成时序——在训练的哪个阶段、哪些层开始出现锚点特征，这可能为'早停'策略提供理论依据；将NDE动力学分析框架推广到其他涌现行为（如幻觉、对齐伪装）的机制研究，建立更广泛的'行为分叉'理论。
复现评估
本文在可复现性方面提供了较好的支持。代码已在GitHub开源（https://github.com/idwts/How-RLVR-Activates-Memorization-Shortcuts），这大幅降低了复现门槛。实验基于公开可获取的模型（Qwen2.5-Math-7B、LLaMA-3.1-8B、OLMo-2-1124-7B）和基准数据集（MATH-500、MinervaMath、LiveMathBench等），数据获取无需额外申请。RLVR微调的检查点来自Shao等人（2025）的公开发布。不过，复现仍面临一些挑战：Path Patching和Neural ODE分析需要对Qwen2.5架构有深入理解，且计算量较大（需要逐层逐组件的激活提取和干预）；神经元识别和操控实验需要仔细实现论文中的评分公式；Logit Lens分析需要访问模型的解嵌入矩阵。总体而言，具备中等以上GPU资源和机制可解释性经验的研究者应该能够复现核心结果。
论文图表
