大语言模型中的稀疏奖励子系统 Sparse Reward Subsystem in Large Language Models
发现LLM隐藏状态中存在稀疏的奖励相关神经元子系统
前置知识
隐藏状态（Hidden States）
在Transformer架构的LLM中，每一层都会产生一个高维向量表示，称为隐藏状态。对于输入序列中的每个token位置，模型的第$l$层会产生一个维度为$d$的隐藏向量$h(s_t, l) \in \mathbb{R}^d$。这些隐藏状态编码了模型对输入的理解，包括语义、语法和任务相关信息。在本文中，作者分析这些隐藏状态中的单个神经元激活值，发现奖励相关信息集中分布在少数神经元中。
本文的核心分析对象就是隐藏状态中的单个神经元，理解隐藏状态的结构是理解整个工作的基础。
价值函数（Value Function）
在强化学习中，价值函数$V(s)$表示从状态$s$开始，遵循当前策略所能获得的期望累积奖励。在LLM推理场景中，状态$s_t$是已生成的部分响应，价值函数$V^M(s_t) = \mathbb{E}_M[r(s_T) | s_t]$表示从当前状态继续生成，最终得到正确答案的概率。高价值意味着当前推理轨迹很可能成功。
价值函数是本文定义'价值神经元'的核心概念，理解它才能理解为什么某些神经元能够预测模型置信度。
时序差分误差（Temporal Difference Error, TD Error）
TD误差$\delta_t = \gamma V(s_t) - V(s_{t-1})$衡量当前步骤对价值估计的意外改变。正值$\delta_t > 0$表示新生成的推理步骤提高了到达正确答案的概率（正面惊喜），负值$\delta_t < 0$表示推理步骤降低了成功概率（负面惊喜）。在本文中，TD误差在段落边界处计算，使用蒙特卡洛估计来获取价值函数的近似值。
TD误差是'多巴胺神经元'的定义基础，理解它才能理解为什么某些神经元的激活模式能够反映推理过程中的意外进展或错误。
过拟合假说（Superposition Hypothesis）
过拟合假说（来自Anthropic的研究）认为，神经网络中高频率、高重要性的特征倾向于获得专用的、稀疏的神经元表示。这是因为这些特征在训练过程中被频繁使用，因此网络会为其分配专门的计算资源。相反，低频率特征可能被叠加编码在多个神经元中。
这个假说为本文的核心发现——奖励信息集中在稀疏神经元中——提供了理论解释。
剪枝实验（Pruning Experiments）
剪枝是一种模型压缩技术，通过移除不重要的参数来简化模型。在本文中，作者使用L1范数剪枝：计算探测器第一层隐藏层权重连接的L1范数，移除范数最小的输入维度。通过逐步增加剪枝比例$p$，观察预测性能的变化。如果性能在剪枝大部分神经元后仍然稳定，说明只有少数神经元是关键的。
剪枝实验是本文识别稀疏神经子集的核心方法论，理解它才能理解如何从数万个神经元中找到关键的1%。
研究动机
近年来的研究表明，LLM的隐藏状态编码了丰富的奖励相关信息，可以用于加权学习、预测模型置信度和答案正确性、检测幻觉以及执行隐式推理。然而，现有方法通常采用黑箱方式：在完整的隐藏状态上训练探测器（probe），虽然证明了奖励信息可以被解码，但完全没有揭示这些信息在隐藏状态中是如何组织和结构化的。例如，现有的线性探测器和MLP探测器都在整个$d$维隐藏向量上训练，无法告诉我们是所有神经元都在贡献，还是只有少数关键神经元在起作用。这种黑箱方法的局限性在于：（1）从机制可解释性角度，我们不清楚奖励信号是否稀疏编码；（2）从实际应用角度，如果我们能识别出最小的负责神经元集合，就能实现更轻量、更有针对性的应用。
本文的目标是本文的具体目标是：（1）证明LLM隐藏状态中的奖励相关信息集中在稀疏的神经元子集中；（2）识别并表征两种类型的神经元——价值神经元（编码状态价值预期）和多巴胺神经元（编码步级TD误差）；（3）通过干预实验证明这些神经元对奖励信号的特异性；（4）展示这些发现的实际应用价值，包括用价值神经元预测模型置信度，用多巴胺神经元作为过程奖励模型指导推理搜索。
与已有工作不同的是，本文的独特切入角度在于从神经元级别分析奖励信息的组织结构，而不是将隐藏状态视为整体。与以往的工作不同，本文不满足于证明'奖励信息可以被解码'，而是要进一步回答'这些信息在哪里、如何分布'。这种微观视角的灵感来自神经科学：生物大脑中的价值神经元和多巴胺神经元分别编码主观价值和奖励预测误差，作者发现LLM中存在类似的稀疏子系统。此外，本文不仅停留在相关性分析，还通过干预实验（零化特定神经元）建立了因果关系，这在现有文献中是少见的。
核心方法
本文的方法整体思路可以分为三个阶段。首先是探测阶段：作者设计了两种探测器——价值探测器$V$和多巴胺探测器$D$，都是两层MLP网络，从LLM的隐藏状态中提取奖励相关信号。价值探测器使用TD学习目标训练，预测当前状态的期望价值；多巴胺探测器预测段落级别的TD误差。其次是识别阶段：通过L1范数剪枝实验，逐步移除输入维度，观察预测性能的变化，从而识别出对预测至关重要的稀疏神经元子集。如果AUC或Spearman相关系数在剪枝大部分神经元后仍然稳定，就证明存在稀疏的关键神经元。最后是验证和应用阶段：通过干预实验（零化特定神经元）证明这些神经元的特异性和因果关系，并展示它们在置信度预测和过程奖励建模中的应用。
本文的核心创新点是将LLM的隐藏状态类比为生物神经系统的奖励子系统，识别出两种功能明确的稀疏神经元类型。与已有方法的本质区别在于：（1）已有方法将隐藏状态视为整体的黑箱表示，本文则深入到单个神经元级别，揭示奖励信息的稀疏组织结构；（2）已有方法通常只关注最终答案的正确性预测，本文则同时分析了状态价值（前瞻性）和TD误差（逐步反馈），提供了更完整的奖励信号图景；（3）已有方法缺乏因果验证，本文通过零化实验建立了神经元与奖励信号之间的因果关系；（4）已有方法的探测器通常是静态的，本文的价值探测器使用TD学习，能够捕捉推理过程中的动态价值变化。
方法步骤详情
本文的方法包含以下具体步骤：（1）数据准备：从GSM8K、MATH500、ARC等数据集收集问题，让LLM生成响应，记录每层每个位置的隐藏状态$h(s_t, l)$；（2）价值探测器训练：对于给定层$l$，使用两层MLP（ReLU激活）作为探测器，输入维度匹配LLM隐藏状态维度，输出标量价值预测。使用TD误差目标$\mathcal{L}_{TD}(l) = \mathbb{E}[\sum_t \delta_t^2]$进行训练，其中$\delta_t = \gamma V_l(s_t) - V_l(s_{t-1})$（$t < T$时）或$\delta_t = r(s_T) - V_l(s_T)$（$t = T$时）；（3）多巴胺探测器训练：类似架构，在段落边界处计算TD误差$\delta_t = \gamma \hat{V}(s_t) - \hat{V}(s_{t-1})$，使用蒙特卡洛估计（$K$个独立rollout）获取价值函数近似值，仅保留$|\delta_t| > 0.3$的段落用于训练；（4）神经元识别：计算探测器第一层权重的L1范数，按范数排序，逐步剪枝输入维度（剪枝比例$p$从0到1），绘制AUC或Spearman相关系数与剪枝比例的关系曲线；（5）干预实验：零化top-1%价值神经元的激活值，测量模型在MATH500上的准确率下降，与随机、Magnitude、Wanda、NTP神经元等基线比较。
技术新颖性
本文的技术新颖性体现在多个层面。首先，神经元级别的奖励分析是全新的视角：以往的探测研究都在完整的隐藏状态上训练，本文首次证明奖励信息可以被压缩到不到1%的神经元中，这挑战了'奖励信息均匀分布'的隐含假设。其次，TD学习用于探测器训练是创新的应用：传统的探测器使用简单的监督学习（如二元交叉熵），本文的TD学习目标能够捕捉推理过程中的动态价值变化，更适合自回归生成场景。第三，多巴胺神经元的概念和识别方法是原创的：虽然价值神经元的概念在强化学习中有先例，但TD误差在LLM隐藏状态中的稀疏编码是新发现。第四，从探测到因果的完整证据链是方法论上的贡献：先通过探测证明相关性，再通过剪枝证明稀疏性，最后通过零化实验证明因果性，这种多层次的验证方法值得借鉴。
实验结果
本文的核心发现可以归纳为四个方面。第一，价值神经元的稀疏性：在Qwen-2.5-14B-SimpleRL-Zoo模型上，GSM8K和MATH500数据集的实验显示，即使剪枝99%的神经元，价值探测器的AUC曲线仍然稳定，证明不到1%的神经元就足以预测状态价值（Figure 1）。第二，多巴胺神经元的稀疏性：类似地，Spearman相关系数在剪枝大部分神经元后仍然保持稳定（Figure 4），证明TD误差信息也集中在稀疏神经元中。第三，价值神经元的特异性：零化实验（Table 2）显示，零化1%的价值神经元导致MATH500准确率从75.2%暴跌至平均20.3%（下降54.9个百分点），而零化相同数量的随机神经元仅下降0.6个百分点，Magnitude方法下降3.6个百分点，Wanda方法下降9.4个百分点，NTP神经元反而略有提升（+1.2%）。价值神经元与NTP神经元的重叠率仅为0.7%（随机基线为0.5%），进一步证明了价值神经元对奖励信号的特异性。第四，价值神经元的可迁移性：跨数据集的IoU分析（Figure 2）显示，GSM8K与MATH500、GSM8K与ARC、MATH500与ARC之间的IoU值都显著高于随机基线，且随剪枝比例增加而急剧上升，说明最关键的价值神经元在不同任务间高度稳定。跨模型的IoU分析也显示，Qwen-2.5-7B-SimpleRL-Zoo和Qwen2.5-7B-PPO-Zoo（都源自Qwen-2.5-7B）之间也保持了高于随机基线的IoU。第五，实际应用效果：价值神经元在置信度预测任务上（Table 3）平均AUC达到0.67，优于LCD（0.60）、口头置信度（0.52）、token置信度（0.48）和问题长度（0.62）等基线。多巴胺神经元作为过程奖励模型（Table 4）将MATH500准确率从贪心解码的72.2%提升至77.8%，优于随机选择（72.2%）和隐式PRM（75.0%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学推理 - GSM8K | AUC (价值探测器) | 剪枝99%后AUC稳定（Layer 2-4） | 完整隐藏状态探测 | 仅需不到1%的神经元即可达到相近性能 |
| 数学推理 - MATH500 | 准确率（干预实验） | 零化1%价值神经元后准确率20.3% | 原始准确率75.2% | 证明价值神经元对推理的关键作用（下降54.9%） |
| 置信度预测 - MATH500+ARC | AUC | 0.67（平均） | LCD: 0.60, 口头置信度: 0.52 | 比LCD提升7%，比口头置信度提升15% |
| 过程奖励模型 - MATH500 | 准确率 | 77.8% | 贪心解码: 72.2%, 隐式PRM: 75.0% | 比贪心解码提升5.6%，比隐式PRM提升2.8% |
| 跨数据集可迁移性 | IoU | 显著高于随机基线 | 随机选择基线 | 证明价值神经元位置在不同数据集间高度稳定 |
局限与改进
本文存在以下局限性。首先，实验范围主要限于数学推理任务（GSM8K、MATH500），虽然也涉及ARC（常识推理）、MBPP+（代码生成）和IFEval（指令遵循），但对这些任务的分析深度不如数学推理。其次，干预实验仅在Qwen-2.5-7B-SimpleRL-Zoo上进行，缺乏对其他模型家族（如Llama、Phi）的系统性验证。第三，多巴胺神经元的可视化案例（Figure 3）仅展示了两个具体例子，缺乏统计上的系统性分析。第四，价值探测器在初始输入位置$s_0$的AUC值相对较低（Table 3中平均0.67），说明在生成开始前预测置信度仍有相当的不确定性。第五，TD误差的计算依赖于蒙特卡洛估计（$K$个独立rollout），计算成本较高，可能限制了方法的实际部署。第六，作者承认'过拟合假说'只是提供了一个可能的解释，并非严格的理论证明，稀疏性的根本原因仍有待进一步研究。第七，本文没有探讨稀疏神经元随训练过程的演化，不清楚这些神经元是在预训练阶段就形成还是在RL微调阶段才出现。
独立分析的弱点
本文存在几个值得改进的弱点。第一，探测器架构过于简单：仅使用两层MLP作为探测器，可能限制了对复杂奖励信号的捕获能力。可以尝试更复杂的架构，如注意力机制或图神经网络，以捕捉神经元之间的交互关系。第二，剪枝方法基于L1范数，这是一种线性度量，可能无法完全捕捉神经元的重要性。可以尝试基于梯度的方法（如Integrated Gradients）或基于Shapley值的归因方法。第三，价值神经元和多巴胺神经元的分析是独立进行的，没有深入探讨两者之间的关系。从Table 2的Layer 2-5结果看，不同层的价值神经元重要性差异很大（Layer 5的零化导致74%的性能下降），但没有分析这种层次结构的成因。第四，跨模型的可迁移性分析仅限于同源模型（都源自Qwen-2.5-7B），没有验证跨架构（如Qwen到Llama）的可迁移性。第五，置信度预测实验中，价值神经元在某些情况下不如简单的问题长度基线（如Qwen3.5-0.8B在MATH500上：0.71 vs 0.77），说明方法对小模型或简单任务可能不具优势。
未来方向
基于本文的成果，未来研究可以从多个方向展开。第一，将奖励子系统的研究扩展到更多任务类型：自然语言理解、机器翻译、对话系统等，验证稀疏奖励神经元是否是LLM的普遍特性。第二，探索奖励神经元的动态演化：通过分析训练过程中的检查点，追踪价值神经元和多巴胺神经元的形成时机和演变规律。第三，开发基于奖励子系统的高效微调方法：既然关键奖励信息集中在1%的神经元中，是否可以只微调这些神经元来提升模型的推理能力？第四，将多巴胺神经元作为过程奖励模型推广到更复杂的推理场景：如多步推理、长文本生成、代码调试等。第五，探索奖励子系统与幻觉的关系：既然价值神经元编码了'继续生成能得到正确答案'的概率，是否可以用它来检测和预防幻觉？第六，结合机械可解释性的其他方法（如Activation Patching、Causal Tracing），更深入地理解奖励子系统的内部工作机制。
复现评估
本文的复现条件相对友好。数据方面，使用的数据集（GSM8K、MATH500、ARC、MBPP+、IFEval）都是公开可获取的标准基准，无需额外的数据收集。模型方面，实验涉及的模型（Qwen-2.5-7B/14B-SimpleRL-Zoo、Qwen2.5-7B-PPO-Zero、Llama-3.1-8B-Instruct、Phi-3.5-mini-instruct、Gemma-3-4B、Qwen3.5-0.8B）都是公开可用的，可以在Hugging Face上下载。算力方面，主要计算成本来自：（1）让LLM生成响应并记录隐藏状态（需要GPU推理）；（2）训练探测器（相对轻量）；（3）蒙特卡洛估计（多巴胺探测器需要$K$个独立rollout，计算成本较高）。对于14B参数的模型，可能需要高端GPU（如A100 80GB）。代码方面，论文是预印本，作者未明确说明是否开源代码，但方法描述足够详细，核心算法（探测器训练、剪枝、TD误差计算）都有明确的数学公式，复现难度中等。建议复现时从较小的模型（如Qwen3.5-0.8B）开始，验证基本的稀疏性发现后再扩展到大模型。
论文图表
