奇妙的推理行为及其发现之处：推理过程的无监督发现 Fantastic Reasoning Behaviors and Where to Find Them: Unsupervised Discovery of the Reasoning Process
用稀疏自编码器无监督发现和控制LLM推理行为的可解释性框架
前置知识
稀疏自编码器（Sparse Autoencoder, SAE）
SAE 是一种神经网络架构，由编码器和解码器组成，旨在学习输入数据的稀疏表示。编码器将输入映射到潜在空间得到编码 $z$，解码器将编码重构为原始输入。训练目标包括重构损失和稀疏正则项：$\mathcal{L} = \|\hat{h} - h\|_2^2 + \lambda\|z\|_0$，其中 $\lambda$ 控制稀疏强度。稀疏性确保只有少量特征被激活，从而促进特征的解耦和可解释性。在机制可解释性领域，SAE 被用于发现神经网络中单一的方向对应于可解释的概念。
本文的核心方法就是用 SAE 在推理步骤的激活上训练，解码器的每一列对应一个推理向量。理解 SAE 的工作原理对于理解 RISE 如何无监督地发现推理行为至关重要。
线性表示假设（Linear Representation Hypothesis）
该假设认为神经网络内部表示是可解释概念的线性组合。具体来说，模型在激活空间中，每个原子概念（如某个行为、某个语义特征）都对应一个特定的方向，整个激活可以表示为这些方向的稀疏线性组合：$h = Wa + \epsilon$，其中 $W$ 是概念字典矩阵，$a$ 是稀疏系数向量，$\epsilon$ 是噪声。这一假设为机制可解释性提供了理论基础，使得我们可以通过线性代数的方法来理解和干预模型行为。
本文直接基于线性表示假设，将推理行为定义为激活空间中的方向（Reasoning Vectors），并证明 SAE 可以恢复这些方向。理解这一假设对于理解 RISE 的理论依据（Theorem 1）非常重要。
激活干预（Activation Steering/Intervention）
激活干预是一种修改模型内部表示来控制输出的技术。常见方法包括激活修补（Activation Patching）、表示工程（Representation Engineering）和 DiffMean。DiffMean 的典型做法是：构建对比数据集（如正面 vs 负面样本），计算每类平均表示的差值作为干预向量 $v = \frac{1}{N_+}\sum_{i=1}^{N_+} h_i^+ - \frac{1}{N_-}\sum_{j=1}^{N_-} h_j^-$。在推理时，将向量注入到特定位置的激活中：$h' = h + \alpha v$，其中 $\alpha$ 控制干预强度。这种方法无需重新训练即可改变模型的输出风格。
本文的核心创新点之一是展示 SAE 推导的向量可以用于因果干预，无需人类监督即可控制推理行为（如反思、回溯）。理解激活干预的概念对于理解本文的实验设计和结果解读至关重要。
思维链（Chain-of-Thought, CoT）
CoT 是一种提示策略，要求模型逐步展示推理过程，而不是直接给出答案。例如在数学问题中，模型会输出"第一步...第二步..."这样的中间推理步骤。研究表明，CoT 能显著提升模型在复杂推理任务上的性能。现代推理模型（如 OpenAI 的 o 系列、Anthropic 的 Claude-3.7-Sonnet-Thinking、Google 的 Gemini-2.5-Flash）都通过强化学习专门优化了生成长 CoT 的能力。CoT 的长度和内容质量与最终答案的正确性密切相关。
本文研究的就是 CoT 推理过程中的内部机制。作者将 CoT 分割为句子级别的"步骤"，在每个步骤的定界符位置提取激活用于训练 SAE。理解 CoT 对于理解本文的研究背景和数据构建方法非常重要。
研究动机
现有方法在理解和控制 LLM 推理过程时存在严重局限性。一方面，基于监督的方法（如 DiffMean）需要人工定义概念（如反思、回溯）并构建对比数据集，但推理行为是流动、重叠且难以大规模标注的。例如，"反思"和"回溯"之间可能存在模糊边界，且还有大量未知的推理行为无法预先定义。另一方面，现有研究主要关注词汇层面的分析，但同一个 token 在不同上下文中可能扮演不同角色。更重要的是，CoT 推理虽然能显著提升性能（如在 MATH 数据集上），但其机制仍未被充分理解：为什么某些推理步骤有效而某些无效？推理轨迹的长度如何影响性能？如何控制推理风格而不影响正确性？这些问题限制了我们对推理模型的深入理解和有效优化。
本文的目标是本文的目标是建立一个无监督框架，能够自动发现和控制 LLM 推理过程中的行为，而不依赖人工标注。具体来说，作者希望（1）在激活空间中识别出对应于不同推理行为的方向（Reasoning Vectors），（2）证明这些向量具有语义可解释性且可以聚类，（3）通过干预这些向量来可控地放大或抑制特定推理行为，从而在不重新训练的情况下改变推理轨迹。最终，作者还希望展示 SAE 能够发现难以通过词汇层面人工监督定义的新行为（如置信度）。
与已有工作不同的是，本文的独特切入角度是将推理行为定义为激活空间中的线性方向，并用稀疏自编码器无监督地学习这些方向，而不是像以往工作那样依赖人工定义的对比对。例如，以往工作可能需要手动标注"有反思"vs"无反思"的样本对来计算 DiffMean 向量，而本文直接在无标签的推理步骤激活上训练 SAE，让解码器的列自动对应不同的推理行为。此外，本文还探索了结构属性（如响应长度）在潜在空间中的组织，以及发现新行为（如置信度）的可能性，这是以往监督方法难以实现的。
核心方法
RISE 框架的核心思想是在无监督的情况下用 SAE 学习推理行为的稀疏表示。整体流程分为两个阶段：（1）训练阶段：收集模型在推理任务上的 CoT 响应，将每个响应按段落分割为句子级别的"步骤"，在每个步骤的定界符（\n\n）位置提取激活表示，然后用这些激活训练 SAE；（2）干预阶段：从训练好的 SAE 解码器中选择对应于目标行为的列（如反思列），计算其平均作为干预向量，在推理时将这个向量注入到模型的激活中，从而控制推理行为。关键洞察是：基于线性表示假设，每个推理行为对应激活空间中的一个方向，而 SAE 的解码器列可以学习到这些方向。
核心创新点是将推理行为定义为激活空间中的线性方向（Reasoning Vectors），并证明 SAE 可以在无监督的情况下恢复这些方向。与以往依赖人工标注的对比对方法不同，RISE 直接在推理步骤激活上训练 SAE，通过稀疏性约束促进特征的解耦。理论分析（Theorem 1）表明，在满足一定条件（非相干性、稀疏性、激活函数为 ReLU、分离性）下，SAE 的解码器矩阵可以恢复真实的行为字典，最多相差一个置换和缩放。这意味着 SAE 学到的解码器列确实对应于语义上可解释的推理行为，而不是任意的混合特征。
方法步骤详情
方法的完整步骤如下：（1）数据收集：从 MATH 数据集中随机采样 500 个问题，用目标模型（DeepSeek-R1-Distill-Qwen-1.5B）生成 CoT 响应。（2）步骤分割：将每个响应按段落定界符 \n\n 分割为 $k$ 个推理步骤，$k$ 因样本而异。（3）激活提取：将问题和响应一起输入模型重新推理，在每个定界符 token 的位置提取残差流表示 $h_l^i$，其中 $l$ 是层索引，$i$ 是样本索引。（4）SAE 训练：在选定层的激活上训练 SAE，编码器计算 $z = \sigma(W_{enc}^\top h + b_{enc})$，解码器重构 $\hat{h} = W_{dec}^\top \sigma(z) + b_{dec}$，损失函数为 $\mathcal{L} = \|\hat{h} - h\|_2^2 + \lambda\|z\|_0$。参数设置：隐藏维度 $D=2048$，批量大小 1024，学习率 $1 \times 10^{-4}$，稀疏强度 $\lambda = 2 \times 10^{-3}$。（5）行为识别：用 LLM-as-a-judge（GPT-5）标注每个推理步骤为反思、回溯或其他，记录激活模式并映射回 SAE 潜在空间。（6）干预推理：从特定行为的解码器列中计算平均向量 $w$，在推理时进行干预：$h' = h - w(w^\top h)$（负干预）或 $h' = h + \alpha w(w^\top h)$（正干预）。
技术新颖性
技术新颖性体现在多个方面：（1）无监督发现：首次用 SAE 无监督地发现推理行为，无需人工标注；（2）语义解耦：证明 SAE 解码器列对应于可解释的推理行为，且这些向量在潜在空间中聚类；（3）因果控制：通过干预 SAE 推导的向量可以可控地放大或抑制特定推理行为，无需重新训练；（4）新行为发现：展示 SAE 能够发现难以通过词汇层面监督定义的行为（如置信度），以及响应长度等结构属性在潜在空间中的组织；（5）理论保证：提供定理证明 SAE 可以恢复真实的行为字典（Theorem 1），这是以往工作所缺乏的。
实验结果
核心发现可以概括为五个方面。第一，SAE 解码器列编码了语义上有意义的推理行为。图 2 的 UMAP 可视化显示，反思和回溯相关的解码器列在潜在空间中形成紧凑的聚类，而"其他"类别的向量更加分散。Silhouette 分数分析（图 3）表明，后期层的行为分离度更高，中后期层达到峰值，这与 LLM 的 oversmoothing 现象一致。第二，干预 SAE 列可以因果性地控制推理行为。图 6 展示了一个具体例子：当用反思向量干预时，负干预抑制了元认知短语（如"Wait"）并缩短响应，正干预增强了自检行为并延长响应，而普通推理介于两者之间。干预强度实验显示，当 $\alpha \in \{-1.5, -1, 0, 1, 1.5\}$ 时，AIME25 任务上的反思步骤数从 58.6 到 166.9 线性变化。第三，SAE 列具有跨域泛化能力。表 1 显示，在 MATH500 上学习的反思和回溯向量应用到 GPQA-Diamond 和 KnowLogic 任务时，仍然能有效地调整推理行为。例如在 GPQA-Diamond 上，正干预使反思步骤从 53.23 增加到 62.77。第四，SAE 揭示了响应长度的几何结构。早期层对响应长度的分离较弱，而中后期层显示出更强的对齐。这表明响应长度在推理过程中作为一个结构轴影响推理轨迹。第五，SAE 能够发现新行为——置信度。作者优化了一个分数向量 $S$ 来最小化最终熵，发现置信度相关的列集中在可视化空间的右下区域，与反思和回溯区域部分重叠。干预置信度向量后，AIME25 任务上的反思步骤从 90.53 降至 33.77，回溯步骤从 35.50 降至 5.93，虽然性能从 23.33% 略降至 20.00%（仅差一个问题，不显著），但推理风格发生了实质性改变。最后，基于置信度的测试时学习策略（学习前 3 个置信度向量的组合系数）在 MATH500 上提高了 4.66 个百分点的准确率，同时减少了 13.69% 的 token 使用（图 8）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME 2025 (数学推理) | 反思步骤数 | 正干预 131.0 步 | 普通推理 90.5 步 | +44.7% |
| GPQA-Diamond (常识推理) | 反思步骤数 | 正干预 62.77 步 | 普通推理 53.23 步 | +17.9% |
| MATH 500 | 准确率 | 置信度 steering 84% | Vanilla 79.34% | +4.66% |
| MATH 500 | Token 成本 | 置信度 steering | Vanilla | -13.69% |
局限与改进
作者承认的局限性包括：（1）行为定义：本文主要关注反思和回溯两个行为，但推理行为空间可能更复杂；（2）标注一致性：用 LLM-as-a-judge 进行行为标注可能存在不一致性，虽然作者在附录中讨论了不同标注方法的一致性；（3）性能权衡：干预置信度向量虽然改变了推理风格，但略微降低了性能（虽然不显著）。我自己的观察：（1）计算开销：提取每个推理步骤的激活并重新运行推理需要显著的计算成本，这可能限制在实际应用中的可扩展性；（2）层的选择：本文主要在最后层进行分析，但不同层可能编码不同粒度的行为，系统性分析所有层的计算成本很高；（3）模型规模：实验主要在 1.5B 和 8B 模型上进行，在更大模型（如 70B+）上的有效性需要验证；（4）行为交互：多个行为可能同时激活，干预一个行为可能影响其他行为，本文没有深入研究这些交互效应。
独立分析的弱点
第一个弱点是行为标注的主观性和不可靠性。虽然作者使用了 LLM-as-a-judge，但反思和回溯的定义仍然模糊，且不同标注方法可能产生不一致的结果。改进方向可以是开发更客观的标注标准，或者用多个标注者的一致性来验证标注质量。第二个弱点是干预的局部性。本文只在特定层（最后一层）和特定位置（每个推理步骤的最后一个 token）进行干预，这可能无法充分利用推理行为的全局结构。改进方向可以是探索多层干预、动态干预位置或自适应干预强度。第三个弱点是缺乏对行为交互的深入分析。当同时干预多个行为时，它们之间可能存在竞争或协同效应，本文没有系统研究。改进方向可以是设计多行为干预框架，分析不同行为的交互矩阵。第四个弱点是计算成本高。提取所有推理步骤的激活需要重新运行推理两次（一次生成响应，一次提取激活），这在大型数据集上成本很高。改进方向可以是开发更高效的激活提取方法，或者用缓存技术减少重复计算。
未来方向
作者提出的未来方向包括：（1）扩展到更多推理行为，探索整个推理行为空间的几何结构；（2）研究不同层的行为编码差异，分析推理行为如何在不同深度演化；（3）将 RISE 应用于更多模型架构和任务，验证其普适性；（4）探索更精细的干预策略，如自适应干预强度或上下文感知干预。基于本文成果可以延伸的方向包括：（1）将 RISE 与强化学习结合，通过干预推理行为来直接优化最终性能；（2）开发多模型共享的行为字典，实现跨模型的行为迁移；（3）探索行为干预在安全性和对齐中的应用，如减少有害推理路径；（4）研究行为向量的组合性，分析复杂行为是否可以分解为更简单的原子行为；（5）开发实时行为监控工具，帮助用户理解模型在推理过程中的决策。作者提到响应长度作为一个结构轴影响推理轨迹，未来可以深入研究其他结构属性（如推理深度、分支因子）在潜在空间中的组织。
复现评估
论文未提供代码或数据，但描述了实验的详细设置，便于复现。数据方面：使用 MATH 数据集中的 500 个随机样本进行 SAE 训练，在 AIME25、AMC23、GPQA-Diamond、KnowLogic 等数据集上进行评估。模型方面：主要使用 DeepSeek-R1-Distill-Qwen-1.5B (1.5B 参数)，部分实验在 Qwen3-8B (8B 参数) 上验证。训练设置：SAE 隐藏维度 $D=2048$，批量大小 1024，学习率 $1 \times 10^{-4}$（前 10% warmup），稀疏强度 $\lambda = 2 \times 10^{-3}$，使用 Adam 优化器和 cosine annealing 学习率衰减。算力要求：论文未明确说明，但考虑到模型规模（1.5B 和 8B）和数据规模（500 训练样本），估计在单个或少量 GPU 上即可完成。难点：激活提取需要精确地在定界符 token 的位置提取残差流表示，这需要对模型内部结构有深入理解。总体来说，复现难度中等，主要挑战在于准确实现激活提取和 SAE 训练的细节。
论文图表
