隐思维微调：通过融合信息的潜令牌桥接上下文与推理 Latent Thoughts Tuning: Bridging Context and Reasoning with Fused Information in Latent Tokens
用上下文-预测融合机制实现LLM连续空间推理，克服特征坍缩
前置知识
Chain-of-Thought (CoT) 思维链
Chain-of-Thought 是一种让大语言模型通过生成自然语言中间推理步骤来解决复杂问题的范式。模型不再直接输出答案，而是将问题分解为若干可解释的子步骤，逐步推导。例如对于数学应用题，模型会先识别已知条件，列出方程，逐步求解，最终给出答案。这种显式推理方式极大地提升了模型在数学、逻辑等多步推理任务上的表现，但代价是需要生成大量文本 token，推理延迟和计算开销较大。
LT-Tuning 的核心动机之一就是保留 CoT 的推理能力，同时减少对显式文本 token 的依赖，因此理解 CoT 的优势与局限是理解本文的先决条件。
Latent Reasoning 潜空间推理
潜空间推理是指模型在连续的高维向量空间中进行推理，而非在离散的词汇空间中生成文本 token。模型的隐藏状态（hidden states）本身就被用作推理的载体，通过反复迭代这些连续向量来完成推理过程。这种方法允许模型在每一步保留更丰富的语义信息，不被离散 token 的量化损失所限制。代表性工作包括 Coconut，它将上一步的隐藏状态直接作为下一步的输入嵌入，实现循环推理。
本文提出的方法属于潜空间推理范式，需要读者理解潜令牌（latent tokens）如何替代文本 token 承载推理信息。
Feature Collapse 特征坍缩
特征坍缩是潜空间推理中的一个核心问题，指不同样本的潜令牌表示在经过若干步推理后趋向于收敛到几乎相同的位置，失去样本特异性。这类似于表征学习中的模式坍缩现象。具体来说，当模型的隐藏状态被直接循环使用时，由于输出空间和输入嵌入空间之间存在分布不匹配，连续向量会逐渐漂移到一个狭窄的区域，导致模型无法区分不同问题的推理轨迹，推理能力急剧退化。
特征坍缩是本文要解决的核心挑战之一。论文通过 PCA 可视化清楚地展示了 Coconut 等方法的特征坍缩现象，而 LT-Tuning 的融合机制正是为了缓解这一问题。
Distribution Mismatch 分布不匹配
在 Transformer 架构中，输入嵌入空间（由 embedding 层产生）和输出隐藏状态空间（由 Transformer 各层计算产生）的分布存在本质差异。当模型的输入和输出嵌入矩阵不共享权重时（如 Llama-3.1-8B），这种差异尤为显著。直接将隐藏状态作为下一步的输入嵌入（如 Coconut 的做法）会造成分布不匹配，因为隐藏状态从未被训练为合法的输入嵌入，导致模型接收到意外的输入分布，引发训练不稳定和性能退化。
分布不匹配是 LT-Tuning 设计 Context-Prediction Fusion 机制的理论出发点，理解这一点才能明白为什么简单的隐藏状态循环会在大模型上失败。
Curriculum Learning 课程学习
课程学习是一种训练策略，模仿人类从易到难的学习过程。在训练初期只暴露简单的任务或数据，随着训练的推进逐渐引入更复杂的任务。这种方式可以帮助模型更稳定地收敛，避免在训练初期就面对过于困难的目标导致优化失败。LT-Tuning 采用三阶段课程学习，从纯显式 CoT 推理逐步过渡到潜空间推理。
LT-Tuning 的三阶段训练流水线是其方法论的重要组成部分，理解课程学习的理念有助于理解为什么不能直接训练潜空间推理能力。
研究动机
当前大语言模型的推理能力主要依赖显式思维链（Chain-of-Thought），即模型必须将每一个中间推理步骤都序列化为离散的文本 token。这种方式存在两个根本性问题：第一，推理能力被限制在离散词汇空间中，模型无法"三思而后行"——它必须在每个步骤选择一个具体的词，无法保留模糊的、多路并行的推理状态。第二，对于需要深度推理的复杂问题，显式 CoT 会生成极长的推理链（如 OpenAI o1 和 DeepSeek-R1），带来巨大的计算开销和推理延迟。近期虽然有研究探索潜空间推理（如 Coconut 将隐藏状态直接循环使用），但这些方法面临严重的特征坍缩问题：在 Llama-3.1-8B 等大模型上，Coconut 的平均准确率从 3B 模型的 50.3% 骤降至 41.5%，甚至低于普通的显式 CoT（61.7%）。其根本原因在于输出隐藏状态和输入嵌入空间之间存在分布不匹配，尤其是当模型的输入输出嵌入矩阵不共享权重时，问题更加严重。此外，现有方法大多采用静态推理分配策略，不考虑不同推理步骤的难度差异，导致在简单步骤上浪费计算资源，而在复杂步骤上又推理深度不足。
本文的目标是本文的目标是提出一个统一的潜空间推理框架，使得大语言模型能够在连续向量空间中进行高效、稳定、自适应的推理，同时保持与显式 CoT 相当甚至更好的推理准确率。具体而言，作者希望：（1）解决潜令牌的分布不匹配问题，使潜令牌能够与模型的输入嵌入空间良好对齐；（2）实现推理计算的动态分配，让模型根据问题难度自适应地决定何时使用潜空间推理、何时使用显式文本生成；（3）在从 1B 到 8B 的不同模型规模上保持稳定的性能提升，避免现有方法在大模型上的性能退化问题。
与已有工作不同的是，本文的独特切入点在于观察到现有潜空间推理方法存在一个共同的盲区：它们要么只使用隐藏状态（如 Coconut），要么只使用词汇概率分布（如 Soft-Thinking），却从未尝试将两者融合。论文指出，隐藏状态携带了丰富的上下文历史信息，但缺乏语义方向指引；而词汇概率分布提供了明确的语义预测信号，但丢失了上下文细节。LT-Tuning 看到了这个互补性，提出将两者通过加权融合的方式结合在一起。此外，与依赖外部辅助模型的方法（如 SoftCoT、SemCoT）不同，本文完全在模型内部构造潜令牌，避免了辅助模型与主模型之间的表征对齐问题。另一个被忽视的角度是推理成本的动态分配——论文通过实验发现，模型可以根据预测置信度自然地学会在困难步骤插入更多潜令牌，在简单步骤跳过潜推理，这种自适应能力是此前方法所不具备的。
核心方法
LT-Tuning 的核心思想可以用一个类比来理解：想象你在做一道数学题，你既可以在草稿纸上写下每一步计算过程（显式 CoT），也可以在脑子里默默推理（潜空间推理）。LT-Tuning 就像是一个聪明的学生，他知道自己什么时候需要动笔写（简单步骤用显式 token），什么时候需要在脑子里多想想（困难步骤用潜令牌），而且他"想"的时候，既参考了之前的解题思路（上下文历史），又参考了脑子里对下一步答案的预判（词汇概率分布）。技术上，LT-Tuning 是一个三阶段的后训练（post-training）框架：第一阶段通过标准 SFT 建立显式推理能力作为基础；第二阶段教会模型根据预测置信度动态插入潜令牌；第三阶段引入上下文-预测融合机制，将隐藏状态的上下文信息与词汇嵌入空间的预测语义信息相结合，构造高质量的潜令牌表示。这种方法不需要修改模型架构，可以直接应用于现有的开源大模型。
LT-Tuning 最本质的创新是 Context-Prediction Fusion（上下文-预测融合）机制。在此之前，潜空间推理方法面临一个两难困境：直接使用隐藏状态作为潜令牌（如 Coconut 的 $z_t = h_{t-1}$）会导致分布不匹配和特征坍缩，因为隐藏状态处于输出上下文空间而非输入嵌入流形上；而仅使用词汇概率分布的加权和（如 Soft-Thinking 的 $z_t = \sum_w \hat{P}(w) \cdot E(w)$）则丢弃了隐藏状态中编码的丰富上下文历史信息。LT-Tuning 的关键洞察是：这两者不是互斥的，而是互补的。具体而言，它将上下文隐藏状态 $h_{t-1,I}$（从第 $I$ 层提取）和预测语义嵌入 $e_{\text{pred}}$（词汇概率加权嵌入）通过线性插值融合：$e_{\text{fusion}} = \alpha \cdot h_{t-1,I} + (1 - \alpha) \cdot e_{\text{pred}}$，其中 $\alpha$ 是平衡系数。这样构造的融合嵌入既保留了上下文历史的细粒度信息，又获得了词汇空间的语义方向指引，从而有效缓解特征坍缩。论文通过 PCA 可视化清楚地证明了这一点：Coconut 在两步推理后就出现严重坍缩，去除 Stage 3 的版本在后期步也坍缩，而完整 LT-Tuning 在六个潜令牌后仍保持语义多样性。
方法步骤详情
LT-Tuning 的完整训练流程分为三个阶段。第一阶段（Explicit Reasoning Warm-up）：在 GSM8K 训练集上对基础模型进行标准的 CoT 监督微调，损失函数为 $\mathcal{L}_{\text{CoT}} = -\sum_t \log p_\theta(y_t | x, y_{ 控制信号；潜令牌的输入嵌入初始化为上一位置第 $I$ 层的隐藏状态 $h_{t-1,I}$。模型在这阶段学会在混合的文本-潜令牌序列上进行推理。第三阶段（Context-Prediction Fusion）：在第二阶段的基础上引入融合机制——对于每个 位置，先从上一步的 logits 分布计算预测语义嵌入 $e_{\text{pred}} = \sum_{w \in V} \hat{P}(w) \cdot E(w)$（其中 $\hat{P}$ 经过温度缩放和 Top-p 过滤），再与隐藏状态 $h_{t-1,I}$ 通过加权系数 $\alpha$ 融合得到 $e_{\text{fusion}}$，作为 token 的最终输入嵌入。推理时，模型根据学习到的置信度模式自适应地在潜推理和显式生成之间切换。
技术新颖性
LT-Tuning 的技术新颖性体现在三个层面。首先是融合机制的创新：与此前任何单一信息源构建潜令牌的方法不同，LT-Tuning 首次提出了将上下文隐藏状态和预测语义嵌入融合的方案，这在概念上类似于在推理过程中同时利用"记忆"（上下文）和"直觉"（预测）。其次是动态推理调度的创新：论文提出基于预测置信度的动态潜令牌插入策略，当模型对下一步预测不确定时自动插入潜推理步骤，这比 Coconut 等方法的固定数量潜令牌或 Soft-Thinking 的熵停止策略更加灵活。第三是训练范式的创新：三阶段课程学习从显式推理逐步过渡到潜空间推理，避免了直接训练潜推理的不稳定性。值得注意的是，对于 8B 等大模型，论文还引入了轻量级适配器（adapter）$Adapter(h) = W_{\text{up}} \cdot \text{GELU}(W_{\text{down}} \cdot h)$ 来桥接隐藏状态空间和嵌入空间的分布差距，这是对权重不共享架构的针对性设计。
实验结果
论文在三个模型规模（Llama-3.2-1B、Llama-3.2-3B、Llama-3.1-8B）和四个数学推理基准（GSM8K-NL、ASDiv-Aug、MultiArith、SVAMP）上进行了全面评估。核心发现如下：第一，LT-Tuning 在所有模型规模上都取得了最佳平均性能——1B 模型 36.4%（比最佳基线 SoftCoT 的 33.2% 提升 3.2%），3B 模型 52.4%（比显式 CoT 的 50.5% 提升 1.9%），8B 模型 70.3%（比 Soft-Thinking 的 66.0% 提升 4.3%）。第二，最重要的发现是大模型上的稳健缩放行为：Coconut 在 8B 模型上平均准确率仅 41.5%，比显式 CoT 的 61.7% 还低 20 个百分点，严重退化；而 LT-Tuning 在 8B 上达到 68.8%（无适配器）和 70.3%（有适配器），展现出健康的缩放特性。第三，消融实验揭示了不同模型规模的主导瓶颈差异：对 3B 模型，移除潜推理（w/o Latent）导致最大降幅（-11.3%），说明潜推理本身在小模型上最重要；对 8B 模型，移除融合机制（w/o Stage 3）导致最大降幅（-23.5%），说明大模型对潜令牌质量更敏感。第四，论文发现置信度驱动的动态分配确实有效：8B 模型在更难的问题上生成更多 token，呈正相关趋势。第五，PCA 可视化清晰展示了特征坍缩的缓解效果——Coconut 在两步后就坍缩，而 LT-Tuning 在六步后仍保持语义多样性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GSM8K-NL（1B模型） | Accuracy (%) | 15.8 | 15.0 (SemCoT) | +0.8 |
| MultiArith（1B模型） | Accuracy (%) | 51.7 | 38.9 (SoftCoT) | +12.8 |
| GSM8K-NL（8B模型，含适配器） | Accuracy (%) | 58.5 | 53.1 (Soft-Thinking) | +5.4 |
| MultiArith（8B模型，含适配器） | Accuracy (%) | 96.1 | 85.0 (Soft-Thinking) | +11.1 |
| SVAMP（8B模型，含适配器） | Accuracy (%) | 55.7 | 51.0 (Soft-Thinking) | +4.7 |
| Average（1B模型） | Accuracy (%) | 36.4 | 33.2 (SoftCoT) | +3.2 |
| Average（3B模型） | Accuracy (%) | 52.4 | 50.5 (Explicit CoT) | +1.9 |
| Average（8B模型，含适配器） | Accuracy (%) | 70.3 | 66.0 (Soft-Thinking) | +4.3 |
局限与改进
论文存在以下局限性：首先，评估范围有限——所有实验仅在数学推理任务上进行（GSM8K-NL、ASDiv-Aug、MultiArith、SVAMP），未涉及代码生成、常识推理、逻辑推理等其他推理类型，难以判断方法的泛化能力。其次，训练数据单一——所有模型仅在 GSM8K 训练集（约 7,473 个样本）上微调，这可能限制了方法在更复杂推理任务上的表现。第三，潜推理的可解释性问题——虽然论文展示了 token 的注意力权重和熵变化，但潜空间中的推理过程仍然难以被人类理解，这与显式 CoT 的可解释性优势形成对比。第四，置信度阈值 $\tau$ 和融合系数 $\alpha$ 等超参数需要针对不同模型规模手动调整（如 1B/3B 用 $\tau=0.7$，8B 用 $\tau=0.6$），缺乏自适应机制。第五，论文在 ASDiv-Aug 的 1B 模型上，LT-Tuning（53.9%）略低于 SoftCoT（54.1%），说明并非所有场景都能绝对领先。第六，8B 模型需要适配器模块才能充分发挥性能，增加了架构复杂性。
独立分析的弱点
从独立分析的角度，LT-Tuning 存在以下弱点及其改进方向：（1）训练效率问题——三阶段课程学习需要依次进行三轮训练，对于 8B 模型来说意味着较长的总训练时间。改进方向可以探索是否能将三阶段压缩为两阶段，或者在第一阶段就开始引入潜令牌的预训练信号。（2）置信度阈值的固定性——当前方法使用固定的 $\tau$ 值来判断是否插入潜令牌，但不同问题、不同推理阶段的最佳阈值可能不同。可以考虑学习一个动态阈值网络，根据上下文自适应调整。（3）融合系数的静态性——$\alpha=0.6$ 对所有位置和所有推理步骤都相同，但实际上在推理的不同阶段，上下文和预测的相对重要性可能在变化。可以引入注意力机制来自适应地调节两个信息源的权重。（4）评估维度单一——仅在数学推理上验证，而数学推理有其特殊性（精确答案、明确的中间步骤），在开放式推理、创造性写作等任务上的效果未知。（5）潜令牌数量的控制不够精细——当前方法在不确定位置随机插入 0~$k$ 个潜令牌，缺乏对总推理预算的全局约束。
未来方向
论文在结论中提出了几个有价值的未来研究方向：首先，作者建议探索基于过程的监督（process-based supervision）或强化学习来进一步优化潜推理路径——这与当前 o1 和 DeepSeek-R1 使用 RL 强化推理的趋势一致，如果能将 RL 引入潜空间推理，可能同时获得更强的推理能力和更高效的推理过程。其次，基于 LT-Tuning 的框架，可以自然地扩展到多模态推理场景——将视觉、音频等模态的隐藏状态也纳入融合机制，实现跨模态的潜空间推理。第三，当前方法仅在数学推理上验证，未来可以探索在代码生成、常识推理、规划等任务上的应用。第四，动态推理调度的思想可以进一步发展为推理预算控制——给定一个总的计算预算，模型自动决定如何在显式和潜推理之间分配，这对于部署场景特别有价值。第五，与知识蒸馏结合——可以将 LT-Tuning 训练的潜推理能力蒸馏到更小的模型中，降低部署成本。
复现评估
论文的复现条件较好。作者承诺将代码和训练模型开源，这为复现提供了基础。训练数据方面，所有实验仅使用 GSM8K 训练集（约 7,473 个样本），这是一个公开可用的标准数据集。算力需求方面，所有实验在 4 块 NVIDIA A100 80GB GPU 上完成，对于学术实验室来说是可获取的资源。训练时间方面，1B 模型的三阶段训练相对快速，但 8B 模型需要更多资源——第三阶段需要训练 7 个 epoch（1B/3B）或 3 个 epoch（8B），batch size 仅为 4，说明内存消耗较大。复现难度中等：主要挑战在于第二阶段的数据预处理（需要运行前向传播获取置信度并标记潜令牌位置）和第三阶段的融合机制实现。超参数调整可能需要一定经验，特别是 $\tau$、$\alpha$、$I$（层选择）等关键参数在不同模型规模上有不同的最优值。总体而言，对于拥有 A100 级别 GPU 的研究者来说，复现是可行的。
论文图表
