隐式思维链即规划：将推理与语言表达解耦 Latent Chain-of-Thought as Planning: Decoupling Reasoning from Verbalization

PLaT的完整流程包含以下步骤：首先，编码阶段：输入问题$x$通过编码器投影器$\phi_{Enc}$映射到初始状态$s_{1,1}$。然后，规划阶段：对于第$k$步，Planner基于历史状态$\{\tilde{S}_{<k}, \tilde{s}_{k,<i}\}$自回归地生成规划状态。具体地，历史状态通过$\phi_{L2H}$映射到模型维度，输入骨干网络$M$，输出通过$\phi_{H2L}$映射回潜在维度得到下一个状态$s_{k,i}$。接着，聚合阶段：引入指数移动平均（EMA）机制来稳定规划轨迹，维护$N_L$个独立的聚合器，第$k$步的聚合状态为$S_k = [a_{k,1}, \ldots, a_{k,N_L}]$。之后，解码阶段：Decoder将聚合状态$S_k$通过$\phi_{Dec}$投影，作为软前缀生成文本$y_k$。最后，终止判断：在推理时，只解码第一个token $\hat{y}_{k,1} = \arg\max_{v \in V} P(v | \phi_{Dec}(S_k), t_{dec})$，如果$\hat{y}_{k,1} \neq t_{ans}$则继续推理，如果$\hat{y}_{k,1} = t_{ans}$则完全解码最终答案。

PLaT的技术新颖性体现在多个层面。首先，在建模范式上，PLaT将隐式推理重新定义为规划问题，这与现有方法（Coconut的课程学习、CODI的蒸馏、CoLaR的压缩）有本质区别。PLaT的潜在状态是确定性轨迹，而不是从分布中采样的随机变量，这保证了规划的稳定性。其次，在架构设计上，Planner-Decoder的解耦设计是独特的，Planner共享骨干网络参数但附加了额外的Transformer层来增加规划容量，Decoder则严格只依赖当前聚合状态$S_k$，这个瓶颈迫使Planner和聚合器将所有必要的历史上下文封装到$S_k$中。第三，在训练策略上，PLaT通过重建损失进行端到端训练，并在聚合状态中注入高斯噪声$\epsilon_{noise} \sim \mathcal{N}(0, \sigma^2)$来增强鲁棒性。第四，在推理机制上，Lazy Decoding策略只解码第一个token来判断是否终止，显著降低了计算开销。第五，在优化方法上，解耦的GRPO只优化Decoder参数，保持Planner冻结，确保RL优化的是'嘴'（表达）而不是'脑'（推理）。

从独立分析的角度，PLaT存在几个可以改进的弱点。首先，Decoder的探索能力受限于固定潜在状态$S_k$，这可能导致某些复杂推理任务中有效的语言化表达被错过。改进方向是允许Decoder在一定程度上影响Planner的状态更新，或者引入更复杂的聚合机制来保留更多信息。其次，Lazy Decoding策略虽然高效，但只检查第一个token可能过于粗糙，某些情况下模型可能需要更多token才能确定是否到达答案。可以设计更智能的终止检测机制，例如基于置信度阈值或多token投票。第三，RL阶段只优化Decoder而冻结Planner，虽然保证了稳定性，但也限制了模型通过试错学习新的推理拓扑的能力。未来可以探索交替优化或课程学习策略。第四，当前的奖励函数是规则基于的，对于更复杂的推理任务可能不够灵活。可以引入学习到的奖励模型或过程奖励模型来提供更密集的监督。

作者在论文中提出了几个未来研究方向。首先，联合优化策略：当前RL阶段冻结Planner以保持潜在空间稳定，但未来可以探索迭代更新策略，让Planner和Decoder协同优化，或者引入课程学习逐步解锁Planner的更新。其次，潜在状态的扩展定律：虽然理论表明增加每个推理步的潜在状态数$N_L$应能增加信息容量，但实验显示$N_L > 2$会导致性能下降，这可能是优化挑战而非理论瓶颈，需要先进的训练技术来解锁更深潜在轨迹的潜力。第三，跨领域验证：将PLaT范式扩展到更少结构化的任务，如创意写作、常识推理、复杂代码生成等，验证其通用性。基于论文成果，还可以延伸以下方向：将PLaT与Tree-of-Thoughts或Graph-of-Thoughts结合，利用其高质量的探索能力；将PLaT应用于更大规模的模型，验证在更大容量下的性能上限；开发更先进的过程奖励模型来指导RL训练。

PLaT的复现条件相对友好。作者已在GitHub上开源代码（https://github.com/yunsaijc/PLaT），提供了完整的训练和评估脚本。数据集方面，训练使用GSM8k-Aug（GSM8k的增强版本），评估使用GSM-HARD、SVAMP、MultiArith三个域外基准，这些都是公开可用的数据集。算力需求方面，PLaT使用GPT-2 Small（117M参数）作为骨干网络，这是相对轻量的模型，单GPU即可训练。训练细节明确：LoRA rank=128，α=32，潜在维度$d_s=2048$，SFT阶段训练25个epoch，学习率1e-4，RL阶段学习率$5 \times 10^{-6}$。所有结果在5个随机种子上平均，确保统计显著性。复现难度中等，主要挑战在于RL阶段的实现和调参，但作者提供了详细的超参数分析和消融研究，有助于理解各组件的作用。