TERMINATOR：学习最优退出点实现链式思维推理的早期停止 TERMINATOR: Learning Optimal Exit Points for Early Stopping in Chain-of-Thought Reasoning

TERMINATOR的方法包含以下完整步骤。第一步是答案提取（Answer Extraction）：给定LRM生成的最终解决方案 $s$，使用一个辅助LRM（Qwen3-30B-A3B-Thinking-2507）提取其中的最终答案 $\hat{a}$，这个过程相对直接因为答案通常在解决方案中有明确标记（如\boxed{}）。第二步是答案识别（Answer Identification）：辅助LRM在CoT $r$ 中识别一个包含 $\hat{a}$ 的文本片段 $d$，这个片段需要既包含答案又在其之前有足够的上下文，以确保它在CoT中是唯一的。第三步是答案验证（Answer Verification）：辅助LRM验证 $d$ 确实包含 $\hat{a}$，如果验证失败则重复第二步并提供反馈（列出之前选择的错误片段），直到找到正确位置或达到重试上限。第四步是token索引提取（Token-Index Extraction）：在CoT中定位 $d$ 的位置，提取答案首次出现的token索引 $i^*$。第五步是模型训练：将LRM最后一层的隐藏状态 $h_i$ 作为输入，训练一个二元分类器预测每个位置 $i$ 是否满足 $i < i^*$，使用类加权二元交叉熵损失 $\mathcal{L}(\theta) = -\frac{1}{M}\sum_{i=1}^{M}[w_1 \cdot y_i \cdot \log p_i + w_0 \cdot (1-y_i) \cdot \log(1-p_i)]$，其中 $y_i = \mathbb{1}(i < i^*)$ 是真实标签，$p_i$ 是预测概率，$w_0$ 和 $w_1$ 是根据训练数据中正负样本比例自动计算的类权重。第六步是推理：使用滑动窗口机制，当最近10个预测中超过5个为1时，注入停止推理。

TERMINATOR的技术新颖性体现在多个方面。在理论层面，本文首次引入了后见之明最优推理长度（HORL）的概念，为早期退出提供了严格的理论基础。这个概念定义了在已完成的CoT中，最终答案首次被逻辑推导出来的最早位置，即 $HORL(x, r, s, \hat{a}) = \min\{i \in [M] : r_{\leq i} \text{ contains the earliest logical arrival of } \hat{a}\}$。虽然HORL在实际推理中无法直接获取（因为它是回顾性的），但它为评估任何早期退出方法的最优性提供了基准。在方法层面，TERMINATOR采用的Extract-Identify-Verify流水线是全新的数据构建方法，解决了大规模识别答案位置的难题。与模糊模式匹配或正则表达式相比，使用LRM进行语义搜索能够可靠处理数值答案、数学表达式和代码等多种情况。在模型设计上，TERMINATOR复用LRM最后一个transformer块并添加预测头，这种设计比线性探针更能捕获模型内部的丰富信号。在推理机制上，基于滑动窗口多数投票的退出策略避免了对数据校准阈值的依赖，使得方法更具泛化能力。此外，TERMINATOR的分析揭示了LRM内部的重要现象：事件锁定平均显示Token置信度在答案位置出现尖峰，思考tokens使用频率在答案前后发生系统性转变，这些发现为理解LRM推理过程提供了新的视角。

TERMINATOR存在几个可以改进的弱点。首先，训练数据构建流水线的效率问题：当前方法需要运行一个30B参数的辅助LRM来识别每个CoT中的答案位置，这个过程涉及多次模型调用（包括重试机制），计算成本高昂。改进方向可以包括：（1）开发更轻量级的答案位置检测模型，专门针对这个任务进行优化；（2）使用规则-based的预筛选来减少需要LRM处理的CoT数量；（3）探索半监督或自监督方法来减少对辅助LRM的依赖。其次，探针分类器的架构可以进一步优化：当前方法复用LRM最后一个transformer块，但这可能不是最优选择。可以探索：（1）使用更小的专用网络架构来减少推理开销；（2）探索知识蒸馏技术将大型探针的知识压缩到更小的模型；（3）设计针对早期退出任务的专用架构。第三，退出决策机制可以更加精细：当前的滑动窗口多数投票虽然简单有效，但可能错过一些边界情况。可以考虑：（1）引入自适应窗口大小，根据CoT的复杂度动态调整；（2）结合多个信号（如token置信度、token使用频率等）进行综合决策；（3）探索强化学习方法来优化退出策略。第四，评估维度可以更全面：当前主要关注压缩率和准确率，但没有评估对下游任务的影响（如代码生成后的执行成功率）。

论文提出的未来研究方向包括多个有前景的探索路径。首先，提高训练效率是重要的研究方向：论文指出当前方法使用了数万个CoT来训练TERMINATOR，未来可以探索更高效的训练方法，如主动学习（选择最有信息量的样本进行标注）、课程学习（从简单到复杂逐步训练）或元学习（快速适应新任务）。其次，探索LRM内部信号的更深层次利用：论文发现的Token置信度尖峰和思考tokens频率变化等现象，未来可以进一步研究这些信号的物理含义、是否存在其他可检测的信号、以及如何更好地利用这些信号进行推理优化。论文将事件锁定平均结果类比为事件相关电位（ERP）研究，这暗示了跨学科研究的可能性。第三，扩展到更多任务和模型：当前实验主要在数学推理、代码生成和科学问题上进行，未来可以探索在更多领域（如逻辑推理、常识推理、多语言推理）的应用。同时，探索在更大规模模型（如70B+）上的效果。第四，与其他优化技术的结合：TERMINATOR可以与提示压缩、连续推理、推测性解码等技术结合，探索协同优化的可能性。第五，动态推理优化：除了早期退出，还可以探索动态调整推理深度、动态选择推理策略等更灵活的优化方式。最后，理论分析的深化：进一步研究HORL的性质、最优退出点的分布规律、以及探针分类器的理论保证。

论文的复现评估显示了较好的可复现性，但也存在一些挑战。在开源方面，论文提到了vLLM兼容的TERMINATOR实现，但未明确说明是否开源了完整的训练代码和预训练模型。训练数据的构建需要访问Qwen3-30B-A3B-Thinking-2507模型，这是一个30B参数的大型模型，需要显著的计算资源。训练数据集包括AIME（1983-2024）、MATH、OpenCoder-SFT和OpenScience，这些数据集大多是公开可用的，但具体的采样和预处理流程需要仔细复现。在算力需求方面，训练TERMINATOR需要运行LRM生成大量CoT（每个数据集3个CoT样本），然后使用辅助模型进行答案位置识别，这个过程需要多个GPU。推理时的额外开销相对较小（约10%），但需要实现vLLM兼容的推理流程。复现的主要难点包括：（1）Extract-Identify-Verify流水线的实现细节，包括重试机制、反馈生成等；（2）训练超参数的选择，如学习率、批大小、训练轮数等；（3）推理时的滑动窗口大小和投票阈值的选择。论文提供了详细的实验设置（附录B），但一些关键细节（如探针分类器的具体架构、训练细节）可能需要进一步澄清。总体而言，对于有足够计算资源的研究团队，论文的结果应该是可复现的，但完整的复现可能需要数周的实验时间。