ThinkRouter：通过在潜在空间和离散空间之间路由思维实现高效推理 ThinkRouter: Efficient Reasoning via Routing Thinking between Latent and Discrete Spaces

THINKROUTER方法的完整步骤如下：输入包括查询序列、大推理模型和路由阈值。初始化推理嵌入列表为空。进入推理循环：首先根据当前上下文计算下一个token概率分布并应用温度缩放；计算最大下一个token概率；应用采样策略进行过滤和重新归一化。然后进行置信度感知路由判断：如果最大下一个token概率低于路由阈值，表示所有替代方案都是低置信度的，此时在离散token空间中操作，通过多项式采样从概率分布中采样一个token，获取其嵌入并拼接到推理嵌入列表中。如果最大下一个token概率不低于阈值，推理在潜在空间进行，计算top-j个最高概率的token集合，对每个token计算归一化概率，计算软嵌入作为加权求和，将其拼接到推理嵌入列表中。每个时间步都保留一个名义上的token用于计算。接下来检查是否应该停止：如果Cold Stop条件满足，插入结束思考token并跳出循环；如果当前token是结束思考token，跳出循环。循环结束后，在离散空间中解码最终答案，输出最终答案。

THINKROUTER的技术新颖性体现在多个方面：首先，它是对潜在推理失效机制的深入洞察的结果，通过对模型置信度动态的系统分析，发现了错误推理轨迹与高置信度之间的关联，这在之前的工作中未被充分探索。其次，它是第一个推理时的、训练免费的混合空间推理方法，与需要强化学习训练的方法相比，大大降低了应用门槛。第三，它提出的置信度感知路由策略具有很强的可解释性：低置信度时使用离散token避免噪声聚合，高置信度时使用潜在空间保持探索，这与直觉一致。第四，THINKROUTER不仅能提升推理准确性，还能减少生成长度，因为它通过全局降低模型置信度加速了结束思考token的触发，这是现有方法所未曾同时实现的。最后，THINKROUTER在多个模型架构和任务上展现了广泛的适用性和鲁棒性。

独立分析的弱点包括：路由阈值需要针对每个模型-基准对单独调优，这在实际应用中可能不太方便，改进方向可以是开发自适应阈值选择机制，根据输入查询的复杂度动态调整阈值。THINKROUTER目前只在推理时进行路由，可能无法利用训练时学习到的推理模式，改进方向可以将置信度感知路由的思想融入训练过程，通过微调使模型更好地适应混合空间推理。另外，THINKROUTER的置信度度量仅基于最大下一个token概率，可能不能完全捕捉模型的不确定性，改进方向可以考虑使用更复杂的不确定性量化方法，如基于嵌入空间的度量或多个候选答案的分歧度量。THINKROUTER的路由决策是局部的，只考虑当前时间步的置信度，没有考虑全局的推理状态和目标，改进方向可以考虑引入更复杂的路由策略，结合历史信息和未来预测。此外，THINKROUTER的评估主要集中在准确性上，对于推理轨迹的质量、可解释性等方面可能需要更深入的分析。

未来研究方向包括：作者提出的扩展工作包括探索更复杂的路由策略，如基于多个置信度指标的多维度路由，或者学习到的路由策略。基于成果可延伸的方向包括将THINKROUTER应用于更多类型的推理任务，如多模态推理、长上下文推理等。另外，可以研究THINKROUTER与其他推理增强技术的结合，如检索增强推理、工具增强推理等。还可以探索THINKROUTER在推理模型训练过程中的应用，如在训练时引入置信度感知的损失函数，使模型更好地学习在何时进行显式推理，何时进行潜在推理。另一个有趣的方向是研究THINKROUTER在不同模型架构、不同规模模型上的迁移性，以及是否需要针对不同任务进行特定的路由策略调优。

复现评估方面，论文声称THINKROUTER的实现基于公开的Soft Thinking代码库，使用SGLang作为推理后端，在NVIDIA H100 80GB GPU上运行。路由阈值通过在小验证集上网格搜索确定，搜索范围为0.4到0.9。论文详细报告了每个模型-基准对使用的最优阈值值，以及所有实验的随机种子。论文还提供了算法伪代码和详细的超参数设置。所有实验的采样策略都公开可查。论文还提供了在完整数据集上的结果，而不只是排除验证集后的结果，展示了评估的鲁棒性。总体而言，论文的复现性较好，公开了足够多的细节和代码，但需要相当的计算资源来复现所有实验。然而，论文没有明确说明代码是否会开源，这对于复现工作可能是一个限制。