递归语言模型遇上不确定性：用于长上下文的自反思程序搜索的惊人有效性 Recursive Language Models Meet Uncertainty: The Surprising Effectiveness of Self-Reflective Program Search for Long Context

SRLM方法的第一步是候选程序采样，从模型策略中独立采样K个候选程序，每个候选程序代表不同的推理轨迹。第二步是自一致性过滤，计算每个候选答案的经验频率，保留与 plurality answer 一致的候选程序集合。第三步是口头置信度计算，在每个中间生成步骤要求模型报告置信度分数，并在对数空间中聚合。第四步是轨迹长度计算，计算每个程序的推理轨迹总长度。第五步是联合不确定性评分，将口头置信度与轨迹长度相乘得到联合不确定性分数，在一致候选集中选择最优程序，最终输出最优程序的预测结果。

SRLM的技术新颖性在于它首次系统地研究了程序化上下文交互框架中的轨迹选择问题，并提出了一个完全基于模型内部不确定性信号的自反思解决方案。与依赖外部监督或奖励模型的方法不同，SRLM利用三个完全源自模型自身生成过程的不确定性信号，不需要verifier、奖励模型或外部标注数据。这种自反思的设计使得SRLM能够在不改变底层模型的情况下，显著提升长上下文推理性能。此外，SRLM解耦了上下文交互质量与递归结构，挑战了递归是RLM性能主要驱动因素的假设，这是一个重要的概念创新。

独立分析的弱点包括：在高度结构化和局部化的任务上，递归方法可能仍然具有优势，因为它们可以利用明确的子问题分解策略，而SRLM的自反思信号可能在这些任务上不够精细。SRLM的不确定性信号可能受到模型固有偏见的影响，例如模型可能倾向于生成较短的推理轨迹，这可能使得轨迹长度信号不够可靠。口头置信度的elicitation可能会干扰模型的正常推理过程，特别是在要求模型在每个步骤都报告置信度的情况下，这可能会影响推理质量。SRLM没有考虑候选程序之间的相互影响，每个候选程序是独立评估的，但实际上不同程序之间可能存在互补性或相互冲突。改进方向包括：探索更精细的递归与自反思结合机制，既利用显式的子问题分解又利用自反思信号；研究自适应的不确定性信号加权机制，根据任务类型和上下文特征动态调整不同信号的权重；探索候选程序的协同评估机制，考虑程序之间的互补性和相互关系；开发更robust的口头置信度elicitation方法，减少对正常推理的干扰。

作者提出的未来工作方向包括：探索更丰富的内在自反思形式，在程序化上下文交互框架中超越显式递归子调用；设计与自反思信号集成的决策机制，实现推理的更早终止和改进的token使用控制。基于本文成果可延伸的研究方向包括：将SRLM的不确定性感知自反思机制扩展到其他agent框架和任务领域，如多agent协作、工具使用等；研究如何将自反思信号与强化学习或奖励模型结合，形成更强大的程序搜索策略；探索在训练过程中显式优化模型的自反思能力，提高不确定性信号的质量；研究如何将SRLM应用到更广泛的长上下文任务，如长文档摘要、长对话管理、长代码库理解等；探索在多模态场景中应用自反思程序搜索，处理长序列的图像、音频等多模态数据。

复现评估方面，论文提供了相对详细的实验设置，包括使用的骨干模型、数据集、超参数设置和评估方法。然而，论文没有提供源代码或实现细节，这使得完全复现实验结果存在一定困难。GPT-5和Qwen3-Coder-480B都是大型商业模型，需要API访问权限，这增加了复现的成本和难度。论文使用的数据集大多是公开可用的，但BrowseComp+的特定子集和评估协议可能需要额外的工作来复现。从算力需求来看，由于SRLM需要运行多个候选程序并评估它们，总体的计算开销较大，但通过并行执行可以控制wall-clock时间。总体而言，复现本文实验的难度为中等偏高，主要挑战在于访问大型模型API和实现细节的缺失。