← 返回 2026-04-01

代码生成中的任意位置思考 Think Anywhere in Code Generation

Xue Jiang, Tianyu Zhang, Ge Li, Mengyang Liu, Taozhi Chen, Zhenhua Xu, Binhua Li, Wenpin Jiao, Zhi Jin, Yongbin Li, Yihong Dong 📅 2026-03-31 👍 26 2026-07-13 08:36
代码生成 大语言模型推理 强化学习 自适应计算
arXiv HuggingFace PDF

允许LLM在代码生成过程中任意位置按需调用推理的新机制，实现自适应计算

前置知识

Chain-of-Thought (CoT) 推理

CoT是一种提示策略，引导LLM在生成最终答案前先生成中间推理步骤。这种方法通过显式展示推理过程，显著提升了模型在复杂任务上的表现，是现代推理LLM的核心技术基础。

理解CoT是阅读本文的前提，因为THINK-ANYWHERE本质上是对CoT前置推理模式的扩展和重构，对比两者差异需要先掌握CoT的工作原理

强化学习从可验证反馈 (RLVR)

RLVR是一种使用可验证任务反馈作为奖励信号的强化学习方法。在代码生成中，可以通过执行生成的代码并检查测试用例是否通过来获得二元的正确性奖励，为模型学习提供精确指导信号。

本文使用RLVR作为第二阶段训练的核心算法，理解RLVR如何从代码执行结果中学习对于掌握THINK-ANYWHERE的训练机制至关重要

信息熵

信息熵是衡量随机变量不确定性的指标，在语言模型中可用于衡量模型对下一个token预测的不确定程度。高熵表示模型有多个可能的候选词，低熵表示模型预测相对确定。

论文通过分析token熵来验证THINK-ANYWHERE是否确实在需要推理的位置调用思考，理解熵的概念有助于理解分析结果的含义

研究动机

现有推理增强的LLM（如OpenAI o1、DeepSeek-R1）主要采用前置思考（upfront thinking）机制，即在生成代码前先完成全局规划和逻辑推演，然后再生成最终代码。这种方法在代码生成任务中存在两个关键限制。第一，前置思考往往不够充分。问题的全部复杂性只有在代码实现过程中才会显现，例如实现动态规划问题时，边界条件和索引错误通常只在编写代码时才会被发现。论文指出LLM通常只在前置推理阶段进行计划级别的思考，而新问题会在代码实现阶段出现，导致因缺乏充分推理而产生bug。第二，前置思考无法精确地将推理资源分配到需要的位置。代码生成的不同位置难度差异很大，简单的样板代码只需要最小计算量，而复杂的算法决策或边缘情况处理则需要深度推理。现有方法对整个任务统一分配推理资源，造成计算浪费和推理不足并存。

本文的目标是本文的目标是设计一种新型的推理机制THINK-ANYWHERE，使LLM能够在代码生成过程中的任何token位置基于即时上下文和局部复杂度按需调用推理。该机制应该允许模型在识别到高复杂度或逻辑风险的时刻自主决定何时何地调用思考，而不是强制在开始时完成所有推理。通过这种方式，模型可以将计算资源精确分配给真正需要深度思考的token，同时在较简单的部分节省计算开销。此外，该机制还应该提供更好的透明度，通过观察模型在代码生成过程中的思考位置和方式，增强对模型决策过程的理解。

与已有工作不同的是，本文的独特切入角度在于质疑现有先思考后执行的范式，转而借鉴人类编程者的认知模式。人类开发者不仅在编码前思考，还会在实现过程中的任何点暂停思考，这被认为是一种更合理的思考方式。本文首次系统性地提出将推理嵌入到代码生成的任意token位置，而不是局限于代码块之前。与现有的交错思考方法相比，THINK-ANYWHERE不需要在每个子步骤都进行思考，避免了不必要的计算开销，同时能够将更深的推理资源分配给任务中最具挑战性的部分。这种按需推理的理念是本文与已有工作的本质区别。

核心方法

THINK-ANYWHERE的整体思路是通过两阶段训练流程，教会LLM在代码生成过程中的任意位置按需调用推理。首先通过冷启动训练，使用强推理LLM自动构造展示THINK-ANYWHERE推理模式的训练数据，使模型学会基本的在代码中嵌入思考块的能力。然后使用强化学习从可验证反馈（RLVR）进一步强化这种能力，让模型通过奖励驱动的探索自主发现调用推理的最佳位置和策略。THINK-ANYWHERE定义了两种特殊的token对：用于前置思考块的think和/think，以及用于代码中任意位置思考块的thinkanywhere和/thinkanywhere。最终的生成序列可以表示为混合序列，包含初始思考块、多个代码段和嵌入的思考块，思考块的数量和位置由模型在生成过程中动态决定。最终的可执行代码通过从生成序列中移除所有思考块获得。

THINK-ANYWHERE的核心创新点在于打破了推理与代码生成的严格分离，允许推理穿插在代码生成的任何位置。与现有方法的关键区别在于：推理位置自适应，模型不是在固定位置进行推理，而是能够识别代码生成过程中的高复杂度点并在那里插入思考；推理长度动态可变，模型可以在challenging的瓶颈处动态扩展推理长度，实现真正的按需计算资源分配；更符合人类认知，模仿人类开发者在编码过程中任何点都暂停思考的行为模式，而不是先想后做。这种本质区别使得THINK-ANYWHERE能够更高效地利用推理能力，避免在简单部分浪费计算，同时在复杂部分提供充分推理。另一个关键创新是引入专用推理触发标记（THINK-ANYWHERE*），通过语义感知初始化策略将新token的嵌入表示初始化为语义内容和结构角色的组合，解决了多token分隔符语义模糊和预测路径过长的问题。

方法步骤详情

THINK-ANYWHERE的实现包含两个主要训练阶段。阶段一：冷启动训练。数据构造使用强推理LLM（如Gemini 2.5 Flash）配合训练模板自动构造约5000个训练样本，展示THINK-ANYWHERE的推理调用模式。过滤格式错误的样本（如思考块边界错误或特殊token嵌套不当），但保留代码正确性不同的样本以促进模型学习。监督微调使用LoRA在构造的样本上进行监督微调，学习在代码中调用thinkanywhere块的模式。专用token变体（THINK-ANYWHERE*）采用两阶段冷启动：第一阶段冻结模型参数，只训练输入嵌入和LM头权重；第二阶段联合训练特殊token嵌入、LM头和LoRA适配器。阶段二：RLVR训练。采用GRPO算法，对于每个输入采样G个候选输出，计算每个输出的奖励，组归一化优势通过公式计算。奖励设计为层次化奖励函数，包含结构奖励和正确性奖励，其中alpha参数控制两者权重。结构奖励验证模型是否遵循THINK-ANYWHERE定义，检查输出是否包含初始思考块和至少一个嵌入在代码中的思考块。正确性奖励通过执行生成的代码并对测试用例来评估功能正确性。策略优化通过最大化剪切代理目标并加上KL散度惩罚来实现。

技术新颖性

THINK-ANYWHERE的技术新颖性体现在多个方面。首先是推理机制创新：首次系统性地将推理嵌入到代码生成的任意token位置，打破了推理与代码生成的严格分离，实现真正的按需推理。其次是训练策略创新：结合冷启动训练和RLVR，冷启动提供基本推理调用能力，RLVR让模型自主发现最优思考位置，这种两阶段设计比单纯的监督学习或强化学习都更有效。第三是token设计创新：提出的语义感知初始化策略将新专用token的嵌入初始化为语义内容和结构角色的组合，解决了新增token在有限后训练数据下难以学习的问题。第四是分析方法的创新：通过token熵分析和语法上下文分析验证模型是否在需要推理的位置调用思考，证明了模型学会在高熵位置调用思考，增强了方法的可解释性。最后是跨域泛化的创新：虽然只在代码生成任务上训练，但数学推理基准上的显著提升证明了按需推理能力的可迁移性，这是对现有领域特定推理方法的重要突破。

实验结果

论文在四个主流代码生成基准测试（LeetCode、LiveCodeBench、HumanEval、MBPP）上评估了THINK-ANYWHERE的性能。主要发现包括：THINK-ANYHERE达到SOTA性能，平均得分70.3%，比基线模型提升9.3%。在LeetCode上达到69.4%，LiveCodeBench上37.2%，HumanEval上91.5%，MBPP上82.9%。与推理增强方法相比，THINK-ANYWHERE显著优于CoT（平均62.3%）、Self-planning（61.3%）、Interleaved Thinking（61.7%）和GRPO（68.4%）。与后训练方法相比，THINK-ANYWHERE超过最佳基线CodeRL+（66.8%），证明了相比其他RL方法的优势。消融研究表明冷启动和RLVR都是必需的，去除任一阶段导致性能大幅下降（Only Cold Start: -21.5%，Only RLVR: -6.0%）。Token级思考优于行级思考（-2.2%），验证了允许在任意token位置思考的设计选择。计算效率方面，THINK-ANYWHERE生成的token数量少于GRPO和CoT，因为缩短了前置思考阶段，只在需要的位置添加思考块。Pass@k分析显示THINK-ANYWHERE与GRPO的性能差距随k增大而扩大，表明该方法显著提升了模型的能力上限。跨域泛化测试显示，虽然只在代码生成任务上训练，THINK-ANYWHERE在AIME 2024、AIME 2025和HMMT 2025数学推理基准上都实现了显著提升（AIME 2024从5.3%提升到17.3%），证明了按需推理能力的跨领域迁移性。在不同LLM上的一致性表现（Qwen2.5-Coder-7B：+9.3%，Qwen2.5-Coder-1.5B：+13.9%，LLaMA-3.1-8B：+5.4%）验证了方法的泛化性。

Template for THINK-ANYWHERE.
Table 1: Template for THINK-ANYWHERE.
Performance of THINK-ANYWHERE compared to post-training methods and reasoning-enhanced methods.
Table 2: Performance of THINK-ANYWHERE compared to post-training methods and reasoning-enhanced methods.
Cross-domain generalization of THINK-ANYWHERE to mathematical reasoning benchmarks.
Table 3: Cross-domain generalization of THINK-ANYWHERE to mathematical reasoning benchmarks.
Generalizability of THINK-ANYWHERE across different model families and scales.
Table 4: Generalizability of THINK-ANYWHERE across different model families and scales.
The results of ablation study.
Table 5: The results of ablation study.
Results of Thinking Position Analysis.
Figure 2: Results of Thinking Position Analysis.
Token cost of different methods.
Figure 3: Token cost of different methods.
Pass@k comparison between GRPO and THINK-ANYWHERE across four benchmarks.
Figure 4: Pass@k comparison between GRPO and THINK-ANYWHERE across four benchmarks.
查看结构化数据
任务指标本文基线提升
LeetCode代码生成 pass@1 69.4% 63.3% (CodeRL+) +6.1%
LiveCodeBench代码生成 pass@1 37.2% 36.9% (CodeRL+) +0.3%
HumanEval代码生成 pass@1 91.5% 90.9% (CodeRL+) +0.6%
MBPP代码生成 pass@1 82.9% 76.2% (CodeRL+) +6.7%
AIME 2024数学推理 pass@1 17.3% 6.0% (GRPO) +11.3%

局限与改进

作者承认的局限性包括专用token变体（THINK-ANYWHERE*）在有限后训练数据下难以充分学习新token的语义，文本版本略微优于专用token版本。作者认为如果在大规模预训练阶段原生集成THINK-ANYWHERE专用token，能进一步释放其潜力。另一个局限是当前实现的思考块内容最终会被移除，虽然实验证明思考位置本身有价值，但思考内容对最终代码的影响仍需深入研究。本文的观察局限性包括：虽然THINK-ANYWHERE在多个基准上表现优异，但在某些简单任务上可能引入不必要的计算开销。当前方法主要针对代码生成设计，在其他需要推理的任务（如数学证明、逻辑推理）上的效果虽然通过跨域测试得到部分验证，但仍需要更系统的评估。此外，方法的可解释性虽然比黑盒方法更好，但模型决策何时调用推理的内部机制仍然不够透明，需要进一步研究模型如何识别高复杂度位置。

独立分析的弱点

THINK-ANYHERE存在几个具体场景下的弱点。首先在简单任务上的计算效率可能不如前置思考方法，因为即使任务简单，模型也可能在代码中插入不必要的思考块，造成计算浪费。改进方向可以是在奖励函数中引入思考长度的惩罚项，鼓励模型在简单任务上减少思考块的使用。其次，当前方法依赖GRPO算法进行强化学习，该算法需要采样多个候选输出来计算组归一化优势，在计算资源受限的环境下可能难以部署。改进方向是探索样本效率更高的RL算法，如基于单样本对比学习的方法。第三，专用token变体的性能受限于后训练数据量，新token的语义难以充分学习。改进方向是在预训练阶段就引入专用token，或设计更精细的初始化策略和课程学习。第四，当前方法主要基于测试用例的二元正确性奖励，对于部分正确的解决方案无法提供细粒度指导信号。改进方向是引入过程奖励模型，为中间推理步骤提供更丰富的反馈。最后，方法在不同编程语言上的效果可能不一致，因为代码复杂度的分布和推理需求在不同语言间存在差异。改进方向是进行跨语言的系统性评估和针对性优化。

未来方向

作者提出的未来工作方向包括将THINK-ANYWHERE扩展到代码生成之外的其他领域，验证按需推理机制的通用性。一个有前景的方向是研究模型如何学习不进行推理，进一步优化推理深度和计算效率之间的权衡。基于本文成果可以延伸的研究方向包括：探索更复杂的思考块交互机制，如思考块之间的依赖关系和层级结构；研究如何在思考块中引入工具调用（如代码执行、搜索），增强推理能力；开发针对THINK-ANYWHERE的专用评估指标，量化思考位置选择的质量；研究多模态场景下的按需推理，如视觉代码生成、代码审查等任务；探索在分布式推理中的应用，将不同的思考块分配到不同的计算节点进行并行推理；研究THINK-ANYWHERE与模型压缩技术的结合，在保持推理能力的同时减少模型大小；开发针对THINK-ANYHERE的可视化工具，帮助开发者理解模型的推理过程；研究如何将人类干预融入到按需推理过程中，实现人机协作的智能编码。

复现评估

论文在复现性方面提供了较为完整的支持。作者在GitHub上开源了源代码和数据集（https://github.com/jiangxxxue/Think-Anywhere），训练细节包括：使用Skywork数据集的14K编程问题，基础模型为Qwen2.5-Coder-7B-Instruct，使用VeRL框架实现RL算法。训练参数为：batch size 128，mini-batch size 64，学习率1e-6，2个训练epochs。每个问题生成8个rollout样本，最大长度4096 tokens。实验在8张NVIDIA A100 GPU (40G)上运行。冷启动训练数据使用Google Gemini 2.5 Flash合成，约5000个样本。评估采用贪婪采样（temperature=0）确保可复现性。算力需求较高，完整训练需要8张A100 GPU数天时间，这可能限制学术界的复现。数据集的开源程度需要进一步确认，Skywork数据集的获取可能存在限制。评估代码的详细程度和依赖管理的规范性会影响复现难度。总体而言，论文提供了足够的技术细节和资源，复现难度中等偏高，主要障碍是算力需求和部分数据集的可访问性。

论文图表

Illustration of THINK-ANYWHERE. Reasoning can be invoked at any token position during code generation.
Figure 1: Illustration of THINK-ANYWHERE. Reasoning can be invoked at any token position during code generation.

该图对比了标准LLM前置思考和THINK-ANYWHERE两种方法在解决编辑距离问题时的区别。左侧显示标准方法在代码前完成所有推理，然后生成代码，结果在实现过程中出现索引越界错误。右侧显示THINK-ANYWHERE在代码生成过程中的关键位置插入思考块（用thinkanywhere.../thinkanywhere表示），特别是在容易出现索引错误的字符串访问处进行推理，成功避免了bug。图中省略号表示为简洁起见截断的思考内容。

这张图是理解THINK-ANYWHERE核心思想的最佳可视化，直观展示了前置思考和按需思考在代码生成中的区别，以及按需思考如何解决实现过程中才发现的问题，对于motivation和method章节都很重要。