TAROT：面向代码生成的测试驱动与能力自适应课程强化微调框架 TAROT: Test-driven and Capability-adaptive Curriculum Reinforcement Fine-tuning for Code Generation with Large Language Models
通过四层测试套件和能力自适应课程策略，优化LLM代码生成的强化微调
前置知识
强化微调（Reinforcement Fine-Tuning, RFT）
强化微调是一种将强化学习与监督微调相结合的训练范式。在代码生成场景中，RFT使用单元测试的通过率作为奖励信号，通过策略优化算法（如GRPO）更新模型参数。与传统的监督微调只学习正确答案不同，RFT让模型通过试错来学习，能够探索更多可能的解空间。具体来说，模型生成候选代码，执行测试用例，根据通过率获得奖励，然后使用策略梯度方法更新模型，使其倾向于生成能通过更多测试的代码。
RFT是本文的核心训练范式，TAROT框架正是在RFT基础上引入课程学习机制来优化训练过程
课程学习（Curriculum Learning）
课程学习是一种受人类学习过程启发的训练策略，按照从易到难的顺序组织训练数据。在传统机器学习中，课程学习通过先训练简单样本再逐步引入复杂样本来加速收敛并提升泛化能力。在代码生成领域，课程学习可以在问题层面（inter-problem）按难度排序不同编程题目，也可以在测试用例层面（intra-problem）按难度分层同一题目的不同测试。本文采用的是后者，即在单个问题内部构建多层次的测试难度梯度。
课程学习是本文方法论的核心思想，TAROT通过将测试用例分层来实现精细化的课程设计
GRPO（Group Relative Policy Optimization）
GRPO是一种高效的策略优化算法，是PPO的简化变体。与PPO需要单独训练价值函数网络不同，GRPO通过在同一问题上生成多个候选解（group），然后计算这些解的相对奖励来估计优势函数（advantage）。具体公式为：对每个问题生成K个解，计算每个解的标准化奖励作为优势估计，使用KL散度正则化防止策略偏离太远。GRPO的关键超参数beta控制KL正则化的强度，beta越小允许更多探索，beta越大则更保守。
GRPO是TAROT实际使用的策略优化算法，理解其机制对于分析实验结果中的超参数敏感性至关重要
有效能力（Effective Capability）
有效能力是本文提出的一个关键概念，指模型在代码生成任务上的综合实际表现能力，而非简单的参数规模。有效能力由两个因素决定：指令遵循保真度（instruction following fidelity）和基线编码能力（baseline coding proficiency）。例如，一个3B参数的代码专用模型（如Qwen2.5-Coder-3B）可能比一个通用的3B模型具有更高的有效能力。有效能力决定了模型应该接受什么样的课程训练——能力较低的模型需要从基础开始，能力较高的模型则可以直接挑战复杂任务。
这是本文的核心发现：最优课程策略取决于模型的有效能力而非参数规模，这一洞察指导了整个框架的设计
研究动机
现有的代码生成强化微调方法存在严重的奖励信号不平衡问题。在传统的RFT框架中，一个编程问题的所有测试用例被视为同质的——要么全部通过得满分，要么按平均通过率计算奖励。然而在实际的软件工程实践中，测试用例天然具有不同难度：基础测试验证核心逻辑的正确性，边界测试则考验极端情况下的鲁棒性。这种异质性被现有方法完全忽视了，导致奖励信号变得平坦（reward flatness）：一个能通过简单测试但无法处理边界情况的模型，与一个能处理边界情况但简单测试出错的模型，可能获得相似的奖励。这种平坦的奖励景观使得梯度更新缺乏区分度，模型难以学到真正鲁棒的推理能力。此外，现有课程学习方法主要在问题层面（inter-problem）按粗粒度难度指标排序，忽视了单个问题内部的测试用例难度梯度（intra-problem）。
本文的目标是本文的目标是设计一个能够同时解决奖励平坦性和课程适应性问题的框架。具体而言，TAROT希望：（1）通过构建四层测试套件（basic/intermediate/complex/edge），为每个编程问题创建结构化的难度梯度，使奖励信号能够区分不同难度级别的成功；（2）解耦课程分配（训练努力的分配比例alpha）和奖励权重（不同难度成功的价值w），实现能力自适应的课程设计；（3）通过实验验证最优课程策略确实与模型的有效能力相关，为未来的自动化课程选择提供指导。
与已有工作不同的是，本文的独特切入角度在于将测试驱动开发（TDD）的理念引入课程学习。在软件工程中，开发者通常先写简单测试确保基本功能正确，再逐步添加复杂测试和边界测试，这是一种自然的增量式验证方法。然而，现有代码数据集的测试套件并非为此设计——它们主要用于最终验证（summative verification），测试数量和难度变化很大，无法支持课程学习。TAROT填补了这一空白，将每个问题的测试用例精心组织为四个明确的难度层级，使得课程进度可以通过对不同层级测试的差异化强调来实现。更重要的是，TAROT首次系统地研究了模型能力与最优课程策略之间的关系，发现最优难度区间（Zone of Optimal Difficulty）现象：能力较低的模型在基础课程上表现最佳，而能力较高的模型则在复杂课程上获得更大收益。
核心方法
TAROT框架的整体思路可以概括为测试分层驱动、能力自适应调度。首先，在数据层面，TAROT利用前沿LLM（如GPT-4o）为每个编程问题生成四层测试套件，每层代表不同的难度级别和验证目标：基础层测试核心逻辑、中间层测试常规场景、复杂层测试算法复杂性、边界层测试极端情况。这些测试套件经过参考答案验证确保质量。然后，在训练层面，TAROT解耦了两个关键设计：课程分配alpha（决定训练在各难度层级上的努力分配）和奖励权重w（决定各层级成功对总奖励的贡献）。这两个设计参数根据模型的基线能力预先确定，而非在训练过程中动态调整。训练时，模型生成代码，执行四层测试，按层级加权计算奖励，使用GRPO进行策略优化。
TAROT的核心创新在于两个方面的解耦设计。第一个创新是奖励与课程解耦：传统方法中，课程进度直接由原始奖励分数决定，而TAROT将课程分配alpha和奖励权重w分离为两个独立参数。这使得我们可以为不同难度层级设置不同的训练关注比例，同时为各层级成功赋予不同价值，两者互不干扰。第二个创新是能力条件化：不同于以往一刀切的课程设计，TAROT根据模型的有效能力（由指令遵循保真度和基线编码能力共同决定）选择最优的课程策略组合。具体而言，能力较低的模型（如1.5B参数）采用基础优先的Forward策略配合B/I加权，而能力较高的模型（如7B参数或代码专用模型）则采用复杂优先的Reversed策略配合C/E加权。这种设计使得训练信号集中在模型能力区间的最优难度上，避免了过难导致的训练崩溃和过易导致的学习停滞。
方法步骤详情
TAROT的方法步骤如下：第一步，构建TAROT数据集。基于约15000个Python编程问题，使用OpenAI的o3/o4模型为每个问题生成四层测试套件（basic/intermediate/complex/edge），每层包含不同难度的测试用例。所有测试用例都经过参考答案验证，任何有一层失败的问题都被丢弃，最终得到60000个分层测试套件（15000问题x4层）。第二步，能力评估。在训练开始前，评估目标模型的基线能力，包括指令遵循测试和编码能力测试，综合得出有效能力指标。第三步，课程策略选择。根据有效能力从预定义的策略组合中选择最优策略。策略组合包括：分配顺序（Forward基本到复杂、Reversed复杂到基本、Static静态）和奖励权重模板（Uniform均匀、B/I加权强调基础层、C/E加权强调复杂层）。对于分阶段课程，难度转换发生在总epoch的0.2、0.4和0.6处。第四步，训练执行。对每个问题，模型生成候选代码，执行四层测试，计算层级成功率ri,l(pi)，然后按TAROT回报公式RTAROT = sum(alpha_l * w_l * ri,l(pi))计算总奖励，使用GRPO更新策略。第五步，评估。在HumanEval、MBPP、CodeForces等多个基准上评估pass@1和准确率。
技术新颖性
TAROT的技术新颖性体现在多个层面。首先，在课程粒度上，TAROT首次实现了问题内部（intra-problem）的课程学习，而现有方法仅在问题之间（inter-problem）排序。这种细粒度设计使得即使在同一个编程问题上，模型也能按从易到难的顺序学习。其次，在测试套件设计上，四层分类法（basic/intermediate/complex/edge）不是简单的难度排序，而是功能性的分离：basic层验证核心逻辑（happy path），intermediate层测试中等输入，complex层测试算法复杂性（如嵌套结构、复杂逻辑路径），edge层测试边界条件和极端情况。定量分析显示，从basic到complex，输入长度、token多样性和字符转换数都呈系统性右移，验证了难度梯度的有效性。第三，在奖励机制上，TAROT的层级加权回报公式将课程设计直接嵌入奖励计算，这是一种新颖的课程感知奖励（curriculum-aware reward）机制，与现有将课程和奖励分开处理的方法形成鲜明对比。第四，在能力适应性上，TAROT首次系统地证明了最优课程策略与模型有效能力（而非参数规模）之间的因果关系，发现了最优难度区间现象。
实验结果
TAROT在多个模型系列和基准测试上展示了显著且一致的性能提升。在Qwen2.5-Instruct系列上，最优课程策略随模型规模变化：1.5B模型在B/I Weighted策略下HumanEval达到59.15%（+0.61pp），3B模型在C/E Weighted (Rev)策略下达到70.12%（+0.61pp），7B模型在C/E Weighted (Rev)策略下达到84.15%（+1.22pp）。在代码专用的Qwen2.5-Coder系列上，效果更为显著：Coder-7B在C/E Weighted策略下HumanEval达到87.80%（+1.82pp），HumanEval+达到82.32%（+3.05pp）。最新的Qwen3-4B-Instruct-2507模型在C/E Weighted策略下获得最大收益：HumanEval从89.02%提升至91.46%（+2.44pp），HumanEval+从78.66%提升至82.92%（+4.26pp），MBPP从52.60%提升至55.20%（+2.60pp），MBPP+从56.61%提升至58.73%（+2.12pp）。与标准RL基线（Avg-reward和Pass@All）相比，TAROT在所有基准上都表现更优，例如Qwen2.5-7B-Instruct在CodeForces上达到12.95%（vs Avg-reward的11.41%），在LiveCodeBench v5上达到19.12%（vs Avg-reward的11.95%）。值得注意的是，Gemma2-2B-IT等极弱模型在大多数课程策略下性能下降，只有Basic Only策略有效（HumanEval从42.07%提升至44.51%），这证实了能力自适应设计的必要性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| HumanEval代码生成 | pass@1 | Qwen3-4B: 91.46%, Qwen2.5-7B: 84.15%, Qwen2.5-Coder-7B: 87.80% | Qwen3-4B Base: 89.02%, Qwen2.5-7B Base: 82.93%, Qwen2.5-Coder-7B Base: 85.98% | Qwen3-4B: +2.44pp, Qwen2.5-7B: +1.22pp, Qwen2.5-Coder-7B: +1.82pp |
| HumanEval+严格代码生成 | pass@1 | Qwen3-4B: 82.92%, Qwen2.5-7B: 77.44%, Qwen2.5-Coder-7B: 82.32% | Qwen3-4B Base: 78.66%, Qwen2.5-7B Base: 75.61%, Qwen2.5-Coder-7B Base: 79.27% | Qwen3-4B: +4.26pp, Qwen2.5-7B: +1.83pp, Qwen2.5-Coder-7B: +3.05pp |
| MBPP基础编程 | pass@1 | Qwen3-4B: 55.20%, Qwen2.5-7B: 69.00%, Qwen2.5-Coder-7B: 77.60% | Qwen3-4B Base: 52.60%, Qwen2.5-7B Base: 63.20%, Qwen2.5-Coder-7B Base: 75.60% | Qwen3-4B: +2.60pp, Qwen2.5-7B: +5.80pp, Qwen2.5-Coder-7B: +2.00pp |
| CodeForces竞赛编程 | overall accuracy | Qwen2.5-7B: 12.95%, Qwen2.5-Coder-7B: 14.94% | Qwen2.5-7B Avg-reward: 11.41%, Qwen2.5-Coder-7B Base: 10.89% | Qwen2.5-7B: +1.54pp vs Avg-reward, Qwen2.5-Coder-7B: +4.05pp |
| LiveCodeBench v5实时编程 | overall accuracy | Qwen2.5-7B: 19.12%, Qwen2.5-Coder-7B: 19.24% | Qwen2.5-7B Avg-reward: 11.95%, Qwen2.5-Coder-7B Base: 13.86% | Qwen2.5-7B: +7.17pp vs Avg-reward, Qwen2.5-Coder-7B: +5.38pp |
| CruxEval代码推理 | input/output accuracy | Qwen2.5-7B: 57.88/56.38%, Qwen3-4B: 81.12/75.25% | Qwen2.5-7B Base: 57.75/58.00%, Qwen3-4B Base: 78.25/77.75% | Qwen2.5-7B: +0.13/-1.62pp, Qwen3-4B: +2.87/-2.50pp |
局限与改进
本文的局限性主要体现在三个方面。首先，TAROT数据集依赖前沿LLM（o3/o4）合成四层测试套件，尽管经过严格验证，但生成器的潜在偏差或覆盖缺口可能传播到策略模型，限制学习信号的多样性。作者承认，如果生成的测试用例存在系统性偏见（例如对某些算法类型覆盖不足），那么模型可能学到有偏的编码模式。其次，当前研究仅限于Python编程任务，这种分层强化微调方法能否推广到多语言或低资源编程语言（如Rust、Haskell）仍需验证。不同编程语言的测试模式和难度维度可能不同，需要重新设计分层标准。第三，能力评估机制使用静态基线评估，虽然避免了动态评估的计算开销，但无法捕捉训练过程中模型能力的演变。作者将连续课程空间和动态调度优化留作未来工作。此外，从独立观察来看，实验中所有模型都只训练一个epoch，更长训练周期下课程策略的效果是否依然稳定值得进一步研究。
独立分析的弱点
TAROT存在几个值得关注的弱点。首先，课程策略选择基于预定义的离散组合（3种分配顺序x3种权重模板+3种单一层级策略），这种有限的策略空间可能无法覆盖所有最优配置。改进方向是引入连续课程空间，使用贝叶斯优化或强化学习自动搜索最优的alpha和w组合。其次，四层测试套件的划分标准相对固定（basic/intermediate/complex/edge），不同编程问题的难度维度可能差异很大。例如，某些问题的难度主要在算法复杂性，而另一些在边界条件处理，统一的四层划分可能不够精细。可以考虑根据问题特征动态调整各层的定义。第三，TAROT在OOD基准（如CodeForces、LiveCodeBench）上的最优策略与ID基准不一致，说明课程策略的泛化性有限。未来需要研究任务自适应的课程选择机制。第四，对于能力很弱的模型（如Gemma2-2B-IT），大多数课程策略都会导致性能下降，只有Basic Only策略有效，这表明框架对极端弱模型的鲁棒性不足。
未来方向
作者和本文成果指向多个有前景的研究方向。首先，自动化课程选择是自然的延伸：可以将课程设计本身建模为一个元学习问题，根据模型在验证集上的表现自动调整alpha和w，而非依赖预定义策略。其次，测试套件的自动化设计值得深入研究：当前使用LLM生成测试用例，但可以探索结合符号执行、模糊测试等技术生成更系统、更多样的测试。第三，跨语言和跨任务的泛化：将TAROT框架扩展到多编程语言（如Java、C++、JavaScript）和不同类型的代码任务（如代码修复、代码补全、代码解释）。第四，动态能力评估：在训练过程中持续监测模型能力变化，实现真正的能力自适应而非基于静态基线的预设。第五，结合过程奖励模型（Process Reward Model）提供更细粒度的反馈，与TAROT的测试层级结构互补。第六，探索课程策略与模型架构的交互作用，研究不同注意力机制、参数规模下课程学习的最优配置。
复现评估
TAROT在可复现性方面做得很好。作者在GitHub（https://github.com/deep-diver/TAROT）上开源了所有代码和数据。数据集基于公开的verifiable-coding-problems-python数据集构建，测试套件生成使用的是OpenAI API（o3/o4模型）。训练使用开源库Transformers、TRL、vLLM和Open-R1，在8xNVIDIA A100 (80GB) GPU服务器上进行。评估使用Evalchemy框架，遵循标准化的基准配置。所有超参数（学习率1e-6、batch size 8、GRPO beta=0.01、温度1.0等）都有详细记录。然而，复现的主要挑战在于：（1）需要大量A100 GPU资源进行训练；（2）测试套件生成需要OpenAI API调用，有一定成本；（3）评估环境配置（沙箱Python 3.11、10秒超时）需要仔细复现。总体而言，对于有足够计算资源的研究者，TAROT的复现难度为中等。
论文图表
