测试时课程合成：面向自进化的协同训练框架 TTCS: Test-Time Curriculum Synthesis for Self-Evolving
通过合成课程问题与求解器协同进化，实现测试时自适应推理提升
前置知识
Test-Time Training (TTT)
测试时训练是一种在推理阶段动态调整模型参数的范式。传统推理使用固定参数，而 TTT 允许模型在面对测试数据时进行自监督适应，从而缓解训练与测试分布之间的分布偏移问题。在 LLM 场景下，TTT 通过对未标注的测试问题进行多路径采样，利用多数投票（majority voting）生成伪标签，再以此指导模型参数更新。核心公式为 $\theta^*_{ttt} = \arg\max_\theta \mathbb{E}_{y \sim \pi_\theta(\cdot|x_{test})} R_{ttt}(y, \hat{y}^*)$，其中 $\hat{y}^*$ 是通过多数投票得到的伪标签。
TTT 是本文方法的直接前驱和出发点，理解 TTT 的基本流程才能理解 TTCS 为什么要引入课程合成机制来解决 TTT 的核心缺陷。
Group Relative Policy Optimization (GRPO)
GRPO 是一种基于分组采样的策略优化算法，属于强化学习与可验证奖励（RLVR）框架。对于每个问题 $x$，模型从当前策略采样一组输出，计算每个输出的优势值 $A_i = (r_i - mean(r)) / (std(r) + \epsilon)$，然后通过带裁剪的代理目标函数更新策略。相比 PPO，GRPO 不需要单独训练价值模型，而是直接利用分组内的奖励统计量来估计基线，更适合 LLM 的强化学习微调场景。
GRPO 是 TTCS 框架中 Synthesizer 和 Solver 两个策略的统一优化算法，理解其机制才能理解模型是如何通过奖励信号进行策略更新的。
Majority Voting（多数投票）
多数投票是一种测试时扩展（test-time scaling）技术。给定一个问题，模型生成多条推理路径（通常通过高温采样），然后选择出现频率最高的最终答案作为共识预测。形式化地，伪标签是所有采样响应中出现频率最高的答案。这种方法假设大多数采样路径会收敛到正确答案，但在高难度问题上这一假设往往不成立。
多数投票是 TTRL 生成伪标签的核心机制，也是 TTCS 论文识别出的主要失败点之一——当问题太难时，多数投票会收敛到错误共识，产生系统性噪声奖励。
Self-Consistency Score（自一致性分数）
自一致性分数用于衡量模型在某个问题上的确定性程度。给定 K 个采样响应和多数投票结果，自一致性分数定义为与共识一致的响应比例。当 s 约等于 1 表示模型对问题很有把握（太简单），s 约等于 0 表示完全无法解决（太难），s 约等于 0.5 则表示处于模型能力的边界上，是最具学习价值的难度区间。
自一致性分数是 TTCS 设计能力感知奖励函数的核心指标，决定了 Synthesizer 应该生成什么难度的问题来最大化学习效率。
Curriculum Learning（课程学习）
课程学习受人类学习过程启发，主张按照从易到难的顺序组织训练样本，而非随机打乱。核心直觉是：先掌握简单变体，再逐步过渡到复杂问题，比直接从困难问题开始学习更高效。在本文中，课程学习的思想被应用于测试时场景——Synthesizer 动态生成与测试问题相关但难度适中的变体，构建一个围绕每个测试问题的局部课程。
课程学习是 TTCS 的核心理论基础，论文的关键创新就在于将课程学习的思想从训练时迁移到测试时，通过动态合成课程问题来桥接模型当前能力与目标问题之间的差距。
研究动机
现有的测试时强化学习方法（如 TTRL）在面对高难度推理任务时存在两个根本性缺陷。第一是伪标签不可靠：在 AIME24 等竞赛级数学题上，模型采样的多数响应往往都是错误的，导致多数投票收敛到错误共识，产生的奖励信号不仅无益反而会误导策略更新，使模型被强化到错误的推理路径上。具体数据显示，TTRL 在 Qwen2.5-Math-1.5B 上的 AIME24 成绩仅为 13.23 分，远低于理论上限。第二是缺乏可学习样本：测试集通常很小（如 AIME24 仅 30 题），且题目难度远超模型当前能力，直接在这些极端困难的问题上进行优化，就像让一个刚学加减法的学生直接做微积分——中间没有过渡，学习过程陡峭且往往无法收敛。这两个问题相互交织：难度太高导致伪标签错误，样本太少导致无法有效学习。
本文的目标是本文的目标是设计一个能够在测试时自动构建结构化课程的自进化框架，使得模型无需任何外部标注或更强的教师模型，仅凭测试问题本身就能持续提升推理能力。具体而言，框架需要：能够动态生成与测试问题相关但难度适中的合成问题；这些合成问题的难度能够随着求解器能力的提升而自适应调整；整个过程完全自主，两个策略（合成器和求解器）协同进化。最终在数学推理和通用推理基准上实现显著且可迁移的性能提升。
与已有工作不同的是，本文的独特切入角度在于将课程学习的思想引入测试时训练场景，提出了协同进化的双策略架构。与已有方法的本质区别在于：TTRL 直接在原始测试问题上优化，被动接受问题的固定难度；R-Zero 使用固定的 Challenger-Solver 框架但缺乏课程感知；而 TTCS 让 Synthesizer 和 Solver 从同一个预训练模型初始化，通过迭代 GRPO 互相提供反馈——Solver 的当前表现作为能力信号指导 Synthesizer 生成合适难度的问题，Synthesizer 生成的课程问题反过来稳定 Solver 的训练。这种闭环设计将原本噪声很大的测试时训练转化为一条可靠的自进化路径。
核心方法
TTCS 的核心直觉很简单：与其让模型直接啃硬骨头（原始测试题），不如先让它做一批难度适中的相关练习题，逐步提升能力后再挑战原始问题。技术上，TTCS 初始化两个共享同一预训练权重的策略：Synthesizer（合成器）和 Solver（求解器）。在每轮迭代中，Synthesizer 根据测试问题生成一组课程变体——这些变体保持原始问题的核心推理结构，但在表面形式上做变化（如改变问题对象、设定或约束类型）。Solver 则在混合数据集（原始测试题 + 合成题）上进行在线训练。关键的是两个策略的协同进化：Solver 的当前解题表现作为能力探针反馈给 Synthesizer，使其能生成刚好处于 Solver 能力边界的题目；而 Synthesizer 提供的新鲜课程问题则为 Solver 的训练提供稳定且高质量的学习信号。整个过程通过 GRPO 算法进行端到端优化。
TTCS 的核心创新在于能力感知的课程合成（Capability-Aware Curriculum Synthesis）。与已有方法的本质区别体现在三个方面：与 TTRL 相比，TTCS 不再被动接受测试问题的固定难度，而是主动构造渐进式课程。TTRL 直接在原始问题上用多数投票生成伪标签，当问题太难时多数投票会产生错误共识；而 TTCS 通过合成中间难度的问题确保伪标签的质量。与 R-Zero 的 Challenger-Solver 架构相比，TTCS 的 Synthesizer 不是盲目生成问题，而是基于 Solver 的当前能力水平动态调整问题难度。具体地，TTCS 设计了一个方差驱动的能力自适应奖励，当自一致性分数约等于 0.5 时奖励最大，恰好对应 Solver 能力边界上的问题。与使用更强固定模型（如 14B）作为合成器的方案相比，实验表明协同进化的 1.5B Synthesizer 反而效果更好（+5.34 vs +2.66），证明了自适应性比绝对能力更重要。
方法步骤详情
TTCS 的完整流程分为两个交替进行的阶段。阶段一：Synthesizer 训练。在第 t 轮迭代中，Synthesizer 对每个测试问题生成 M=4 个合成问题，使用精心设计的提示模板引导生成。随后，Solver 对每个合成问题采样 K=10 个响应，计算自一致性分数作为难度评估。基于此计算能力自适应奖励，同时计算相似性惩罚奖励（包括与测试题的参考惩罚和组内冗余惩罚）。最终奖励为有效性指示乘以能力奖励与相似性惩罚之差的正部，Synthesizer 通过 GRPO 算法基于此奖励更新策略。阶段二：Solver 训练。构建混合训练集，其中包含重复采样的测试问题和 Synthesizer 生成的合成问题。对每个训练问题，Solver 生成 G=8 个响应，通过多数投票获得伪标签，并分配二值奖励。执行在线数据过滤，仅保留自一致性分数在 0.5 附近的样本，确保训练数据处于能力边界附近。Solver 通过 GRPO 更新策略。两阶段交替迭代，形成闭环：Solver 的能力提升为 Synthesizer 提供更精确的能力感知信号，Synthesizer 生成的更高质量课程问题进一步推动 Solver 进步。
技术新颖性
TTCS 的技术新颖性体现在多个层面。首先，这是首个将课程学习思想完全融入测试时自进化框架的工作——此前的课程学习研究集中在训练阶段，而 TTCS 在无标签的测试时动态构建课程，是一个全新的应用场景。其次，双策略协同进化的架构设计具有独创性：两个策略从同一预训练模型初始化，通过共享的 GRPO 优化框架互相提供反馈信号，形成了一个自洽的闭环系统。第三，方差驱动的能力自适应奖励函数的设计基于一个优雅的统计直觉——自一致性分数的方差在 s=0.5 时最大，对应最具信息量的问题难度，论文还在附录中提供了详细的理论分析。第四，多样性的维护机制（参考惩罚 + 组内冗余惩罚）有效防止了模式坍塌，这在自生成数据的场景中是一个普遍且棘手的问题。最后，实验揭示了一个反直觉的发现：协同进化的 1.5B Synthesizer 比冻结的 14B 强模型效果更好，证明了适应性大于绝对能力这一重要原则。
实验结果
TTCS 在多个数学推理基准和模型规模上均展现出显著且一致的性能提升。在 Qwen2.5-Math-1.5B 模型上，TTCS 将平均分从预训练模型的 17.30 提升至 41.49，提升幅度达 +24.19 分，大幅超越 TTRL 的 36.56。在更具挑战性的 AIME24 基准上，TTCS 达到 19.79 分，比 TTRL 的 13.23 高出 +6.56 分，比预训练模型的 7.10 高出近 3 倍。在 Qwen2.5-Math-7B 上，TTCS 平均达到 52.54 分，超过 TTRL 的 48.42，在 AIME25 上从 TTRL 的 14.06 提升至 19.90。在 Qwen3-4B-Base 上，TTCS 也保持领先，平均 47.21 分，超过 TTRL 的 43.59。跨域泛化实验表明，在 AIME25 上训练的 TTCS 模型在 MMLU-Pro 和 SuperGPQA 等通用推理基准上也获得了提升，远超 R-Zero 基线。数据效率实验显示，即使仅使用 10% 的测试数据（3 道题），TTCS 在 AIME24 上仍能达到 13.33 分，显著高于 TTRL 的 9.48。消融实验证实了三个关键组件的贡献：去掉 Synthesizer 训练导致 AMC23 下降 7.50 分，去掉在线数据过滤导致 Olympiad 下降 2.37 分，去掉多样性惩罚导致 AMC23 下降 7.50 分。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME 2024 (Qwen2.5-Math-1.5B) | mean@32 | 19.79 | TTRL 13.23 / Pretrained 7.10 | +6.56 over TTRL, +12.69 over Pretrained |
| AIME 2025 (Qwen2.5-Math-1.5B) | mean@32 | 13.33 | TTRL 9.38 / Pretrained 4.20 | +3.95 over TTRL, +9.13 over Pretrained |
| MATH-500 (Qwen2.5-Math-1.5B) | pass@1 | 76.80 | TTRL 71.20 / Pretrained 33.20 | +5.60 over TTRL, +43.60 over Pretrained |
| AIME 2024 (Qwen2.5-Math-7B) | mean@32 | 37.19 | TTRL 35.52 / Pretrained 12.90 | +1.67 over TTRL, +24.29 over Pretrained |
| AIME 2025 (Qwen2.5-Math-7B) | mean@32 | 19.90 | TTRL 14.06 / Pretrained 7.90 | +5.84 over TTRL, +12.00 over Pretrained |
| MATH-500 (Qwen2.5-Math-7B) | pass@1 | 84.60 | TTRL 83.40 / Pretrained 52.80 | +1.20 over TTRL, +31.80 over Pretrained |
| Average (Qwen2.5-Math-1.5B) | AVG across 6 benchmarks | 41.49 | TTRL 36.56 / R-Zero 31.70 | +4.93 over TTRL, +9.79 over R-Zero |
| Average (Qwen2.5-Math-7B) | AVG across 6 benchmarks | 52.54 | TTRL 48.42 / R-Zero 42.07 | +4.12 over TTRL, +10.47 over R-Zero |
局限与改进
尽管 TTCS 取得了显著成果，但仍存在若干局限性。首先，计算开销显著增加：TTCS 需要同时维护和优化两个策略（Synthesizer 和 Solver），每轮迭代中 Synthesizer 需要生成 M=4 个合成问题，Solver 需要对每个问题采样 K=10 个响应用于质量评估，加上 Solver 自身训练时的 G=8 个采样，每轮迭代的推理量大约是 TTRL 的数倍。论文未详细报告训练时间和计算资源消耗，这在实际部署中可能是重要考量。其次，框架目前仅在数学推理任务上进行了充分验证，虽然附录中展示了 MMLU-Pro 和 SuperGPQA 等通用基准的迁移结果，但这些基准的提升幅度相对较小，说明跨域能力迁移的效果可能有限。第三，Synthesizer 生成的课程问题质量难以保证——虽然有格式检查和相似性惩罚，但仍可能生成数学上无效或语义不连贯的问题，论文未深入分析合成问题的质量分布。第四，框架的超参数较多，论文未提供系统的超参数敏感性分析。最后，作者自身也指出，递归训练自生成数据存在模型坍塌的风险，虽然通过重采样策略和数据过滤缓解了这一问题，但在更长的训练周期中这一风险可能加剧。
独立分析的弱点
本文存在几个值得关注的弱点。第一，合成问题的质量验证机制过于简单：当前仅使用格式检查确保问题被正确包裹在标签中，但无法验证合成问题在数学上是否可解、是否有唯一正确答案。建议引入更强的验证机制，如利用符号数学求解器检查答案的唯一性，或训练一个专门的问题质量分类器。第二，自一致性分数作为难度指标存在噪声：当 K=10 时，自一致性分数只能取 0.1 的整数倍，粒度较粗，且在小样本下统计不稳定。可以考虑增大采样数或使用连续化的置信度指标替代。第三，Synthesizer 和 Solver 从同一预训练模型初始化，两者能力高度相关，可能导致协同进化的多样性不足。一种改进方向是让两者从不同的预训练检查点初始化，或引入外部知识源注入多样性。第四，在线数据过滤的阈值 delta=0.25 是固定的，但模型能力在迭代过程中不断提升，固定阈值可能在后期变得过于宽松。建议采用自适应阈值策略，随迭代逐步收紧。
未来方向
作者在结论中提出了将框架扩展到更实用的智能体应用（agentic applications）的愿景，这是一个很有前景的方向。基于本文成果，可以延伸以下几个研究方向：将 TTCS 应用于代码生成、定理证明等需要结构化推理的任务，这些任务同样面临测试时缺乏标注的问题；探索多轮对话场景下的课程合成，即 Synthesizer 不仅生成单个问题，而是生成包含上下文依赖的多步推理任务链；将框架扩展到多模态推理（如数学图表理解），Synthesizer 可以同时合成图像和文本变体；研究课程合成的可解释性——分析 Synthesizer 到底学到了什么样的教学策略，这可能揭示 LLM 推理能力的本质；探索更高效的实现方式，如将 Synthesizer 和 Solver 共享部分参数，或使用知识蒸馏压缩 Synthesizer，降低计算开销；将 TTCS 与检索增强生成（RAG）结合，Synthesizer 在合成问题时可以检索外部知识库获取相关但不同难度的参考材料。
复现评估
论文在复现性方面做得较好。作者提供了 GitHub 仓库链接（https://github.com/XMUDeepLIT/TTCS），承诺开源代码和实现细节。框架基于 VeRL 库实现，该库是开源的强化学习训练框架。实验涉及三个公开模型（Qwen2.5-Math-1.5B、Qwen2.5-Math-7B、Qwen3-4B-Base）和六个公开基准数据集（AMC23、AIME24、AIME25、MATH-500、Minerva、OlympiadBench），这些资源均可获取。然而，复现面临的主要挑战在于计算资源需求：TTCS 需要同时维护两个模型的在线训练，每轮迭代涉及大量采样（Synthesizer 的 M=4 个生成、Solver 的 K=10 个质量评估、G=8 个训练采样），且需要多轮迭代（实验中展示到第 15 轮），对 GPU 内存和计算时间的需求显著高于标准微调。论文报告了 mean@32 指标，意味着每个评估结果需要 32 次采样，进一步增加了评估成本。此外，部分关键实现细节（如提示模板的具体内容、编辑距离的计算方式）可能需要参考附录或开源代码才能完整复现。
论文图表
该图对比了 TTRL 和 TTCS 两种方法的核心差异。左图 (a) 展示了 TTRL 在面对困难测试题时的问题：模型采样的多条路径大部分是错误的，多数投票收敛到错误答案，导致噪声奖励误导策略更新。右图 (b) 展示了 TTCS 的解决方案：Synthesizer 将原始困难问题转化为更易处理的变体，Solver 在这些变体上采样的多数路径是正确的，从而获得可靠的自一致性奖励信号。
这张图是理解论文核心动机的关键——它直观展示了 TTRL 的失败模式和 TTCS 的解决方案，是全文立论的视觉化表达。
该表格比较了三种 Synthesizer 配置在 Qwen2.5-Math-1.5B 上的效果：TTRL 基线（无 Synthesizer），使用冻结的 Qwen2.5-14B-Instruct 作为强 Synthesizer，TTCS 的协同进化 Synthesizer。结果显示强 Synthesizer 仅带来 +2.66 的平均提升，而 TTCS 的协同进化 Synthesizer 带来 +5.34 的提升，是前者的两倍。
该表格揭示了一个反直觉的重要发现：协同进化比使用更强但静态的合成器更有效，证明了适应性大于绝对能力这一核心论点。
该表格报告了在 Qwen2.5-Math-1.5B 上的消融实验结果，对比了完整 TTCS 与三个变体（去掉 Synthesizer 训练、去掉在线数据过滤、去掉多样性惩罚）的性能。去掉 Synthesizer 训练在 AMC23 上下降 7.50 分，去掉在线数据过滤在 Olympiad 上下降 2.37 分，去掉多样性惩罚在 AMC23 上下降 7.50 分。
消融实验表格定量证明了每个组件的贡献，帮助读者理解框架设计的必要性。