CoDiQ：基于测试时缩放的可控难度问题生成 CoDiQ: Test-Time Scaling for Controllable Difficult Question Generation
通过测试时缩放和强化学习训练生成器，实现可控难度的高质量推理问题合成
前置知识
测试时缩放（Test-Time Scaling）
测试时缩放是一种在推理阶段通过增加计算资源（如生成更多token、进行更多轮推理）来提升模型性能的技术。与训练时缩放不同，测试时缩放允许模型在面对困难问题时思考更久，从而生成更复杂的输出。在本文中，作者发现延长推理token预算能够提升生成问题的难度，但同时会降低问题的可解性，这一发现构成了CoDiQ框架的基础。
理解测试时缩放是理解本文核心机制的关键，因为CoDiQ正是通过控制测试时计算来实现难度控制的
大推理模型（Large Reasoning Models, LRMs）
大推理模型是能够进行复杂多步推理的大型语言模型，如Qwen3系列、GPT-OSS-20B等。这些模型通常具有扩展的推理能力，可以通过长链思维（Long Chain-of-Thought）来解决竞赛级别的数学和编程问题。LRMs的性能高度依赖于高质量训练数据，尤其是具有挑战性的问题。
本文的目标是为LRMs生成高质量的训练数据，因此理解LRMs的特性和需求是必要的
强化学习对齐（Reinforcement Learning Alignment）
强化学习对齐是通过奖励信号优化模型行为的技术。在本文中，作者使用GRPO算法和基于规则的奖励函数来训练CoDiQ-Generator，奖励信号包括可解性置信度、难度进展和问题有效性。这种方法使模型学会在保持问题有效性的前提下逐步提升难度。
CoDiQ-Generator的核心训练方法就是强化学习对齐，理解这一概念有助于把握模型优化的本质
课程学习（Curriculum Learning）
课程学习是一种模仿人类学习过程的训练策略，从简单样本开始逐步过渡到困难样本。在本文中，作者利用CoDiQ-Corpus的难度可控性，设计了三个阶段的课程学习框架（L1到L2到L3），每个阶段使用不同难度的数据训练模型，最终显著提升了模型的推理能力。
课程学习是验证CoDiQ-Corpus有效性的重要实验设置，展示了可控难度数据的实际应用价值
可解性验证（Solvability Verification）
可解性验证是确保生成的问题具有逻辑一致性且存在有效解的过程。在CoDiQ中，使用Qwen3-32B模型来验证生成问题的可解性，只有被验证为可解且置信度高的问题才会被保留。这一机制防止了假难问题（逻辑不一致但看起来很难的问题）的产生。
可解性验证是CoDiQ区别于其他问题生成方法的关键组件，确保了生成数据的质量
研究动机
大型推理模型（LRMs）在竞赛级别的数学和编程问题上展现出强大的推理能力，但这些能力的提升高度依赖于高质量的挑战性训练数据。然而，现有自动化问题合成方法面临三个核心挑战：首先是生成器能力天花板问题，模型通常难以生成比其自身推理能力更难的问题，导致进展停滞；其次是可解性-复杂性权衡问题，强制增加复杂性往往会破坏逻辑一致性，产生假难但不可解或定义不清的问题；最后是难度定义和控制问题，由于难度既不可直接观察也没有标准化，让它变得更难在没有可测量代理指标的情况下变得不可控，使得课程式训练变得脆弱。现有方法如PromptCoT、CogAtom等虽然有效，但依赖复杂的多步骤编排和大量后验过滤来维持有效性，计算成本高昂且难以规模化。
本文的目标是本文的具体目标是开发一个能够规模化合成高难度问题同时保持问题逻辑一致性和可解性的框架。具体而言，作者希望：1）实现细粒度的难度控制，能够精确调节生成问题的难度级别；2）通过测试时缩放机制突破生成器能力天花板；3）构建一个包含44,000个竞赛级问题序列的大规模数据集（CoDiQ-Corpus）；4）验证使用该数据集训练能够显著提升LRMs的推理能力。量化目标包括：在CoDiQ-Bench上实现比现有基线更高的难度分数（如DR-AVG达到58.5%），同时保持超过82%的可解率。
与已有工作不同的是，本文的独特切入角度在于将测试时缩放引入问题生成领域，并将其作为难度控制的核心机制。与已有工作相比，CoDiQ抓住了三个被忽视的关键点：第一，现有方法主要关注训练时优化，而忽略了推理阶段的计算资源分配对难度的影响；第二，现有方法缺乏对难度-可解性权衡的系统性分析，而CoDiQ明确识别并利用了这一权衡关系；第三，现有方法通常使用绝对难度评分，而CoDiQ采用相对难度范式（LLM排名加ValueNetwork评分）来避免评分饱和问题。此外，CoDiQ通过强化学习训练专门的生成器（CoDiQ-Generator），而不是依赖通用模型的提示工程，这使其能够在保持可解性的同时持续提升难度上限。
核心方法
CoDiQ框架的核心思想是将测试时缩放机制引入问题生成，通过控制推理计算量来精确调节问题难度。这个方法可以用一个类比来理解：就像一个经验丰富的出题老师，面对简单题目时可能只需要思考几秒钟，但要出一道真正有挑战性的竞赛题，则需要更长时间的深入思考和精心设计。CoDiQ正是让模型在生成问题时思考更久来产生更难的题目。技术路线包括三个关键组件：首先，设计六种难度增强策略作为认知支架，指导模型系统性地注入难度元素；其次，构建CoDiQ Pipeline，这是一个迭代进化框架，通过最多8轮的逐步升级来提升问题难度，同时集成难度估计和可解性验证两个核心模块；最后，通过强化学习训练CoDiQ-Generator，优化模型在可解性和难度进展方面的表现。
CoDiQ的核心创新点在于识别并利用了测试时缩放倾向（Test-Time Scaling Tendency），即延长推理token预算能够提升生成问题的难度，但同时会降低问题的可解性。这一发现揭示了难度生成的内在机制：更复杂的推理轨迹对应更难的问题，但过度推理会导致逻辑崩溃。基于这一洞察，CoDiQ不是简单地要求模型生成更难的问题，而是通过控制测试时计算量来间接调节难度。具体而言，作者开发了两个互补的难度估计方法：LLMs-Ranking（使用Doubao-Seed-1.8进行列表式难度排名）和ValueNetwork Scoring（基于模型隐藏状态预测正确性概率）。这两个方法都采用相对难度范式，避免了绝对评分的饱和问题。更重要的是，CoDiQ通过强化学习训练专门的生成器，奖励函数同时考虑可解性置信度、难度进展和问题有效性，使模型学会在保持可解性的前提下持续提升难度。
方法步骤详情
CoDiQ方法包含以下完整步骤：第一步，设计六种难度增强策略（维度与约束、数学抽象、逆向与构造、状态爆炸、定理伪装、边界案例与严谨性工程），这些策略作为认知支架指导模型注入难度元素。第二步，构建CoDiQ Pipeline，这是一个迭代进化框架：给定种子问题Q0，模型在最多Tmax=8轮中逐步生成更难的变体Q1到Qn。每轮迭代中，模型被提示你能让它更难吗？以触发更深层推理。第三步，集成两个验证模块：难度估计模块使用LLMs-Ranking和ValueNetwork进行相对难度评估，并进行归一化处理；可解性验证模块使用Qwen3-32B验证问题的逻辑一致性。第四步，应用终止准则：如果生成的问题难度下降或被标记为不可解，则终止迭代。第五步，构建CoDiQ-Generator的强化学习训练数据：收集模型在CoDiQ Pipeline中的边界失败案例（成功生成1到i-1轮但在第i轮失败）。第六步，使用GRPO算法和难度感知奖励函数训练CoDiQ-Generator，奖励函数根据可解性、难度变化和有效性分配不同权重。第七步，使用训练好的CoDiQ-Generator构建CoDiQ-Corpus，包含44,453个问题序列。
技术新颖性
CoDiQ的技术新颖性体现在多个方面。首先，与现有问题合成方法（如PromptCoT、ScaleQuest等）相比，CoDiQ首次将测试时缩放作为难度控制的核心机制，而不是依赖复杂的提示工程或后验过滤。其次，CoDiQ提出了相对难度范式，使用LLM排名和ValueNetwork评分来避免绝对评分的饱和问题，这在难度评估领域是创新的。第三，CoDiQ通过强化学习训练专门的生成器，而不是依赖通用模型的提示工程，这使其能够在保持可解性的同时持续提升难度上限。第四，CoDiQ识别了测试时缩放倾向，即token预算与难度之间的正相关关系（Pearson系数r=0.83），这一发现为难度控制提供了理论依据。第五，CoDiQ设计了难度感知的奖励函数，同时考虑可解性置信度、难度进展和问题有效性，这种多目标优化方法在问题生成领域是新颖的。最后，CoDiQ通过课程学习验证了可控难度数据的价值，展示了预算驱动的难度分层如何提升模型推理能力。
实验结果
实验结果表明CoDiQ框架在多个维度上取得了显著成效。首先，在CoDiQ-Bench上的评估显示，CoDiQ-Gen-8B（基于Qwen3-8B训练）在生成高难度问题方面超越了更大的Qwen3-32B模型，平均难度分数达到58.5%，而Qwen3-32B仅为54.8%。这一结果证明了强化学习对齐的有效性，CoDiQ-Generator能够维持更高的有效性率并支持更多轮迭代。其次，测试时缩放倾向分析显示，token消耗量与难度排名之间存在强正相关（Pearson系数r=0.83，p<0.001），验证了计算成本作为难度代理指标的可靠性。第三，CoDiQ-Corpus的数据集难度比较表明，其难度显著高于现有竞赛级数据集：DR-AVG达到87.1%，远超AIME（51.5%）、LiveCodeBench（42.3%）和Code-Contests（44.1%）。第四，人类评估显示CoDiQ-Corpus的问题质量很高：82%的接受实例被验证为可解，90%的拒绝实例被正确识别为不可解。第五，课程学习实验表明，使用CoDiQ-Corpus训练的模型在MATH-500和AIME 2024上显著优于基线模型：CoDiQ-L3-4B在AIME 2024上达到70.6%，比Qwen3-RL-4B（64.3%）提升6.3个百分点。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 问题难度生成（CoDiQ-Bench） | DR-AVG（平均难度分数） | CoDiQ-Gen-8B: 58.5% | Qwen3-32B: 54.8%，GLM-4.6: 78.3% | CoDiQ-Gen-8B超越Qwen3-32B 3.7个百分点 |
| 数据集难度（CoDiQ-Corpus） | DR-AVG | CoDiQ-Corpus: 87.1% | AIME: 51.5%，LiveCodeBench: 42.3% | 比AIME提升35.6个百分点，比LiveCodeBench提升44.8个百分点 |
| 数学推理（AIME 2024） | 准确率 | CoDiQ-L3-4B: 70.6% | Qwen3-RL-4B: 64.3%，Qwen3-4B: 63.1% | 比Qwen3-RL-4B提升6.3个百分点，比Qwen3-4B提升7.5个百分点 |
| 数学推理（MATH-500） | 准确率 | CoDiQ-L3-4B: 96.0% | Qwen3-RL-4B: 95.2%，Qwen3-4B: 94.4% | 比Qwen3-RL-4B提升0.8个百分点，比Qwen3-4B提升1.6个百分点 |
| 难度-可解性权衡 | 可解率（在最高难度时） | CoDiQ-Gen-8B: 86.2% | Qwen3-8B (CoDiQ Prompt): 31.4% | 提升54.8个百分点，显著缓解难度-可解性权衡 |
局限与改进
尽管CoDiQ框架取得了显著成效，但仍存在一些局限性。首先，作者承认当前框架仅限于英语数学和编程任务，未扩展到其他语言或领域，这限制了其通用性。其次，验证成本限制了实时使用，因为每轮迭代都需要进行难度估计和可解性验证，计算开销较大。第三，最关键的是验证者悖论（Verifier Paradox）：人类评估发现，一些逻辑上有效的问题被错误地拒绝，因为这些问题超出了验证者的推理能力范围。这表明当前管道的上限被验证者的能力所限制。此外，从我的观察来看，CoDiQ依赖于Qwen3-32B作为验证器，这引入了验证器本身的能力瓶颈；难度评估方法（LLMs-Ranking和ValueNetwork）可能对特定领域存在偏差；强化学习训练的奖励函数设计虽然考虑了多个维度，但权重分配（如可解性0.6、难度进展0.2加0.8乘以（0.8加0.2乘以难度变化））可能不是最优的。
独立分析的弱点
基于对论文的深入分析，我识别出以下几个弱点和改进方向。首先，验证器能力瓶颈问题：当前使用Qwen3-32B作为可解性验证器，这限制了能够验证的问题难度上限。改进方向是开发更强的验证器或采用多验证器集成策略，例如使用多个不同能力的模型进行交叉验证，或者开发专门针对高难度问题的验证器。其次，难度评估偏差问题：LLMs-Ranking和ValueNetwork可能对特定领域或问题类型存在系统性偏差。改进方向是引入更多样化的评估模型和更复杂的偏差校正机制，例如使用对抗训练来减少评估偏差。第三，计算效率问题：当前管道需要大量计算资源进行迭代验证，限制了其在资源受限环境中的应用。改进方向是开发更轻量级的验证模块或采用早停策略来减少不必要的迭代。第四，领域泛化性问题：当前仅在数学和编程领域验证，需要探索在其他推理密集型领域（如科学推理、逻辑推理）的应用。
未来方向
作者提出了几个有前景的未来研究方向。首先，解决可扩展监督挑战（Scalable Oversight Challenge），即如何开发能够验证超出当前模型能力范围的问题的方法。这可能涉及开发更强的验证器或采用人机协作的验证策略。其次，探索测试时缩放的理论基础，深入理解token预算与难度之间的关系，建立更精确的难度预测模型。第三，将CoDiQ框架扩展到更多语言和领域，构建多语言、多领域的竞赛级问题数据集。第四，研究自动化课程学习算法，根据模型的实时能力动态调整训练数据的难度分布。基于CoDiQ的成果，还可以延伸以下方向：1）开发难度可控的数据增强技术，用于提升模型在特定弱点领域的表现；2）研究难度估计与模型能力之间的关系，为模型评估提供新视角；3）探索CoDiQ在少样本学习和迁移学习中的应用。
复现评估
CoDiQ在可复现性方面表现良好。作者承诺开源CoDiQ-Corpus、CoDiQ-Generator和所有实现代码，这大大降低了复现门槛。数据方面，CoDiQ-Corpus包含44,453个问题序列，数据量充足且多样性好（覆盖8个不同的数学和编程数据集）。算力需求方面，训练CoDiQ-Generator需要在Qwen3-8B基础上进行强化学习，这需要相当的计算资源（估计需要多块高端GPU），但相比从头训练大模型仍然可行。复现难度方面，主要挑战在于强化学习训练的稳定性和奖励函数的设计，但作者提供了详细的训练细节（包括GRPO算法、VeRL框架、奖励函数公式等）。此外，CoDiQ Pipeline的实现细节（包括难度估计、可解性验证、终止准则等）在论文中有详细描述，且提供了多个附录说明具体实现。总体而言，对于具备一定机器学习基础设施的研究团队，复现CoDiQ是可行的。
论文图表
