Cog-DRIFT：基于自适应重构实例的探索使学习能从困难推理问题中获取知识 Cog-DRIFT: Exploration on Adaptively Reformulated Instances Enables Learning from Hard Reasoning Problems

方法的第一步是构建困难问题数据集。从BigMath数据集中选择最困难的20%样本（37.5k），让Qwen3-4B采样64个推理链，只保留所有64条链都未达到正确解的样本，得到8.9k个pass@64=0的样本。为过滤掉真正不可解的问题（如不完整问题、错误标注、缺失图片等），使用GPT-5.4对每个问题生成三个独立解，只保留ground truth与多数投票一致的样本，最终得到958个高质量训练样本。第二步是任务重构，使用LLM（Qwen3-4B）生成重构变体：4-选项多选题、10-选项多选题和填空题。通过确定性验证脚本确保重构正确性：对于多选题，验证gold answer出现在选项中且唯一正确；对于填空题，验证masked span非平凡且每个揭示的数字与gold answer一致。第三步是实例级课程构建，将每个训练样本关联难度等级$d_i \in \{1,2,3,4\}$，初始化为$d_i = 1$，对应4-选项多选题、10-选项多选题、填空题和原始开放性问题。第四步是GRPO训练，对于输入$x_i^{(d_i)}$采样$m$个响应，计算奖励$r_i^{(j)} = r_{\text{correct}}(\hat{y}_i^{(j)}, y_i) + r_{\text{format}}(\hat{y}_i^{(j)})$，其中$r_{\text{correct}} \in [0,1]$表示预测答案是否匹配ground truth，$r_{\text{format}} \in [0,0.2]$衡量输出是否遵循要求的格式。第五步是课程进度更新，计算每个样本在当前难度等级的经验准确率$\hat{a}_i = \frac{1}{m}\sum_{j=1}^m I[\hat{y}_i^{(j)} = y_i]$，如果$\hat{a}_i \ge \tau$（阈值取0.5），则$d_i \leftarrow d_i + 1$；否则$d_i$保持不变。

技术新颖性体现在多个方面：1）首次将人类学习中的认知负荷理论和ZPD概念系统性地应用于LLM训练，通过任务重构而非提示工程或专家指导来降低问题难度，开创了问题难度调节的新范式；2）提出了判别式到生成式的难度谱系概念，证明了在训练中同时暴露模型于多种重构格式对于知识迁移的重要性，这为理解LLM中的知识迁移机制提供了新视角；3）设计了实例级自适应课程，该课程不是基于epoch或批次，而是基于每个样本的实时表现动态调整，在保持训练动态性的同时最大化了样本效率；4）在BigMath-Hard数据集上，Cog-DRIFT使可解决的困难问题比例达到18.9%，相比之下，先前方法报告的范围仅为1-4%，这表明方法在解锁困难问题学习能力方面取得了显著突破。

独立分析的弱点包括：1）计算效率问题：虽然实例级课程提高了样本效率，但需要为每个样本维护难度状态并在训练中动态评估准确率，这在超大规模数据集上可能引入额外开销；2）阈值敏感性：课程进度更新依赖于固定阈值$\tau=0.5$，这个选择可能对任务特性敏感，对于某些任务可能需要自适应阈值策略；3）数据质量过滤的依赖性：Silver Answer Filter将数据集缩减了96%以上（从8922到958），虽然提高了质量但牺牲了数量，这种权衡在数据稀缺场景下可能不可行；4）格式迁移的局限性：论文发现单独使用任何一种重构格式都无法带来泛化，必须使用组合，这意味着如果某些问题不适合转换为特定格式（如需要复杂推理的填空题），方法的效果可能受限；5）动态性不足：课程基于准确率是否达到阈值来推进，这种二元决策可能过于激进，可能过早地将样本推到过难级别导致学习不稳定，改进方向可以是引入软进度机制或使用连续难度映射。

未来研究方向包括：1）扩展到非可验证领域：探索如何将任务重构范式应用于开放性文本生成、对话等缺乏确定性验证器的任务，可能需要结合基于LLM的评估器或人类反馈；2）跨任务课程学习：研究如何构建跨不同任务类型（数学、代码、推理等）的统一课程，使模型能够学会将从一个任务学到的策略迁移到另一个任务；3）自适应阈值机制：开发基于任务特性、模型能力或学习进度的自适应阈值选择方法，而不是使用固定阈值；4）大规模验证：在更大参数规模模型（如70B+）上验证方法的有效性，以及是否需要调整课程参数；5）理论分析：从理论角度分析任务重构如何改变奖励分布的方差，以及自适应课程如何影响收敛性，为方法提供理论保证；6）多模态扩展：将方法扩展到多模态任务（如图像描述、视觉推理），研究如何重构多模态问题格式以降低认知负荷。

复现评估方面：论文已在GitHub开源代码（https://github.com/dinobby/Cog-DRIFT），提供了完整的训练和评估流程。所有实验在4张NVIDIA A6000 GPU上运行，训练参数经过详细报告：学习率$1\times 10^{-6}$，剪裁比$\epsilon = [0.2, 0.28]$，rollout数量$m=8$，温度设置为1.0（训练）和0.7（推理）。超参数在Qwen和Llama之间保持一致，便于复现。评估采用多次运行平均：AIME数据集为16次运行，其他数据集为3次运行，以减少随机性影响。论文使用了开源的verl框架作为骨干，使用vllm加速rollout生成和推理，使用Math-Verify验证答案等价性。数据集方面，BigMath使用Apache License，OmniMATH使用Apache License，AIME使用CC0，MATH500使用MIT License，GPQA-Diamond使用MIT License，Date Understanding使用Apache License，所有数据集均可公开访问。整体而言，论文提供了充分的实现细节和开源资源，复现难度中等，主要挑战在于GPU资源（需要4张A6000）和GPT-5.4 API访问（用于数据质量过滤）。