改进大语言模型科学推理的数据构建与奖励设计 Improving Data and Reward Design for Scientific Reasoning in Large Language Models
构建百万级科学推理数据集，三阶段后训练提升4B模型科学推理
前置知识
后训练（Post-training）
在预训练语言模型基础上，通过监督微调（SFT）和强化学习（RL）等方法进一步提升模型在特定任务上的能力。典型的后训练流程为 SFT→RL 两阶段：先用高质量数据进行监督微调，再通过强化学习优化模型策略。本文针对科学推理场景重新设计了这一流程，引入了探索扩展SFT、动态难度课程和基于评分标准的强化学习三个新组件。
本文的核心贡献就是对后训练流程的重新设计，理解标准 SFT→RL 流程是理解本文创新点的前提。
GRPO（Group Relative Policy Optimization）
一种强化学习算法，通过对同一问题生成多个候选回答（rollout），然后根据奖励信号对这些回答进行相对排序来更新策略。相比传统 PPO，GRPO 不需要单独训练价值函数，而是利用组内相对优势来估计梯度，降低了训练复杂度。本文使用 GRPO 作为强化学习的基础算法，配合自定义的奖励信号进行科学推理优化。
本文的强化学习阶段基于 GRPO 框架实现，理解该算法有助于理解 SciRubric-Guided RL 的奖励设计如何与策略优化结合。
课程学习（Curriculum Learning）
一种训练策略，按照从易到难的顺序组织训练数据，模拟人类学习过程。在强化学习中，课程学习通过动态调整训练样本的难度分布，确保模型在不同能力阶段都能获得合适的训练信号。本文提出动态难度课程，根据模型当前能力自动调整训练数据难度，用已掌握样本替换为更难的样本。
动态难度课程是本文三大核心组件之一，理解课程学习的基本思想有助于理解本文如何解决科学推理数据难度不均衡的问题。
Rubric（评分标准/量规）
一种结构化的评估框架，将复杂任务的评判分解为多个原子化的评判标准（rubric items），每个标准对应一个具体的、可验证的要求。在本文中，每个开放式科学问题配有 7-20 个评分标准项，按重要性分为 Essential（关键）、Important（重要）、Optional（可选）和 Pitfall（常见错误）四类。评分标准由 o3 模型生成，用于指导强化学习的奖励计算。
基于评分标准的强化学习（SciRubric-Guided RL）是本文最重要的技术贡献，理解 rubric 的结构和作用是理解本文奖励设计的关键。
4-gram 覆盖度
一种衡量文本多样性的词汇指标。给定一段文本，提取其中所有连续 4 个词的组合作为特征，不同 4-gram 的数量反映文本的词汇和句式多样性。本文使用 4-gram 覆盖度作为推理模式多样性的代理指标，在探索扩展 SFT 阶段通过贪心算法最大化 4-gram 增量来选择训练数据，从而扩大模型的推理模式覆盖面。
4-gram 覆盖度是 Exploration-Expanding SFT 的核心选择指标，理解该指标有助于理解本文如何系统性地扩展模型的探索空间。
RLVR（Reinforcement Learning with Verifiable Rewards）
一种针对可验证任务的强化学习范式，使用规则化或自动化的验证器来判断模型输出的正确性，并以此作为奖励信号。对于数学、代码等有明确正确答案的任务，RLVR 能提供稳定的奖励信号。但对开放式科学问题，由于答案形式多样且难以自动化验证，标准 RLVR 不适用，这也是本文要解决的核心挑战。
本文的 SciRubric-Guided RL 本质上是对 RLVR 的扩展，使其能够处理开放式科学问题，理解标准 RLVR 有助于理解本文的改进动机。
研究动机
现有的大语言模型在结构化推理领域（如数学、代码）已取得显著进展，但在开放式科学问题解答上表现明显不足。核心瓶颈在于科学后训练的数据构建和奖励设计存在系统性缺陷。具体而言，现有开源科学数据集（如 WebInstruct-Verified、NaturalReasoning、MegaScience、RaR-Science）构建流程松散，监督信号设计不一致：部分数据集（如 Guha et al., 2025; Nathawani et al., 2025）主要用于蒸馏SFT，提供教师推理过程而非参考答案；其他数据集（如 Fan et al., 2025; Yuan et al., 2025）虽近似开放式任务但缺乏可靠的验证指导。此外，难度标注普遍缺失，导致大量样本过于简单或不适合课程学习。这些问题使得现有数据集与科学后训练的需求严重不匹配，尤其对强化学习造成致命影响——RL 的有效优化严重依赖稳定、信息丰富且定义良好的奖励信号，而现有数据集无法满足这些要求。
本文的目标是本文的具体目标是建立一个系统化、原则性的科学推理后训练框架，从数据构建到训练流程进行全面改进。第一，构建一个大规模、高质量的科学推理数据集 Dr. SCI，包含 100 万+问题，覆盖 8 个 STEM 学科，具有显式的可验证/开放式分类、可扩展的难度标注和细粒度评分标准。第二，设计一套完整的后训练流程 Dr. SCI Pipeline，包含三个创新组件：探索扩展 SFT 扩大推理模式覆盖面、动态难度课程适配模型能力演进、基于评分标准的 RL 实现开放式问题的稳定优化。第三，验证该框架在紧凑的 4B 参数模型上的有效性，使其超越包括 o1-mini 和 GPT-4o 在内的强大基线。
与已有工作不同的是，本文的独特切入角度在于同时解决数据、评估和训练三个层面的系统性问题，而非孤立优化某个环节。在数据层面，现有工作要么只关注可验证问题（如数学推理数据集），要么对开放式问题缺乏结构化监督。本文首次为开放式科学问题生成细粒度的评分标准（每个问题 7-20 个原子化评判项），将评估操作化。在训练层面，现有 SFT→RL 流程假设任务有明确的规则化验证信号，而科学推理中大量问题是开放式的。本文通过 SciRubric-Guided RL 将评分标准转化为可计算的奖励信号，同时显式强制最终答案正确性，解决了开放式问题 RL 训练不稳定的核心难题。在课程设计层面，现有工作使用静态数据划分，本文提出动态难度课程，根据模型当前能力自动调整训练分布，持续跟踪模型的能力前沿。
核心方法
本文的方法论可以分为数据构建和后训练两个层面。在数据层面，研究团队开发了一个可扩展的数据处理流水线，将异构的开源科学语料转化为结构化的 Dr. SCI 数据集。该流水线包括数据清洗、学科分类、可验证/开放式划分、去重、污染检测、难度标注和评分标准生成等步骤，最终产出 1,006,701 个高质量科学推理问题。在训练层面，本文提出 Dr. SCI 后训练流水线，包含三个相互补充的组件：(1) 探索扩展 SFT（Exploration-Expanding SFT），通过 4-gram 覆盖度最大化选择多样化的训练数据；(2) 动态难度课程（Dynamic Difficulty Curriculum），根据模型能力动态调整训练数据难度；(3) 基于评分标准的强化学习（SciRubric-Guided RL），利用细粒度评分标准为开放式问题提供稳定的奖励信号。这三个组件从探索、课程和奖励三个维度系统性地改进了标准 SFT→RL 流程，使其适应科学推理的特殊需求。
本文的核心创新在于认识到科学推理后训练的根本瓶颈不是模型架构或算力，而是数据构建和奖励设计的系统性缺陷。与已有方法的本质区别体现在三个方面。首先，在 SFT 数据选择上，现有方法随机采样或按质量过滤，本文提出基于 4-gram 覆盖度的贪心选择算法，显式最大化推理模式多样性，为后续 RL 提供更广阔的探索空间。其次，在课程设计上，现有方法使用静态数据划分，本文引入动态难度课程，将训练样本分为丢弃集（太简单）、待定集（太难）和训练集，根据模型当前掌握情况动态替换已掌握样本为更难样本，使训练分布持续跟踪模型能力前沿。第三，在奖励设计上，现有方法要么只适用于可验证问题（RLVR），要么使用粗粒度的奖励模型（容易导致奖励黑客），本文提出 SciRubric-Guided RL，将细粒度评分标准与显式最终答案正确性结合，为开放式科学问题提供稳定、可区分的奖励信号。
方法步骤详情
方法分为数据构建和后训练两个阶段。数据构建阶段：(1) 从 WebInstruct-Verified、NaturalReasoning、MegaScience、RaR-Science 等开源数据集收集科学问题；(2) 删除空或格式错误的参考答案，将问题分类到数学、物理、化学、生物、医学、计算机科学、经济学和通用科学 8 个学科；(3) 将问题划分为可验证类（答案可通过规则验证，如数值、表达式、选择题）和开放式类，并删除数学领域的开放式问题（多为证明题，训练时易产生过长回答）；(4) 通过精确和近似匹配去重，解决答案冲突，移除与评测基准重叠的污染样本；(5) 使用 Qwen3-32B（非思考模式）进行 8 次独立 rollout，以成功率作为难度代理，丢弃全部 8 次都做对的 413K 简单问题；(6) 对所有开放式问题，使用 o3 模型生成 7-20 个原子化评分标准项，按 Essential/Important/Optional/Pitfall 四类标注重要性。后训练阶段：(1) 探索扩展 SFT——从问题池中为每个候选样本生成多个模型的回答，通过贪心算法选择最大化 4-gram 增量的 N 个样本进行 SFT；(2) 动态难度课程——初始化 RL 训练集，丢弃难度大于等于 discard 阈值的简单样本，延迟难度小于等于 pending 阈值的困难样本，跟踪每个问题的 rollout 准确率，当准确率超过 train 阈值时标记为已掌握并替换为待定集中最简单的样本；(3) SciRubric-Guided RL——对每个开放式问题的 rollout 提取最终回答段，用轻量验证器评估每个评分标准项的满足情况（二元指示值），同时提取最终答案并与参考答案比较，按重要性权重加权聚合得到最终奖励。
技术新颖性
本文的技术新颖性体现在多个层面。第一，首次为大规模开放式科学问题构建细粒度评分标准（平均每题 14.5 个评分项，其中 4.3 个为关键项），将评估从粗粒度的对错判断细化为原子化标准的满足程度，这在科学推理数据集构建中是首创。第二，SciRubric-Guided RL 的奖励设计新颖地将评分标准满足度与显式最终答案正确性分离——即使部分评分标准满足，如果最终答案错误，整体奖励也会受到惩罚。这种设计有效防止了'部分正确就给高分'的问题，避免了 GenRM 和 RaR 等方法常见的奖励黑客现象。第三，4-gram 覆盖度作为推理模式多样性的代理指标，既模型无关又可扩展，相比基于模型嵌入的多样性度量更加简洁高效。第四，动态难度课程的设计创新性地将样本分为丢弃、待定、训练三个集合，并通过掌握阈值实现自动化替换，无需人工干预即可持续适配模型能力演进。第五，统一训练框架将可验证问题的规则化奖励与开放式问题的评分标准奖励结合，在单一 RL 框架内同时优化两类问题，实验表明这种统一训练优于单独训练任一类问题。
实验结果
本文的核心发现可以从以下几个实验逐一分析。首先，主实验（Table 1）显示，基于 Qwen3-4B-Base 的 Dr. SCI-4B-think 在 GPQA-Diamond 上达到 63.2 分，超过 o1-mini（60.0）和 R1-Distill-Qwen-32B（62.1）；在 SuperGPQA 上达到 45.7 分，超过 o1-mini（45.2）和 QwQ-32B（43.6）；在开放式基准 GPQA-General 上达到 32.4 分，远超 Qwen3-4B thinking 的 20.9 分和 o1-mini 的 25.8 分。Dr. SCI-4B-instruct 在 GPQA-Diamond 上达到 56.6 分，超过 GPT-4o（50.0）和所有同规模基线。这些结果表明，原则性的数据处理和正确性感知的奖励设计能够弥补模型规模的差距。探索扩展 SFT 的消融实验（Table 2）显示，EESFT 相比随机采样 SFT 始终产生更强的初始策略和更大的 RL 增益：在 50K 思考模式下，EESFT 选择的 4-gram 数为 139.6M（随机采样为 78.23M），RL 后 GPQA-D 为 47.5（随机采样为 43.8）。当 SFT 规模扩展到 1M 时，4-gram 数达到 1.564B，最终 GPQA-D 达到 59.2。动态难度课程的消融实验（Table 3）显示，100K 池变体每 epoch 仅使用 13.1K 数据（比基线少 86.9% 计算量），但性能与使用全部 100K 数据的随机采样持平（GPQA-D 51.9 vs 50.3）；461K 池变体使用 82.4K 数据/epoch，GPQA-D 达到 54.2，GPQA-General 达到 20.6，全面超越所有静态基线。SciRubric-Guided RL 的消融实验（Table 4）显示，GenRM 导致训练崩溃（GPQA-General 从 16.3 降至 9.8），RaR 有适度提升但受限于僵化的分数聚合，而 SciRubric-Guided RL 在 GPQA-General 上从 16.3 提升到 23.6；统一训练（可验证+开放式）达到最佳性能（GPQA-D 54.2，GPQA-General 24.9）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GPQA-Diamond（研究生级科学问答） | avg@10 | 63.2（think）/ 56.6（instruct） | o1-mini 60.0 / GPT-4o 50.0 | think +3.2 / instruct +6.6 |
| SuperGPQA（285个学科评估） | pass@1 | 45.7（think）/ 43.6（instruct） | o1-mini 45.2 / GPT-4o 44.4 | think +0.5 / instruct -0.8 |
| GPQA-General（开放式科学问答） | avg@10 | 32.4（think）/ 24.3（instruct） | o1-mini 25.8 / GPT-4o 22.4 | think +6.6 / instruct +1.9 |
| HLE（高难度逻辑评估） | pass@1 | 6.12（think）/ 5.36（instruct） | o1-mini 5.68 / GPT-4o 3.48 | think +0.44 / instruct +1.88 |
| MMLU-Pro（多学科理解评估） | pass@1 | 75.6（think）/ 71.0（instruct） | o1-mini 80.3 / GPT-4o 74.6 | think -4.7 / instruct -3.6 |
局限与改进
本文存在以下局限性。首先，评分标准的生成依赖于 OpenAI o3 模型，这意味着评估质量受限于 o3 的能力，且引入了对闭源模型的依赖。如果 o3 在某些领域生成的评分标准有偏差或遗漏，可能影响后续 RL 训练的效果。其次，难度标注使用 Qwen3-32B 的 8 次 rollout 成功率作为代理，这种估计方式可能对某些类型的问题不准确，特别是那些需要领域专业知识但形式上不难的问题。第三，本文主要在 Qwen3-4B 上验证，虽然结果令人鼓舞，但对更大规模模型（如 8B、14B、32B）的效果尚未验证，Dr. SCI 流程是否能持续带来类似幅度的提升存在不确定性。第四，GPQA-General 基准是本文自己构建的，将 GPQA-Diamond 的选择题转换为开放式问题，这种转换可能引入偏差，且该基准的外部有效性需要独立验证。第五，本文承认模型可能被滥用来生成看似合理但实际错误的科学解释，这在高风险科学决策场景中可能造成危害。第六，实验中使用 Qwen3-4B 作为验证器评估评分标准满足情况，验证器本身的准确性会直接影响奖励信号的质量，但本文未对验证器的准确率进行详细分析。
独立分析的弱点
本文存在几个值得深入分析的弱点。首先，4-gram 覆盖度作为推理模式多样性的代理指标过于简化——两个语义完全不同但词汇相似的推理过程可能贡献大量重叠的 4-gram，而语义差异大但词汇不同的推理可能贡献较少。改进方向是结合语义嵌入（如 Sentence-BERT）和词汇特征的混合多样性度量。其次，动态难度课程的掌握阈值和待定阈值是固定超参数，可能对不同学科或不同难度分布的数据集不最优。改进方向是引入自适应阈值调整机制，根据训练过程中的奖励分布动态调整。第三，SciRubric-Guided RL 的权重设计（Essential/Important/Optional/Pitfall）是手动设定的，缺乏理论依据或自动优化机制。改进方向是通过元学习或验证集反馈自动优化权重配置。第四，评分标准的生成完全依赖 o3 模型，缺乏人工验证或质量控制机制。改进方向是引入人工审核流程或多模型交叉验证，确保评分标准的准确性和完整性。第五，去重和污染检测的精度可能影响实验结果的可靠性——近似匹配可能遗漏高度语义相似但措辞不同的样本。
未来方向
基于本文的研究成果，可以延伸出多个有价值的研究方向。第一，将 Dr. SCI 流程扩展到更大规模的模型（8B、14B、70B），验证数据和奖励设计的改进是否能持续带来收益，以及收益与模型规模的关系。第二，探索评分标准的自动生成和优化——目前依赖 o3 生成评分标准，未来可以研究用小模型或专门训练的评分标准生成器来替代，降低成本并提高可控性。第三，将 SciRubric-Guided RL 应用到其他开放式任务领域，如法律推理、医学诊断、哲学论证等，验证评分标准引导的奖励设计是否具有通用性。第四，研究动态难度课程与主动学习的结合——当前课程只在已掌握样本替换时更新，未来可以在训练过程中主动选择信息量最大的样本。第五，探索评分标准的层次化结构——当前所有评分标准项是扁平的，未来可以研究树状或图状的评分标准结构，捕捉评判标准之间的依赖关系。第六，研究 Dr. SCI 流程在多语言科学推理上的适用性，当前数据集主要基于英文，扩展到中文等其他语言可能面临新的挑战。作者提到完整数据、处理流水线、训练代码和模型将很快公开，这为后续研究提供了良好基础。
复现评估
本文在复现方面提供了较好的条件。作者声明完整数据、数据处理流水线、训练代码和模型将很快公开，这意味着核心实验应该可以复现。数据集 Dr. SCI 包含 1,006,701 个问题，规模较大但基于公开数据源（WebInstruct-Verified、NaturalReasoning、MegaScience、RaR-Science），数据获取本身是可行的。训练使用 Qwen3-4B-Base 作为基础模型，这是公开可用的，算力需求相对可控（4B 参数模型）。强化学习使用 verl 框架和 GRPO 算法，verl 是开源的强化学习框架。然而，复现存在几个挑战：评分标准生成依赖 OpenAI o3 模型，这是闭源的且 API 成本较高（每个开放式问题需要生成 7-20 个评分标准项，总计约 545K 个开放式问题）；难度标注使用 Qwen3-32B 进行 8 次 rollout，需要较大的计算资源；验证器使用 Qwen3-4B，每个 rollout 的验证长度最大 2048 tokens，在大规模 RL 训练中会产生显著的推理开销。总体而言，有足够算力和 API 预算的研究者应该能够复现本文结果，但成本不低。
论文图表
