一个样本统治一切：多学科推理强化学习中的极端数据效率 One Sample to Rule Them All: Extreme Data Efficiency in RL Scaling
单个精心设计的数学样本通过RL训练可跨学科提升推理能力
前置知识
GRPO (Group Relative Policy Optimization)
GRPO是一种强化学习算法，它通过在生成的响应组内计算优势值来替代传统PPO中的critic模型。具体来说，对于给定的提示词，模型生成G个响应y1到yG，通过计算每个响应与组平均奖励的差值来估计优势值，从而避免训练独立的critic模型。这种方法简化了实现并减轻了reward hacking问题。
本文使用GRPO作为RL训练的核心算法，理解它是掌握polymath learning技术实现的基础。
RLVR (Reinforcement Learning with Verifiable Reward)
RLVR是一种针对可验证任务的强化学习方法，通过验证函数或规则直接对模型输出进行奖励计算，而不依赖人工标注或外部奖励模型。例如在数学问题中，可以直接比对最终答案与标准答案的匹配度作为奖励信号。这种方式不需要训练复杂的奖励模型，实现简单且能避免reward hacking。
本文采用基于规则匹配的二元结果奖励机制，是polymath learning能够高效训练的关键技术基础。
LIMR Score
LIMR分数用于衡量样本在RL训练过程中的学习特性，通过比较样本的训练奖励与数据集平均奖励来计算。具体公式计算样本奖励与数据集平均奖励的归一化方差差异。LIMR分数越高表示样本与整个数据集的训练动态更一致，分数越低表示样本越容易被过度学习。
本文使用LIMR分数来选择具有适中学习特性的polymath候选样本，避免过度专业化数学推理而牺牲其他学科的推理能力。
Salient Math Skills
突出数学技能是指解决特定推理问题所需的核心数学技能，涵盖代数、几何、概率、数论等多个数学类别。例如，代数技能包括解方程、变量替换、因式分解等，预微积分技能包括三角函数、对数、指数运算等。本文使用Qwen2.5-72B-instruct模型来自动识别问题中涉及的具体数学技能。
突出数学技能的覆盖范围是polymath样本有效性的关键指标，特别是代数和预微积分技能在跨学科推理中起到基础性作用。
Polymath Learning
Polymath Learning即多才多艺学习，是本文提出的范式，指使用单个精心设计的训练样本通过强化学习来提升语言模型跨多个学科的推理能力。这个样本被称为polymath样本，因为它像文艺复兴时期的博学者一样，能够在多个领域展现卓越能力。polymath样本可以来自自然数学问题，也可以是合成的多学科综合问题。
这是本文的核心创新概念，整个研究围绕polymath learning的跨域泛化能力、样本特性和合成方法展开。
研究动机
现有大型语言模型的强化学习方法通常依赖大规模高质量训练数据。例如，OpenAI的o1、DeepSeek R1等模型需要数千甚至数万个样本才能显著提升推理能力。虽然已有工作开始探索数据效率，如LIMR方法用1389个样本超越8000个MATH样本，Wang等人甚至观察到单个样本可以提升数学推理能力，但这些研究仍存在明显局限：首先，现有探索主要局限于数学领域，未能证明单个样本的跨学科泛化能力，其次，缺乏指导最优样本选择的理论依据，最后，现有样本合成方法主要基于问题模仿或变异，难以有机整合多学科知识。这些局限性使得我们无法回答一个根本问题：RL训练的数据需求是否真的必须如此庞大。
本文的目标是本文的目标是系统研究单样本强化学习的跨学科泛化现象，并将其扩展到多学科推理任务。具体而言，我们希望回答三个核心研究问题：第一，基于数学类别的单个样本选择是否能够通过polymath学习在多个知识领域产生推理提升？第二，什么样的polymath样本特征与更强的跨学科推理增益相关？第三，如何超越自然样本的限制，构造整合多种推理技能的混合元样本？通过回答这些问题，我们旨在挑战RL训练必须依赖大规模数据的传统假设，探索数据效率的新范式。
与已有工作不同的是，本文的独特切入角度在于突破了现有研究的三个边界：领域边界、数量边界和质量边界。在领域边界上，我们首次系统研究单个数学样本对物理、化学、生物等语义距离较远领域的跨域泛化效应，而不仅仅是数学内部的提升。在数量边界上，我们极端化地探索1个样本的效果，挑战从几千到几千的效率提升，实现从8000到1的数量级飞跃。在质量边界上，我们提出样本工程的思路，从突出数学技能的视角分析样本质量，而非传统的难度指标，并首次构造整合多学科背景的合成样本。这种三重突破使我们能够从全新角度理解RL训练中数据的作用机制。
核心方法
Polymath learning的整体思路非常直观：像培养一个博学者一样，通过让模型深入学习一个精心选择的样本，来提升其在多个学科的推理能力。从技术路线来看，该方法基于GRPO强化学习框架，使用单个训练样本，通过规则匹配的二元奖励函数训练模型。在自然样本选择阶段，我们从MATH数据集的不同数学类别中选择LIMR分数适中的样本作为polymath候选，确保样本具有一定的学习特性但避免过度专业化。在合成样本构造阶段，我们通过两阶段流程：首先使用强模型整合物理、化学、生物知识生成候选问题，然后使用Qwen2.5-72B-instruct识别问题涉及的突出数学技能，选择技能覆盖最全面的样本作为合成polymath样本。
核心创新点在于提出了样本工程的全新思路，将注意力从数据数量转移到样本质量和结构。与现有方法依赖海量训练数据或单纯追求难度指标不同，我们发现单个样本的突出数学技能覆盖范围是决定其跨域泛化能力的关键。特别是代数和预微积分技能在各学科中频繁出现，起到可迁移推理组件的基础作用。基于这一发现，我们通过合成样本整合多学科背景和全面的技能覆盖，构建了比自然样本更有效的训练信号。这种思路与单纯扩大数据规模的传统范式形成鲜明对比，互补于现有的数据选择策略。
方法步骤详情
Polymath learning的完整流程包含四个主要步骤。第一步是样本选择：对于自然polymath样本，我们使用LIMR分数从MATH数据集的不同类别中选择候选。对于合成polymath样本，我们通过强模型生成整合多学科知识的候选问题。第二步是技能识别：使用Qwen2.5-72B-instruct模型分析每个候选问题涉及的突出数学技能，按类别统计技能数量和分布。第三步是样本优化：对于自然样本，选择LIMR分数为0.6的样本以平衡学习特性。对于合成样本，选择技能覆盖最全面的样本作为最终polymath样本。第四步是强化学习训练：使用GRPO算法，将选定的polymath样本扩充到128的批次大小，对每个提示词生成16个温度为1.0的响应，采用规则匹配的二元奖励函数训练140步，学习率设置为10的负6次方，裁剪参数为0.2。
技术新颖性
技术新颖性体现在多个方面。首先，这是首次系统研究1样本强化学习的跨学科泛化效应，证明了单个数学样本可以提升物理、化学、生物等多个领域的推理能力，这一发现挑战了RL训练必须依赖大规模数据的传统假设。其次，我们提出了突出数学技能作为样本质量评估的新维度，与传统的难度指标相比，技能覆盖范围更能预测跨域泛化能力。第三，我们设计了基于指令的多学科样本合成方法，不依赖现有问题或微调的生成模型，释放了LLMs在构建复杂跨学科问题方面的创造力。最后，我们发现polymath learning在数学距离较远的学科上优势更明显，平均提升14.5个百分点，而在数学密集领域仅提升7.7个百分点，这一模式表明polymath learning促进了跨学科的一般推理能力。
实验结果
实验结果显示了polymath learning的强大效果。在Qwen2.5-7b-base模型上，使用1个自然polymath样本如Prealgebra类别就能在多个学科上显著超过使用8000个MATH样本的综合学习。具体而言，Prealgebra样本在数学、物理、化学、生物、科学、工程、计算机科学和其他领域分别达到71.2%、17.4%、12.2%、51.7%、15.1%、16.5%、49.5%和33.5%的性能，平均为29.2%，而MATH综合学习的平均性能仅为19.5%。更重要的是，合成的Synthetic Prime样本表现最佳，在多个领域上达到38.3%、20.6%、15.7%、54.2%、15.6%、20.8%、48.5%和32.4%，平均性能为30.8%，比0-shot baseline的6.4%提升了24.4个百分点。在全规模基准测试上，Synthetic Prime样本在MMLU-Pro上达到37.6%，在SuperGPQA上达到21.7%，显著超过综合学习。训练动力学分析显示，polymath learning在多学科基准上更稳定，而综合学习在MATH500上表现更好但在多学科基准上出现过拟合。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MATH500 | 准确率(%) | 38.3 (Synthetic Prime) | 37.2 (MATH 8k) | +1.1 |
| GPQA-Diamond | 准确率(%) | 21.3 (Synthetic Prime) | 11.7 (MATH 8k) | +9.6 |
| SuperGPQA | 准确率(%) | 21.7 (Synthetic Prime) | 16.6 (MATH 8k) | +5.1 |
| MMLU-Pro | 准确率(%) | 37.6 (Synthetic Prime) | 31.7 (MATH 8k) | +5.9 |
| 物理推理 | 准确率(%) | 20.6 (Synthetic Prime) | 12.8 (MATH 8k) | +7.8 |
| 化学推理 | 准确率(%) | 15.7 (Synthetic Prime) | 10.0 (MATH 8k) | +5.7 |
| 生物推理 | 准确率(%) | 54.2 (Synthetic Prime) | 31.4 (MATH 8k) | +22.8 |
| 工程推理 | 准确率(%) | 20.8 (Synthetic Prime) | 8.6 (MATH 8k) | +12.2 |
局限与改进
作者承认了几个局限性。首先，由于资源限制，研究只覆盖了小规模样本集合，没有进行更大规模的单样本polymath学习实验。其次，基于突出技能的样本选择方法没有扩展到基于技能的问题规模合成。第三，虽然观察到不同polymath样本引发不同的验证模式偏好，但未发现自我验证与推理能力提升之间的直接联系。第四，polymath learning实验仅在开放式问答格式下进行，而先前研究表明融入多样化的问答格式特别是多选题有额外益处。此外，研究主要关注数学样本或使用数学技能的polymath样本，未扩展到其他可获取可靠奖励的领域。我自己的观察是，单样本方法的效果可能依赖于模型预训练数据的质量和多样性，对于预训练数据偏弱的模型，效果可能不如综合学习明显。另外，合成的polymath样本构造仍需依赖强模型如OpenAI-O3，这在实际应用中可能存在成本和可访问性问题。
独立分析的弱点
单样本方法在几个方面存在潜在弱点。首先，效果可能存在模型依赖性：对于预训练数据质量较差或规模较小的模型，单样本可能无法提供足够的学习信号，而综合学习的数据多样性可以起到正则化作用。实验结果显示OctoThinker-8b-long-base上polymath learning的效果不如综合学习，支持了这一观察。其次，单样本策略可能缺乏鲁棒性：如果选择的样本不适合特定模型或任务，整个训练过程可能失败，而综合学习的数据多样性可以缓解这个问题。第三，合成的polymath样本虽然表现最佳，但其构造依赖于外部强模型，增加了系统复杂性和成本。第四，研究主要关注开放式问答格式，未验证多选题等其他格式的效果。第五，样本选择基于突出技能的分析，但技能识别本身依赖于另一个LLM，可能引入识别偏差。改进方向包括：开发更鲁棒的样本选择策略，不依赖单一模型；探索多样本polymath learning的边际效益；设计无需外部强模型的合成方法；扩展到更多任务格式和奖励类型。
未来方向
作者提出的未来研究方向包括：扩展polymath learning到其他可获得可靠奖励的领域，如编程、逻辑推理等；将基于突出技能的样本选择扩展到基于技能的问题规模合成；探索自我验证行为与推理能力提升之间的因果联系；将polymath learning扩展到多样化的问答格式，特别是多选题；进行更大规模的单样本polymath学习实验。基于本研究的成果，可延伸的研究方向包括：研究polymath learning与模型规模的关系，验证在更大模型上的效果是否持续；探索动态polymath learning，根据训练进展自适应选择或调整样本；分析polymath learning在不同推理任务类型如因果推理、类比推理上的效果差异；研究polymath learning与其他数据效率技术如数据选择、课程学习的结合；探索polymath learning在多模态推理任务中的应用，如视觉语言推理。
复现评估
本文提供了较为完整的复现信息。研究使用Qwen2.5-7b-base作为主要模型，基于开源的GRPO算法实现。关键超参数包括学习率10的负6次方、裁剪参数0.2、最大生成长度2048、训练步数140。评估基准包括多个公开数据集：MATH500、AIME2024/2025、MinervaMath、GPQA-Diamond、SciBench、MMLU-Pro、SuperGPQA。论文附录提供了完整的prompt模板、合成样本的详细内容、技能识别的prompt、以及其他polymath样本的示例。然而，一些细节可能影响完全复现：强模型如OpenAI-O3、Gemini2.5-Pro、DeepSeek-R1用于合成样本可能需要API访问，且不同API版本可能产生不同结果；技能识别使用Qwen2.5-72B-instruct，需要较大算力；具体的数据分割和随机种子未明确说明。总体而言，在获得必要模型访问权限后，复现难度中等。算力需求方面，单个实验可在单GPU上完成，但完整实验包括多个模型和基准测试需要较多计算资源。
论文图表
