通过物理模拟器上的强化学习解决物理奥林匹克竞赛问题 Solving Physics Olympiad via Reinforcement Learning on Physics Simulators
将物理模拟器转化为可扩展的问答生成器，用合成数据训练LLM提升物理推理能力
前置知识
RLVR (Reinforcement Learning with Verifiable Rewards)
强化学习的一种变体，通过可验证的奖励信号来训练模型。在本文中，奖励基于模型答案与模拟器记录值的相对误差（5%容差内为正奖励）。这种方法允许模型探索多样的解决策略，同时保持与基础策略的接近，避免过度拟合特定解法。
本文使用 RLVR 作为核心训练范式，用于将模拟器生成的监督信号蒸馏到LLM中，是实现从模拟到现实迁移的关键技术。
DSL (Domain Specific Language)
领域特定语言，本文设计了一个专门用于描述物理场景的DSL，包含scene、entity和body三个抽象层次。DSL将物理上有意义的随机化轴（如质量、角度）与不影响动力学本质的参数（如绳索长度）分离，通过模板系统生成MuJoCo XML和自然语言场景描述。
DSL是SIM2REASON数据生成管道的核心，它实现了物理场景的程序化生成，使得在不依赖人类标注的情况下能够生成数百万个独特的物理问题。
MuJoCo
Multi-Joint dynamics with Contact，一个高性能的物理模拟器，用于模拟多关节动力学和接触交互。本文扩展了MuJoCo以支持变质量系统、牛顿引力场、指定恢复系数的碰撞等功能，能够准确模拟经典力学中的各种现象，如滑轮系统、弹簧振子、轨道运动等。
MuJoCo是SIM2REASON方法的物理引擎，提供了高保真的监督信号，如瞬时力、动量和能量传递，这些在静态网络语料库中很少被捕捉。
GSPO (Group Sequence Policy Optimization)
一种基于序列的策略梯度优化方法，使用组内相对优势（通过减去组均值并除以组标准差进行归一化）。损失函数是裁剪的序列级策略梯度目标：$L_{GSPO}(\theta) = -\mathbb{E}_{x,\{y_i\}} \frac{1}{G}\sum_{i=1}^{G} \min(\rho_i \hat{A}_i, \text{clip}(\rho_i, 1-\epsilon, 1+\epsilon)\hat{A}_i)$，其中$\rho_i = \pi_\theta(y_i|x)/\pi_{old}(y_i|x)$。
GSPO是本文使用的RL训练算法，通过组序列优化提高了训练效率，特别是在稀疏奖励设置下表现优异。
研究动机
现有的强化学习与可验证奖励（RLVR）方法虽然让LLM跨越了从模式匹配到多步推理的门槛，但这一进展根本上受限于高质量问答对的可用性。教科书和网络衍生的问答语料库是有限的、在领域间分布不均匀的，并且难以扩展到几百万个示例之外。DeepSeek-R1使用的800K问答对中，只有不到1%涉及STEM主题，导致在标准物理基准上的泛化能力较差。根本问题是网络问答数据稀疏、分布不均匀且没有系统性变化，留下了科学推理所需监督信号的巨大空白。此外，将物理模拟器作为外部工具的方法也存在挑战，因为LLM需要掌握复杂的模拟器特定API来建模问题，早期实验显示模型经常难以生成可执行且物理准确的模拟代码。
本文的目标是本文提出SIM2REASON框架，将物理模拟器转化为可扩展的问答生成器。目标是通过在物理引擎中生成随机场景，从模拟交互中创建合成问答对，并使用强化学习在该合成数据上训练LLM。具体目标是实现从纯模拟数据到真实世界物理基准的零样本迁移，例如在国际物理奥林匹克（IPhO）问题上通过仅在合成模拟数据上训练来实现5-10个百分点的性能提升。另一个目标是验证物理模拟器可以作为可扩展的数据生成器，使LLM能够获得超越网络规模问答数据限制的深度物理推理技能。
与已有工作不同的是，本文的独特切入点在于将物理模拟器从外部工具转变为可扩展的训练数据源。与要求LLM生成模拟代码的外部工具方法不同，SIM2REASON程序化构建多样的物理系统并模拟它们的动力学以自动生成验证过的问答对，而不依赖于LLM的初始编码能力。另一个创新是设计了三种推理模式：数值型（状态查询）、逆向型（参数推断）和符号型（闭式表达式）。该方法还实施了问题修剪策略，过滤掉退化或难以计算的问题，确保训练计算集中在LLM可解决的样本上。最重要的是，本文展示了训练仅在模拟器生成的合成数据上，能够实现到真实世界基准的零样本模拟到现实迁移，这在之前的研究中尚未被充分探索。
核心方法
SIM2REASON方法的整体思路是将物理模拟器转化为可扩展的问答生成器，然后使用强化学习在该合成数据上训练LLM。直觉是物理引擎以可执行形式编码物理定律，通过数值积分常微分方程系统来计算未来状态，这赋予了它们生成无限轨迹的能力，并提供高保真监督信号。然而，这些信息（如瞬时力、动量和能量传递）并不能直接用于改善LLM的物理问题求解能力，因为模拟器输出是近似的、连续的、前向时间的数值轨迹，而物理问题求解需要准确的、逆向的、符号的和反事实的推理。因此，SIM2REASON通过DSL程序化生成多样化物理场景，在MuJoCo中模拟并记录物理量，从轨迹中自然语言问答对，然后过滤退化问题，最后使用RLVR在合成数据上后训练LLM。
核心创新点在于设计了领域特定语言（DSL）来结构化随机化，使其在程序化生成推理问题的同时，将物理上有意义的随机化轴与那些不根本改变底层推理的参数分离。DSL包含三个抽象层次：scene（场景）、entity（实体）和body（物体）。Body是最基本的元素，每个body都有一个名称和基于其类型的预定义参数集。Entity由一组以特定物理有意义方式连接的bodies组成，每个entity暴露定义良好的连接点，指定它可以如何附加到其他entities。Scene通过随机选择entities并连接它们形成。这种设计允许在不依赖人类参与的情况下以规模化方式生成可模拟场景。另一个关键创新是实施了shortcut-solvable问题过滤，通过构建受控的'ablations'（实体移除和关节移除）来检测那些可以通过简化场景近似解决的问答对，确保训练信号奖励正确的物理推理而非捷径解法。
方法步骤详情
SIM2REASON数据生成管道包含四个阶段。第一阶段是场景生成：使用DSL程序化生成物理上meaningful的随机场景。DSL设计将物理上有意义的随机化轴（如块的质量、平面的角度）与那些不根本改变底层推理的参数（如绳索长度）隔离。通过随机选择entities并连接它们，组合出MuJoCo XML和自然语言场景描述。第二阶段是物理模拟：在MuJoCo中模拟生成的场景并记录每个body的关键物理量，将bodies分类为质量（本体感觉量）或字符串（张力和长度）。记录的轨迹可能包含未建模的转换（如块与滑轮碰撞或从平面掉落），通过比较滑动窗口均值和标准差来检测这些事件，公式为$\mu_t = \text{mean}\{a_j\}_{j=t}^{t+w}$和$\sigma_t = \text{std}\{a_j\}_{j=t}^{t+w}$，如果存在$i \in \{t, ..., t+w\}$使得$|a_i - \mu_t|_{\text{max}} \geq k\sigma_t$则在$t$处截断。第三阶段是问答对生成：将记录的时间序列数据转换为自然语言问答对。首先通过连接实体的自然语言描述来生成场景描述，然后随机选择一个body、记录的物理量和时间步，生成三种类型的问题：数值型（'块A在时间3秒时的速度是多少？'）、逆向型（'如果块A在3秒后的速度是5 m/s，它的质量是多少？'）和符号型（'块A在时间$t$后的速度是多少？'）。第四阶段是数据过滤：通过实体移除消融和关节移除消融来检测shortcut-solvable问题，如果真实答案在原始场景和任何消融变体之间不变，则丢弃该问答对。大约15%的生成的问答对被此过程过滤掉。最后使用RLVR在过滤后的合成数据上后训练LLM，使用GSPO优化算法和DAPO风格的动态采样来提高训练效率。
技术新颖性
SIM2REASON的技术新颖性体现在多个方面。首先，它首次系统性地展示了从纯模拟器生成的合成数据到真实世界物理基准的零样本模拟到现实迁移，在IPhO机制学问题上实现了5-10个百分点的性能提升，而且这一提升在更强的基线模型（如Qwen3-30B）上仍然存在（+4.4个百分点）。其次，该方法提出了shortcut-solvable问题过滤机制，通过场景消融来检测和过滤那些可以通过简化场景近似解决的问答对，这在训练中是关键的，因为可以奖励不正确的物理推理并强化近似。实验显示，训练时不使用shortcut过滤的IPhO性能仅为7.14%，而使用过滤后达到13.15%。第三，该方法比较了RLVR和SFT两种后训练范式，发现SFT虽然在分布内合成评估上有适度收益（+2.0%），但在分布外性能上显著下降（IPhO上-3.9%），而RLVR在分布内和分布外都提供了鲁棒的改进，表明它是将模拟器衍生的监督蒸馏为泛化推理技能的更可靠方式。第四，该方法还将模拟器用作可扩展的基准测试工具，观察到模型在模拟问题上的准确性与IPhO机制学准确性的强相关性（Spearman $\rho = 0.79$），使得基于模拟器的评估成为比较模型和消融的有用代理。
实验结果
实验结果表明，训练仅在SIM2REASON数据上可以改善零样本性能在IPhO机制学问题上5-10个百分点，跨越3B到32B模型规模。具体来说，Qwen3-30B-Instruct在IPhO上从35.6%提升到40.0%（+4.4个百分点），Qwen2.5-32B从19.8%提升到25.2%（+5.4个百分点），Qwen2.5-14B从16.07%提升到20.45%（+4.4个百分点），Qwen2.5-7B从10.7%提升到15.1%（+4.3个百分点），Qwen2.5-3B从5.68%提升到13.15%（+7.5个百分点）。在分布内合成评估上，虽然默认RL训练分布使用数值型问题，但Qwen2.5模型在其他推理模式（逆向和符号）上也有改进，表明后训练模型学习的是可重用的物理推理模式，而不是过度拟合单一问题模板。在额外的真实世界物理基准上，Qwen2.5-32B在JEEBench上从34.38%提升到52.28%（+17.9个百分点），这是最大的改进，因为JEEBench包含许多与模拟器涵盖的现象密切相关的机制学问题。在PHYSICS基准上从39.42%提升到43.09%（+3.67个百分点），在OlympiadBench上从41.41%提升到44.53%（+3.12个百分点）。在域外数学基准上也观察到改进：AIME 2025从10.83%提升到12.5%（+1.67个百分点），MATH 500从78.4%提升到82.8%（+4.4个百分点），这表明为物理推理训练也加强了潜在的代数和多步定量技能。在PHYSICS基准的难度分层分析中，RL后训练在每个层级都有改善，较低层级的收益适度（高中及以下+2.8%），最大的是研究生层级（+5.6%），表明基于模拟器的RL特别加强了更难的多步定量推理。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| IPhO Mechanics | Accuracy | 40.0% | 35.6% | +4.4% |
| JEEBench | Accuracy | 52.28% | 34.38% | +17.9% |
| PHYSICS | Accuracy | 43.09% | 39.42% | +3.67% |
| OlympiadBench | Accuracy | 44.53% | 41.41% | +3.12% |
| AIME 2025 | mean@8 | 12.5% | 10.83% | +1.67% |
| MATH 500 | Exact-match Accuracy | 82.8% | 78.4% | +4.4% |
| Synthetic Numeric | Accuracy | 21.9% | 8.9% | +13.0% |
局限与改进
作者在论文中承认了几个局限性。首先，模拟器的保真度和覆盖范围有限，许多物理现象在模拟器中不是原生支持的，实现它们需要人工参与的工程，这使得方法难以扩展。例如，火箭从行星发射在恒星存在的情况下需要实现专门的实体逻辑。其次，模拟器输出是近似的、连续的、前向时间的数值轨迹，而物理问题求解需要准确的、逆向的、符号的和反事实的推理，这之间存在固有的不匹配。第三，当前的DSL覆盖主要集中在经典力学，虽然它涵盖了本科和奥林匹克级物理中遇到的大多数核心现象，但对于电磁学、热力学等其他物理领域的扩展需要额外的工作。第四，虽然SIM2REASON在IPhO等基准上展示了零样本迁移，但对于那些不能直接在当前环境中模拟的问题（如涉及专业天体相互作用的问题），泛化能力仍然有限。此外，我自己观察到的一些局限性包括：方法依赖于RLVR的成功，这需要模型能够生成合理的初始答案，对于更弱的模型可能效果有限；Shortcut-solvable问题过滤虽然有效，但增加了计算开销，因为需要对每个场景生成消融变体并重新模拟；当前的评估主要集中在机制学问题上，对于电磁学、量子力学等其他物理领域的泛化尚未充分验证；虽然方法在真实世界基准上展示了改进，但绝对性能仍然较低（例如IPhO最高仅40.0%），表明物理推理仍然是一个具有挑战性的问题。
独立分析的弱点
SIM2REASON的一个主要弱点是对模拟器覆盖范围的依赖。当前实现主要覆盖经典力学，对于电磁学、热力学、量子力学等其他物理领域的支持有限，扩展这些领域需要设计新的entities和实现新的物理交互。另一个弱点是Shortcut-solvable问题过滤的计算开销，因为需要对每个场景生成多个消融变体（实体移除和关节移除）并重新模拟，这在大规模数据生成时会显著增加计算成本。此外，方法对RLVR的成功有依赖，这要求模型能够生成合理的初始答案，对于更弱的模型可能效果有限，因为它们可能难以探索到获得正奖励的解空间区域。第三个弱点是模拟器与真实世界之间的保真度差距，模拟器假设理想化的物理条件（如完美弹性碰撞、无摩擦表面），而真实世界问题可能涉及更复杂的因素，这可能导致模型在处理这些因素时表现不佳。改进方向包括：1）扩展DSL以覆盖更多物理领域，如电磁学（带电粒子在时变场中的运动）、热力学（热传导、相变）等；2）开发更高效的Shortcut检测算法，可能通过学习预测哪些问题可能是shortcut-solvable，而不需要显式的消融和重新模拟；3）探索其他训练范式，如结合RLVR和SFT的混合方法，可能在更弱模型上提供更好的初始化；4）改进模拟器以更准确地模拟真实世界的物理条件，如摩擦、空气阻力、非理想弹性等。
未来方向
作者在论文中提出了几个未来研究方向。一个直接的方向是将模拟器生成的数据与精选的真实世界问答数据结合，以进一步提高鲁棒性和覆盖范围。更广泛地说，将这种方法扩展到经典力学之外的其他物理领域（如电磁学、热力学）和其他物理科学是一个有前景的方向。此外，作者提到将模拟器用作可扩展的基准测试工具，这可以用于更细粒度的诊断特定现象（如滑轮、碰撞、弹簧、旋转）的模型优势。基于本文的成果，可以延伸的 future work 包括：1）探索更复杂的DSL设计，支持跨领域物理场景的组合（如电磁学与力学的耦合）；2）研究如何从模拟器数据中学习更抽象的物理原理，而不仅仅是特定场景的解法，这可能涉及符号推理或元学习；3）开发多模态版本，结合视觉信息和文本信息，以解决包含图表的物理问题；4）探索课程学习方法，从简单场景逐步过渡到复杂场景，以提高训练效率；5）研究如何将SIM2REASON与其他数据增强技术（如合成文本生成、反向翻译）结合，以进一步扩大训练数据规模和多样性；6）探索在低资源语言或特定领域（如工程物理）的应用，这些领域可能缺乏足够的真实世界问答数据。
复现评估
论文在项目网页上提供了代码（https://sim2reason.github.io/），这为复现提供了基础。然而，复现SIM2REASON可能面临几个挑战。首先是计算资源的需求，虽然论文没有明确报告具体的训练成本，但考虑到使用了3B到32B的模型规模和200个RL训练步骤（批量大小32），需要相当多的GPU资源。特别是Qwen3-30B倾向于产生更长的响应（平均约8k tokens），这显著增加了RL训练成本，因此作者由于计算限制只训练了100个RL步骤。其次是模拟器的配置和扩展，论文提到扩展了MuJoCo以支持变质量系统、牛顿引力场、指定恢复系数的碰撞等功能，这些修改的实现细节可能需要额外的文档或代码。第三是DSL的设计和实现，虽然论文提供了DSL的示例，但完整的实体和连接模式的实现细节可能需要仔细研究。第四是数据生成过程，虽然论文描述了四个阶段（场景生成、物理模拟、问答对生成、数据过滤），但具体的实现细节（如消融策略、过滤阈值、参数随机化范围）可能需要额外的说明。最后是评估基准的获取，论文使用了多个真实世界基准（IPhO、JEEBench、PHYSICS、OlympiadBench、AIME、MATH），这些基准的获取和预处理可能需要额外的工作。总的来说，虽然代码是可用的，但复现可能需要中等程度的努力，特别是在理解DSL设计和模拟器扩展方面。
论文图表
