BeamPERL：基于可验证奖励的参数高效强化学习使紧凑型LLM专注于结构化梁力学推理 BeamPERL: Parameter-Efficient RL with Verifiable Rewards Specializes Compact LLMs for Structured Beam Mechanics Reasoning
用可验证物理奖励和LoRA微调小型推理模型求解梁静力学，发现模型学到程序模板而非物理方程
前置知识
Group Relative Policy Optimization (GRPO)
GRPO是DeepSeek提出的一种策略梯度强化学习算法，它不需要单独训练一个价值网络（critic）。核心思想是：对于每个问题，从当前策略中采样一组G个候选回答，用奖励函数对它们打分，然后通过组内相对排名来计算优势估计（advantage）。具体来说，每个回答的奖励减去组内均值再除以标准差得到标准化优势值。策略更新的方向是：增加高排名回答的生成概率，降低低排名回答的概率。这使得GRPO特别适合有确定性外部奖励的任务，因为不需要学习一个近似的价值函数。
本文使用GRPO作为核心训练算法，理解它才能理解为什么二元奖励信号足以驱动学习，以及为什么训练动态表现为先对齐后发散的两阶段模式
Parameter-Efficient Fine-Tuning (PEFT) / LoRA
LoRA（Low-Rank Adaptation）是一种参数高效微调方法。它冻结预训练模型的所有权重 $W_0$，只在每一层插入可训练的低秩矩阵 $A \in \mathbb{R}^{r \times k}$ 和 $B \in \mathbb{R}^{d \times r}$，其中 $r \ll \min(d, k)$。前向传播时输出变为 $h = W_0 x + BAx$。由于 $r$ 很小（本文用32），可训练参数量大幅减少。在本文中，模型总参数从17.77亿降至3693万，减少了97.9%。
LoRA是本文实现高效训练的核心技术选择。理解LoRA才能理解为什么在2块L4 GPU上就能完成训练，以及为什么冻结基础模型+可训练适配器的架构对泛化行为有影响
Reinforcement Learning with Verifiable Rewards (RLVR)
RLVR是一种后训练范式，使用可验证的、确定性的奖励信号来训练模型，而不是依赖人类偏好或LLM评判。在本文中，奖励来自符号求解器（SymPy/SymBeam）对梁力学问题的精确解析解：如果模型输出的支撑反力系数与符号解完全匹配（容差 $\epsilon = 10^{-4}$），奖励为1，否则为0。这种二元奖励消除了模糊的部分得分信号，确保优化目标严格对齐物理正确性。
本文的核心研究问题就是：这种精确但稀疏的二元奖励信号，能否让模型真正学会物理推理？还是只能学到表面对齐？理解RLVR才能理解论文的实验设计和核心发现
Beam Statics（梁静力学）
梁静力学是结构力学的基础分支，研究梁在静力载荷下的平衡状态。对于简支梁，求解支撑反力需要满足三个平衡方程：水平力平衡 $\sum F_H = 0$、竖向力平衡 $\sum F_V = 0$、力矩平衡 $\sum M = 0$。对于只有竖向载荷的情况，水平平衡自动满足，剩下两个方程联立求解两个未知反力。例如，对于两端支撑的梁受集中力P作用，对左端取矩可得 $R_B \cdot L = P \cdot a$，其中 $a$ 是力到左端的距离。
这是本文任务的物理基础。论文选择这个领域是因为它有结构化的物理原则、符号化的数学关系和可验证的精确解，是检验'模型是否真正学会物理推理'的理想试验场
In-distribution (ID) vs. Out-of-distribution (OOD) 泛化
在本文中，ID样本是指与训练数据来自同一生成过程的梁配置（两端支撑、单个集中力，但具体参数值不在训练集中）。OOD样本则违反训练分布的假设：要么有多个集中力（参数维度的扩展），要么支撑位置不在梁端点（拓扑变化）。这种分层的评估设计使作者能够区分'沿参数轴的组合泛化'和'沿拓扑轴的泛化'，从而诊断模型是否真正理解了平衡方程。
这是本文最重要的评估设计。正是通过ID/OOD对比，作者发现了模型泛化的各向异性：组合泛化成功但拓扑泛化失败，进而得出模型学到了程序模板而非物理方程的结论
研究动机
现有的大型推理模型（LRM）如DeepSeek-R1系列通过大规模强化学习训练获得了强大的推理能力，但这些模型动辄数百亿参数，在工程应用场景中部署成本高昂。同时，此前的工作（如PRefLexOR）已经证明，即使是3B参数的紧凑模型也能通过结果级优化获得推理能力，但使用的是偏好信号（相对质量评估）而非确定性的物理正确性信号。这就提出了一个关键问题：如果我们把奖励信号从模糊的偏好评估切换到更'硬'的、来自符号求解器的二元正确性奖励，模型能否真正内化物理方程？还是会学到一种投机取巧的策略——用程序化的解题模板去匹配训练分布，而不是理解支配方程？这个问题在工程推理领域至关重要，因为工程计算要求的不仅是答案正确，还要推理过程可解释、可迁移。
本文的目标是本文的目标是系统性地研究参数高效强化学习与可验证奖励（PE-RLVR-FT）是否足以让一个紧凑的、已蒸馏的推理模型（1.5B参数）在梁静力学问题上实现有意义的性能提升，同时评估这种提升的本质——模型是真正学会了平衡方程的物理含义，还是仅仅学到了一套程序化的解题模板。具体来说，作者希望量化：(1) PE-RLVR-FT在分布内任务上的性能提升幅度，(2) 在分布外配置上的泛化能力，(3) 训练过程中一般数学推理能力的变化，(4) 任务专业化与鲁棒性之间的权衡关系。
与已有工作不同的是，本文的独特切入点在于它不仅仅是'用RL微调小模型做工程题'，而是一个精心设计的诊断性实验，用来检验结果级对齐（outcome-level alignment）的固有局限性。已有工作（DeepSeek-R1、Tina等）主要关注性能提升，而本文首次系统地揭示了：(1) 模型泛化的各向异性——沿不同分布偏移轴的泛化能力完全不同，(2) 训练的两阶段动态——先对齐后发散，(3) 中间检查点优于最终模型的反直觉现象。这种'奖励信号精度与推理内化质量之间的脱节'是此前未被充分揭示的，它挑战了'更精确的奖励=更好的推理'这一朴素假设。
核心方法
本文的方法可以用一个类比来理解：想象一个学生已经通过大量刷题掌握了物理的基本推理能力（蒸馏的推理模型），现在要参加一门专门的结构力学考试。老师不给讲解过程，只告诉答案对不对（二元奖励），学生通过反复做题来提升。关键是，学生只需要调整自己解题的'小习惯'（LoRA适配器），不用重写整个知识体系（冻结基础模型）。具体技术路线是：首先用符号求解器（SymBeam/SymPy）构建合成的梁力学QA数据集，然后用GRPO算法在冻结的DeepSeek-R1-Distill-Qwen-1.5B基础上，仅更新注入的LoRA适配器参数。奖励函数由格式奖励和精度奖励两部分组成，加权后引导模型同时学习规范输出格式和正确求解。
本文的核心创新不在于单一技术，而在于实验设计揭示的深层发现。关键洞察是：即使用完全精确的二元物理奖励信号（来自符号求解器的解析解），模型学到的也不是物理方程的内部表示，而是程序化的解题模板。这通过泛化的各向异性得到证实——模型能成功泛化到多载荷情况（属于组合泛化，可以通过叠加多个单载荷解来解决），但无法泛化到支撑位置变化的情况（属于拓扑变化，需要重新建立力矩平衡方程）。这种发现的本质含义是：奖励信号的精度——即使是解析精确的——本身并不能保证可迁移的物理推理。与PRefLexOR相比，本文缺少其两阶段结构中的'结构化思维整合'阶段，而正是这个阶段提供了推理脚手架，可能比之前认为的更加重要。
方法步骤详情
方法分为三个主要阶段。第一阶段是数据集构建：定义梁的参数空间 $\{L, E, I, x_{pin}, x_{roller}, x, P\}$，其中训练集包含梁长 $L \in \{l, 2l, 3l\}$、支撑在两端 $x_{pin}=0, x_{roller}=L$、单个载荷 $P \in \{-p, -2p, -3p\}$、载荷位置 $x_P \in \{0.05kL | k=0,...,20\}$，共189种梁配置。用DeepSeek-R1-Distill-Qwen-7B为每种配置生成4种不同表述的问题，共756个QA对。答案由SymBeam符号求解器精确计算。第二阶段是PE-RLVR-FT训练：采用DeepSeek-R1-Distill-Qwen-1.5B作为基础模型，注入rank=32、scaling factor=4的LoRA适配器到q_proj、k_proj、v_proj、o_proj、down_proj、up_proj和gate_proj模块。每步处理8个训练样本，每个采样4个回答，有效批量32。学习率从 $2 \times 10^{-5}$ 升至 $1 \times 10^{-4}$ 后衰减至 $1 \times 10^{-5}$。奖励函数为 $R = \frac{1}{3}(R_{form.} + 2R_{acc.})$，格式奖励检查输出结构（含 `` 标签和 `\boxed{}` 表达式），精度奖励通过多集匹配比较预测与真实反力系数。第三阶段是评估：在10个均匀分布的检查点上，用24个评估样本（4个ID + 8个OOD多载荷 + 12个OOD支撑变化）评估Pass@1、Pass@7和Majority@7指标。
技术新颖性
本文的技术新颖性体现在多个层面。首先，这是首次将参数高效RL（PERL）应用于工程力学推理领域，而非数学或代码任务。其次，实验设计的分层评估框架（ID vs OOD多载荷 vs OOD支撑变化）比简单的准确率对比更能揭示模型学习的本质。第三，作者发现了一个关键的反直觉现象：中间检查点的推理能力最强，而继续训练反而降低鲁棒性，同时奖励仍在优化——这直接证明了奖励函数与真实能力之间的脱节。第四，通过与Tina项目的对比分析（Figure 11），作者将训练动态置于更广阔的PE-RLVR背景下，证明了'早期提升后衰退'不是BeamPERL特有的，而是一般性的训练现象。最后，定性分析（Text Box 5）揭示了后期训练中模型输出的语义崩溃现象——格式正确但内容无意义——这是奖励黑客（reward hacking）的一个生动案例。
实验结果
本文的核心发现可以用三个维度来总结。第一，性能提升：最佳BeamPERL检查点在Pass@1上比基础模型提升了66.7%（从12.50%到20.83%），Pass@7提升了42.9%（从29.17%到41.67%），Majority@7从0%提升到4.17%。训练过程中奖励从约0.2快速上升到0.8（在约120个训练样本后），之后进入平台期。第二，泛化的各向异性：在分布内样本上，Pass@7在整个训练过程中保持约50%的稳定水平，Pass@1和Majority@7随训练逐渐提升至50%。对于OOD多载荷样本，Pass@7在整个训练过程中持续提升，说明模型学会了组合泛化——将多个单载荷解叠加。但对于OOD支撑位置变化样本，性能在80-120个训练样本后达到峰值，随后下降。这种对比揭示了一个关键规律：沿参数维度的分布偏移（更多载荷）与沿拓扑维度的偏移（移动支撑）对模型泛化能力的影响完全不同。第三，数学推理能力的变化：最佳检查点在AMC23上从72.5%提升到75.0%，AIME24从33.3%提升到40.0%，AIME25保持23.3%不变，说明中间阶段的训练不会损害一般推理能力。但训练到200个样本后，三个基准的性能都开始下降，最终检查点出现明显的灾难性遗忘。第四，定性分析揭示了训练后期的语义崩溃：在Text Box 5中，模型输出保持正确的格式标签，但推理内容变得完全不连贯，甚至出现混合语言和无意义的陈述——这是奖励黑客的典型表现。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Beam Mechanics (All ID+OOD) | Pass@1 | 20.83% | 12.50% (DeepSeek-R1-Distill-Qwen-1.5B) | +66.7% 相对提升 |
| Beam Mechanics (All ID+OOD) | Pass@7 | 41.67% | 29.17% (DeepSeek-R1-Distill-Qwen-1.5B) | +42.9% 相对提升 |
| Beam Mechanics (All ID+OOD) | Majority@7 | 4.17% | 0.00% (DeepSeek-R1-Distill-Qwen-1.5B) | 从0%提升到4.17% |
| AMC23 (Math Reasoning) | Accuracy | 75.0% | 72.5% (DeepSeek-R1-Distill-Qwen-1.5B) | +2.5% 绝对提升 |
| AIME24 (Math Reasoning) | Accuracy | 40.0% | 33.3% (DeepSeek-R1-Distill-Qwen-1.5B) | +6.7% 绝对提升 |
| AIME25 (Math Reasoning) | Accuracy | 23.3% | 23.3% (DeepSeek-R1-Distill-Qwen-1.5B) | 无变化 |
局限与改进
本文存在多个层面的局限性。首先是评估数据集的规模问题：仅24个评估样本（4个ID + 8个OOD多载荷 + 12个OOD支撑变化），虽然作者解释这是为了'控制分析而非统计估计'，但如此小的样本量使得统计结论的可靠性受到质疑。其次是训练数据的简单性：训练集中所有梁都是简支梁、单载荷、支撑在两端，且使用符号变量而非实际数值，这与真实工程问题的距离较远。第三是任务的局限性：只求解支撑反力（梁静力学的第一步），没有涉及内力分布、变形计算等完整的梁分析流程。第四是奖励设计的固定权重问题：作者承认 $\frac{1}{3}$ 格式奖励和 $\frac{2}{3}$ 精度奖励的权重选择是基于经验而非系统的消融研究。第五，作为诊断性实验，模型选择受限于DeepSeek-R1-Distill-Qwen-1.5B这一单一基础模型，没有系统比较不同基础模型的表现。最后，论文揭示了'程序模板学习'vs'物理方程内化'的矛盾，但没有提出有效的解决方案——这更多是一个诊断性贡献而非方法论突破。
独立分析的弱点
第一个弱点是奖励信号的稀疏性导致学习困难。二元奖励（0或1）没有提供部分正确的梯度信号，这对于需要多步推理的物理问题来说过于粗糙。改进方向是引入过程奖励（process rewards），例如奖励正确识别平衡方程、正确的力矩取矩点选择、中间计算步骤的正确性等，这些可以通过符号验证中间步骤来实现。第二个弱点是训练数据缺乏拓扑多样性。训练集只包含简支梁、单载荷、支撑在两端，导致模型对支撑位置变化的泛化能力先天不足。改进方向是在训练数据中系统性地引入支撑位置的变化、不同边界条件（悬臂梁、固定端等）、不同载荷类型（分布载荷、力偶等）。第三个弱点是LoRA适配器对基础模型的约束。冻结基础模型+LoRA的架构限制了模型的学习容量，可能正是导致模型只能学到表面模式而非深层物理理解的原因之一。改进方向可以是渐进式解冻策略或更大的LoRA rank。第四个弱点是评估方法的局限性。仅通过最终答案正确性来判断模型是否'理解'物理是不够的，应该分析中间推理步骤是否遵循物理原理，例如检查模型是否正确写出平衡方程、是否正确选择取矩点等。
未来方向
作者提出了多个有前景的未来方向。最核心的是将PRefLexOR的两阶段训练与RLVR结合：先用偏好信号进行结构化思维整合（提供推理脚手架），再用符号求解器的精确奖励进行精炼。这种从软偏好信号到硬可验证奖励的课程学习可能解决程序模板学习的局限。其次是引入过程奖励：在RLVR框架内奖励正确的中间步骤，例如正确识别平衡方程、正确的取矩点选择等。第三是扩展任务范围：从支撑反力计算扩展到完整的梁静力学流程（内力分布、变形计算），以及从梁扩展到框架和桁架等其他结构系统。第四是探索跨域迁移：测试梁训练的模型能否迁移到桁架问题，以及课程式RLFT能否渐进地扩展到更复杂的结构系统。第五是系统性的超参数消融：包括奖励权重的网格搜索、KL正则化调度、早停策略、LoRA配置优化等。最后是将这些轻量级专业模型集成到多智能体工作流中，多个Agent共享同一个模型骨干，协作完成复杂的工程分析任务。
复现评估
本文的可复现性非常高。作者明确承诺开源了完整的训练和评估数据集、实验设置和评估协议。训练在2块NVIDIA L4 GPU（24GB显存）、96GB RAM的单节点上完成，硬件门槛相对较低。基于Tina项目（扩展了Open R1框架）和Hugging Face生态（transformers、TRL、vLLM、datasets），技术栈成熟且开源。数据集使用SymBeam/SymPy符号求解器生成，过程完全自动化且可重复。LoRA适配器使可训练参数从17.77亿降至3693万（减少97.9%），大大降低了训练成本。但需要注意：由于RL训练中的随机采样、GPU并行和vLLM内部调度，重复运行不会得到完全相同的结果，但会得到相似的结果。整体评估，复现难度为中等偏低——只要有2块L4级别的GPU和基本的Python环境即可复现。
论文图表