越难越好：通过难度感知 GRPO 与多角度题目重述提升数学推理 Harder Is Better: Boosting Mathematical Reasoning via Difficulty-Aware GRPO and Multi-Aspect Question Reformulation
用难度感知策略优化与多角度改题，显著提升数学推理
前置知识
RLVR（可验证奖励强化学习）
RLVR 指以可由规则验证的奖励（例如数学题是否得到标准答案）驱动策略更新，而不依赖容易出现奖励错位的神经奖励模型。典型做法是对每个问题采样多条回答，由规则判定正误，再用策略梯度或 PPO/GRPO 等方法优化语言模型参数。
本文算法与数据改进都嵌入在 RLVR 框架里，理解其奖励来源与梯度计算方式，才能看懂 DGPO 如何修正 GRPO 的更新偏差。
GRPO（Group Relative Policy Optimization）
GRPO 是 PPO 的无评论器变体：对同一问题生成一组回答并打分，利用组内均值和标准差计算相对优势，再用截断重要性采样做策略梯度。它省去单独的价值网络训练，但在优势计算里隐藏了对不同难度题目的更新幅度偏差。
论文证明 GRPO 会让中等难度题对梯度贡献过大，而最难却仍有正确解的题被压低权重，DGPO 正是为修正这一点而提出。
Mean Absolute Deviation（MAD，平均绝对偏差）
MAD 定义为样本与均值之差的绝对值的平均，衡量数据离散程度。相比标准差对极端值更敏感，MAD 在二值奖励下更稳定且有解析常数性质。
DGPO 用 MAD 替换 GRPO 的标准差做分母，可把单题更新总幅度固定为常数，从而消除中等难度题过度主导梯度的问题。
多角度题目重述（MQR）
MQR 在不改变最终答案的前提下，从“加背景叙事”“抽象术语替换”“拆分嵌套子问题”三维度改写题目，提升题目表面噪声、抽象性和跨领域联结难度。通过规则约束答案一致性，避免重新推导解答。
它代表数据侧的难度提升路径，与算法侧的 DGPO 形成闭环：MQR 产出更难样本，DGPO 学会在这些样本上集中优化。
研究动机
现有 GRPO 体系在数学推理强化学习中存在隐性偏差：作者证明，当每个问题的奖励为 0/1 二值时，单题的梯度更新幅度随准确率 p 呈 2G√(p(1−p)) 的曲线，p=0.5（中等难度）时最大，趋近 0 或 1（极难或极简单）则迅速缩小。这意味着“恰好有一半回答正确”的中等题贡献最多梯度，而那些更具挑战性、模型仍未掌握却已有正确示范的难题被系统性压低权重。再加上数据侧，传统增强要么生成全新 QA 对导致答案质量难保，要么仅做轻度改写，并未真正提升题目难度，导致策略网络难以突破已有的能力天花板。
本文的目标是本文提出 MathForge，目标是在同一训练框架内同时从算法与数据两方面强调更难题目，使 7B 级数学模型在 AIME、AMC、MATH500 等六个基准上的平均准确率超过 GRPO 基线 4 个百分点以上，同时保持模型规模无关性与可复现性。具体而言，需要设计一种让“难但可解”题目获得更大更新权重的策略优化方法，并构建能系统提升题目难度又保留原始答案的数据增强方案。
与已有工作不同的是，区别于以往“先加重采样或更大奖励模型”再做微调的路线，MathForge 直接抓住两个被忽视的杠杆：其一，从梯度公式层面揭示并证明 GRPO 的更新幅度失衡是可解析的，可以通过 MAD 归一化和 softmax 难度权重纠正；其二，从题目语义层面，用多角度改写而不是随机变换去塑造训练分布，使数据增强直接对应“噪声、抽象、嵌套推理”三种推理能力缺口。二者形成循环：MQR 提供更难样本，DGPO 有效学习，避免以往“扩充数据但算法仍按均值学习”导致的收益稀释。
核心方法
可以将 MathForge 想象成给推理模型做“负重训练”：MQR 负责给题目加沙袋——通过添加与数学无关的叙事背景、发明抽象新术语、将已知条件拆成需要跨领域解答的子问题，使同一道题变得更绕、更抽象；DGPO 则像教练根据难度调整训练强度，先用 MAD 把所有题的更新基准拉平，再用 softmax 按负平均正确率加权，确保最“疼”的难点得到最多关注。技术上，框架分两阶段：先用大模型（默认 OpenAI o3）批量生成 4 倍题目（原题 + 三类重述），再以 DGPO 训练策略，整体仅需规则奖励即可闭环。
核心创新是“先平衡、后加权”的两步法。第一步，DGPO 用平均绝对偏差 MAD 替换 GRPO 的标准差，使每道题的优势总和恒等于组大小 G，从而在数学上消除中等难度题的隐性优势；第二步，引入温度 T 的 softmax 权重 λ_s= B_v exp(D_s/T)/Σ exp(D_k/T)，其中 D_s=−mean(r_{si}) 是题目当前平均负准确率，用于在已经平衡的基础上进一步突出难题。相比 Zhang & Zuo (2025) 的复杂重加权方案，DGPO 只增加一个温度超参且先修复底层失衡，因此更易调、解释性更强。
方法步骤详情
流程包括四步：① 数据准备：从 MATH 等数据集抽取原题，利用 MQR prompt 分别生成 Background、Term、Sub-Problem 三类改写题，确保答案不变，共 4 倍样本；② 采样与打分：在每个训练批次，对每个问题用旧策略采样 G 条回答（论文默认 G=8），以规则判定正确与否得到二值奖励 r_{si}；③ 优势与权重计算：先按 DGAE 公式 ˆA_{DG,si} = (r_{si}−mean(r))/MAD(r) 计算 token 级优势，再由 DQW 计算问题权重 λ_s，并对无效问题（全对或全错）剔除，仅在有效 token 上求均值；④ 策略更新：将 λ_s 与优势共同放入 PPO 风格的截断目标中做梯度下降，温度 T 默认 2.0，使权重比上限约 e^{0.5}≈1.65，兼顾聚焦难题与保持探索。训练中，MQR 提供的数据让模型在更高难度曲线上迭代，DGPO 确保梯度分配合理，两者形成闭环。
技术新颖性
MathForge 的新颖性体现在三个层面：其一，首次用闭式定理证明 GRPO 的更新幅度在二值奖励下遵循 2G√(p(1−p))，并用 MAD 归一化将其转为常数；其二，提出“先平衡再加权”的双阶段思路，让难度感知策略可控、可解释，而非像 GRPO-AD 直接在不平衡优势上做复杂权重；其三，数据侧的 MQR 并非简单改写，而是以“背景噪声、抽象术语、嵌套子问题”三维度精准对应推理模型的弱点，且通过答案一致性约束最小化对解答生成的依赖，这在以往 MetaMath、PersonaMath 等只做表面改写的工作中未见。
实验结果
在以 Qwen2.5-Math-7B 为骨干、MATH 为训练集的主实验里，MathForge 将六基准平均分从 GRPO 的 37.61% 拉升到 42.17%（+4.56 绝对点），其中 AIME24 提升 3.64 点（20.94→24.58）、MATH500 提升 7.75 点（72.20→79.95）、Minerva 提升 5.60 点（27.76→33.36）、Olympiad 提升 5.34 点（37.33→42.67）。DGPO 单独使用即比 GRPO +2.18 点，MQR 单独使用 +3.43 点，显示两者贡献互补。消融实验表明，DGAE 贡献 +0.94 点、DQW 贡献 +1.14 点，温度 T=2.0 在 AIME/AMC 等高难度集上获得最优。DGPO 与 GPG、DAPO、GSPO 结合后也分别带来 +0.99、+1.97、+1.61 的平均提升，说明其作为通用增强算法的兼容性。在多模态 GeoQA-8k 上，DGPO 把 Qwen2.5-VL-3B 的准确率从 57.43% 提升到 59.95%（+2.52），验证了算法的领域无关性。MQR 的难度提升同样直观：用 Qwen2.5-Math-7B-Instruct 评估改写题准确率，原题 79.77%、Background 77.31%、Term 76.87%、Sub-Problem 72.04%，证实改写确实抬高了难度。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME24 (Qwen2.5-Math-7B, MATH训练) | 平均准确率(%) | MathForge 24.58 | GRPO 20.94 | +3.64 |
| AIME25 (Qwen2.5-Math-7B, MATH训练) | 平均准确率(%) | MathForge 12.60 | GRPO 8.44 | +4.16 |
| MATH500 (Qwen2.5-Math-7B, MATH训练) | 平均准确率(%) | MathForge 79.95 | GRPO 72.20 | +7.75 |
| Minerva (Qwen2.5-Math-7B, MATH训练) | 平均准确率(%) | MathForge 33.36 | GRPO 27.76 | +5.60 |
| Olympiad (Qwen2.5-Math-7B, MATH训练) | 平均准确率(%) | MathForge 42.67 | GRPO 37.33 | +5.34 |
| GeoQA (Qwen2.5-VL-3B, GEOQA-8k训练) | 准确率(%) | DGPO 59.95 | GRPO 57.43 | +2.52 |
局限与改进
尽管 MathForge 取得显著提升，仍存在几点局限：首先，训练主要基于 MATH 及其衍生数据，对代数、几何、概率等子领域的覆盖有限，尚不确定在更广泛竞赛或科研级问题上的收益是否一致；其次，MQR 改写依赖强大语言模型（默认 OpenAI o3），虽然开源模型如 Qwen3-30B-A3B-Thinking 也能带来 +1.95 点提升，但改写质量下降会直接影响训练效果；再者，DGPO 的温度 T 需根据任务调优，论文报告 T=2.0 最优，但更低或更高温度会导致过度聚焦或权重过平；此外，所有实验仍使用规则二值奖励，若奖励更稀疏或引入非数学约束，MAD 归一化的假设需要重新验证；最后，MathForge 的四倍数据与 8 采样策略会提高训练成本，作者虽提到 MQR 生成 22.5k 题约 184 美元，但在更大模型或多任务场景下的扩展性有待评估。
独立分析的弱点
首先，MQR 的三类策略虽有效，但本质上仍偏“表面化”：Background 多为添加故事噪声，Term 是自造术语，Sub-Problem 只拆解单一条件，若面对需要深层定理推理的难题，这些改写可能不足以暴露模型的推理瓶颈。改进方向可考虑引入“逆向证明改写”或“跨主题综合题”，让题目本身需要更多创造性步骤。其次，DGPO 在计算权重时以负平均准确率作为难度，忽略了方差或采样偏差；对于采样数较少的题目，难度估计可能不稳定。可以探索用贝叶斯后验或多臂老虎机机制动态调整采样预算，将难度估计与探索策略结合。再次，当前框架只验证了二值奖励，若引入连续奖励（如部分得分、过程奖励），需要重新推导 MAD 的性质并设计新的权重函数。最后，MathForge 对每题生成 8 条回答并全部参与梯度，计算开销较大。未来可尝试重要性采样或课程学习，在早期只用部分难题，后期逐步增加，从而降低训练成本。
未来方向
作者在文末强调“harder is better”这一核心理念，未来可沿三条线路拓展：1）将 DGPO 的“先平衡、后加权”思路迁移到代码生成、科学问答等其他推理任务，验证其通用性；2）在数据侧设计更复杂的改写维度，例如“证明路径替换”“反例构造”或“可视化条件拆解”，让 MQR 成为自动化的难题工厂；3）将 DGPO 与自博弈（self-play）结合：让模型先用 MQR 生成更难题目，再用 DGPO 从这些题目中强化学习，形成闭环自提升；4）探索更细粒度的难度指标，如根据模型对各题的输出长度、思维链深度等信号动态调整权重，减少对准确率的单一依赖；5）在多模态领域扩展 MQR，让图文题也能按语义噪声、术语抽象、子问题嵌套等方式改写，进一步验证“越难越好”的跨模态适用性。
复现评估
论文已在 GitHub 开源代码与 MQR 增强数据，并声明基于 Open-R1 代码库复现实验。使用 8 张 NVIDIA H20 GPU 即可完成主实验，训练步数约 230（原始 MATH）或 230（4x MQR），总体算力需求中等。所有超参数、系统提示、奖励脚本均在附录详列，评估采用零样本、32 次采样或 4 次采样平均，结果稳健。对于想快速验证的团队，可直接调用作者提供的 30k MQR 题目和 DGPO 训练脚本；若想替换改写模型，只需准备相应 prompt 和 API 即可，作者给出的示例显示 Qwen2.5-7B-Instruct 也能带来 +1.19 点提升。总体而言，复现门槛较低，但需要注意 GPU 显存、API 调用费用以及在不同数据集上重新调 T 的实验成本。
论文图表
两张子图分别展示训练过程中在 MATH500 上的准确率奖励曲线和模型输出长度曲线。DGPO 在约 30 步后持续高于 GRPO，并保持更短的输出。
直观说明 DGPO 如何在训练动态上既提升正确率又压缩冗余推理，验证“平衡-加权”机制的有效性。
对比在原题与 MQR 增强数据上的训练准确率与在 MATH500 的评估准确率：MQR 训练更难、评估更高。
展示“train harder, test better”现象，证明 MQR 提升难度并不会导致过拟合，反而带来更好泛化。