MHPO：调制危险感知策略优化用于稳定强化学习 MHPO: Modulated Hazard-aware Policy Optimization for Stable Reinforcement Learning
提出MHPO框架，通过LFM和DHP组件实现稳定强化学习的梯度保真与危险感知控制
前置知识
Importance Ratio
重要性比率 rit(θ) = πθ(qit | p, qi 1表示当前策略增加该token的概率，rit(θ) < 1表示概率降低。在长链式思维生成中，token级比率会呈现极端方差，乘积累积可能导致多个数量级的波动，这些高方差异常token会触发巨大梯度尖峰，破坏损失景观的稳定性。
本文的核心问题就是控制重要性比率的不稳定性，LFM和DHP都直接针对这个比率进行调节，不理解它就无法理解方法的动机。
GRPO (Group Relative Policy Optimization)
GRPO是一种无需critic的策略优化方法，通过从每个prompt采样K个响应来计算组内相对优势。其目标函数LGRPO(θ) = -Ep∼D, {qi}K∼πθold(·|p) [(1/K) ∑(i=1→K) (1/Ti) ∑(t=1→Ti) min(rit(θ)Âit, clip(rit(θ), 1-ε, 1+ε)Âit)]。GRPO避免了学习critic的计算负担，但重要性比率的不稳定性仍然是训练的主要挑战。
MHPO建立在GRPO框架之上，是对GRPO中clip机制的改进，需要理解GRPO的目标函数和挑战才能理解MHPO的改进方向。
Cumulative Hazard Function
累计危险函数来自生存分析和可靠性理论，对于Weibull分布定义为H(x) = (x/λ)^k，其中λ是尺度参数，k是形状参数。当x < λ时，惩罚衰减迅速，允许小偏差保持可忽略；当x > λ时，惩罚加速增长，严格抑制可能破坏系统的大偏差。这种特性使得危险函数能够实现在信任区域内安全探索，超出阈值时快速抑制极端偏离。
DHP直接使用Weibull分布的累计危险函数作为惩罚机制，理解这个数学工具才能理解DHP如何实现精细的危险感知控制。
研究动机
现有的GRPO-based方法在训练稳定性方面面临严峻挑战。传统方法如PPO和GRPO使用对称硬clip在[1-ε, 1+ε]范围内约束重要性比率，DAPO使用更灵活的非对称边界[1-εlow, 1+εhigh]。这些clip方法不可避免地引入梯度不连续性和梯度消失区域，导致优化不稳定，并阻止信任区域外的token对学习过程做出贡献。SAPO引入了基于sigmoid的软门控机制来保持梯度平滑性，但未能解耦不同方向策略更新所关联的截然不同风险。在长链式思维生成场景中，序列长度可延伸到数千token，乘积累积的比率可能跨越多个数量级波动，这些高方差异常token触发巨大梯度尖峰，导致严重的训练不稳定性。
本文的目标是本文旨在提出一个统一框架，在保证全局可微分性的同时，对策略变化提供精细的危险感知控制。具体来说，MHPO要在保持训练稳定性的同时实现更好的性能，通过同时维护梯度保真度和阻尼机制来优化损失景观。目标是在信任区域内保持高保真梯度流，超出阈值时快速抑制极端偏离，同时允许对正负策略变化进行不对称调节，以解决概率质量扩张和收缩所带来的内在不对称风险。
与已有工作不同的是，本文的独特切入角度是将重要性比率控制重新表述为联合保真度和阻尼设计问题，其核心洞察是训练稳定性由梯度乘数M(rit(θ)) = exp(ψ(rit(θ)) - ζ(rit(θ)))sech²(log rit(θ)/c)这个标量量控制。现有方法只解决比率控制问题的一个方面：clip保证有界性但牺牲梯度保真度，软门控恢复平滑性但缺乏原则性阻尼保证，序列级控制抑制极端但失去per-token粒度。MHPO在梯度乘数层面操作，统一token粒度的保真度和阻尼而不改变优势或重要性比率，填补了现有方法在直接梯度级别平滑、有界衰减的空白。
核心方法
MHPO框架由两个核心组件构成：Log-Fidelity Modulator (LFM) 和 Decoupled Hazard Penalty (DHP)。LFM使用对数空间的缩放tanh变换ψ(r) = c·tanh(log(r)/c)，将无界的重要性比率映射到有界、可微分流形，确保高保真优化过程同时平滑衰减异常token的影响。DHP引入危险感知惩罚机制，使用Weibull分布的累计危险函数分别调节正负策略变化，通过在信任区域内保持可忽略惩罚、超出阈值时触发快速惩罚加速，实现对优化景观的精细塑造。两者的结合形成了统一的优化框架LMHPO(θ) = -Ep∼D, {qi}K∼πθold(·|p) [(1/K) ∑(i=1→K) (1/Ti) ∑(t=1→Ti) exp(ψ(rit(θ)) - ζ(rit(θ)))Âit]，在保持训练稳定性的同时实现更好的性能。
MHPO的核心创新在于在梯度乘数层面进行操作，而不是修改优势信号或重要性比率本身。与现有方法在ratio层面进行clip或soft gating不同，MHPO通过LFM的平滑有界算子保持梯度保真度，通过DHP的有界比率算子范围对正负偏差进行不对称控制。梯度乘数M(r) = exp(ψ(r) - ζ(r))sech²(log r/c)具有严格的理论上界Mψ(c) = √(c²/(1+c²))exp(√(c²/(1+c²))) ≤ e^c，这确保了梯度估计器的二阶稳定性，防止自适应优化器的预条件器被异常梯度扭曲。这种设计原则性地解决了传统clip方法的梯度不连续性和梯度消失问题，同时提供危险感知的精细控制。
方法步骤详情
MHPO的训练过程包括以下步骤：首先，从数据集D采样prompt p，使用策略πθ为每个prompt生成K个响应{q1, ..., qK}。然后计算组归一化优势Âit = (R(i) - mean({R1, ..., RK}))/std({R1, ..., RK})。对于每个响应qi的每个token t，计算重要性比率rit(θ) = πθ(qit | p, qi<t)/πθold(qit | p, qi<t)。接着应用LFM计算ψt = c·tanh(log(rit(θ))/c)，将比率映射到有界对数空间。然后计算DHP惩罚ζt = (s(sg(ψt))/λ+)^{k+} + (s(-sg(ψt))/λ-)^{k-}，其中s(·)是标准softplus函数，sg表示stop-gradient操作确保ζ(·)仅作为危险感知调制器而不扭曲梯度方向。最终损失L = -(1/K)∑(i=1→K)∑(t=1→Ti)exp(ψt - ζt)·Âit，通过梯度下降更新参数θ。
技术新颖性
MHPO的技术新颖性体现在三个方面：首先，LFM采用对数空间的缩放tanh变换，将无界比率映射到对称可微分流形，在保持标准策略梯度特性的同时平滑衰减异常影响，确保C∞正则性避免自适应优化器的momentum缓冲被梯度不连续性破坏。其次，DHP创造性地将生存分析和可靠性理论中的累计危险函数引入策略优化，使用Weibull分布实现精细的危险感知惩罚，允许对正负策略变化进行不对称调节。第三，理论分析证明了梯度乘数M(r)的严格上界和mini-batch梯度估计器的二阶稳定性E[∥g(θ)∥²] ≤ σ_A²G²e^{2c}，这是首个为比率控制方法提供的理论稳定性保证，填补了该领域的理论空白。
![Analysis of the Decoupled Hazard Penalty (DHP). (a) The penalty ζ(ψ) with different (λ, k) configurations. (b) The corresponding survival weight w = exp(-ζ) ∈ (0, 1].](/papers/2603.16929/images/figure_3..jpg)
实验结果
MHPO在多个架构范式和推理任务上实现了最先进的性能。在指令调优模型方面，MHPO在通用Qwen2.5-7B-Instruct上达到宏观平均43.7%，超过最强基线DAPO 3.5个百分点；在领域专用的Qwen2.5-Math-7B-Instruct上达到47.8%，超过DAPO 4.2个百分点，在最具挑战性的竞赛级基准HMMT25上达到17.9%对比DAPO的11.5%（+6.4个百分点），在AIME25上达到21.6%对比15.0%（+6.6个百分点）。在视觉语言推理任务上，MHPO在Qwen2.5-VL-7B-Instruct上实现宏观平均53.0%，超过零样本基线5.5个百分点，超过DAPO 0.7个百分点，在MathVision上达到30.5%对比基线25.2%（+5.3个百分点）。更令人印象深刻的是，在无指令调优的基础模型Qwen3-4B-Base上，MHPO达到宏观平均52.9%，超过领先基线GSPO 5.7个百分点，在AIME25上从34.0%提升到41.4%（+7.4个百分点）。训练稳定性分析显示，MHPO在梯度范数轨迹上保持严格有界和稳定，避免了基线方法的频繁高方差梯度尖峰，从最优检查点到最终检查点的性能退化仅为0.8个百分点，而DAPO退化达12.2个百分点，GRPO、GSPO、SAPO退化范围在7.7-8.2个百分点。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MATH500 (Qwen2.5-7B-Instruct) | Avg@32 (%) | 82.1 | 81.2 (DAPO) | +0.9 |
| HMMT25 (Qwen2.5-7B-Instruct) | Avg@32 (%) | 13.8 | 9.1 (DAPO) | +4.7 |
| AMC23 (Qwen2.5-7B-Instruct) | Avg@32 (%) | 74.6 | 71.3 (DAPO) | +3.3 |
| AIME25 (Qwen2.5-7B-Instruct) | Avg@32 (%) | 16.7 | 11.4 (DAPO) | +5.3 |
| AIME24 (Qwen2.5-7B-Instruct) | Avg@32 (%) | 31.5 | 28.0 (DAPO) | +3.5 |
| MATH500 (Qwen2.5-Math-7B-Instruct) | Avg@32 (%) | 85.2 | 84.4 (DAPO) | +0.8 |
| HMMT25 (Qwen2.5-Math-7B-Instruct) | Avg@32 (%) | 17.9 | 11.5 (DAPO) | +6.4 |
| AIME25 (Qwen2.5-Math-7B-Instruct) | Avg@32 (%) | 21.6 | 15.0 (DAPO) | +6.6 |
| MathVista (Qwen2.5-VL-7B-Instruct) | Avg@32 (%) | 71.8 | 71.2 (DAPO) | +0.6 |
| MathVision (Qwen2.5-VL-7B-Instruct) | Avg@32 (%) | 30.5 | 29.1 (DAPO) | +1.4 |
| MathVerse (Qwen2.5-VL-7B-Instruct) | Avg@32 (%) | 56.7 | 56.5 (DAPO) | +0.2 |
| AIME25 (Qwen3-4B-Base) | Avg@32 (%) | 41.4 | 34.0 (GSPO) | +7.4 |
| AIME24 (Qwen3-4B-Base) | Avg@32 (%) | 44.7 | 39.7 (GSPO) | +5.0 |
局限与改进
作者在讨论中提到，尽管MHPO在多个基准上展现了优越性能，但其超参数配置（c=1.5, k+=1.5, λ+=1.0, k-=2.0, λ-=0.8）可能需要针对不同模型架构和任务特性进行调优。消融研究表明，bound参数c控制不饱和区域宽度，过小如c=0.5导致比率算子范围ω(r) ∈ [0.61, 1.65]，因过度梯度饱和而表现不佳；过大如c=2.0虽然比率算子范围ω(r) ∈ [0.14, 7.39]更广，但性能在c≥1.5后趋于平缓。Weibull形状参数k和尺度参数λ的权衡也很关键：k=3.0性能最佳但可能过于激进，λ=0.8性能最优但可能过早触发衰减抑制有益探索。此外，本文主要聚焦数学推理任务，在更广泛的自然语言生成、对话系统、代码生成等任务上的泛化能力尚需进一步验证。计算开销方面，虽然LFM和DHP都是轻量级操作，但在极大规模模型训练中的实际效率提升仍需在实践中评估。
独立分析的弱点
MHPO的一个潜在弱点是超参数敏感性，特别是bound参数c、Weibull形状参数k和尺度参数λ需要针对不同模型任务组合进行精细调优。在实际应用中，这可能需要额外的超参数搜索成本，对于资源受限的研究团队构成挑战。另一个观察到的弱点是，DHP的不对称设计虽然理论上更合理，但在某些特定任务上可能不如对称配置最优，如表3(b)显示对称k=3.0达到53.4%而默认不对称配置为53.0%，这表明不对称设计牺牲了部分单任务最优性以换取更广泛的跨任务稳定性。此外，本文的理论分析主要关注梯度乘数的有界性和二阶稳定性，但对于长期训练中的分布漂移、 catastrophic forgetting等更深层次的稳定性问题尚未提供充分的理论保证。改进方向可以包括：引入自适应超参数调整机制，根据训练过程中的梯度统计动态调整c、k、λ；探索更复杂的危险函数族，如混合Weibull分布或多尺度危险函数；在理论层面扩展到训练动态的全局稳定性分析。
未来方向
作者提出可以将MHPO框架扩展到更广泛的模型架构和任务类型，包括更大参数量的模型（如70B+）、多模态任务（图像-文本-音频）、代码生成等。另一个有前景的方向是将危险感知机制与其他GRPO管道组件改进相结合，如以rollout为中心的方法提升样本质量或多样性、以reward为中心的方法优化可验证奖励、以advantage为中心的方法重新设计归一化。基于本文成果的可延伸研究方向包括：探索将DHP的危险感知机制应用于其他RL算法（如TRPO、ACKTR）以提升它们的训练稳定性；研究在在线学习场景中动态调整危险参数以适应不断变化的数据分布；将MHPO与 curriculum learning 结合，在不同训练阶段采用不同强度的危险控制；在更长的训练序列（如10k+ tokens）中验证MHPO的稳定性优势；研究MHPO对模型校准度、不确定性估计等元认知能力的影响。
复现评估
论文提供了详细的实验设置和实现细节，但未明确说明代码是否开源。实验使用Qwen系列模型（Qwen2.5-7B-Instruct、Qwen2.5-Math-7B-Instruct、Qwen2.5-VL-7B-Instruct、Qwen3-4B-Base），这些模型都是公开可用的。数据集包括DAPO-Math-17k-Processed用于训练，以及AIME 2024/2025、AMC 2023、HMMT25、MATH-500用于数学推理评估，Geometry3K用于视觉语言训练，MathVision、MathVista、MathVerse用于多模态评估，这些基准都是公开的。实现细节中明确了超参数配置（c=1.5, k+=1.5, λ+=1.0, k-=2.0, λ-=0.8）、最大响应长度（Qwen2.5变体为2048 tokens，Qwen3-4B为4096 tokens）和采样策略（推理时n=32响应，报告Avg@32）。然而，论文未提供具体的训练时间、硬件配置（如GPU型号和数量）、训练步数等关键复现信息，这些信息对于精确复现实验结果至关重要。综合评估，复现难度中等，有经验的团队可以在有足够算力资源（预计需要多块高端GPU）的情况下复现主要结果，但缺少开源代码会增加复现成本。
论文图表