超越欧几里得裁剪：用黎曼等距策略优化克服LLM强化学习的探索坍缩

从黎曼几何修正PPO裁剪，等距更新RIPO显著缓解探索坍缩。

前置知识

PPO-Clip（近端策略优化裁剪）

PPO为避免TRPO二阶优化的高开销，用一阶裁剪代理目标替代信任域约束：将重要性比率 $r(\theta)=\pi_\theta(a|s)/\pi_{\theta_{old}}(a|s)$ 限制在 $[1-\epsilon, 1+\epsilon]$（默认 $\epsilon=0.2$）内。本文要解剖的核心对象，现代LLM RL（GRPO/DAPO等）几乎都沿用此机制。

本文的全部批判都针对PPO-Clip隐含的欧氏度量假设，理解裁剪如何起作用是读懂几何失配诊断的前提。

TRPO与KL信任域

信任域策略优化（TRPO）在KL散度约束 $E[D_{KL}(\pi_{\theta_{old}}\|\pi_\theta)]\le\delta$ 下最大化代理目标，理论上保证单调改进。KL散度的二阶泰勒展开 $D_{KL}\approx \tfrac12 \Delta\theta^\top F \Delta\theta$（$F$为Fisher信息矩阵）赋予了策略空间一个黎曼流形结构，这正是本文推导几何距离的出发点。

RIPO的动态裁剪阈值正是从KL信任域的几何形式反解得到的，TRPO的信任域思想是理解RIPO公式来源的根基。

GRPO（分组相对策略优化）

GRPO保留PPO-Clip但去掉价值模型，对同一query采样一组 $G$ 个回复，用组内归一化优势 $\hat{A}_{i,t}=(R_i-\text{mean})/\text{std}$ 估计优势。DeepSeek-R1等使LLM获得推理能力的主流方法，本文RIPO的目标函数即建立在GRPO框架之上。

RIPO直接替换GRPO里的固定裁剪为黎曼等距裁剪，并把GRPO作为首要基线对比，提升幅度均以相对GRPO计算。

重要性采样与偏差-方差权衡

离策略算法用行为策略 $\pi_{\theta_{old}}$ 的样本估计目标策略 $\pi_\theta$ 的期望，需乘重要性比率 $r(x)=\pi_\theta(x)/\pi_{\theta_{old}}(x)$。该估计无偏但方差被二阶项 $E[\pi_{\theta_{old}}(x)r(x)^2A(x)^2]$ 主导，在 $\pi_{\theta_{old}}(x)$ 很小的长尾区会爆炸。

本文的关键贡献之一是证明黎曼等距裁剪带来统计同方差性，把每个样本的方差贡献压到与密度无关的 $O(\delta)$ 常数阶，这是RIPO稳定优化的统计学根基。

探索坍缩

指策略在训练中迅速集中到少数高概率动作上，稀有但有价值的动作得不到更新，行为多样性急剧下降。在长视野推理（如AIME数学竞赛）中尤为致命，因为状态-动作空间极大、必须充分探索才能找到可行解。

这是本文要解决的核心病症，作者将PPO-Clip在低/高概率区更新不对称直接归因为探索坍缩的根因。

研究动机

PPO-Clip是现代LLM RL（GRPO、DAPO等）普遍采用的裁剪机制，但它会引发探索坍缩：策略迅速集中到少数高概率动作上，稀有但关键的动作被系统性压制。论文给出一个触目惊心的算例：在默认 $\epsilon=0.2$ 下，高概率动作 $\pi_{\theta_{old}}=0.8$ 可被提升到 $0.96$（增益 $0.16$），而低概率动作 $\pi_{\theta_{old}}=0.01$ 最多只能升到 $0.012$（增益仅 $0.002$，可忽略）。在状态-动作空间极其庞大的长视野推理任务中，这种不对称几乎是毁灭性的。后续启发式改进也治标不治本：DAPO把上界从 $0.2$ 抬到 $0.28$，低概率动作的更新上限只从 $0.012$ 提到 $0.0128$（仅多 $0.0008$，仍可忽略），却同时让高概率动作可涨到 $1.0$，进一步压缩行为多样性。DCPO、GSPO、GMPO等同样停留在症状层面，均未触及PPO-Clip失效的根因。

本文的目标是本文的目标是先从理论上揪出PPO-Clip探索坍缩的根本原因，再设计一个有理论保证的RL算法从根本上解决它，而非再做启发式补丁。具体而言，作者希望裁剪机制能按策略流形的内禀几何来分配信任域预算——让每个状态-动作的更新在黎曼流形上移动相同的几何距离，从而平衡探索与利用。此外，作者还期望并证明这种几何等距会带来统计同方差性（homoscedasticity），给出有原则的偏差-方差权衡，使优化更稳定。最终目标是用广泛实验验证该算法在不同模型规模、不同任务域（数学/代码/检索）和不同优化框架（GRPO与PPO）上的一致有效性。

与已有工作不同的是，本文的独特切入角度是几何/解析而非调参。此前工作（DAPO、DCPO、GSPO、GMPO、GPPO、Clip-Cov）都把裁剪当作待调超参或待缓解的症状，而本文把失效回溯到单一根因：PPO-Clip隐式地在重要性比率上用欧氏度量 $|r(\theta)-1|<\epsilon$，把相同的比率偏差当成相同的策略变化，但这与KL散度诱导的策略黎曼流形几何不相容。通过对KL散度做二阶泰勒展开并映射到概率单纯形，作者证明真实几何距离正比于 $\pi_{\theta_{old}}\cdot(r(\theta)-1)^2$，在单纯形上是非均匀的。这一条洞察直接导出闭式的、依赖分布的裁剪阈值 $\sqrt{\delta/\pi_{\theta_{old}}}$，这是以往任何方法都不具备的，且同时解释了探索坍缩和梯度不稳定两个现象。

核心方法

直觉上，PPO-Clip把重要性比率 $r(\theta)=\pi_\theta/\pi_{\theta_{old}}$ 钳制在 $[1-\epsilon,1+\epsilon]$，隐含假设相同比率偏差处处对应相同策略变化。但策略真正“距离”是KL散度，其二阶泰勒展开为 $D_{KL}\approx \tfrac12\sum_a \pi_{\theta_{old}}(a|s)(r_{s,a}(\theta)-1)^2$（式7）。真实距离被 $\pi_{\theta_{old}}$ 加权：低概率区相同比率偏差几乎不移动、浪费信任域预算，高概率区却移动很大。技术路线是 RIPO = 黎曼等距裁剪(RIC) + GRPO组相对优势 + DAPO token级损失，把固定 $\epsilon$ 换成逐token动态阈值 $\sqrt{\delta/\pi_{\theta_{old}}}$，让稀有token获更大更新、占优token获更小更新。默认 $\delta=0.05$、双裁剪 $[0.5,10]$，在DAPO-Math-17k上训练300步、8×A100。

核心创新是黎曼等距裁剪(RIC)：把KL几何信任域约束 $\tfrac{1}{2\pi_{\theta_{old}}(a|s)}(r_{s,a}(\theta)-1)^2\le\delta$（式9）反解，得逐token动态阈值 $\epsilon_{s,a}=\sqrt{\delta/\pi_{\theta_{old}}(a|s)}$（式11）。这与以往方法本质不同：DAPO用固定解耦边界，DCPO启发式自适应，GSPO/GMPO在序列级/几何均值比率上裁剪，GPPO保留被裁token梯度，Clip-Cov裁高协方差token——无一从策略流形几何推导阈值。第二个关键思想是几何等距与统计同方差的深刻对偶：因RIC把方差贡献 $v(x')=\pi_{\theta_{old}}(x')(1+\sqrt{\delta/\pi_{\theta_{old}}})^2\approx O(\delta)$ 压成与密度无关的常数阶，每个样本对信任域二阶贡献相等，方差严格小于未裁剪重要性采样，偏差又远小于PPO-Clip。

方法步骤详情

第一步推导几何：对TRPO的KL信任域做二阶泰勒展开并映射到概率单纯形，得 $D_{KL}\approx\tfrac12\sum_a\pi_{\theta_{old}}(a|s)(r-1)^2$（式7），几何距离被 $\pi_{\theta_{old}}$ 加权（式8）。第二步定义等距约束：要求每次更新满足 $\tfrac{1}{2\pi_{\theta_{old}}}(r-1)^2\le\delta$（式9），即等距更新。第三步反解阈值：得动态裁剪范围（式10），写成逐token阈值 $\epsilon_{s,a}=\sqrt{\delta/\pi_{\theta_{old}}}$（式11），系数2吸收进 $\delta$。第四步组装目标：把RIC代入GRPO目标（式15），配组归一化优势、token均值损失、双裁剪 $[0.5,10]$，去掉KL惩罚。第五步训练：在DAPO-Math-17k上每题8 rollout、最大16384 token、批128、更新8次、AdamW lr $1\times10^{-6}$、300步、8×A100、默认 $\delta=0.05$。

技术新颖性

新颖性有二。理论上，这是首个把PPO-Clip的探索坍缩精确归因到单一根因——欧氏度量与策略黎曼流形的几何失配——并从第一性原理（KL泰勒展开）导出闭式、依赖分布的裁剪阈值的工作；所有既有裁剪变体（DAPO、DCPO、GSPO、GMPO、GPPO、Clip-Cov）都是启发式超参或比率层面的调整，缺乏理论支撑。实践上，RIPO首次把几何等距与统计同方差联系起来，给出有原则而非经验性的偏差-方差权衡。阈值 $\sqrt{\delta/\pi_{\theta_{old}}}$ 是一个极简、逐token、训练时几乎零额外开销的修改，可直接插入现有GRPO/PPO流水线，且能跨框架（GRPO→PPO）和跨域（数学→代码→检索）泛化，暗示它所修正的缺陷是裁剪式RL的内在通病。

实验结果

在四模型、七竞赛级数学基准上RIPO平均分始终第一。Qwen3-1.7B平均15.4(+37.2%)，AIME24达18.3对GRPO的11.3(+61.9%，即“up to 60%”标题来源)；Llama3.2-3B平均8.6(+34.4%)，AIME24为22.1对16.3；Qwen3-4B平均30.1(+17.1%)，AIME24为32.9对30.4；Qwen3-8B平均38.5(+35.1%)，AIME24为43.8对31.7，几乎每基准都击败DAPO/GSPO/GMPO/DCPO，越难基准增益越显著(BRUMO25达47.5)。Fig.1显示RIPO仅40步即超GRPO训练200步水平(约5倍token效率)，熵先降后稳，梯度无尖峰。消融(Table 2)显示 $\delta\in[0.02,0.08]$ 稳定(40.8–43.8)，非对称则崩溃(28.8,27.5)。RIC还迁移到PPO(Table 4：+1.2到+3.1)及代码/检索(Table 6：+13.2%/+15.1%)；Pass@k在AIME25增至60.0，基座约k=16即饱和。

**Table 1**: Comparison of different RL algorithms (evaluated by Avg@8) across various mathematical-reasoning benchmarks.

**Table 2**: Ablation study of different δ for RIPO on AIME24.

**Table 3**: Comparison of RL algorithms with different clipping motivations on Qwen3-8B-Base.

**Table 4**: Comparison of different clipping mechanisms on PPO objective (evaluated on GSM8k dataset by Avg@1).

**Table 5**: Pass@k performance comparison of different methods based on Qwen3-8B-Base evaluated on AIME-25 and HMMT-25

**Table 6**: Comparison of different RL algorithms (evaluated by Avg@8) on various coding and search tasks

**Figure 1**: Training dynamics of Qwen3-8B-Base with various RL algorithms trained on DAPO-Math-17k.

**Figure 3**: Training dynamics of Qwen2.5-1.5B-Instruct with different clipping mechanisms on GSM8k.

查看结构化数据

任务	指标	本文	基线	提升
七大数学竞赛基准平均分（Qwen3-8B-Base）	Avg@8	RIPO 38.5	GRPO 28.5	+35.1%，且全面超过DAPO(30.6)/GSPO(32.1)/GMPO(35.3)/DCPO(34.5)
AIME24（Qwen3-1.7B-Base）	Avg@8	RIPO 18.3	GRPO 11.3	+61.9%，即论文标题“up to 60%”的来源
GSM8k（PPO目标，14B Qwen2.5-Instruct）	Avg@1	RIPO-Clip 94.4	PPO-Clip 93.2	+1.2，证明RIC可脱离GRPO框架迁移到PPO
代码任务平均（Qwen3-8B-Base，Codeforces/CodeContest/TACO/APPS）	Avg@8	RIPO 44.9	GRPO 39.7	+13.2%
多跳检索任务平均（TriviaQA/PopQA/HotpotQA/WikiMultiHopQA）	Avg@8	RIPO 43.4	GRPO 37.7	+15.1%
Pass@128（Qwen3-8B-Base，AIME25）	Pass@128	RIPO 60.0	基座模型 16.7	突破基座模型k≈16即饱和的内在容量边界

局限与改进

作者承认非对称 $\delta$ 会导致训练崩溃（Table 2中0.05/0.02仅28.8），但仍有不足。其一，评测几乎全在可用0/1可验证奖励的数学推理上（最简单的RL设定），仅少量代码/检索扩展，开放式生成或人类偏好等不可验证奖励任务未测。其二，动态阈值 $\sqrt{\delta/\pi_{\theta_{old}}}$ 在 $\pi_{\theta_{old}}\to0$ 时发散（作者硬截断到10），其分析假设局部二次信任域，对超大更新可能失效，截断下鲁棒性未深入。其三，超参 $\delta$ 敏感性仅Qwen3-8B-Base上做了消融，跨模型规模不明。其四，方法引入逐token sqrt计算与 $\pi_{\theta_{old}}$ 依赖，使序列级裁剪框架集成更复杂。其五，未与真正的非裁剪信任域方法（TRPO、KL惩罚PPO）正面对比，而RIPO理论正建立在它们之上。从数据看，RIPO在最难基准绝对分仍有大空间（HMMT25约16.7、AIME25为29.2），且Llama3.2-3B平均+34.4%但绝对仅8.6，说明基座质量影响显著。

独立分析的弱点

其一，奖励范围窄：整套理论与主结果依赖可验证的0/1奖励；对RLHF/RLAIF或无标准答案的创意任务，方差/同方差分析需重新推导——改进方向是把RIC扩展到学习型奖励或过程奖励设定并实证验证偏差-方差结论。其二，数值稳定性：$\sqrt{\delta/\pi_{\theta_{old}}}$ 在 $\pi_{\theta_{old}}$ 近零时发散，迫使硬截断（10）；一个更平滑、有原则的正则（如在log概率空间裁剪）会更鲁棒。其三，非对称脆弱性：消融显示 $\delta_{low}\neq\delta_{high}$ 时灾难性崩溃，暗示信任域对错配很敏感，可用自适应或课程式 $\delta$ 缓解。其四，模型多样性有限：仅测Qwen3系列和一款Llama3.2，几何论证应对任意架构成立，但MoE或远大于8B的稠密模型未验证。其五，对比缺口：缺与KL约束方法（TRPO、ReMax式、KL惩罚PPO）的直接对比，无法判断RIC是否严格优于显式维护KL约束。

未来方向

作者明确/隐含的方向包括：扩展到更大模型与更长视野、把RIC用到更多策略框架（已示GRPO与PPO）、并向代码/检索推广（Table 6是开端）。基于成果可延伸的方向：把RIC用于过程奖励/密集奖励RL以及带参考模型KL的RLHF，因为那里的策略流形几何不同；设计对数空间变体 $\epsilon\propto\sqrt{\delta}\cdot|\log\pi_{\theta_{old}}|$ 以规避 $\pi_{\theta_{old}}\to0$ 的奇点；给出RIC下的收敛速率与样本复杂度理论（目前仅偏差-方差速写）；将RIC与长度归一化、探索奖励结合；推广到多目标/多轮智能体RL（策略流形更高维）；研究RIC是否缓解离策略修正中行为与目标策略的KL漂移。

复现评估

可复现性中等偏上。作者给出了较充分细节：DAPO-Math-17k（17917题）、每题8 rollout、16384 token上限、每轮1024 rollout、批128、更新8次、小批16、300步、AdamW lr $1\times10^{-6}$、8×A100、$\delta=0.05$、双裁剪边界 $[0.5,10]$，以及GSM8k上的PPO配方。所用七个基准与四个开放基座模型均公开。但未提及是否放出代码或检查点，把逐token $\sqrt{\delta/\pi_{\theta_{old}}}$ 接入VeRL并非平凡，且4个模型×300步×8×A100的算力对学术组负担较重。Pass@k与代码/检索配方（Eurus-Code、Search-R1）有描述但rollout数与超参较粗。对资源充足的小组，在Qwen3-8B-Base上复现GRPO对RIPO的AIME24核心结果可行，个人复现则困难。

超越欧几里得裁剪：用黎曼等距策略优化克服LLM强化学习的探索坍缩 Beyond Euclidean Clipping: Overcoming Exploration Collapse in LLM RL via Riemannian Isometric Policy Optimization