低秩优化轨迹建模加速大语言模型的可验证奖励强化学习 Low-rank Optimization Trajectories Modeling for LLM RLVR Acceleration
非线性外推低秩参数轨迹，37.5%算力削减下仍提升RLVR性能
前置知识
RLVR（可验证奖励的强化学习）
RLVR 用可自动验证真伪的任务（如数学题答案匹配）作奖励信号，无需人类偏好标注。本文采用 GRPO：采样 G 个响应后组内归一化估计优势 $\hat{A}_{i,t}$，目标为带裁剪的重要性采样损失加 KL 惩罚。
RLVR 高昂的算力是 NExt 要解决的核心痛点；理解 GRPO 损失才能看懂外推后继续 RLVR 训练的衔接逻辑。
LoRA（低秩适配）
LoRA 冻结原权重，仅训练低秩矩阵 $B, A$（秩 $r \ll n$），更新为 $\Delta W = BA$。本文取 $r=64$，学习率 $5 \times 10^{-6}$，并合并 $W = W_0 + BA$ 回原矩阵。
NExt 关键经验发现是 LoRA 微调能放大 rank-1 子空间主导性，是选 LoRA 而非全参数微调的根本原因。
SVD 与 Rank-1 子空间
奇异值分解把 $W = \sum_{i=1}^{r}\sigma_i u_i v_i^\top$，$\sigma_1$ 最大。Rank-1 子空间 $W_1 = \sigma_1 u_1 v_1^\top$ 用三个量表示（复杂度 $O(n+m)$ 而非 $O(nm)$），反映矩阵主能量方向。
整篇 NExt 都建立在「参数更新可被 rank-1 近似」的前提上，所有训练数据、外推都针对 $(\sigma, u, v)$ 三元组进行。
模型参数外推
参数外推利用不同训练阶段参数关联，跳过中间训练直接预测目标。区分三种 delta：global、local、target，通过 $W = W + \alpha \cdot \Delta\hat{W}$（$\alpha=1.5$）写回原参数。
这是 NExt 加速 RLVR 的直接手段——训练 150 步保存 15 个 checkpoint 后外推，跳过 100 步额外 RLVR。
研究动机
RLVR 已成为提升大语言模型推理能力的核心训练范式，但代价是高昂的算力开销：模型需要对每个 prompt 采样多个响应（论文设定 G=8），用验证器判定答案正确性后通过策略梯度更新参数。GRPO 这类算法动辄需要 250-400 步训练，3B 模型在 4×A800 服务器上仅单次实验就要 12-18.7 小时，且随着模型规模与推理复杂度增长，成本几乎线性膨胀。已有的加速路径（数据筛选、采样复用、奖励设计）大多把 LLM 优化当作黑箱，专注于改进采样效率或奖励工程，对 RLVR 反复探索-更新的本质低效束手无策，只能带来边际改进。近期出现一类「参数外推」方法（如 AlphaRL、RL-Extra）尝试在 rank-1 子空间内做线性外推以跳过训练步数，但这些方法隐含「rank-1 方向足以刻画整次 RLVR 引起的参数变化」这一未经检验的强假设，参数更新的真实动力学仍未被充分研究。
本文的目标是本文的具体目标有三：第一，通过实证研究系统刻画 RLVR 训练中 LLM 参数（特别是 rank-1 子空间）的演化规律；第二，基于实证发现提出一种新的参数外推框架 NExt（Nonlinear Extrapolation of low-rank Trajectories），用非线性预测器替代现有线性外推，把 RLVR 训练成本削减约 37.5% 而不损失模型性能；第三，验证 NExt 在不同模型规模（1.5B/3B/7B/14B）、不同 RLVR 算法（GRPO/RLOO/REINFORCE++）、不同任务（数学/MMLU-Pro/GPQA）下的鲁棒性与通用性。
与已有工作不同的是，本文抓住了两个被前序工作忽视的实证发现：其一，LoRA 微调能让 rank-1 子空间的主导性（energy ratio）显著放大——Qwen 和 LLaMA 在 LoRA 训练下能量比持续增长，而全参数微调下增长有限甚至回落，这给「为什么 LoRA 训练有利于外推」提供了量化证据；其二，超过 50% 的参数更新 $R^2$ 小于 0（甚至低于 -0.5），说明 rank-1 子空间的演化在多数参数上根本不满足线性变换，但 AlphaRL、RL-Extra 仍用线性外推，必然在后段训练时偏离最优方向。这两个观察同时挑战了「rank-1 方向足够」与「rank-1 演化线性」两大隐含假设，构成本文「非线性外推」方法论的实证根基，也正是其与现有工作的本质分水岭。
核心方法
NExt 的核心直觉很直观：与其跑完 RLVR 全部训练步，不如观察前 150 步的「轨迹」并学会预测接下去参数该往哪走。分两阶段——第一阶段「轨迹提取」：用 LoRA 做 RLVR 训练，每 10 步保存一次 checkpoint 共 15 个；对每个状态计算相对初始权重的「global delta」$W_i - W_0$、相对前一个 checkpoint 的「local delta」$W_i - W_{i-1}$，以及相对未来第 5 个 checkpoint 的「target delta」$W_{i+5} - W_i$；对三类 delta 做 SVD 只保留 $(\sigma, u, v)$ 三元组。第二阶段「轨迹外推」：用三元组构造训练集，喂给 MLP encoder-decoder 预测器学会从 global+local 预测 target；最后用 $W = W + \alpha \cdot \Delta\hat{W}$（$\alpha=1.5$）写回原参数。整个过程只新增小型 MLP 训练和 SVD 计算，就跳过 100 步 RLVR。
NExt 与已有参数外推方法（AlphaRL、RL-Extra）的本质区别在于「用非线性预测器替代线性外推假设」。前人默认 rank-1 子空间沿一条直线演化，所以用最小二乘或简单的线性组合就能预测；本文则先用大量实验证据（$R^2$ 大面积小于 0）证明这条假设不成立，再用一个轻量级的 MLP encoder-decoder 显式学习 $(\sigma, u, v)$ 的演化规律。同时还引入了「global delta + local delta」双粒度输入设计：global delta 编码了「参数距离起点还有多远」的整体趋势，local delta 编码了「最近一步走了哪个方向」的局部动量，二者拼接后送入编码器再解码出 target delta，让预测器同时具备长期和短期视野。这种「显式非线性建模 + 多粒度信息融合」是它能稳定超过 400 步 vanilla RLVR 的关键。
方法步骤详情
NExt 流程 8 步：（1）LoRA RLVR：插 $r=64$ LoRA，GRPO 训 150 步每 10 步存 checkpoint 共 15 状态。（2）算 delta：global $W_i - W_0$、local $W_i - W_{i-1}$、target $W_{i+k} - W_i$，$k=5$。（3）Rank-1：SVD 留 $(\sigma_1, u_1, v_1)$。（4）训预测器：MLP encoder 编码 $s_G, s_L$ 拼接，decoder 输出 $\hat{s}_T$；L1 损失 $\mathcal{L}_P = \sum|\pi_{\theta_P}(s^G, s^L) - s^T|$。（5）归一化 $\hat{s}_T = \pi_{\theta_P}/|\pi_{\theta_P}|$。（6）向量化 batch 加速。（7）Predict-Extend：$\Delta\hat{W} = \hat{\sigma}\hat{u}\hat{v}^\top$，$W = W + 1.5\Delta\hat{W}$。（8）再训 100 步 RLVR。
技术新颖性
本文的技术新颖性体现在三个维度的协同创新：第一，从「线性外推」到「非线性预测」的范式跃迁。AlphaRL、RL-Extra 等前序工作固守线性假设（其经验有效但未审视其根源），本文用 $\geq 50\%$ 参数 $R^2 < 0$ 的实证证据推翻该假设，转而用 MLP 显式建模轨迹，是认知上的突破。第二，LoRA + rank-1 的协同设计。本文不只把 LoRA 当作训练加速手段，而是发现了 LoRA 训练会让 rank-1 子空间能量比从初始水平持续上升（Qwen/LLaMA 实测均如此），从而主动利用这一性质来提升外推质量，这种「为某种现象而设计方法」的逻辑链在已有工作中不存在。第三，global+local 双粒度输入。仅用 local delta 会丢失长期趋势，仅用 global delta 会忽略近端动量，二者拼接后才能稳定地预测 5 步之后的演化；ablation 表明去掉任一项都会让平均准确率下降 1.5-3 个百分点（详见 Table 5），是文章方法论上的独立贡献。
实验结果
实验在 4 个 Qwen2.5（1.5B/3B/7B/14B）和 5 个数学任务及 MMLU-Pro/GPQA 上展开，4×A800、batch 128、采样 8 响应。核心发现：（1）主结果：250 步下 NExt 在 7B 上 24.2% 超 GRPO 400 步的 24.0%；14B 上 28.3% 超 27.7%；1.5B/3B 上 21.6%/31.0% 领先所有 baseline。（2）效率：3B 从 18.7 h 降到 11.7 h，1.5B 从 12 h 降到 7.4 h，省 37.5%。（3）ICER：1.5B 上 25.8（GRPO 43.5），3B 上 33.3（GRPO 55.6）。（4）通用性：RLOO/REINFORCE++ 嫁接后 1.5B 从 13.7%/12.7% 升至 17.5%/15.8%；MMLU-Pro 14B 上 250 步 62.5% 与 400 步 GRPO 持平；GPQA GPU 时长仅 GRPO 一半。（5）$\alpha \in [0.5, 2.5]$ 性能稳定。（6）消融：去 LoRA 或 delta 准确率降 1-3 个百分点。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学推理平均（AIME24/25+AMC23+Minerva+OlymMATH，Qwen2.5-14B-Instruct） | Avg. Accuracy (%) | 28.3%（NExt, 250 步） | 27.7%（GRPO w/ FP, 400 步） | +0.6 绝对值，步数削减 37.5% |
| 数学推理平均（Qwen2.5-7B-Instruct） | Avg. Accuracy (%) | 24.2%（NExt, 250 步） | 24.0%（GRPO w/ FP, 400 步） | +0.2 绝对值，超过 400 步 vanilla |
| 数学推理平均（Qwen2.5-3B-Instruct） | Avg. Accuracy (%) | 31.0%（NExt, 250 步） | 30.7%（GRPO w/ FP, 400 步） | +0.3 绝对值，ICER 从 55.6 降到 33.3 |
| 数学推理平均（Qwen2.5-1.5B-Instruct） | Avg. Accuracy (%) | 21.6%（NExt, 250 步） | 21.1%（GRPO w/ FP, 400 步） | +0.5 绝对值，ICER 从 43.5 降到 25.8 |
| 训练时间（Qwen2.5-3B, 4×A800） | Hours | 11.7 h | 18.7 h（GRPO） | -37.5% 算力 |
| MMLU-Pro 平均（Qwen2.5-14B-Instruct） | Avg. Accuracy (%) | 62.5%（NExt, 250 步） | 62.6%（GRPO, 400 步） | 持平，步数削减 37.5% |
| RLOO 加速（Qwen2.5-1.5B-Instruct 数学平均） | Avg. Accuracy (%) | 17.5%（NExt 加速 RLOO, 250 步） | 13.7%（RLOO, 250 步） | +3.8 绝对值 |
| REINFORCE++ 加速（Qwen2.5-1.5B-Instruct 数学平均） | Avg. Accuracy (%) | 15.8%（NExt 加速 REINFORCE++, 250 步） | 12.7%（REINFORCE++, 250 步） | +3.1 绝对值 |
局限与改进
作者坦诚的限制：其一，实验仅在 Qwen2.5 系列 1.5B-14B 上验证，未在 32B/70B 或 LLaMA/Mistral 架构上验证；图 3 显示 LLaMA 上 $R^2$ 更差，意味着非线性外推可能需要更复杂的预测器。其二，NExt 要求至少 150 步 warm-up 和 15 个 checkpoint，对极短训练预算（<50 步）可能失效，最少 checkpoint 数量阈值未探索。其三，外推后仍需 100 步 RLVR 才能达最佳，并非「完全跳过训练」；端到端一步到位的可行性未验证。其四，跨域实验（GPQA/MMLU-Pro）实际是「数学 RLVR 训练后跨域评估」，方法在代码生成、对话等非数学任务上的可行性未验证。从独立观察看：predictor 仅在目标模型自身数据上训练，跨架构/跨规模泛化能力存疑；SVD 对超大规模模型（70B）会带来显著显存压力；LoRA rank 64 是否最优也未消融。
独立分析的弱点
独立分析下，NExt 有四个可改进的弱点。第一，150 步 warm-up 对追求最少步数的用户是负担，可探索更少 checkpoint 配合更深预测器（如 Transformer 而非 MLP）来降低依赖。第二，预测器仅在目标模型自身数据上训练，没有利用同系列其他模型的共性结构；可预训练一个「模型族级」预测器再轻量微调。第三，当前 SVD 是逐层独立分解，没有考虑 Transformer 中 Q/K/V 投影的协同演化，可引入层间低秩联合分解（如 Tucker 分解）。第四，$k=5$ 和 $\alpha=1.5$ 是经验值，Figure 6 显示 $\alpha>2.5$ 后性能崩溃；可设计自适应 $\alpha$（如基于预测器置信度动态调整），或让预测器直接输出 $\Delta W$ 而无需外推系数。第五，实验只在 17k 数学题上做 RLVR 训练，跨域泛化实验只是「训练后评估」而非「跨域训练后外推」。
未来方向
作者在结论中明确提到未来将进一步研究 RLVR 过程中内部参数更新的模式，目的是让参数外推能进一步降低算力消耗并支持 test-time scaling。基于本文成果，可以延伸的研究方向包括：（1）将 NExt 框架扩展到 SFT 或对齐阶段（如 DPO/PPO），构建跨训练阶段的统一外推方法；（2）把 rank-1 子空间近似推广到 rank-k（k>1），在「可解释性」与「表达能力」之间寻找更优平衡点；（3）把预测器替换为时序模型（如 LSTM、TCN 或小型 Transformer），让它能建模更长程的演化并减少对 warm-up checkpoint 数量的依赖；（4）研究如何在 RLVR 训练前就预估「何时外推最合适」，例如监控 rank-1 能量比的增长率作为触发器；（5）结合 test-time scaling 趋势，把外推与 best-of-N 采样、self-consistency 等推理时增强方法结合，研究「训练时外推 + 推理时扩展」的协同效应；（6）探索在更大规模（32B/70B）模型上 NExt 的可行性，重点解决 SVD 显存开销问题。
复现评估
可复现性较好：作者承诺开源到 https://github.com/RUCAIBox/NExt；Table 2 公开了全部超参（batch 128、LoRA rank 64、$\alpha=1.5$、$k=5$、warm-up 150 步、checkpoint 间隔 10 步）；数据集来自 DAPO（17k 数学题）和公开 benchmark（AIME24/25、AMC23、Minerva、OlymMATH、MMLU-Pro、GPQA Diamond）；评估采用 8 次重复取平均，统计稳定性较好。算力门槛友好：4×A800 在 12-19 小时内可完成单次实验。复现难度「中等」：主要工作量在 LoRA 集成、SVD 流水线、MLP 预测器训练与 predict-extend 外推代码的严格实现；超参 $\alpha$ 和 $k$ 对结果有影响（$\alpha>2.5$ 性能波动），需仔细调节。论文中部分细节（SVD 用随机 SVD 还是 full SVD、MLP 层数/激活函数）未在正文明说，需查代码或附录确认。
论文图表
左侧展示 vanilla RLVR：从 backbone $W_0$ 经过多次 checkpoint 逐步迭代，消耗大量算力；右侧展示参数外推范式：从 $W_0$ 经过若干 checkpoint 后，提取 rank-1 子空间 $\{\Delta W^G_\omega\}$ 训练预测器 $\pi_P$，再由预测器直接外推到 $W_0 + \hat{\Delta W}$，跳过大量中间步骤。
这是论文的核心 motivation 图，读者必须理解「外推」是把传统 RLVR 的逐步迭代压缩为「观察 + 预测」的过程才能看懂后续方法设计。
横轴是 RLVR 训练步数，纵轴是 rank-1 子空间的能量比 $E_1 = \sigma_1 / \sum_{i=1}^{r} \sigma_i$。图中比较 Full FT（实线）与 LoRA（虚线）在 Qwen 和 LLaMA 模型上的表现：LoRA 训练下能量比从初始值持续上升至 0.5 左右，Full FT 上升幅度有限。
这是 NExt 选择 LoRA 而非全参数微调的实证基础——LoRA 训练能让 rank-1 子空间主导性更强，从而为后续外推提供更高质量的低秩表达。
横轴是 $R^2$ 值区间，纵轴是参数比例。柱状图显示四个模型（不同规模）中，前 10 个 checkpoint 训练出的线性回归模型在预测后 5 个 checkpoint 时的 $R^2$ 分布：超过 50% 的参数 $R^2 < 0$，部分参数 $R^2 < -0.5$。
这是 NExt 用非线性预测器替代线性外推的直接证据——大量参数更新根本不满足线性假设，强行用线性方法会显著偏离真实演化方向。