RISE：通过自外推策略蒸馏实现递归自我改进 RISE: Recursive Improvement via Self-Extrapolating Policy Distillation

以logit空间版（Algorithm 1）为例。第一步，初始化锚点 $\theta_{anchor} \leftarrow \theta_0$，每轮计算衰减调度 $\beta_n = 1 + (\beta_0-1)(1-n/N)$。第二步，RLVR阶段：从 $\pi_{\theta_n}$ 采样rollouts $D$，计算可验证奖励 $R(x_i,y_i)$，用GRPO策略梯度更新得到 $\theta'_{n+1}$。第三步，教师构造：在 $D$ 的每个位置取 $S=\mathrm{TopK}(\pi_{\theta'_{n+1}})$，把新旧策略投影到 $S\cup\{\text{tail}\}$ 的 $K+1$ 维单纯形并重归一化（$K=100$，代码任务20），缓存 $\log\pi_{future} = \log\pi_{\theta_{anchor}} + \beta_n(\log\pi_{\theta'_{n+1}} - \log\pi_{\theta_{anchor}})$，此步只需两次前向，之后OPD每个minibatch直接读缓存，无需teacher前向。第四步，OPD阶段：令 $\theta \leftarrow \theta'$，逐minibatch最小化 $\mathcal{L}_{RISE} = \mathbb{E}_y \sum_t \mathrm{JSD}(\pi_\theta(\cdot|s_t)\,\|\,\mathrm{sg}[\pi_{future}(\cdot|s_t)])$，教师全程stop-gradient。第五步，锚点更新 $\theta_{anchor} \leftarrow (1-\eta)\theta_{anchor} + \eta\,\theta_{n+1}$（$\eta=1$ 即上一checkpoint，Qwen默认0.1，OLMo默认1）。权重空间变体（Algorithm 2）显式物化 $\theta_{future}$，在每个OPD步做一次teacher前向，在学生top-K索引处评估教师。

技术新颖性体现在四个层面。（1）教师构造范式：统一在表示映射 $\varphi$ 下给出一个方法族，logit空间（几何混合）与权重空间（任务算术）是其两个实例，并首次系统刻画两者的计算与统计权衡——权重空间外推产生跨位置预测联合一致的连贯模型，代价是物化参数加每步一次teacher前向；logit空间是权重空间的一阶Taylor近似 $f(\theta_n)+\beta\Delta f$，无需参数操作且教师可在OPD开始前一次性固定。（2）理论工具：Remark 1给出几何混合蒸馏损失的精确KL trust-region分解，Proposition 3证明安全外推区间随策略逼近最优而收窄，直接推导出 $\beta$ 衰减调度的必要性，论文还用Fig. 6的checkpoint外推实验实证了这一收窄（step 50时 $\beta=2.0$ 仍+7.3分，step 100时同参数变为−15分）。（3）工程设计：top-K投影加尾桶重归一化避免全词表散度计算与 $O(V)$ 缓存；复用RLVR rollout实现零额外采样（消融显示重采样无收益）；用有界的JSD替代reverse KL保证数值稳定且最优解相同。（4）递归性：把OPD从静态压缩重新定义为随学生共同进化的循环过程，这是与所有已有OPD/RL联合训练工作的根本分野。

独立分析下来有五个值得注意的弱点。（1）$\beta$ 调度是手工设计的开环控制：Table 4显示linear/cosine/exp衰减都在62上下、fixed $\beta$ 略差，而 $\beta_0=2.0$ 发散——说明系统工作在稳定性边缘却没有任何反馈机制。改进方向：利用Fig. 6式的checkpoint探针，每轮在小验证集上实测安全区间，在线自适应地设定 $\beta_n$，把开环调度变成闭环控制。（2）线性外推假设在训练后期必然失效：Proposition 3只给出单步suboptimality界，多次递归外推的误差累积没有理论保证。改进方向：引入曲率感知修正（如沿主子空间的二阶项），或在每轮蒸馏前先评估外推教师自身生成质量，不合格则退回 $\beta=1$。（3）奖励hack被放大：外推本质是位移放大器，RLVR步的噪声与虚假方向同样被 $\beta$ 倍增。改进方向：作者自己提出用奖励模型不确定性或多目标奖励来'限定'外推方向，也可对位移向量做置信加权。（4）两空间变体无一致优势且缺乏选择准则：8B上weight好、1.7B/OLMo上logit好，论文只给出'Taylor近似 vs 联合一致性'的定性解释。改进方向：建立与模型规模、输出分布尖锐度关联的理论判据，或直接自适应混合两种外推。（5）规模验证止步于8B：权重空间外推需要在显存中物化完整 $\theta_{future}$，在70B级模型上的可行性与数值稳定性完全未验证，logit空间的EMA锚点在大模型上的行为也未知。

作者在结论与局限部分指出的方向：把外推原理延伸到偏好优化（如DPO类目标）和多智能体设置等其他后训练范式；整合奖励模型不确定性或多目标奖励，对被外推放大的方向进行置信限定，防止奖励hack被放大。基于论文成果还可延伸出几条路：第一，自适应 $\beta$——Fig. 6已经给出'用历史checkpoint直接探测安全区间'的可行性，完全可以在线化形成每轮的 $\beta$ 控制器，同时解决手工调度和后期失效两个问题；第二，把RISE与模型合并/模型汤文献打通——外推产生的 $\theta_{future}$ 本身就是可组合的任务向量，跨任务、跨数据配比的外推与合并值得系统研究；第三，在RLHF场景用偏好信号替代可验证奖励构造位移，检验该方法对不可验证任务的适用边界，论文的pass@16证据（1.7B上+9.6）暗示其尤其有利于探索，这对奖励稀疏的长程agentic任务是天然契合点（Table 3的+10.9已初步支持）；第四，理论补全：目前Proposition 3是单步界，需要给出'RLVR接地+OPD投影'递归循环的收敛性证明；第五，与外部教师蒸馏的正交组合——RISE消除的是对外部教师的'依赖'而非'禁用'，外推教师与真实强教师的混合（如按token不确定性加权）可能进一步抬高天花板。

复现评估：论文是Salesforce AI Research的预印本（arXiv:2609.05295），正文未提及开源代码。但复现条件相当齐备：模型全部公开（Qwen3-1.7B/4B/8B及Base、OLMo3-7B-Instruct-SFT、Qwen2.5-3B-Instruct），数据集全部公开（DAPOMath、OpenR1-Math-46K、Guru的STEM部分、Skywork-OR1-Code、ALFWorld、WebShop），基准均为标准集（MATH500、AIME'24/25、AMC23、GPQA-Diamond等），Algorithm 1/2伪代码完整，超参明确（$\beta_0=1.2$ 线性衰减、$K=100$/代码20、$\eta=0.1$/1.0、JSD损失），且报告了三种子方差与完整消融矩阵。算力门槛是主要障碍：1.7B–8B全参数RLVR+OPD训练需多卡A100/H100级集群，RISE只增加1.3–1.6倍墙钟时间和每位置 $O(K)$ 的logit缓存（logit空间）或一份参数副本加一次teacher前向（权重空间）。综合判断：若代码开源，复现难度中等，建议从logit空间变体入手（无需物化教师、工程最轻），以1.7B/DAPOMath作为最小验证配置，先对齐GRPO基线再叠加OPD阶段。