在线策略蒸馏的几何性质研究

从参数空间几何视角揭示OPD介于SFT和RLVR之间的独特更新轨迹与子空间锁定现象

前置知识

在线策略蒸馏（On-Policy Distillation, OPD）

OPD是一种大语言模型后训练范式，让学生模型基于自己生成的轨迹（rollout）进行训练，同时使用更强的教师模型提供密集的token级别指导。具体来说，学生模型首先采样生成响应序列，然后计算每个token与学生当前策略和教师策略之间的KL散度差异，通过优化这个差异来引导学生向教师模型靠近。这种方法结合了SFT的密集监督和RLVR的在线采样特性。

本文核心研究对象，理解其参数空间更新几何性质是论文的主要贡献，需要先掌握OPD的基本训练流程和目标函数形式。

可验证奖励强化学习（RLVR）

RLVR是另一种后训练范式，使用可验证的序列级奖励信号来训练模型。在数学推理场景中，奖励通常来自自动化验证器对答案正确性的判断。RLVR通过策略梯度方法优化序列级奖励，所有token共享相同的奖励系数。研究表明，RLVR倾向于在参数空间中更新非主方向的权重子网络，保留预训练的谱结构。

OPD与RLVR的对比是论文的核心内容之一，RLVR作为参数空间几何的一端，其更新特征提供了理解OPD定位的参考框架。

稳定秩（Stable Rank）

稳定秩是一种衡量矩阵有效维度的指标，定义为$ ext{srank}(A) = \frac{\|A\|_F^2}{\|A\|_{op}^2}$，其中$\|A\|_F$是Frobenius范数，$\|A\|_{op}$是算子范数（最大奇异值）。与代数秩不同，稳定秩对任意小的奇异值不敏感，因此提供了一个尺度感知的有效更新维度度量。在本文中，作者用它来跟踪累积更新$\Delta W_t$的有效维度随训练的演变。

稳定秩是本文分析OPD训练轨迹的核心诊断指标之一，用于识别子空间锁定现象，理解这个数学概念对阅读实验结果至关重要。

主角度（Principal Angle）

主角度衡量两个子空间之间的旋转程度。给定两个矩阵$W_0$和$W_+$的奇异值分解$W_0 = U_0\Sigma_0V_0^\top$和$W_+ = U_+\Sigma_+V_+^\top$，它们的前$k$个左奇异子空间之间的主角度定义为$\cos \theta_i^U = \sigma_i(U_{0,k}^\top U_{+,k})$，右奇异子空间类似。较小的主角度表示更好地保留了预训练的主导子空间。本文用主角度来量化不同训练方法对预训练模型几何结构的破坏程度。

主角度是论文参数空间诊断套件的核心指标之一，用于比较SFT、OPD和RLVR对预训练几何结构的保持程度。

Three-Gate模型

Three-Gate模型是Zhu等人（2025）提出的理论框架，用于解释RLVR的参数空间更新特征。第一个门是分布锚定（KL约束）：限制更新步长，使更新策略保持接近当前策略；第二个门是模型几何：有界更新被预训练模型的损失景观引导，避开高曲率的主方向，向低曲率、保谱区域移动；第三个门是精度实现：bf16精度决定了哪些坐标在存储权重中可见。OPD保留了这种门控结构，但通过密集token级别监督进行了放松。

本文使用Three-Gate模型作为理解OPD更新几何的理论框架，理解这个框架有助于把握论文的理论贡献。

研究动机

现有对大语言模型后训练的研究主要集中在行为表现和经验配方上，但对训练过程中的参数空间几何动力学理解不足。已知SFT（监督微调）诱导密集、主方向对齐的更新，会扭曲预训练的谱结构；而RLVR（可验证奖励强化学习）产生稀疏、非主方向的更新，更好地保留预训练的谱结构。然而，OPD结合了两者的特征：密集的token级别蒸馏类似SFT，在线策略采样和策略梯度优化连接到RLVR。这种混合特性使得OPD的参数轨迹难以从任一范式单独推断。此外，OPD已经在多个推理模型中显示出实践效用，但缺乏对其参数空间几何的系统性分析。

本文的目标是本文的目标是从参数空间几何视角系统性地分析OPD的更新轨迹，回答三个关键研究问题：OPD在SFT-RLVR参数空间谱中的位置；OPD在训练过程中遵循何种内在更新轨迹；OPD的哪个组件控制这个轨迹。通过回答这些问题，本文旨在揭示OPD不是一个介于SFT和RLVR之间的简单中间点，而是在参数空间中诱导出自己独特的更新几何。

与已有工作不同的是，本文的独特切入点是从参数空间几何角度研究OPD，而不是仅关注行为表现或训练效率。现有工作要么从实证失效模式研究OPD，要么提出扩展配方，但都缺乏对OPD在更广泛的SFT-RLVR参数空间谱中位置的系统性考察。本文借鉴Zhu等人（2025）针对RLVR的参数空间诊断框架，但将其应用于一个不同的 regime：OPD在SFT-RLVR参数空间谱中的位置、其更新如何随训练演化，以及哪些OPD特定因素控制这个轨迹。这种参数空间几何视角为理解OPD提供了新的理论解释和实践指导。

核心方法

本文采用控制实验和参数空间诊断相结合的方法，系统性地分析OPD在参数空间中的更新几何。作者首先使用一套参数空间诊断工具将OPD定位在SFT-RLVR谱中，包括更新稀疏性、子空间旋转、谱漂移和更新定位。然后，通过跟踪训练过程中累积更新$\Delta W_t$的稳定秩、更新尺度（Frobenius范数）和谱形状（Hill尾估计），分析OPD的内在更新轨迹。最后，通过控制实验扰动三个区分OPD与标准SFT或RLVR的因素（token监督密度、rollout策略、目标函数组成），测试哪个因素维持了锁定的轨迹。

本文的核心创新在于发现OPD占据了一个独特的参数空间几何位置——放松的非主方向区域（relaxed off-principal regime），并且展现出子空间锁定（subspace locking）现象。与SFT的密集主方向对齐更新和RLVR的稀疏非主方向更新不同，OPD在两者之间偏向RLVR一侧：它比SFT更有选择性和几何保持性，但比RLVR约束更少。更重要的是，OPD的累积更新快速进入一个狭窄的低维更新通道，并在整个训练过程中保持。这个早期出现的、持久的、功能上充分的低维更新通道是OPD特有的几何特征。

方法步骤详情

本文的研究步骤分为三个主要阶段。第一阶段：定位OPD在参数空间谱中的位置。作者使用四种参数空间诊断工具：bf16感知更新稀疏性、主角度旋转、谱漂移（NSS）和更新-掩码重叠。对于Qwen3-8B模型，作者计算从SFT到OPD、从SFT到RLVR的更新，以及从预训练基础模型到SFT的更新，通过这些诊断将OPD定位在SFT和RLVR之间。第二阶段：分析OPD的内在更新轨迹。作者在训练过程的多个checkpoint（第63、127、191、255、299步）保存模型权重，计算累积更新$\Delta W_t$，并跟踪其稳定秩、Frobenius范数和Hill尾估计。这揭示了OPD快速进入低维更新通道并保持这一特征。第三阶段：识别控制子空间锁定的因素。作者通过三种控制实验扰动OPD：token稀疏化（保留25%或50%的tokens，基于top-KL或随机）、离策略rollout（使用教师生成rollout而非学生）、目标函数混合（将OPD和RLVR优势信号按不同比例混合）。通过观察这些扰动对稳定秩轨迹的影响，识别出目标函数组成是敏感的控制轴。

技术新颖性

本文的技术新颖性体现在多个方面。首先，它首次系统性地将参数空间几何分析应用于OPD，揭示OPD不是SFT和RLVR的简单中间点，而是占据了一个独特的放松非主方向区域。其次，它发现了OPD的子空间锁定现象：累积更新快速进入一个早期出现的、持久的、功能上充分的低维更新通道。这个发现通过早期子空间相似性分析和秩约束训练实验得到验证。第三，它通过控制实验识别出目标函数组成是维持子空间锁定的关键因素，而运行时扰动（token稀疏化、离策略rollout）只改变更新尺度而不改变谱形状。最后，本文提出了一个放松的Three-Gate模型来解释OPD的更新几何，将RLVR的三门控框架扩展到OPD场景，说明密集token级别监督如何在保持几何引导的同时放松选择性。

实验结果

本文的核心发现可以总结为三点。第一，OPD在参数空间谱中占据放松非主方向区域。在控制Qwen3-8B比较中，SFT的bf16感知更新稀疏性为8.1%，RLVR为77.2%，OPD介于两者之间为51.6%。主角度和谱漂移遵循相同顺序：SFT产生最大的子空间旋转和谱漂移（代表层主角度超过10°，谱漂移在10^-3级别），RLVR保留预训练几何最强烈（主角度低于0.5°，谱漂移在10^-5级别），OPD介于两者之间（主角度约1°，谱漂移在10^-4级别）。更新定位分析显示，OPD将更新从主权重向低幅度区域转移（低幅度重叠从SFT的31.88%增加到OPD的53.59%和RLVR的73.48%），但选择性低于RLVR。第二，OPD展现子空间锁定现象。OPD的稳定秩在整个训练过程中保持在一个狭窄的低秩带（约20-25），而SFT逐渐扩展其更新子空间，RLVR向低维端点收缩。Frobenius范数分析排除了小更新解释：OPD累积的更新比RLVR大得多，但结束时具有可比的稳定秩。Hill尾估计显示OPD演化温和，而SFT急剧增加，RLVR逐渐下降。子空间相似性分析显示OPD从第一个测量的checkpoint就与其最终的V16子空间对齐，而SFT和RLVR更渐进地收敛。第三，目标函数组成控制子空间锁定。Token稀疏化（25%或50%保留率，基于top-KL或随机）和离策略rollout都保持OPD稳定秩轨迹基本不变，最多改变更新尺度。相反，目标函数混合（OPD和RLVR优势信号的插值）显示出明显的分裂：OPD主导的混合保持OPD-like稳定秩轨迹，当OPD成分变弱时，轨迹不再遵循基线并进入不同的谱区域。

**Table 1**: bf16感知更新稀疏性。OPD在控制Qwen3-8B比较中位于SFT和RLVR之间，并且在OPD变体中保持稳定。已发布checkpoint仅用作外部参考点。在OPD变体名称中，TxB表示xB参数的教师模型，例如OPD-4B-T8B使用4B学生和8B教师。Mixed†表示数学、代码、STEM、逻辑和指令数据的混合。

**Figure 2**: 参数空间诊断。SFT诱导更大的子空间旋转和谱漂移，RLVR最强地保留预训练几何，OPD位于两者之间。这里，k表示主角度或奇异值的秩索引；全层面板枚举了跨层和模块类型的分析权重矩阵。

**Figure 3**: 更新-掩码定位。我们比较bf16可见更新相对于主方向和低幅度掩码的落点。OPD将更新从主权重向低幅度区域转移，同时选择性低于RLVR。

**Figure 4**: 内在更新几何。我们跟踪累积更新$\Delta W_t$。OPD保持在狭窄的稳定秩带，而SFT扩展和RLVR收缩。Frobenius范数排除了小更新解释：OPD移动比RLVR多但结束时具有可比的稳定秩。Hill估计提供辅助的谱形状检查。

**Figure 5**: 子空间涌现。Top-16子空间与最终更新的相似性显示OPD比SFT和RLVR更早锁定到其最终更新通道。

**Figure 6**: Rank-16投影训练。Rank-16投影保持OPD完整但恶化SFT。

**Figure 7**: 子空间锁定的控制。运行时扰动保持OPD稳定秩轨迹，而目标级插值改变它，识别目标函数组成为敏感控制轴。

**Figure 8**: 秩约束训练的附加评估。我们在五个推理基准上比较无约束训练和Rank-16投影训练。跨基准，OPD始终比SFT更少受Rank-16瓶颈影响。绿色菱形表示共享anchor checkpoint，虚线垂直线表示投影开始。

**Figure 9**: 控制实验的辅助指标。我们报告相同扰动的更新尺度和谱形状诊断。运行时扰动保持OPD-like谱轮廓到适度尺度变化，而目标插值诱导不同轨迹。

查看结构化数据

任务	指标	本文	基线	提升
bf16感知更新稀疏性（Qwen3-8B控制比较）	bf16感知更新稀疏性百分比	51.6%	SFT: 8.1%; RLVR: 77.2%	OPD介于SFT和RLVR之间，证明了放松非主方向区域的定位
主角度旋转（代表层）	主角度（度）	约1°	SFT: >10°; RLVR: <0.5°	OPD比RLVR产生更大的子空间旋转但比SFT小，符合放松非主方向特征
谱漂移（NSS）	归一化谱移（数量级）	10^-4级别	SFT: 10^-3级别; RLVR: 10^-5级别	OPD的谱结构保持介于SFT和RLVR之间
低幅度重叠	重叠百分比	53.59%	SFT: 31.88%; RLVR: 73.48%	OPD向低幅度区域转移更新但选择性低于RLVR
秩约束训练（AIME 2024）	avg@8性能保持	基本无影响	SFT: 显著下降	早期低维更新通道对OPD功能充分但对SFT不充分，验证子空间锁定
OPD变体稳定性	bf16感知更新稀疏性百分比	48.6%-57.1%	N/A	OPD在教师规模、学生规模、代码数据、MoE教师等变体中保持稳定

局限与改进

本文的分析也存在一些局限性。首先，作者专注于控制Qwen3系列推理设置，这种设计隔离了训练范式的影响，但观察到的几何性质可能因其他模型族、模态和任务分布而异。其次，本文的诊断基于存储checkpoint的参数空间轨迹，Three-Gate框架和协方差分析应被视为与证据一致的机制解释，而不是对OPD优化的完整因果或正式理论。第三，作者选择特定的训练endpoint（SFT约5k步、OPD约300步、RLVR约1k步）作为主要比较点，这些endpoint没有为优化参数空间诊断而调优，可能不是每种方法的最优点。第四，本文主要关注数学推理领域的训练，不同领域（如代码、对话）的几何性质可能不同。最后，本文的实验主要在固定规模模型（Qwen3-8B）上进行，模型规模对几何性质的影响需要进一步研究。

独立分析的弱点

从独立分析的角度看，本文存在几个可以改进的弱点。第一，理论解释还不够严谨。Three-Gate框架是启发式的，缺乏对OPD更新几何的正式理论分析或证明。未来的研究可以建立更严格的理论模型，从优化理论角度解释OPD的放松非主方向特征和子空间锁定现象。第二，实验范围相对有限。虽然作者在Qwen3系列上进行了控制实验，但没有在其他模型族（如Llama、DeepSeek）上验证发现的普遍性。跨模型族的比较可以增强结论的泛化性。第三，任务域单一。本文主要关注数学推理任务，代码任务只是作为变体提及。不同任务域（对话、指令跟随、多模态）的几何性质可能不同，需要更广泛的任务域研究。第四，模型规模的影响未深入探索。虽然作者测试了不同学生和教师规模的OPD变体，但没有系统研究模型规模对几何性质的定量影响。规模定律在参数空间几何中如何体现是一个开放问题。第五，对实际应用的指导有限。本文识别了几何特征，但没有提供如何利用这些特征改进OPD算法的具体建议。例如，如何主动监控和利用锁定的更新通道，如何通过目标函数设计控制几何，这些实践指导需要进一步探索。

未来方向

基于本文的成果，未来研究可以在多个方向延伸。第一，几何感知的OPD算法设计。利用子空间锁定现象，可以设计主动监控锁定更新通道的算法，并在几何偏离时通过目标函数组成进行干预。例如，可以开发自动检测子空间锁定破坏的机制，并调整OPD-RLVR混合比例来恢复几何。第二，跨模型族和任务域的验证。在Llama、DeepSeek、Gemma等其他模型族上验证OPD的放松非主方向特征和子空间锁定现象是否普遍存在。同时，扩展到代码、对话、多模态等不同任务域，研究几何性质的通用性和特异性。第三，规模和几何的关系。系统研究模型规模（从几十亿到几千亿参数）对参数空间几何的影响，探索是否存在规模相关的几何定律。第四，OPD-RLVR连续谱。更系统地探索OPD和RLVR之间的连续谱，研究不同混合比例下的几何演变，寻找最优的几何配置。第五，因果机制的验证。通过干预实验（如人工构造不同的更新协方差结构）验证Three-Gate框架的因果假设，建立更严格的机制理解。第六，实用工具的开发。开发参数空间几何诊断工具，使研究人员能够实时监控训练过程中的几何特征，为训练动态提供反馈。第七，理论深化。建立优化理论模型，从损失景观、Hessian谱、更新协方差等角度形式化解释OPD的更新几何。

复现评估

本文的复现性较好。作者使用了公开可用的模型checkpoint、数据集和基准测试。主要模型是Qwen3系列（Yang等，2025），数学领域的OPD/RLVR运行使用dapo-math-17k数据集（Yu等，2025），SFT anchor使用Dolci-Think SFT数据（Olmo等，2025）。代码域变体使用DeepCoder数据（Luo等，2025）和LiveCodeBench v5（Jain等，2024）评估。所有测量、checkpoint和OPD特定分析都是作者自己的工作。实验在H200 80GB GPU上进行，使用bf16精度训练。训练配置详细列在附录C中，包括共享设置、SFT默认设置、OPD默认设置和RLVR默认设置。参数空间诊断的实现也在附录C中详细说明，包括bf16感知更新稀疏性、主角度旋转、谱漂移和更新-掩码重叠的计算方法。控制实验的协议在附录G中描述，包括token稀疏化、离策略rollout和目标函数混合的具体实现。虽然作者没有开源代码，但详细的配置和诊断方法描述使得复现成为可能。主要挑战在于计算资源需求（H200 GPU）和大量的checkpoint存储和分析。

在线策略蒸馏的几何性质研究 On the Geometry of On-Policy Distillation