以弱促强：弱化诱导的大型推理模型在策略自蒸馏 Weaken to Strengthen: Weakening-Induced On-Policy Self-Distillation for Large Reasoning Models
把自身权重量化或剪枝成弱副本，用两者token级对比作密集监督，无需特权信息即可提升推理
前置知识
在策略蒸馏（On-Policy Distillation, OPD）
学生模型自己生成回答，教师在学生实际经过的每个状态 $s=(x, y_{<t})$ 上给出下一个token的目标分布，用反向KL散度 $\mathcal{L}_{OPD}=\mathbb{E}_{s\sim d_{\pi_\theta}} D_{\mathrm{KL}}(\pi_\theta(\cdot|s)\,\|\,\pi_T(\cdot|s))$ 逐token匹配。与强化学习只在整条序列末端给一个标量奖励不同，蒸馏信号是每个token的密集反馈，能纠正中间计算与决策错误，训练效率高，已被 Qwen3、MiMo-V2-Flash、DeepSeek-V4 等模型的后训练流程采用。
WISD 本质就是一个 OPD 框架，只是把教师替换成原模型与弱化副本之间的对比；理解 OPD 才能明白监督信号施加在哪些状态上、为什么是密集的。
策略偏移对比（Direct OPD / 弱到强蒸馏）
用一对冻结模型 $(\pi^+, \pi^-)$ 对同一状态下某 token 的对数概率之差 $r(a|s)=\log\pi^+(a|s)-\log\pi^-(a|s)$ 表示监督：正差表示应更倾向该token，负差表示应抑制。DOPD 等工作证明即使两个模型都比学生弱，这种相对偏好差异仍编码了策略改进方向，可实现弱到强蒸馏，避免直接模仿弱教师拉低学生。
WISD 的全部训练信号就是这个对比公式，只是把 $(\pi^+,\pi^-)$ 取为（原模型，弱化副本）；读懂它才能理解弱化为何能产生有效监督。
反向KL散度
衡量分布差异的度量 $D_{\mathrm{KL}}(p\|q)=\sum_a p(a)\log\frac{p(a)}{q(a)}$。蒸馏中把学生分布放在前面称为反向KL，它是模式寻求的：学生倾向集中在目标的某个高概率区域而非平均覆盖所有模式，适合生成任务，避免学到教师分布的过度保守混合行为。
OPD 与 WISD 的目标函数都基于反向KL构造，WISD 的倾斜目标分布和损失函数的定义都建立在这个度量之上。
RTN分组对称量化
训练后量化中最简单的 Round-to-Nearest 方法：把权重矩阵按每128个输入列分组，组内取最大绝对值 $M_G$ 定步长 $\Delta_G=M_G/q_b$（其中 $q_b=2^{b-1}-1$），将权重对称舍入到 $2^b-1$ 级网格并裁剪到 $[-q_b,q_b]$，无需任何校准数据。b=3 时网格为 $\{-3,-2,-1,0,1,2,3\}$，损伤较大但保留权重的大致结构。
这是 WISD 构造弱副本的第一种算子（默认 b=3），理解它才知道弱化是如何在完全不训练的情况下对权重下手的。
幅度剪枝（magnitude pruning）
按权重大小删除连接的压缩方法。WISD 使用组相对阈值：删除组内 $|W_{ij}|\le\tau M_G$ 的权重（默认 $\tau=1/6$），随后恢复每个完整输出行的 $\ell_2$ 范数，补偿删失造成的尺度损失。与需要激活统计量的 Wanda/SparseGPT 不同，这种纯幅度规则同样零校准数据、零训练。
这是第二种弱化算子，也是实验中总体增益更大的那个（平均+5.5pp vs 量化的+4.0pp），是全文最强结果的来源。
MoE（混合专家）架构
每个token只激活部分FFN专家的大模型架构，由路由器决定激活哪些专家，总参数量大而单token计算量小，例如 Qwen3.6-35B-A3B 总参数35B、每token仅激活约3B。WISD 的量化与剪枝作用于专家内部的投影权重（各专家独立处理），但保留 embedding、输出头、归一化与路由参数不动。
实验覆盖稠密与 MoE 两类架构，说明弱化对比信号与具体架构无关，理解 MoE 才能读懂 35B-A3B 上的实验设置与结果。
研究动机
推理模型的后训练正在从依赖外部信号转向自改进，但现有自蒸馏方法都绕不开某种特权信息。OPSD 等参考解方法需要给教师提供标准答案或专家示范来构造更强的自我教师，而获取高质量参考解成本高昂；SDPO 等反馈方法依赖环境的文本反馈或经奖励验证的成功 rollout，本质上仍需可验证奖励或评审器；GRPO 这类 RL 方法同样需要可验证的结果奖励。这些要求在只有无标注提示词的场景下全部失效。更深一层的问题是：即使特权信息可得，让教师条件于额外上下文会使其预测分布整体偏离学生在无上下文时的分布，引用的 Penaloza 等人工作指出这种偏移会复杂化知识迁移。已有实验也印证特权信息方法的不稳定：OPSD 在 Qwen3-4B 上把数学三基准平均从 60.07% 提到 61.92%，却让代码平均从 49.86% 跌到 38.88%。因此核心问题是：能否在完全没有特权信息的条件下，仅凭原始模型检查点和无标注提示实现有效的推理自提升。
本文的目标是本文的目标是构造一种'四无'自蒸馏方法：具备密集的 token 级学习信号、无外部教师模型、无参考解、无环境反馈——论文 Table 1 中唯一四个维度全部满足的方法。具体而言，只需要一个训练好的推理模型检查点和一批无标注任务提示（每个领域仅3,200条，来自公开数据集），就能显著提升该模型在数学竞赛（AIME 2024/2025、HMMT 2025）与代码生成（LiveCodeBench v5/v6）上的准确率；方法需对稠密模型和 MoE 模型、4B 到 35B 不同规模、不同模型家族都适用。作者还希望监督信号不止于强化模型已有的自信，而是能结构化地指出哪些推理行为该加强、哪些该抑制，为中间数值计算和逻辑检查提供细粒度纠正，并保持推理链更简短。
与已有工作不同的是，本文的独特切入是反转'弱到强蒸馏'的构造方向。先前的自蒸馏方法（OPSD、SDPO）把原模型当作弱成员 $\pi^-=\pi(a|s)$，用特权信息 $c$ 构造强成员 $\pi^+=\pi(a|s,c)$，学习的来源是'加上下文后变强'的落差；WISD 则把原模型当作强成员 $\pi^+=\pi_0$，直接退化其权重造出弱成员 $\pi^-=\pi_{\mathcal W}(\theta_0)$，学习的来源变成'权重被破坏后变弱'的落差。这把通常被视为需要修复的缺陷——量化/剪枝带来的能力损失——转化为监督信号的来源。直觉上，两个相近模型在 token 偏好上的系统性差异编码了策略改进方向：弱模型'想选'而原模型更倾向的 token 正是该强化的地方。这一视角与推理时的对比解码（contrastive decoding、DoLa、DCD）以及扩散模型的 autoguidance 遥相呼应，但 WISD 把对比用于训练而非解码；且与 GPTQ/Wanda 等需要校准数据的退化方法不同，所选的 RTN 3-bit 量化与组相对幅度剪枝完全免校准、免训练。
核心方法
直觉：给学生找一个'刚好差一点'的自己当对照，两者分歧最大的地方就是最值得学的地方。技术上 WISD 是一个离线两阶段流程。第一阶段：原模型 $\pi_0$ 在无标注提示上采样自生成轨迹（每域3,200题、每题4条），同时复制一份权重，用训练免费的 3-bit RTN 量化或 $\tau=1/6$ 幅度剪枝构造弱化副本 $\pi_w$。第二阶段：冻结的模型对 $(\pi_0,\pi_w)$ 给每条轨迹的每个状态打分，计算 token 级对比 $r_w(a|s)=\log\pi_0(a|s)-\log\pi_w(a|s)$，据此把原模型分布'倾斜'成目标分布 $q_w(a|s)\propto\pi_0(a|s)\exp(r_w(a|s)/\alpha)$，再以 $\mathcal{L}_{TT}(\theta)=\alpha\,\mathbb{E}_{s\sim d_{\pi_0}} D_{\mathrm{KL}}(\pi_\theta(\cdot|s)\,\|\,q_w(\cdot|s))$ 训练一个从原模型初始化的学生。轨迹与两个打分模型全程冻结，训练完的学生独立用于推理。实现上采用 Lightning Weave 的离线 DOPD 训练流程，每个状态只缓存原模型 top-16 候选 token 外加一个 OTHER 桶，显著降低存储与计算开销。
核心创新是把'弱化权重'变成监督信号发生器。若按 DOPD 公式取两个完全相同的模型，对比恒为零、没有任何信号；而弱化操作在每个状态制造了 token 依赖的差异：某 token 在原模型下概率相对更高就得到正对比、应被强化，反之被抑制。倾斜目标 $q_w(a|s)=\frac{\pi_0(a|s)\exp(r_w(a|s)/\alpha)}{\sum_{a'}\pi_0(a'|s)\exp(r_w(a'|s)/\alpha)}$ 保证监督始终以原模型分布为基底、由对比决定偏移方向与幅度，超参 $\alpha=2$ 控制倾斜强度。与已有方法的本质区别有三点：相对 OPSD/SDPO，$(\pi^+,\pi^-)=(\pi_0,\pi_w)$ 都不依赖特权信息，学习落差来自权重空间而非上下文空间；相对 GRPO 等 RL，不需要可验证奖励却有逐token密集信号；相对置信度基线（直接用 $\log\pi_0$ 当奖励的 self-enhancing、或与温度 $T=2$ 软化分布之差的 temperature weak，AIME24 上仅 72.8%/73.1%），结构化原-弱对比达到 75.4%，证明增益不只来自强化自信。作者还表明弱化方式不特定于某一算子：Smooth W4A4、Wanda、SparseGPT、MLP 通道剪枝等多种变体均有效，说明价值在'结构化对比'本身。
方法步骤详情
第一步，轨迹缓存：分别训练数学与代码学生，从 Skywork-OR1-RL-Data 取3,200个数学提示、从 KlearReasoner-CodeSub-15K 取3,200个代码提示，原模型以温度1.0每题采4条回复（上限2,048 token），每域得12,800条自生成轨迹。第二步，构造弱化打分器：复制原模型权重，只变换 attention 与 FFN 投影（含 MoE 专家投影），embedding、输出头、归一化与路由参数保留；量化路径为每组128列的对称 RTN，$b=3$，$\Delta_G=M_G/q_b$（$q_b=3$），反量化后用原架构前向打分；剪枝路径为组内删除 $|W_{ij}|\le\tau M_G$（$\tau=1/6$）并恢复整行 $\ell_2$ 范数；两个打分器全程冻结。第三步，打分与目标构造：对每条轨迹每个状态计算 $r_w$，缓存原模型 top-16 候选及其行为概率 $b_j$，其余词表聚合为 OTHER 桶（对比置0），构造倾斜目标 $q_j=b_j\exp(r_j/\alpha)/\sum_k b_k\exp(r_k/\alpha)$。第四步，蒸馏训练：学生从原检查点初始化，用行为加权对数概率回归 $\ell(p)=\frac{1}{2m}\sum_j b_j(\log p_j-\log q_j)^2$ 优化（等效于对倾斜目标的KL匹配，初始梯度为 $g_j=-\frac{b_j}{m}(r_j-\sum_k b_k r_k)$），学习率 $10^{-6}$ 恒定、全局batch 64、共200次更新、BF16 精度。第五步，部署：只用训练好的学生，推理时不再需要弱副本。
技术新颖性
技术新颖性体现在三个层面。概念层面：首次把'模型弱化'——压缩社区视为需要修复的缺陷——重构为自蒸馏的监督来源，与弱到强蒸馏、对比解码、classifier-free guidance/autoguidance 形成统一视角，但角色分配是全新的：原模型是强成员而非弱成员，监督落差来自权重扰动而非额外上下文。实现层面：弱化算子训练免费、零校准数据，整个流水线只需一次批量生成、两次打分前向、一次轻量离线训练（200次更新），远比需要持续 rollout 与奖励验证的 RL 简单；top-16候选+OTHER桶的缓存设计让逐词表KL变成17桶上的小回归问题。实证层面：信号分析（Table 4）显示对比信号结构化地把约22%的梯度质量分配给探索段（其token占比仅14.8%）、约11%给验证段（占比8.1%），同时把实现段从28.2%压缩到约16%，说明它做的是纠错式监督而非均匀强化；token级案例（Figure 4、7）展示监督精确落在数值结果与逻辑判断token上，这种可解释性在自蒸馏文献中少见。
实验结果
主实验覆盖5个模型（Qwen3-4B、Qwen3.5-4B、OLMo-3-7B-Think、Qwen3.6-27B、Qwen3.6-35B-A3B，含稠密与MoE）×5个基准（AIME24/25、HMMT25、LCB v5/v6）。总体：量化版平均提升4.0个百分点、剪枝版提升5.5个百分点，25个模型-基准组合中分别有21和23个为正增益。亮点：剪枝把 Qwen3.5-4B 的 HMMT25 从57.7%提到70.5%、LCB v6 从39.1%提到56.7%，五基准平均+11.3（量化）/+13.4（剪枝）分；量化把 Qwen3.6-35B-A3B 的 HMMT25 从68.5%提到74.6%、LCB v6 从61.8%提到69.5%，平均+5.9分；剪枝让 Qwen3.6-27B 平均+5.2分。与特权信息基线对比：Qwen3-4B 上 WISD 五基准平均57.93/58.60，超过 OPSD（52.70）、SDPO（49.88），且 OPSD 使代码崩至38.88而 WISD 提到52.8以上。消融（Qwen3.5-4B，HMMT25）显示弱化强度呈倒U形：量化 b=8/6/4/3/2 对应56.0/60.9/63.1/68.3/49.9%，剪枝 $\tau=1/16,1/8,1/6,1/4,1/2$ 对应60.9/69.4/70.5/54.8/49.6%，中等损伤最优且训练后回复更短。构造消融（Table 3/6）表明 RTN 3-bit（75.4）与幅度剪枝（75.8）最佳，Smooth W4A4 75.3、Wanda 2:4 74.4 等变体也有效，而置信度基线仅72.8/73.1。信号分析显示探索/验证段被过度加权（22%/11% vs 14.8%/8.1%）。案例研究给出定性纠错证据：除数对求和从−970纠正为−984、网格闭行走最大门数从120纠正为200、两道 LCB 代码题的算法不变量得到修复；行范数恢复另带来0.5-0.6pp增益（Table 7）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 五模型×五基准总体（Qwen3-4B/3.5-4B、OLMo-3-7B-Think、Qwen3.6-27B/35B-A3B） | 五基准平均准确率 | WISD量化 +4.0pp / WISD剪枝 +5.5pp | 各原始模型 | +4.0 / +5.5 个百分点（25个设置中21/23个为正） |
| HMMT 2025 数学（Qwen3.5-4B，剪枝） | Avg@32 | 70.5% | 原始模型 57.7% | +12.8 个百分点 |
| LiveCodeBench v6 代码（Qwen3.5-4B，剪枝） | Avg@4 | 56.7% | 原始模型 39.1% | +17.6 个百分点 |
| HMMT 2025 数学（Qwen3.6-35B-A3B，量化） | Avg@32 | 74.6% | 原始模型 68.5% | +6.1 个百分点 |
| LiveCodeBench v6 代码（Qwen3.6-35B-A3B，量化） | Avg@4 | 69.5% | 原始模型 61.8% | +7.7 个百分点 |
| Qwen3-4B 五基准平均（对比特权信息方法） | 平均准确率 | 量化 57.93% / 剪枝 58.60% | OPSD 52.70% / SDPO 49.88% | +5.2 ～ +8.7 个百分点 |
| AIME24（Qwen3-4B，对比置信度基线） | Avg@32 | RTN 3-bit 75.4% / 幅度剪枝 75.8% | Self-enhancing 72.8% / 温度软化 73.1% | +2.3 ～ +3.0 个百分点 |
局限与改进
作者承认的主要局限是弱化强度的非单调敏感性：量化从3-bit降到2-bit、剪枝阈值从1/6放宽到1/4都会令准确率暴跌15-20个百分点，意味着 b 与 τ 需要按模型/任务调参（论文用 AIME24 作开发基准搜索）；此外弱化并非处处有效——量化在 Qwen3.6-27B 的数学平均上小幅回退（80.21%→79.06%）、LCB v6 从69.1%降到67.7%，说明越强的模型越难被弱化对比推动。我自己的观察还有几点：其一，与 OPSD/SDPO/PW-OPSD/LOPD 的对比使用的是各家发表的数字，评测协议并不一致（基线用 Avg@12 三种子、温度1.0，代码基线用 pass@1 温度0.7 top-k 20 与16k输出上限，而 WISD 用 Avg@32/Avg@4、温度0.6、40,960上限），对比并非严格同协议；其二，实验只覆盖短答案数学与代码两类可自动判分任务，开放式生成、Agent 任务上的有效性未知；其三，方法是单轮离线蒸馏，轨迹只来自原模型的一次采样，没有研究迭代自提升的循环；其四，top-16候选+OTHER桶是对完整词表分布的近似，与精确KL目标的偏差未被量化；其五，消融集中在 Qwen3-4B/3.5-4B，大模型上的超参规律是否迁移缺乏验证；论文也未报告训练所需GPU数量与时长。
独立分析的弱点
第一，超参敏感且非单调：$\tau$ 从1/6到1/4准确率从70.5%跌到54.8%，量化从3-bit到2-bit从68.3%跌到49.9%，说明'对比强度-信号质量'的平衡窗口很窄。改进方向：按层或按token熵自适应调节弱化强度，或用小型开发集自动搜索（论文已用AIME24做开发集，但未自动化）。第二，一次性离线流程：轨迹全部来自原模型，学生训完后不再产生新轨迹，无法像RL那样持续探索更优解。改进方向：构造迭代式 WISD——每轮用更新后的学生重新采样轨迹、重新弱化打分、再蒸馏，形成自提升循环。第三，学习上界受限：监督完全来自原模型与弱化版的分歧，本质上是在强化与精炼已有能力，难以引入新知识；对已很强的模型（Qwen3.6-27B量化）收益趋零。改进方向：与特权信息方法互补使用——有参考解时用OPSD、没有时用WISD，或把弱化对比作为RL的辅助密集信号。第四，任务域局限：只验证了数学与代码。改进方向：在开放问答、摘要、多轮对话上检验对比信号是否仍有意义（这些任务缺乏'对错token'的明确结构）。第五，17桶近似：OTHER桶的对比置0可能系统性低估长尾token的纠错信号。改进方向：分层抽样更多候选或对桶内概率做更精细建模。
未来方向
作者方向上，论文把弱化定位成'监督信号来源'这一通用原则，最直接的延伸是探索更多退化算子：dropout、层删除（DoLa、PruneCD已在推理时对比中验证）、激活噪声、以及量化与剪枝的组合弱化；另一条是把弱化对比与RL或验证信号结合，形成密集+稀疏混合奖励。基于本文成果可以延伸的方向包括：迭代式 WISD 自提升循环（生成-弱化-蒸馏反复多轮），检验是否能突破单轮收益；理论分析对比信号与策略梯度/自然策略梯度的关系——$r_w$ 的期望意义何时对应真实策略改进方向，这与弱到强泛化理论可以衔接；逐层或逐模块自适应弱化（对注意力与FFN用不同 $b/\tau$）；把信号分析方法（ThinkARM角色+梯度占比）用于诊断其他后训练方法；扩展到多模态推理与 Agent 环境任务；以及研究弱化对比与模型规模的 scaling 关系——多大的模型上该方法开始失效，及其与量化鲁棒性的关联。
复现评估
复现条件较好。代码已开源（github.com/jet-ai-projects/WISD）；训练数据全部公开（Skywork-OR1-RL-Data 与 KlearReasoner-CodeSub-15K 各取3,200条提示）；训练配置完整给出（Table 5）：每域12,800条缓存轨迹、蒸馏系数 $\alpha=2$、学习率 $10^{-6}$ 恒定、全局batch 64、仅200次优化器更新、BF16精度、固定种子42/1234；评测协议也写得很细（附录A.2/A.3）：提示模板原文、\boxed 答案抽取规则、LiveCodeBench 官方测试执行（6秒/测试隔离容器）。弱化算子只是权重变换，无需GPU集群训练量化器。算力方面论文未给出具体GPU数量与时长，但按轨迹量与更新次数估算属于轻量后训练：4B模型单节点多卡即可，35B-A3B 需要更多显存；评测开销不小（数学每题32样本、40,960 token输出上限）。总体难度中等偏低：主要工程在批量打分缓存与离线蒸馏训练，若开源代码可直接运行，复现主表结果应当可行；复现基线对比则依赖他文数字，难度更高。
论文图表
两个真实训练轨迹案例（油漆覆盖问题与代数零因子问题），蓝/橙色标记目标概率相对行为分布上升/下降的token：量化强化了覆盖计算中的具体数字和否定词 not（支撑'10加仑不够'的结论），剪枝强化了用于排除非法根 $a=3$ 的中间量 0。
这是理解'监督信号长什么样'的最佳入口：展示了密集监督如何精确落在数值结果与逻辑判断token上，把抽象公式变成可感知的纠错行为。
HMMT25 上两道数学题的前后对比（同一采样种子）：原模型在 $\sum j/(j+0.5)$ 求和中把对称除数对重复计数得 −970，量化学生纠正为 −984；原模型在 11×11 网格不重门闭行走问题上误用最长圈约束得 120，剪枝学生正确建模为欧拉回路并算出 220−20=200。
提供定性证据说明准确率提升来自真实的推理结构纠正（计数语义、图论建模）而非格式或长度变化，增强对主表数字的信任。
两道代码题的错误/正确程序对比并附失败测试：Gravity 题中量化学生把错误的最大间隙累加替换为按秩取最大初始高度的不变量，Switch Seats 题中剪枝学生同时检查了两对夫妇的初始非相邻条件，均通过原模型失败的测试用例。
展示方法在代码生成上的具体算法级改进机制，证明 token 级对比信号能转化为程序逻辑修复。