更小模型、更优拒绝：偏好蒸馏中的拒绝来源缩放研究 Smaller Models, Better Rejects: Preference Distillation Scaling
7B至72B学生实验证明：小模型生成拒绝样本更省算力且训练效果更强
前置知识
DPO（直接偏好优化）
DPO 跳过显式奖励模型，直接在偏好对上优化策略。对三元组 $(x, y^+, y^-)$，损失为 $\ell_{DPO}=-\log\sigma\big(\beta\log\frac{\pi_\theta(y^+|x)}{S(y^+|x)}-\beta\log\frac{\pi_\theta(y^-|x)}{S(y^-|x)}\big)$，其中 $S$ 是冻结参考策略，$\beta>0$ 控制偏好间隔的尺度。
本文的全部理论分析都建立在把 DPO 在初始化附近线性化之上，只有理解这个损失如何被拒绝样本驱动，才能看懂迁移坐标与有限时域界的推导。
SeqKD（序列级知识蒸馏）
让学生模型直接在教师生成的完整 token 序列上做最大似然训练（区别于 logit 层面的 KD），是黑盒蒸馏的标准做法。本文采用 SODA 两阶段管线：先用 SeqKD 学教师回答，再在固定偏好对上做 DPO。
SeqKD 之后的模型既是 DPO 的初始化又是其参考策略；论文证明此时学生自己的回答与参考耦合过强、对比信息不足，这正是用小模型拒绝替代它的理论出发点。
偏好蒸馏与拒绝样本
偏好蒸馏通过'教师回答为 chosen、学生回答为 rejected'的对比来传递教师能力，rejected（拒绝样本）的质量决定 DPO 能提取怎样的负向信号。SODA 是这类方法的代表：SeqKD 后在固定教师/学生回答对上做 DPO。
本文的核心问题就是'拒绝样本应由什么模型、什么分布生成'，直接挑战了'学生自己生成拒绝'这一领域默认配置。
线性化特征模型（NTK 视角）
在初始化 $\theta_0$ 处取特征 $\phi(x,y)=\nabla_\theta\log\pi_\theta(y|x)|_{\theta_0}$（参考网络的 score 梯度），把神经网络训练一阶近似为线性模型上对系数向量 $v$ 的更新，与 NTK/局部线性化理论一脉相承。
论文用该模型定义迁移质量 $a_Q$、不利份额 $c_Q$ 与净迁移 $\kappa_Q=a_Q(1-2c_Q)$，推出有限时域效用下界，并据此设计三个干预实验，是理解全文方法论枢纽。
avg@4 指标
对每道测试题采样 4 次回答，按执行成功（代码通过单元测试）或答案验证（数学）计算成功率后取平均，是可验证任务上兼顾稳定性与能力的常用评测指标。
论文所有主要结论（如 59.73%→63.28%）都以 avg@4 报告，理解该指标才能正确解读各实验的增益幅度。
研究动机
偏好蒸馏（如 SODA）的标准做法是两阶段：学生先通过 SeqKD 模仿教师回答，再在固定偏好对上做 DPO，其中 chosen 取教师（GPT-4o）的经验证正确回答，rejected 取学生自己生成的错误回答。这一默认做法隐含两个假设：其一，学生自身的失败是最有信息量的负样本；其二，生成拒绝样本需要与学生同等规模的模型——当学生从 7B 扩展到 72B 时，为每条偏好提示自我采样并通过单元测试过滤的推理成本随之急剧膨胀。更麻烦的是，SeqKD 之后学生的'近失误'（near miss）在 DPO 参考策略下似然已经很高，而 DPO 梯度权重 $\sigma(-\beta v^\top\delta)$ 随间隔增大而衰减，留给 DPO 的可对比信号可能很小。此前没有工作把'拒绝样本由什么分布生成'当作独立的缩放与设计问题系统地检验过。
本文的目标是本文的目标有三层。第一，用受控缩放实验直接检验上述两个假设：固定提示词、chosen 回答、SeqKD 初始化、DPO 目标、优化器、训练预算与评测协议，只改变拒绝来源，在 Qwen2.5 的 7B/14B/32B/72B 学生上比较来自严格更小的冻结 Base 模型（0.5B–14B）的拒绝与两种 Self 拒绝（vanilla Self 与 post-SeqKD Self），任务覆盖可验证的代码生成（KoDCode）与数学推理（OpenR1-Math-220k）。第二，把拒绝来源选择形式化为'逆向数据设计'问题：在线性化 DPO 特征模型中推导有限时域效用下界，刻画有利拒绝分布的充分区域。第三，从理论中提炼可操作、可观测的拒绝样本性质与构造准则，回答'什么样的拒绝分布才有用'。
与已有工作不同的是，已有工作要么固定管线只换蒸馏目标（SODA 等偏好蒸馏），要么在 pair 层面做选择、加权或在线采样，要么研究 chosen 端的质量与课程（如'更强教师未必带来更好学生'的 curriculum），都没有把'拒绝端的来源身份与相对规模'当作独立设计变量。本文的独特切入是：把其他一切因素锁死，对拒绝来源做单变量扫描（跨来源身份、相对规模、混合比例、与参考策略的耦合四个维度），并用线性化特征模型把不可观测的净迁移坐标翻译成三个可实现的构造算子——随机混合、提示重分配+词法置换、似然重选——再用因果对照实验逐一验证。理论与干预互相咬合、可证伪，这是它方法论上最不一样的地方。
核心方法
直觉上，DPO 的更新方向由每个偏好对的特征差 $\delta=\phi(x,y^+)-\phi(x,y^-)$ 的分布决定，所以'给什么样的拒绝'等价于'往参数方向 $v$ 上施加什么样的 $\delta$ 分布'。技术上，作者在 SeqKD 初始化 $\theta_0$ 处对 DPO 做一阶线性化：取 $\phi(x,y)=\nabla_\theta\log\pi_\theta(y|x)|_{\theta_0}$，把策略写成 $\pi_v(y|x)\propto S(y|x)\exp(v^\top\phi(x,y))$，全批梯度下降满足 $v^Q_{t+1}=v^Q_t+\eta_t\beta\,\mathbb{E}_Q[\sigma(-\beta v^\top\delta)\delta]$。以效用最速上升方向 $b_u$ 为标尺定义迁移得分 $k(x,y)=\langle b_u,\bar\phi_0(x)-\phi(x,y)\rangle$，每个拒绝来源由两个坐标刻画：迁移质量 $a_Q=\mathbb{E}|k|$ 与不利份额 $c_Q=\mathbb{E}[-k]_+/a_Q$，净迁移 $\kappa_Q=a_Q(1-2c_Q)$。Proposition 1 给出有限时域下界 $G_H(Q)\ge K_H\,a_Q(1-2c_Q)-E_H$，其中 $K_H=\beta\tau_H\|u\|/2$，并定义有利区域 $\mathcal{F}_{H,\epsilon}$：$0\le c_Q<1/2$ 且 $a_Q$ 足够大。实验在 SODA 管线上进行：SeqKD 用 75,752 条代码提示（GPT-4o 经执行验证的回答），DPO 用不相交的 24,248 条偏好提示，每条拒绝都经验证确实错误，据此理论设计三个干预。
核心创新是把'拒绝样本从哪来'从工程默认变成可分析的逆问题。与已有方法的本质区别有三点。第一，SODA 等方法把响应来源与训练管线绑定（教师 chosen / 学生 rejected），本文证明来源可以自由替换且越小越好：7B 到 72B 学生上全部 18 个更小 Base 配置同时超过两种 Self 构造，而其推理计算只有 vanilla Self 的 0.9%–50.1%（降低 2.0×–108.3×）。第二，理论证明净迁移对混合权重是仿射的（$\kappa_{M_w}=\sum_s w_s\kappa_{Q_s}$），预测效用随小模型份额单调上升，被 14B 学生的随机混合实验证实：Llama-1B 份额从 0% 到 100%，avg@4 从 59.73% 升到 63.28%。第三，把有用拒绝归结为两个可观测性质——保留任务相关结构、限制与参考策略的耦合——并分别用'词法置换仍有效'与'似然排斥更优'两个干预验证。小模型恰好两者兼备：它保留了代码域 token 结构，又不像学生自己那样与 SeqKD 参考强耦合，因此又便宜又好。
方法步骤详情
方法分四步。第一步（受控缩放）：对每个 Qwen2.5 学生（7B/14B/32B/72B），在完全相同的 SeqKD 初始化、提示、chosen 回答与 DPO 协议下，把拒绝来源替换为各更小 Base 模型与两种 Self；输入是偏好提示集，输出是各来源的 avg@4 端点（KoDCode 5,000 题域内评测 + HumanEval/MBPP/BigCodeBench 外部评测；数学线为 MATH-500 与 AIME 2024/2025）。第二步（H1 混合干预）：按权重 $w$ 把小模型与 vanilla Self 的拒绝随机指派构成混合集 $M_w(Q_1,\dots,Q_m)=\sum_s w_s Q_s$，验证净迁移线性假设，输出'份额–性能'曲线。第三步（H2 结构定位）：对每个学生域内最强的 Base 来源依次做提示词重分配（按 $(P_\rho Q)(y|x)=(1-\rho)Q(y|x)+\rho\bar{Q}(y)$ 概率把拒绝换绑到其他提示）与词法置换（只保留生成代码的 token 清单、打乱顺序），与 Continued-SFT（只训 chosen 回答）和长度匹配 Gibberish 对照，分离'任务结构'与'配对特异性'的贡献。第四步（H3 似然重选）：每条提示、每个来源采样 8 个候选，按长度归一化参考得分 $\tilde{s}_j$ 以 $q_\gamma(j|C_x)\propto\exp(-\gamma\tilde{s}_j)$ 选取拒绝，$\gamma>0$ 为排斥、$\gamma<0$ 为吸引、$\gamma=0$ 为原生；仅保留三种选择都能运行且单元测试通过率一致、长度差不超过 32 token 的提示做配对比较，输出排斥/吸引的端点差。
技术新颖性
技术新颖性体现在三处。首先是现象级发现：首次系统证明偏好蒸馏中'拒绝生成不必随学生规模扩展'，18 个更小 Base 配置在 7B–72B × 代码/数学的全矩阵上无一例外胜过 Self，且成本与规模成反比（最高 108.3× 缩减），直接改写 SODA 式管线的默认配置。其次是理论工具：在 DPO 线性化特征模型中定义 $(a_Q, c_Q)$ 双坐标与净迁移 $\kappa_Q=a_Q(1-2c_Q)$，证明有限时域下界 $G_H\ge K_H a_Q(1-2c_Q)-E_H$ 与有利区域 $\mathcal{F}_{H,\epsilon}$，把分布级数据设计（如 DID 从差分信息导出采样分布）推进到'按对任务效用的因果效应刻画分布'。第三是干预设计：三个构造算子各检验理论的一个可证伪推论，例如重选算子满足 $d\kappa_{Q_\gamma}/d\gamma=-\mathbb{E}_x\mathrm{Cov}_{j\sim q_\gamma}(\tilde{s}_j,k)$，预测参考排斥更优，实验中 1.5B 来源排斥达 63.14% 对吸引 61.88%。论文还诚实报告常见优化诊断（reject fields、reward margins、likelihood 轨迹、RC-DPO）都无法恢复来源排序（附录 E），凸显了理论坐标的必要性与诊断的失效边界。
实验结果
第一，缩放主实验：在 Qwen2.5 的 7B/14B/32B/72B 学生上，全部 18 个'更小 Base'配置的 KoDCode avg@4 同时超过 vanilla Self 与 post-SeqKD Self；例如 Qwen2.5-3B-Instruct 的拒绝使 14B 学生代码 avg@4 比 vanilla Self 高 3.1 点、数学高 1.9 点；最佳来源随学生与任务变化（7B 学生最佳为 0.5B、14B 为 3B 等），Llama Base 来源与最佳 Qwen 小模型竞争力相当。成本上，小来源生成计算为 vanilla Self 的 0.9%–50.1%，即 2.0×–108.3× 缩减。第二，随机混合（H1）：14B 学生中 Llama-1B 份额从 0% 升到 100%，KoDCode avg@4 从 59.73% 单调升至 63.28%（+3.55）；Qwen2.5-3B 混合从 59.58% 升到 62.63%（+3.05）；72B 的 50% 中点位于两个纯端点之间，验证了线性性。第三，结构定位（H2）：Gibberish 在 14B/32B/72B 上几乎与 Continued-SFT 重合（7B 略有增益），说明'任意可压制的文本'不够；提示重分配的真实 Base 拒绝在每个规模都超过 Gibberish，7B 学生最大 +1.28 点；仅保留 token 清单的词法置换仍全部超过 Gibberish，14B 最大 +0.73 点，证明增益部分来自代码域结构而非特定提示配对。第四，似然分析（H3）：自然来源的长度归一化参考似然与 avg@4 在所有规模负相关（7B 学生 Pearson $r=-0.97$，14B $-0.87$，32B $-0.77$，72B $-0.84$）；固定候选池重选时，每个来源都是'排斥'最优，1.5B 来源排斥 63.14% 对吸引 61.88%（+1.26），证明参考耦合是可操纵的因果属性而非单纯的规模代理。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 代码生成（KoDCode，14B 学生随机混合） | avg@4 (%) | 100% Llama-1B Base 拒绝：63.28 | 0% 份额（vanilla Self 拒绝）：59.73 | +3.55 |
| 代码生成（14B 学生，最佳小来源） | avg@4 (%) | Qwen2.5-3B 拒绝 | vanilla Self 拒绝 | +3.1 |
| 数学推理（14B 学生，MATH-500 等） | avg@4 | Qwen2.5-3B 拒绝 | vanilla Self 拒绝 | +1.9 |
| 代码生成（14B 学生，似然重选，1.5B 来源） | avg@4 (%) | Repelled（参考排斥）：63.14 | Attracted（参考吸引）：61.88 | +1.26 |
| 代码生成（7B 学生，提示重分配） | avg@4 (%) | 重分配 Base 拒绝 | 长度匹配 Gibberish 拒绝 | +1.28 |
| 代码生成（14B 学生，词法置换） | avg@4 (%) | Lexical（仅保留 token 清单） | Gibberish 拒绝 | +0.73 |
| 拒绝生成推理成本 | 相对计算量（vs vanilla Self） | 0.9%–50.1% | vanilla Self = 100% | 降低 2.0×–108.3× |
局限与改进
作者承认与可以观察到的局限：第一，理论坐标 $a_Q$、$c_Q$ 不可直接观测，线性化只是初始化附近的一阶近似，且附录 E 显示 reject fields、reward margins、likelihood 轨迹、RC-DPO 等常规诊断都无法恢复'小模型优于 Self'的排序——理论的解释力目前只体现在三个干预的方向性预测上，无法做样本外的定量预测。第二，'最佳来源随学生与任务变化'，论文没有给出先验的选择规则，实践者仍需逐规模、逐任务试错。第三，H2 的重分配与置换干预只在代码域完成，数学推理仅有缩放与混合证据，'任务结构承载增益'在自然语言推理上是否成立未验证。第四，所有拒绝都必须通过验证器确认'确实错误'（单元测试/答案校验），方法依赖可验证奖励任务；开放域任务（写作、对话）如何定义与过滤拒绝是空白。第五，H3 重选要求每条提示 8 个候选并做严格过滤（三选一均可运行、通过率相同、长度差 ≤32 token），会丢弃不少提示，工程上并不免费。
独立分析的弱点
第一，理论–实验耦合偏弱：有限时域界中的 $E_H=O(\tau_H^2)$ 在真实学习率下可能很大，界只能给方向、给不了幅度，且 $\kappa_Q$ 本身不可估计；改进方向是用参考网络的 Fisher/NTK 子空间近似 $\phi$，把 $a_Q$、$c_Q$ 变成可从小样本估计的统计量，用于来源排序与选择。第二，缺乏自动来源选择机制：既然净迁移对混合权重线性，完全可以在验证集上做小规模'探针训练'回归出各来源的 $\hat\kappa$，学习最优混合比例，把 Fig. 2c 的手工网格变成自适应算法。第三，混合与重选实验集中在 14B 学生，其他规模的组合优化未探索，7B/72B 上复验线性性会增强外推信心。第四，H3 的候选池过滤条件（三种选择全部可运行、通过率完全相同、长度差 ≤32 token）非常苛刻，可能引入选择偏差；改进方向是放宽配对约束并做分层重加权。第五，成本分析用参数量×输出长度估算，对 KV cache、批处理效率等真实因素不敏感，主结论虽在附录 B 有实测 GPU 时间支撑，但对硬件配置假设仍然敏感。
未来方向
作者层面：把两个可观测性质（任务结构、参考耦合）提炼为拒绝构造的通用设计准则，例如在生成端直接加参考排斥项，或训练专门的'拒绝生成器'；并把逆设计框架推广到 chosen 端与 pair 的联合设计。可延伸方向：其一，在线版本——在 DPO 训练过程中动态估计 $\kappa$ 并按比例调整来源采样，与 iterative DPO / 在线 RLHF 结合；其二，把词法置换的发现推广为'保结构、毁语义'的数据增强谱系（AST 级扰动、类型错误注入，附录 D.2 已有 AST 干预雏形）；其三，检验该现象在多模态、智能体与非可验证任务上的边界条件，特别是'验证错误'不可得时如何用启发式过滤替代；其四，理论上把线性化模型升级为二阶或有限宽度 NTK，解释最佳小模型规模与学生规模的关系（为何 14B 学生最佳是 3B 而非 0.5B）；其五，与教师课程（更强教师未必更好）结合，构造 chosen/rejected 两端的联合缩放律。
复现评估
复现条件中等偏上。数据全部公开：KoDCode（75,752 条 SeqKD + 24,248 条偏好 + 5,000 条域内评测）、OpenR1-Math-220k、HumanEval/MBPP/BigCodeBench-Complete/Instruct、MATH-500 与 AIME 2024/2025；教师回答由 GPT-4o 生成并经验证（需 API 费用，或用开源教师近似）。模型全部公开（Qwen2.5 0.5B–72B、Llama 1B 系等）。正文未提供代码发布链接，需自行实现 SODA 两阶段管线与三个干预算子，其中 H3 的候选池生成（每提示 8 候选 × 每来源）与三重过滤最费事。算力是主要门槛：72B 学生的 SeqKD+DPO 需要多机多卡，但 7B/14B 规模在单节点 8×A100 量级即可覆盖论文大部分关键结论（混合实验、似然重选、结构定位都做在 14B 上）。附录 A/B/D 提供了完整的切分、训练、解码、评测细节与成本实测，细节披露充分，整体复现难度中高。
论文图表
左图：7B–72B 学生在 KoDCode 上的 avg@4，对比 vanilla 模型、两种 Self 构造（vanilla Self 与 post-SeqKD Self）以及每个学生可用的全部更小 Base 来源，18 个更小 Base 配置全部超过两种 Self。右图：14B 学生的随机混合干预，Llama-1B Base 拒绝份额从 0% 升至 100% 时，avg@4 从 59.73 升至 63.28（+3.55）。
这张图就是论文核心结论的预告：一图同时呈现'更小更便宜反而更好'的缩放现象与'份额–性能单调上升'的系统性关系，是全文两大现象的视觉摘要。