代理探索与可复用引导：基于代理指导更新信号的模块化LLM后训练范式

PUST用轻量代理模型探索更新信号再迁移到更强主模型，实现弱到强、可复用的后训练。

前置知识

GRPO（Group Relative Policy Optimization）

GRPO 是一种 PPO 的简化变体，通过组内相对比较来估计稳定的优势函数（advantage），从而省去训练独立 critic 模型、显著降低显存与算力开销。它需要对同一个 prompt 采样多条轨迹，再依据组内相对奖励优化策略，是目前开源社区主流的推理能力后训练算法。

本文把 GRPO 作为「奖励优化」这一路线的代表方法，用它在代理模型上做策略探索，是理解整条流水线第一阶段的钥匙。读懂 GRPO 才能理解为什么探索阶段昂贵、为什么需要解耦。

OPD（On-Policy Distillation，在线策略蒸馏）

OPD 把后训练拆成两步：先用奖励优化得到一个专家教师模型，再让学生模型在自身采样的轨迹上与教师分布做对齐（KL 级别匹配）。相比直接 GRPO，它收敛步数更少，但仍依赖一个现成的、更强的目标分布，因此探索与对齐在同一个模型上耦合。

论文把现有后训练抽象为「策略探索 + 策略对齐」两阶段，OPD 是「分布匹配」路线的代表。理解 OPD 的耦合瓶颈，才能理解 PUST 为什么要解耦、以及它的新颖性在哪。

KL 散度与分布对齐

KL 散度衡量两个概率分布的差异，在 LLM 后训练里常用来约束策略不要偏离参考策略太远。本文证明其目标函数等价于最小化策略与「动态构造的目标分布」之间的 KL，从而把「信号迁移」与经典分布匹配统一在同一数学框架下。

论文核心目标函数 $\mathcal{L}_{proxy}(\theta)$ 在数学上等价于 KL 散度最小化，这是理解 PUST 本质上是「动态分布匹配」而非「模仿」的关键，也是作者证明方法稳定性的理论支点。

弱到强迁移（Weak-to-Strong Transfer）

弱到强研究指：能否用能力较弱模型产生的监督/信号去激发更强模型的能力。本文通过迁移「相对改进量」而非「绝对分布」，让 1.7B 代理的探索结果能提升 8B 主模型，属于该方向的延伸。

这是论文最重要的卖点之一，也是它区别于传统蒸馏（强教弱）的根本定位。理解这个概念才能 grasp 论文为何强调迁移 $\Delta_\phi$ 而非 $\pi_\phi^+$。

研究动机

后训练对提升 LLM 的领域能力至关重要，但现有两条主线都把「策略探索」与「分布对齐」死死绑在同一个模型上。奖励优化路线（PPO、GRPO）需要在大模型上反复做在线轨迹采样与奖励评估，每适配一个新领域就要串行地烧一遍算力，还面临灾难性遗忘风险（论文 Figure 1(a) 的串行范式）。即便较新的 OPD 范式（Figure 1(b)）把流程拆成「探索出专家 + 统一对齐」，其探索阶段仍然必须在被训练的模型自身上完成，导致探索得到的优化信号无法异步生成、无法缓存、无法跨模型复用。作者在第 2 节用 Qwen3-1.7B 做了对照实验：标准 GRPO 需要很长的探索期才找到好的更新方向，而 OPD 虽然约 20 步就收敛，却本质上是「奖励无关」的——它盲目对齐教师的绝对分布，即便加了 token 级掩码（OPD URM）也无法保证严格的 token 级奖励相关性。这说明真正的方向性改进信号只能来自奖励优化里的主动探索，而这部分成本恰恰是最难压缩的。

本文的目标是本文的目标是把「更新信号的探索」从「主模型的分布对齐」中彻底解耦出来，让优化信号可以被异步生成、缓存、缩放、复用，并能无缝迁移到不同的主模型——哪怕是从小模型迁移到大模型。作者希望把后训练从一个一体化的在线优化过程，改造为一个模块化、可复用、低成本的流水线：探索一次、复用多次。具体到方法层面，他们要做到三点：用轻量代理模型承担昂贵的试错探索；从代理的初始态与优化态中提炼出可迁移的方向性改进信号；并在迁移到主模型时引入校准机制防止过度更新。最终在 Qwen3 系列（1.7B/4B/8B）的数学与代码两个领域上验证：弱代理探索出的信号是否真能稳定提升强主模型，以及这种迁移强度是否可调。

与已有工作不同的是，现有弱到强工作（如 Direct-OPD）虽然也尝试把小模型的 RL 改进迁移到大模型，但仍停留在「迁移策略分布」的层面，没有把信号抽象成可独立存储、可缓存复用的「相对改进量」，也没有引入跨模型校准机制。OPD 类方法则必须依赖一个现成的更强教师分布，本质上仍是「强教弱」。PUST 的独特切入点是：不要更强目标，也不要模仿绝对分布，而是迁移代理模型自身的「相对改进方向」$\Delta_\phi(a|s_t)=\log\frac{\pi_\phi^+(a|s_t)}{\pi_\phi(a|s_t)}$。这个量与代理的绝对能力解耦，因此可以被任意主模型按需吸收，天然支持弱到强与跨模型复用，并用一个校准系数 $\lambda$ 动态控制吸收程度，这是已有范式都不具备的。

核心方法

直觉上，PUST 让一个便宜的小模型先把昂贵的试错探索做完一次，然后把「它改进的方向」（而不是它最终的行为）抽出来，注射到一个强模型身上，并随时校准以免用力过猛。技术路线上，论文先在第 2 节做铺垫实验确认「真正的方向性信号只能来自奖励优化的主动探索」，随后把后训练重构为三阶段流水线：代理探索、更新信号抽取、信号迁移。设状态 $s_t=(x,y_{<t})$，定义四个策略：初始代理 $\pi_\phi$、奖励优化后的代理 $\pi_\phi^+$、主模型冻结锚点 $\pi_{ref}$、待更新的主模型 $\pi_\theta$。整个框架基于 verl 实现，在 8×A100 80GB 上训练，数学域用 DeepMath-103K、代码域用 Eurus-RL-Code，奖励为可验证规则奖励（正确为 1 否则为 0）。核心数学结果是：最终目标函数可证明等价于最小化 $\pi_\theta$ 与一个「由代理信号动态构造的目标分布」之间的 KL 散度，从而把 PUST 统一进经典分布匹配框架，只是匹配对象从静态绝对分布变成了动态相对目标。

核心创新点在于「迁移相对改进量而非绝对分布」。传统蒸馏让学生去模仿教师 $\pi_\phi^+$ 的绝对 token 概率，信号被死死绑在代理身上、无法跨模型复用。PUST 抽取的是对数改进比 $\Delta_\phi(a|s_t)=\log\pi_\phi^+(a|s_t)-\log\pi_\phi(a|s_t)$：它编码的是「奖励鼓励或抑制了哪个 token」这一方向信息，与代理绝对能力无关。在迁移阶段，PUST 又用主模型自身的锚点对数比 $\Delta_\theta=\log\frac{\pi_\theta}{\pi_{ref}}$ 作惩罚，构造被迁移效用 $r_\lambda=\Delta_\phi-\lambda\Delta_\theta$（$\lambda>0$ 为校准系数），动态防止主模型对同一静态信号过度更新。这与 OPD「需要更强教师、盲目模仿绝对分布」有本质区别，也是它能弱到强、可复用、可传递的理论根基。

方法步骤详情

三阶段如下。阶段一（代理探索）：代理 $\pi_\phi$ 用标准 GRPO 在奖励 $r(x,y)$ 上优化，数学域 500 步、代码域 300 步，得到 $\pi_\phi^+$。阶段二（信号抽取）：对状态 $s_t$、token $a$ 计算相对改进 $\Delta_\phi=\log\frac{\pi_\phi^+(a|s_t)}{\pi_\phi(a|s_t)}$，可缓存复用。阶段三（信号迁移）：冻结 $\pi_\phi,\pi_\phi^+,\pi_{ref}$ 只更新 $\pi_\theta$，用锚点校准效用 $r_\lambda=\Delta_\phi-\lambda\Delta_\theta$（$\Delta_\theta=\log\frac{\pi_\theta}{\pi_{ref}}$）最大化期望效用，迁移仅约 50 步（vs 探索 500 步）。$\lambda$ 越大越保守：1.7B→8B 用 1.5，4B→8B 用 1.0。该目标函数可证明等价于最小化 $\pi_\theta$ 与动态目标分布间的 KL 散度，给出理论稳定性保证。

技术新颖性

技术新颖性体现在四个层面。其一，提出「相对改进信号」作为可迁移单元，把后训练信号从绝对分布中解放出来，使探索结果可缓存、可缩放、可异步生成。其二，引入锚点校准机制 $\lambda$，通过 $\Delta_\theta$ 动态度量主模型已吸收的更新量，解决反复迁移同一静态信号导致的过度更新问题——这是 OPD/SFT 都没有的。其三，数学上证明目标函数等价于 KL 散度最小化，揭示 PUST 本质是「对动态构造目标分布的分布匹配」，给方法提供了理论稳定性保证。其四，把弱到强迁移从「迁移分布」推进到「迁移相对改进方向 + 可调校准」，并用传递性实验（4B→1.7B→8B）证明信号可链式接力，构建出真正模块化、可复用的后训练范式。

**Figure 3**: Illustration of the PUST mechanism

实验结果

核心发现五块。其一（Table 1，数学 Mean@16）：弱代理迁移到强主模型稳定有效，Qwen3-8B 基线 17.3，PUST(1.7B→8B) 达 37.2（+19.9）、PUST(4B→8B) 达 47.5（+30.2），逼近 4B 自身 RL 的 46.5，且部分基准主模型增益反超代理。其二（Table 2，代码 Mean@8）：PUST(4B→8B) 达 60.5（+4.6），LCB 从 16.7 升到 25.0（+8.3）。其三（Table 3，复用性）：同一 4B 信号迁移到 1.7B/4B/8B 均带来增益，每次仅需 50 步（vs 探索 500 步），验证探索一次、复用多次。其四（Table 4，传递性）：4B→1.7B→8B 链式迁移均值 43.9（+26.6），略低于直迁 47.4，存在轻微漂移但可接力。其五（Figure 4 与 Sec 4.5）：最优 $\lambda^*$ 为 1.08（4B）、1.57（1.7B），均大于 1，说明信号应适度衰减；代理信号略弱于主模型直接探索，延长探索（1.7B 训 800 步优于 500 步）可提升信号质量。

**Table 1**: Mean@16 results of math benchmarks

**Table 2**: Mean@16 results of code benchmarks

**Table 3**: Reusability results of math benchmarks

**Table 4**: Transitivity results of math benchmarks

**Table 9**: Mean@16 results of PUST (1.7B→8B) under different λ

**Figure 4**: Sensitivity analysis on different proxy models and calibration coefficients

**Figure 5**: Mean@16 trajectories on AIME2024 and AIME2025

**Figure 6**: ΔPass@K over the number of samples k

查看结构化数据

任务	指标	本文	基线	提升
数学推理（AIME24/25、HMMT25 Feb/Nov，Mean@16 均值）	Mean@16 准确率	PUST(4B→8B) 均值 47.5	Qwen3-8B 基线 17.3	+30.2，且逼近 4B 自身 RL 的 46.5
弱到强迁移（1.7B 代理→8B 主模型）	Mean@16 准确率	PUST(1.7B→8B) 均值 37.2	Qwen3-8B 基线 17.3	+19.9，弱代理仍能显著提升强模型
代码生成（HumanEval+、MBPP+、LCB，Mean@8 均值）	Mean@8 准确率	PUST(4B→8B) 均值 60.5	Qwen3-8B 基线 55.9	+4.6，LCB 单项 +8.3
信号复用效率（同一 4B 信号迁移到不同主模型）	迁移所需训练步数	迁移仅 50 步即达 +30.2	探索阶段需 500 步 GRPO	复用成本约为探索的 1/10

局限与改进

作者明确承认两点：最优 $\lambda$ 并非 1.0、且随代理-主模型能力差距增大而增大（4B 用 1.08、1.7B 用 1.57），需要一个全局标量手调，文中坦承「自适应校准是重要的未来工作」；其次代理探索出的信号质量略弱于主模型直接探索（Sec 4.5），且传递式迁移存在漂移（Table 4：4B→1.7B→8B 的 43.9 低于直迁 47.4）。我额外观察到若干局限：一是鲁棒性偏脆——$\lambda=0.5$ 在 1.7B→8B 时直接性能崩塌为 0（Table 9），$\lambda=0$ 在 4B→8B 也完全崩溃，说明对超参极度敏感；二是评估范围窄，只测了 Qwen3 同家族、非思考模式，且仅数学与代码两个有可验证奖励的领域，未触及 RLHF 人类偏好、对话或安全对齐等无明确奖励函数的场景；三是「自适应校准」作为方法稳定性关键却未给出任何实现，仅留作未来工作；四是所有迁移都在同家族、同词表模型间完成，跨家族（如 Qwen↔LLaMA）的可迁移性完全未验证。

独立分析的弱点

第一，全局固定标量 $\lambda$ 无法刻画状态级差异——论文自己指出代理-主模型关系在不同采样状态下变化很大，一个常数必然次优。改进方向：基于 logit 重叠度、局部熵等轨迹特征做 token 级或状态级的自适应 $\lambda(s_t)$。第二，信号质量被「单一代理 + 固定数据」封顶，作者也承认上界受数据分布与探索策略约束。改进方向：多代理并行探索 + 集成投票（ensemble multi-source voting）来抬高信号上界。第三，仅同家族迁移，跨家族/跨词表时 $\log$ 比的语义是否成立存疑。改进方向：在共享嵌入空间或用桥接模型做对齐后再迁移。第四，对 $\lambda$ 极度敏感（小 $\lambda$ 崩溃），缺少自动鲁棒的 $\lambda$ 选择或早停机制，工程落地时易踩坑。改进方向：引入基于验证指标的自适应 $\lambda$ 搜索或过度更新的在线检测。第五，缺乏对「信号老化」的管理——同一静态信号反复用是否随主模型迭代而失效，论文未做长期复用衰减分析。

未来方向

作者明确提出的方向有两条：一是设计更强的代理探索策略（多模型并行探索、集成多源投票）以抬高信号质量上界；二是设计轨迹自适应校准方法，依据 logit 重叠度与局部熵动态调节迁移强度。基于成果可延伸的方向包括：把 PUST 扩展到无明确可验证奖励的领域（如人类偏好对齐），用代理去探索难以在主模型上计算的奖励信号；研究信号的长期复用与「老化」特性，建立信号版本管理与衰减更新机制；把弱到强迁移推到更激进的能力差（如 1B→70B）并验证 $\lambda$ 规律；结合模型合并（model merging）思想，把多个代理信号融合迁移；以及在跨家族模型间验证相对改进信号的可迁移性，检验 $\Delta_\phi$ 作为「与绝对能力解耦的通用信号」这一假设的边界。

复现评估

复现性较好。论文提供了 GitHub 仓库（github.com/KnowledgeXLab/PUST）与 HuggingFace 页面（KnowledgeXLab/PUST-Experiments），数据集 DeepMath-103K、Eurus-RL-Code 均为公开数据，框架基于开源的 verl。附录 Table 5/6/7 给出了信号迁移与 GRPO 探索的完整超参（batch size 256/128、max response length 16384、学习率 $1\times10^{-6}$、温度 1.0 等），并附训练动力学曲线（Figure 8 梯度范数、Figure 9 响应长度）佐证代理训练到收敛。硬件门槛明确：8×A100 80GB。主要难度在于：需要 1.7B/4B/8B 三个尺度模型先各自完成 GRPO 探索，单次探索成本不低；$\lambda$ 需按代理-主模型对单独调参，且小 $\lambda$ 易崩溃需谨慎；Mean@16/Mean@8 评估也要可观的推理算力。整体在算力充足时基本可复现，但中小团队完整复刻全部消融仍有门槛。

代理探索与可复用引导：基于代理指导更新信号的模块化LLM后训练范式 Proxy Exploration and Reusable Guidance: A Modular LLM Post-Training Paradigm via Proxy-Guided Update Signals