近确定性结构化输出在线策略蒸馏中的外推悬崖 The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs

完整方法流程包括六步。第一步是单 token Bernoulli 设定:令教师 π_T = (p, 1-p)、学生 π_θ^S = (q, 1-q)、base π_B = (b, 1-b),q = σ(θ);第二步构造 base-relative 外推目标 π_B(π_T/π_B)^λ,其单 token 形式 p^{(b)λ} = b^{1-λ} p^λ / (b^{1-λ} p^λ + (1-b)^{1-λ} (1-p)^λ);第三步刻画 clip-safe 区域:在 ρ_t = min(c, π_T/π_S) 与 advantage (2) 下,Lyapunov 势 V(q) = KL(π^{(b)λ}_T || π_S) 在 q < q_c := 1 - (1-p)/c 内单调下降;第四步解 p^{(b)λ} = q_c 得到 Thm 4.1 的闭式 λ★(p, b, c);第五步是序列级提升:在 K-item JSON rollout 的结构化位置集合 S 上,定义 p_safe = max_{t: p_t ≥ τ} p_t、 p_typ = mean_{t: p_t ≥ τ} p_t(τ=0.9),由 Prop 4.3(A) 得 λ★_safe = λ★(p_safe, b_eff, c) 给出 provable safety,Prop 4.3(B) 给 λ★_typ = λ★(p_typ, b_eff, c) 给出 empirical operating scale;第六步是部署:在 N steps 预算下,选 λ_op = λ★(N) - Δ 留出 Thm 4.2 描述的左漂余量。实际训练在 verl 框架上用 GRPO + IS clip c=5.0、base-relative advantage (2)、actor.policy_loss.only_reverse_kl_advantages=True、lambda_vals=λ 实现,无代码修改即可在 listwise rollout 上跑通。

技术新颖性体现在三方面。第一,'clip-safety as a geometric fixed-point exit event' 这一框架把 λ 调参从超参搜索转换为边界预测问题,且边界由三个可测量量闭式决定,这是 OPD/GRPO 文献中第一次出现的 falsifiable boundary prediction。第二,base-relative 设定下的 λ★(p, b, c) 闭式解是单 token Lyapunov 势 + 序列级单调性 + 等价类相关性分析三层推导的结果,推导本身在 App. C.1 给出完整证明;base-neutral(b=1/2) 情形简化为 log((1-p)/(c-1+p))/log((1-p)/p), b→p 情形 λ★→∞(无悬崖),边界与极端都被一致刻画。第三,'mechanism-not-method' 的解读:ASPO 在同协议下显示出'早一格 λ'的悬崖,这一独立性佐证使 λ★ 不被绑定到具体算法,从而具备迁移到其他 IS-clipped reverse-KL 外推方法的潜力。

独立看,本文有以下值得改进的弱点。第一,Amazon Fashion 的标签是 Gemini 2.5 Pro 生成的 pseudo-labels,论文明确说 'pretraining membership is not externally auditable'——这意味着 SFT baseline 和 teacher 都可能直接见过答案,'parity' 声明的有效域被限定为这一封闭 rubric,无法外推到真实人类相关性判断场景。改进方向:在公开 qrels(如 TREC-DL 已部分尝试)上做同等严格的预注册标定。第二,序列级 Prop 4.3(B) 中 ptyp 与 psafe 的聚合选择是 ex ante 锁定,但论文承认 'cross-task pre-registration of the aggregator on a held-out scaffold is the natural next robustness test',意味着该选择当前只在 Fashion 上得到验证;若不同 task 的等效聚合不同,窗口就会迁移。改进方向:在多个 held-out scaffold 上预注册 ptyp 聚合策略。第三,thrust 框架用 FSDP 8× B200 + vLLM 2-way TP,算力门槛对一般研究组较高,且 reproduce 5-seed sweep 需要约 100+ GPU-hours;改进方向:给出单 seed 复现协议与方差估计。第四,IS clip c=5 是 paper 默认值,Tab. 16 显示 c=1.5 在 N=42 不足以触发悬崖,意味着 c 本身需要根据预算选——这增加了 λ★ 公式的输入维度复杂性。第五,ASPO 比较只在 4 seed 上做,且'早一格 λ'的差异是经验观察而非解析预测,机制层面与 OPD 的等价性尚未完全闭合。

作者提出的未来方向包括:一、把 λ★ 机制迁移到其他 IS-clipped reverse-KL 外推方法(论文已展示 ASPO 验证),尤其是 reasoning 任务上的 ExOPD;二、在 N→∞ 极限下给出超临界动力学的 a.s. 收敛或逃逸的解析刻画(目前 Thm 4.2 是有限预算局部线性化);三、设计 base-relative 变体在 no-base 场景下的等价闭合公式,使结论不依赖 base 选取。基于成果可延伸的方向包括:四、把外层 K-ary wrapper 的'单一绑定类'条件推广到嵌套 schema(如 JSONSchemaBench 的 K=4 list 已部分展示衰减的 +0.04 提升),探索内层 schema homogeneity 与 cliff sharpness 的关系;五、与 constrained decoding 协同设计——论文显示后置 permutation repair 只能把 capability gap 闭合 0.051,说明训练期与解码期的合同强化仍未协同;六、把 USEFUL 之外的'实用指标'(cost-aware、latency-aware)纳入 λ★ 的判据;七、AB-MCTS/过程奖励模型下,非 token 级别的 clip-safety 推广;八、用于发现真实 OOD 检测的格式崩塌信号(坍缩往往先于语义错误)。

复现性整体良好但有门槛。代码与数据在 App. B.3 给出可访问链接,主实验使用 verl 框架 + vLLM rollout,关键超参都在 paper 里写明:AdamW lr=1e-6,无 warmup/schedule, batch size 128, FSDP 跨 8 张 B200, vLLM tensor parallel 2, max prompt 2048, max response 512, sampling temperature 1.0, IS clip c=5.0。SFT warmstart 用 Qwen3 base 在 lr=1e-5 cosine 5 epoch。Fashion 训练集 1795 groups / 验证集 212 groups, K=8, 跨域测试 Baby/Software 各 500 groups, MS MARCO 2000 train / 54 judged val。预注册实验的锁定窗口全部以 App. E.2 等形式公开。算力门槛:Fashion 3-epoch 单 run 约需 8×B200 几小时,5-seed sweep 与 N=200 预算扩展合起来需要约 100+ GPU-hours;Tab. 4 的 6 项 ablation 与 5 个 constrained-decoding baseline 各需额外 1 run 级别预算; ASPO 4-seed 对比需要同等量级。复现难度属于高门槛,需要熟悉 verl 框架、GRPO 的 IS-clip 实现细节,以及对 base-relative advantage 的精确还原(实现不对就直接 no-cliff,见 App. C.1.5)。