Poly-OPD：面向异构多教师在线策略蒸馏的能力可选流模型 Poly-OPD: Heterogeneous Multi-Teacher On-Policy Distillation for Capability-Selectable Flow Models

流程分四步。Step 1 暖启动：对模式 $e\sim\pi$，教师生成 $x^e_\star=Sample_{T_e}(c)$，用学生编码器重编码 $z^S_{e,clean}=\mathcal{E}^S(x^e_\star)$，按学生调度插值 $z^S_\sigma=(1{-}\sigma)z^S_{e,clean}+\sigma\epsilon$，损失 $\mathcal{L}^{WS}_e=E\|v_\theta(z^S_\sigma,\sigma,c)-(\epsilon{-}z^S_{e,clean})\|^2$。Step 2 学生无梯度 rollout：从 $z^S_0\sim\mathcal{N}(0,I)$ 走 Euler 到 $z^S_{N_S}$，解码得像素 $x^S=\mathcal{G}^S(z^S_{N_S})$。Step 3 教师精修：采深度 $r\in[15,20]$，令 $k_e=N_e-r$，重编码 $\bar{z}^e_{clean}=\mathcal{E}^e(x^S)$ 并重噪化到 $\sigma_{k_e}$（按幅度而非时间步匹配），教师跑剩余 $r$ 步得精修图 $x^e_{ref}$；学生从匹配噪声幅度的缓存状态 $j$ 有梯度重走得 $\tilde{x}^S$，在 DINOv2 算 $\mathcal{L}^{OPD}=1{-}\cos(f(\tilde{x}^S), sg[f(x^e_{ref})])$。Step 4 模式目标 $\mathcal{L}^{(2)}=E_{e\sim\pi}[\mathcal{L}^{OPD}_e+\lambda_{WS}\mathcal{L}^{WS}_e]$，每步只更新共享注意力 LoRA 与当前模式 FFN 适配器，冻结底座与未激活适配器。Step 5 gap-aware：每类 $k{=}32$ 探针+缓存教师分 $s^T_a$，每 $K{=}50$ 步评 $s^S_a$，更新 $g_a\leftarrow\beta g_a+(1{-}\beta)\max(s^T_a{-}s^S_a,0)$（$\beta{=}0.8$），分布 $p(a){=}\exp(g_a/\tau)/\sum\exp(g_{a'}/\tau)$（$\tau{=}0.1$）。

技术新颖性体现在三处可独立迁移的设计。其一，像素桥接 + 噪声幅度对齐 + DINOv2 语义监督的组合，第一次让「潜空间互不兼容的异构教师」也能提供 on-policy 监督；论文还证明了教师重新噪化与学生恢复的两个入口点一旦学生接近收敛就内容一致到一阶，从理论上解释了为什么先暖启动后 OPD。其二，用实测梯度相容性 $\kappa_u^l$ 来设定共享-隔离边界——这是一个方法论层面的贡献：与其按惯例（全共享或全隔离）拍板，不如测量后再决定；这一思想可推广到任何多教师/多任务适配。其三，gap-aware 采样把「按难度采样」换成「按剩余师生残差采样」，并在残差 $\max(s^T_a - s^S_a, 0)$ 处裁零，使已掌握的类别权重自然衰减，无需外排程就能退火到均匀分布。此外精修深度 $r$ 被设计成一个连续旋钮：$r = N_e$ 时退化为 off-policy 模仿教师样本，$r=1$ 时退化为对学生样本的局部修正，中间值连续插值——这也超越了本文场景。消融证明这些设计缺一不可（去掉适配器选择损失 11.0 GenEval 点，去掉暖启动损失 24.1 点）。

独立分析的弱点有四。第一，能力「共存」其实是「可切换」而非「融合」：偏好与组合仍由两套 FFN 适配器分管，用户必须知道当前任务切哪个模式，无法在一个适配器内同时最优——改进方向是用路由/LoRA-MoE 让单次推理自动融合。第二，gap-aware 的探针开销与冷启动：每类 32 探针 + 离线教师分 + 每 50 步评测，类别增多或加新教师时评测成本线性膨胀，新类别需先离线跑教师——改进方向是引入学习到的价值头近似 $s^T_a-s^S_a$ 或主动选少量代表性探针。第三，方法对「师生都是流匹配 + 可微 Euler」前提较硬：对 score-based 扩散、一致性模型、token-based 生成器，噪声幅度对齐与缓存恢复可能失效——改进方向是把像素桥接推广到「采样器即黑箱」设定。第四，公平性与规模泛化：仅在 2.5B 单学生、两教师、512×512 上验证，且学生用 SD3.5 协议而教师用各自官方设置——改进方向是在统一采样协议、3+ 教师（如加文字渲染）、更大学生与高分辨率上复现，以确认「超教师」现象非采样器差异所致。

作者明确点出的延伸有两条：精修深度 $r$ 作为连续旋钮可推广到任何 off-policy→on-policy 的插值场景；实测共享-隔离边界可推广到任意多教师/多任务适配。基于成果还可延伸：其一，把 capability-selectable 适配器升级为隐式路由的「单适配器多能力」架构（如 LoRA-MoE），让推理时无需显式选模式；其二，把 gap-aware 的「师生残差」思想与在线 RL（如 Flow-GRPO）结合，用真实奖励而非探针近似来驱动预算分配；其三，扩展教师池到 3+ 异构教师（例如再加一个专精文字渲染或长文本理解的模型），检验梯度相容性诊断在更高维能力空间是否仍能给出干净的共享-隔离划分；其四，把像素桥接 + DINOv2 监督迁移到视频扩散与 3D 生成，验证「唯一公共坐标系是像素」这一论断在时序/多视图一致性下是否成立；其五，研究 gap-aware 的温度 $\tau$、动量 $\beta$、探针数 $k$ 的自适应调度，替代当前固定值。整体上，本文把「异构多教师蒸馏」从不可能变为可行，后续工作很可能沿「更多教师 + 更强融合 + 更通用桥接」三条线展开。

复现评估中等偏上。论文给出较完整训练配方：学生 SD3.5-Medium 2.5B、教师 FLUX.1-dev(12B)与 Z-Image(6B) 均开源、提示源 Pick-a-Pic 与 Flow-GRPO 的 GenEval 风格划分、暖启动 500 步+OPD 800 步、20 步学生 Euler 采样器、DINOv2 CLS 监督、精修范围 $r\in[15,20]$、gap-aware 参数 $K=50/k=32/\beta=0.8/\tau=0.1$、评估 512×512，完整采样器/引导/调度称在 supplement。所有评测基准（DrawBench、GenEval、DPG-Bench、HPSv3、ImageReward、PickScore、UnifiedReward）均公开，方程 (1)-(8) 与适配器结构清晰可照实现。不利因素：supplement 完整超参未在正文给出；gap-aware 探针池与缓存教师分未公开，新类别需自行离线评测；暖启动 500 步与 OPD 800 步对应算力/显存未披露，2.5B 学生+12B/6B 两教师同时驻留显存成本不低；教师官方采样设置与学生 SD3.5 协议不一致的公平性细节需核对。论文未提代码/权重开源，严格复现需自行实现整条 pixel-bridge 链路，门槛偏高但材料足够。