DanceOPD：在线策略生成场蒸馏 DanceOPD: On-Policy Generative Field Distillation
通过硬路由和单查询场匹配，实现多能力图像生成模型的统一蒸馏
前置知识
Flow Matching (流匹配)
流匹配是一类生成建模方法，将生成过程视为在连续状态空间中学习向量场的过程。它从初始噪声分布到目标数据分布学习一个速度场，通过沿着这个速度场逐步变换状态来生成样本。与扩散模型相比，流匹配通常具有更简单的训练目标和更快的采样速度。在 Flow Matching 框架下，生成过程可以形式化为求解常微分方程，从t=1的噪声状态积分到t=0的清晰图像状态。
本文的核心创新完全基于 Flow Matching 的速度场视角，将不同生成能力建模为共享状态空间上的不同速度场，不理解这个框架就无法理解论文的方法论基础。
On-Policy Distillation (在线策略蒸馏)
在线策略蒸馏是一种知识蒸馏范式，教师模型在学生模型当前产生的状态上提供监督信号，而不是使用固定的离线数据或预定义的轨迹。在强化学习和生成模型中，学生模型的策略会随训练变化，导致训练时访问的状态分布与推理时不同。在线策略蒸馏通过让教师监督学生实际访问的状态分布来缓解这种分布漂移问题。在 Flow Matching 场景中，这意味着在当前学生生成的轨迹上查询教师场的监督信号，而不是在固定的噪声状态上。
本文的核心设计之一就是使用学生自身的 rollout 状态来查询教师场，这是 On-Policy Distillation 在生成模型中的应用。理解这个概念才能明白为什么论文要选择学生产生的状态而不是固定的离线状态。
Classifier-Free Guidance (CFG)
分类器自由引导是一种在文本到图像生成中增强文本控制力的技术。它通过同时训练一个无条件模型和一个条件模型，在推理时通过线性组合来生成引导后的速度场。其中alpha是引导强度参数，通常设置为7.0或更高。这种引导机制可以增强模型对文本提示的遵循程度，但需要在推理时进行两次前向传播（无条件+条件）并计算线性组合，增加了推理开销。
本文的一个重要应用场景是将 CFG 场吸收到学生模型中，使其在单次推理时就具有引导效果，而不需要在推理时显式计算。理解 CFG 的工作原理才能理解论文的场吸收机制。
Stop-Gradient (停止梯度)
停止梯度是一种技术手段，在计算反向传播梯度时将某些张量的梯度设为零，使其不参与参数更新。在本文中，学生生成的查询状态使用了停止梯度操作，这样梯度只流经学生速度预测，而不流经生成查询状态的整个求解器。这避免了需要通过整个数值求解器进行反向传播，大大降低了计算复杂度。停止梯度在蒸馏、对抗训练和元学习等场景中广泛使用。
本文的训练过程中使用了停止梯度来获取查询状态，这是方法效率的关键。不理解停止梯度就无法理解为什么论文可以在不反向传播整个求解器的情况下进行在线策略蒸馏。
GEditBench
GEditBench 是一个图像编辑能力评测基准，包含六个主要的编辑任务类别：主体添加、主体替换、背景改变、风格改变、颜色改变和主体移除。每个类别通过自动化指标（如CLIP相似度、结构相似度等）和人工评估来综合衡量模型的编辑能力。对于主体添加，模型需要在不改变原图布局的情况下添加新对象；对于风格改变，模型需要改变整体视觉风格但保持内容语义一致；对于主体移除，模型需要自然地填补被移除对象留下的空白区域。
本文的主要实验结果之一就是在 GEditBench 上评估多能力组合效果。理解这个评测基准才能明白论文中各种数值指标的实验设置和评估标准。
研究动机
现代图像生成模型需要同时支持多种能力，包括文本到图像生成、局部编辑和全局编辑。这些能力在优化目标上存在本质冲突：T2I 追求开放式的视觉质量和提示遵循能力；局部编辑要求在保持源图像的同时应用精确的修改；全局编辑则有意改变广泛的视觉统计特征，如风格、颜色或布局。现有的能力组合范式只能部分解决这个问题。数据混合或联合训练会稀释能力特定的监督信号，并可能遭受多任务梯度冲突；参数空间合并和适配器组合通常只能产生妥协的解决方案；推理时的分数组合则将组合逻辑留在了部署的学生模型外部。例如，在同时训练 T2I 和编辑任务时，优化编辑能力往往会侵蚀 T2I 性能，而局部和全局编辑会相互干扰。
本文的目标是本文的具体目标是训练一个统一的学生模型，该模型能够通过在线策略生成场蒸馏框架，将多个冻结的能力源（如 T2I 模型、局部编辑模型、全局编辑模型、真实性导向模型）组合成一个单一模型。这个学生模型应该能够在增强目标能力的同时保持锚定生成质量。具体量化目标包括：在 T2I 和编辑组合设置中，GEditBench 平均分超过最佳复现 OPD 基线 8% 以上，同时 GenEval 分数保持或超过 T2I 源模型；在局部和全局编辑组合中，GEditBench 平均分超过最佳竞争基线 16% 以上；在真实性场吸收中，关闭学生到教师奖励差距的 85% 以上，同时 T2I 分数保持在学生锚点的 0.1% 范围内。
与已有工作不同的是，本文的独特切入角度是从速度场的视角来重新审视多能力组合问题。大多数现有工作将能力组合视为数据混合、参数合并或外部分数组合的问题，而没有深入思考能力组合过程中监督信号的查询策略。本文抓住了三个被忽视的设计选择：哪个能力场应该监督每个样本、场应该在状态空间的哪个位置被查询、从学生轨迹中应该使用多少个状态进行监督。这三个选择直接决定了多能力蒸馏中的主要对齐挑战：目标场歧义性、状态分布不匹配和轨迹查询相关性。通过分析这些查询引起的对齐挑战，本文提出了硬路由样本级场匹配、在线策略场查询和语义侧单查询的设计选择，这是与现有方法最本质的区别。
核心方法
DanceOPD 的核心直觉是：将每个冻结的能力源视为共享生成状态空间上的一个速度场，然后通过场查询的方式让学生学习这些能力。这就好比有多个教师专家，每个专家都有自己的专长场，学生需要决定向哪个专家学习、在什么状态下学习、学习多少次。技术路线包括三个关键设计：首先，每个训练样本通过硬路由被分配到一个能力场，保持样本的语义身份；其次，路由的场在学生自身产生的 rollout 状态上被查询，而不是在固定的离线状态上；最后，每个样本只使用一个语义侧的低噪声查询，避免轨迹内部的相关监督信号。学生通过简单的速度 MSE 损失进行更新，这个损失在局部高斯过渡视图下等价于 KL 风格的场匹配。
DanceOPD 的核心创新点是将多能力图像生成问题重新表述为在线策略生成场蒸馏问题，并提出了三个关键设计选择来解决查询引起的对齐挑战。第一，硬路由样本级场匹配：每个样本只被分配到一个能力场，而不是在同一个样本目标内平均多个场。这保持了目标语义的清晰性，避免了目标场歧义性。第二，在线策略场查询：路由的场在当前学生 rollout 产生的状态上被查询，而不是在数据状态或教师轨迹上。这解决了训练和推理之间的状态分布不匹配问题。第三，语义侧单查询：每个样本只使用一个低噪声状态进行查询，而不是密集监督整个轨迹。这避免了轨迹查询相关性，因为来自同一轨迹的多个状态共享相同的提示、噪声种子、学生动态和路径历史。这三个设计的结合使得 DanceOPD 能够在不依赖联合训练、参数空间合并或外部分数组合的情况下组合和吸收能力场。
方法步骤详情
DanceOPD 的训练过程分为三个主要步骤。第一步是路由一个能力查询：从路由概率中采样一个能力索引，然后从对应的路由特定训练分布中采样数据载荷。例如，如果m对应T2I，则是文本提示；如果m对应编辑，则是源图像和编辑指令。这一步保持了样本的语义身份，每个样本只有一个明确的目标能力。第二步是在学生轨迹上查询：从初始噪声分布中采样，使用当前学生速度生成 rollout 轨迹，然后从语义侧查询分布中采样一个语义坐标，映射到物理时间步，将查询状态设置为停止梯度的学生状态，并查询冻结能力场。这一步确保了监督与学生实际访问的状态分布一致。第三步是匹配局部速度场：使用简单的速度 MSE 损失更新学生参数。在局部高斯过渡视图下，这个 MSE 损失等价于 KL 风格的场匹配，因为对于具有相同协方差的高斯分布，前向 KL 具有闭式形式。
技术新颖性
DanceOPD 的技术新颖性体现在多个方面。首先，这是第一个将 Flow Matching 的在线策略蒸馏、多能力组合、设计空间分析和功能场吸收结合在一起的工作。其次，本文系统性地分析了查询引起的三个对齐挑战（目标场歧义性、状态分布不匹配、轨迹查询相关性），并提出了相应的设计选择，这是对现有 OPD 方法的补充。第三，本文提出了语义侧单查询的概念，通过在低噪声侧查询能力场，可以获得高信噪比的能力监督，同时避免相关轨迹样本。第四，本文证明了简单的速度 MSE 损失在确定性速度场匹配中是最稳定的，优于 KL 加权、时间步加权、评分风格和一致性风格替代方案。第五，本文展示了场吸收的应用，将分类器自由引导场吸收到学生中，使其在单次推理时就具有引导效果，而不需要在推理时显式计算线性组合。
实验结果
论文在四个设置下评估了 DanceOPD 的有效性：T2I 和编辑组合、局部和全局编辑组合、真实性场吸收和 CFG 吸收。在 T2I 和编辑组合中，DanceOPD 在 GEditBench 平均分上比最佳复现 OPD 基线提高了 8.1%，比编辑源提高了 8.5%，同时在 GenEval 整体得分上比 T2I 源提高了 2.0%，比最强组合基线提高了 1.6%。在需要较大视觉变化的编辑类别上提升尤其明显：与 DiffusionOPD 相比，背景改变提高了 21.9%，风格改变提高了 21.3%，颜色改变提高了 5.5%。在局部和全局编辑组合中，DanceOPD 的 GEditBench 平均分比最佳竞争组合基线提高了 16.1%，比局部编辑源提高了 7.9%，GenEval 整体得分比最强组合基线提高了 2.5%。在需要全局或属性级变化的类别上提升集中：背景改变提高了 33.5%，风格改变提高了 12.9%，颜色改变提高了 11.6%。在真实性场吸收中，DanceOPD 的真实性奖励比离线策略蒸馏提高了 9.9%，关闭了 85.3% 的学生到教师奖励差距，同时 T2I 得保持在离线策略蒸馏的 0.1% 范围内，比学生锚点高 7.6%。在 CFG 吸收中，最佳测量组合在 GEditBench 平均分上比仅训练吸收提高了 7.6%，比仅评估 CFG 提高了 1.4%。诊断研究进一步支持了方法设计：硬路由在 MSE 下比软全教师混合提高了 15.2%，在 KL 下提高了 10.6%；语义侧低噪声查询比中噪声和高噪声查询分别提高了 23.7% 和 19.5%；密集同步累积下降了 22.8%，SDE 风格去相关部分恢复了压力情况，增益 18.4%但仍比单查询默认低 8.6%；简单的速度 MSE 比主要加权替代方案提高了 2.8% 到 4.5%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| T2I + 编辑组合 | GEditBench-EN 平均分 | 5.347 | DiffusionOPD (4.947) | +8.1% |
| T2I + 编辑组合 | GenEval 整体得分 | 0.849 | T2I 源 (0.832) | +2.0% |
| 局部 + 全局编辑组合 | GEditBench-EN 平均分 | 5.498 | Flow-OPD (4.679) | +16.1% |
| 局部 + 全局编辑组合 | GenEval 整体得分 | 0.848 | 最强组合基线 | +2.5% |
| 真实性场吸收 | 真实性奖励提升 | vs. 离线策略蒸馏 | Off-Policy | +9.9% |
| CFG 吸收 | GEditBench-EN 平均分 | 最佳组合 | 仅训练吸收 | +7.6% |
局限与改进
论文承认了几个局限性。首先，当前公式假设冻结能力源在共享生成状态空间上暴露兼容的速度场。在实验中，这个假设得到满足，因为源来自相同的主干家族、潜在表示、调度器约定和速度参数化。这个要求不是 DanceOPD 独有的，LLM OPD 方法通常也需要教师和学生分布在相同的 token 空间上定义。其次，本文的实现使用预定义的能力桶和样本级硬路由。当任务边界模糊或提示需要同时使用多种能力时，这个假设变弱。自然的扩展是引入验证器或奖励模型，根据模型行为或预测编辑成功来分配路由。第三，本文的学生初始化影响训练早期的学生 rollout，从而影响教师场查询的位置。最好的默认是最强相关能力的检查点，这意味着 DanceOPD 的效果在一定程度上依赖于良好的初始化。
独立分析的弱点
DanceOPD 的一个主要弱点是预定义路由的限制。当前实现假设任务边界清晰且容易分离，但在实际应用中，用户可能需要同时使用多种能力（例如在编辑图像的同时改变风格）。这种情况下，硬路由无法满足需求，需要更灵活的动态路由机制。改进方向可以是引入基于验证器或奖励模型的动态路由，根据模型行为或预测编辑成功来实时分配路由。另一个弱点是学生初始化的影响。本文发现最好的默认是最强相关能力的检查点，这意味着如果初始化不理想，训练效果可能受限。改进方向可以是研究自适应初始化策略，或者将初始化过程纳入整体优化框架。第三个弱点是共享场支持的假设。当前方法要求所有能力源在相同的状态空间上暴露兼容的速度场，这在实践中可能限制跨架构或跨表示系统能力组合。改进方向可以是研究跨空间场映射机制，或者设计更通用的场对齐方法。
未来方向
基于论文的成果，可以从多个方向延伸研究。首先是动态路由机制，引入验证器或奖励模型根据模型行为或预测编辑成功来分配路由，连接场路由蒸馏与基于奖励和验证器的评估或监督信号。其次是跨架构场组合，研究如何将不同架构或表示系统能力源组合到一个学生模型中，这可能涉及设计跨空间场映射机制或更通用的场对齐方法。第三是多模态场扩展，将场蒸馏框架扩展到多模态生成，如文本-图像-音频联合生成，或者在文本到图像之外的其他生成任务中应用，如 3D 生成、视频生成等。第四是理论分析，进一步分析场匹配的理论性质，如 KL-MSE 等价性在更一般条件下的成立性，或者研究场匹配与分布匹配之间的关系。第五是应用拓展，将 DanceOPD 应用于更多实际场景，如个性化生成、风格迁移、内容编辑等，或者与其他后训练技术（如偏好优化、对齐训练）结合。
复现评估
论文提供了详细的实现细节和超参数设置，主要使用 Z-Image 作为骨干模型，DiT LoRA 作为可训练模块，LoRA 秩为 128。训练使用 16 步 Euler ODE rollout，每样本查询状态数为 1，路由概率在活动桶上均匀分布，时间步采样使用 Beta(5,2) 低噪声偏差，目标是简单的速度 MSE，优化器是 AdamW，学习率为 2e-4，梯度累积为 4。论文没有明确说明开源情况，但提供了详细的算法描述和实现细节，复现难度中等。对于真实性场吸收实验，论文使用 SD3.5-M 作为骨干，真实性教师通过全参数训练获得，使用专有奖励模型进行评估，这可能限制复现性。总体而言，论文的核心方法相对容易复现，但某些实验设置（如真实性场吸收）依赖于专有资源，可能难以完全复现。
论文图表
