通过在线策略上下文蒸馏将智能体经验内化进扩散模型权重 Internalizing Agent Experience into Diffusion Model Weights via On-Policy Context Distillation
把文生图智能体框架学到的提示词经验蒸馏进扩散模型权重，实现框架与模型持续协同进化
前置知识
扩散模型与流匹配
一类生成模型，把图像生成建模为从高斯噪声到图像的逐步去噪过程。流匹配是其现代形式：网络学习速度场 $v_\theta(x_t, t, c)$，用欧拉法沿时间轴从噪声 $x_0 \sim \mathcal{N}(0, I)$ 积分到 $t=1$ 得到图像。本文基座 Z-Image-Turbo 是少步流匹配生成器，推理仅需 8 步。
D-OPCD 的训练信号完全定义在去噪轨迹的速度预测上，不理解流匹配就无法理解蒸馏目标函数为何长那样。
在线策略蒸馏
传统蒸馏让学生模仿教师在固定数据上的输出，存在学生推理时分布不匹配的问题。在线策略蒸馏让学生先沿自己的采样轨迹生成中间状态，再仅在这些学生真实会访问的状态上要求其输出逼近教师，从而消除分布偏移。扩散模型上的代表工作是 D-OPSD。
D-OPCD 的 on-policy 部分直接继承 D-OPSD 的构造：学生 rollout、访问状态 detach、教师只在学生访问的状态上被匹配。
上下文蒸馏
源自语言模型的 OPCD 思想：教师模型额外获得特权上下文（如参考答案、思维链），学生只看原始输入；训练让学生在自身轨迹上匹配教师，把依赖额外上下文才能做对的能力压进参数权重。推理时不再需要特权上下文。
本文把 harness 改写后的提示词当作特权上下文，是 OPCD 首次移植到扩散模型上，方法名 D-OPCD 由此而来。
智能体框架与技能库
harness 是包裹固定生成器的外部系统，负责任务规划、技能路由、把请求拆成可视化检查项、批量验证图像并迭代改写提示词。技能是从历史任务中提炼的、可路由复用的提示词改写指南；版本化的技能库定义了不同的 harness 版本。
论文的核心命题是这些外置收益能否写进生成器权重，必须先理解 harness 收益的产生机制与它暴露给生成器的接口。
LoRA 低秩适配
冻结预训练权重，只训练注入到注意力 Q/K/V/O 投影与前馈层的低秩分解矩阵。本文统一用 rank 64、$\alpha=128$、无 dropout、学习率 $10^{-4}$、共 2000 步，每 200 步存档按 held-out 集选检查点。
这是本文所有训练实验（含全部基线）的统一设置，保证对比公平，也是复现 Table 2 结果的关键配置。
EMA 教师
教师参数取学生参数的指数滑动平均：$\bar{\theta} \leftarrow \beta \bar{\theta} + (1-\beta)\theta$，本文取 $\beta=0.9999$。教师随训练缓慢更新，既比完全冻结的教师更贴合学生当前分布，又比直接复制学生更稳定。
D-OPCD 的教师就是学生的 EMA 副本，师生唯一区别是教师条件里多了特权提示词，这是理解损失函数的前提。
研究动机
训练无关的文生图智能体框架（GEMS、MemoGen、GenEvolve 等）靠记忆、技能、验证与迭代修正大幅提升生成质量，但收益完全外在于生成器：每次请求都要重新检索指导、重新推理验证，甚至多次调用生成器。这带来两个结构性代价：其一，随记忆与技能不断积累，检索相关指导越来越难；其二，每个新请求都要重复支付推理、验证与多轮生成的成本。作者的实测很直观：基座生成器 Z-Image-Turbo 在 GenEval/GenEval2/WISE/R2I-Bench 四个基准上直接生成平均只有 60.52 分，挂上技能框架后升到 81.83（+21.31），其中 WISE 从 42.86 飙到 81.43——但生成器一个参数都没动，拔掉框架这些收益就全部消失。
本文的目标是本文要回答的核心问题是：能否把智能体框架通过进化发现的收益内化进生成器权重，让模型仅凭原始 query 就保留这些改进？具体拆解为三个目标：其一，设计 D-OPCD 算法，把框架改写的提示词当作特权上下文蒸馏进扩散模型参数；其二，构建 Auto Skill Evolver（ASE）测试时学习机制，把任务经验沉淀为可复用技能，同时产出 (query, prompt) 训练对；其三，建立框架-模型协同进化闭环——模型内化已饱和的技能后清空技能库，让框架围绕更新后的模型继续进化。量化目标是直接生成平均分从 60.52 提升到 65.09，并在第二轮技能进化中再涨 1.83 分。
与已有工作不同的是，独特切入在于收益接口的选择。此前工作（如 GenEvolve）用视觉经验改进的是构造生成器输入的 agent 策略，收益仍要靠 harness 在推理时兑现；本文反过来，用任务完成时留下的 query–prompt 对直接训练生成器本身。与最接近的扩散模型自蒸馏 D-OPSD 相比，特权信息来源不同：D-OPSD 用目标/参考图像作教师条件，D-OPCD 用 harness 产出的文本提示词，内化的是提示词介导的收益。作者还论证了直接 SFT 走不通：在 $(p_i, I_i)$ 上训练，知识仍留在输入端，教不会只看 $q_i$ 的生成；在 $(q_i, I_i)$ 上训练，既丢弃特权信号，又监督图像派生的状态，与学生自身轨迹存在 off-policy 错配。
核心方法
直觉上，框架精心改写的提示词相当于带答案的讲解，原始 query 是考题；要让模型学会讲解里的本事，就让一位看过讲解的教师和只看考题的学生，在学生自己的解题路径（去噪轨迹）上逐步对齐。技术路线分三块：第一，数据接口——每个完成任务记录三元组 $(q_i, p_i, I_i)$，$p_i$ 是框架最终选中并通过内部验证的提示词，图像 $I_i$ 只用于筛选记录，不进损失函数；第二，D-OPCD 蒸馏——学生以 $c^s_i = F_T(q_i)$ 为条件，EMA 教师以 $c^t_i = F_T([q_i; p_i])$ 为条件，在学生四点欧拉 rollout 访问的状态上做速度 MSE 回归，教师预测加 stop-gradient；第三，ASE 与协同进化协议——框架流式处理任务池 $Q_{\text{train}}$ 产出版本序列，在 held-out 集 $Q_{\text{hold}}$ 上选最优版本，冻结后重放收集蒸馏数据，训练完成即换上新生成器并清空技能库重新进化。
核心创新是把框架经验到生成器权重的迁移形式化为扩散模型上的在线策略上下文蒸馏。与 SFT 的本质区别：SFT 用图像 $I_i$ 作回归目标，监督的是图像派生状态且丢了特权信号；D-OPCD 完全不看图像像素，损失为 $\mathcal{L}_{\text{D-OPCD}} = \mathbb{E}\big[\frac{1}{K}\sum_{k=1}^{K}\|u^s_{i,k} - \mathrm{sg}(u^t_{i,k})\|_2^2\big]$，师生预测的差距只源于特权上下文本身，且对齐发生在学生真实访问的状态上。与 D-OPSD 的区别是特权信息从图像换成文本提示词；与 LLM 版 OPCD 的区别是从自回归 token 空间搬到扩散速度场，且特权上下文由一个持续进化的外部 agent 系统供给而非人工模板。三者叠加建立了协同进化接口：技能饱和、蒸馏内化、清空重置、再进化，每一步可用标量 $\delta^{(r^\star)} = J(H_\emptyset; \pi_{\theta'}) - J(H_{r^\star}; \pi_\theta)$ 量化内化程度。
方法步骤详情
第一步，任务执行：基于 GEMS 的五角色框架——Planner 按技能清单路由并改写首次提示词（无技能则 $p_{i,1}=q_i$），Decomposer 把 $q_i$ 拆成至多 10 个是非视觉检查项，Generator 出图，Verifier 逐项批量核验，Refiner 依失败反馈改写，最多 5 次尝试，返回通过检查数最多的最早尝试 $(p_i, I_i)$。第二步，ASE 沉淀：任务按批 $M=8$ 流入，Insight 管理器用 BGE-M3 检索（top-4、余弦门限 0.35）构建冻结工作集，执行 ADD/SUPPORT/REVISE/CONTRADICT/MERGE/ARCHIVE 六种动作，支持数达 $\tau$ 且超过反对数即成熟；Skill 管理器在累积 $B$ 个成熟洞察时触发，从 9 种动作（CREATE/SPLIT/MERGE/精确文本编辑等）中规划更新，硬约束至多 5 个技能、单个不超 4500 字符，每次提交定义新版本 $H_r$。第三步，选版与冻结重放：按 $r^\star = \arg\max_r J(H_r; \pi_\theta, Q_{\text{hold}})$ 选版，在 $Q_{\text{train}}$ 冻结重放得到 276/400/490/392 对训练数据。第四步，D-OPCD 训练：LoRA 微调 Z-Image-Turbo，学生四点欧拉 rollout $t \in \{0, 0.1, 0.25, 0.5\}$ 并 detach 访问状态，EMA（衰减 0.9999）教师以拼接条件预测速度，MSE 回归 2000 步。第五步，采纳与重置：换上 $\pi_{\theta'}$，清空技能库，量化 $\delta$ 后对更新后模型跑第二轮 ASE。
技术新颖性
新颖性有四层。视角上，首次系统提出 harness-to-generator 的内化问题，把 agent 经验进化与扩散模型权重训练两条独立发展的研究线接通，并提出可量化（$\delta$ 值）的协同进化框架。技术组合上，OPCD 与 D-OPSD 的交集并非平凡移植：特权上下文从图像换成文本提示词，师生共享同一冻结文本编码器，差别仅在教师输入序列拼接了 Privileged generation context: 加 $p_i$ 的特权段。系统设计上，ASE 的洞察-技能两级沉淀带完整验证规则（0.92 余弦去重、Episode 级证据计数、技能库容量与长度硬约束），配合版本选择、冻结重放、内化、重置的严格协议，把协同进化做成可复现的闭环实验。数据协议上，训练、选版、评测三集严格分离，四种训练方法共用完全相同的重放记录与优化预算，公平性在同类系统论文中少见。
实验结果
实验覆盖 GenEval、GenEval2、WISE、R2I-Bench 四个基准。其一，框架收益：无技能框架把平均分从 60.52 提到 79.28（+18.76，其中 WISE 42.86→78.00、R2I 42.87→68.12），ASE 进化技能再 +2.55 至 81.83。其二，内化收益：D-OPCD 后仅凭原始 query 直接生成平均 65.09，四基准全部超过基座（+3.06/+4.10/+7.14/+3.96）。其三，内化程度：更新后模型挂无技能框架得 82.33，略超原技能装备 agent 的 81.83，内化差距 $\delta=+0.50$，R2I-Bench 上 $\delta=+4.27$。其四，第二轮进化：清空技能重跑 ASE 得 84.16，较更新后无技能框架再 +1.83。其五，基线对比（同记录同预算）：Vanilla SFT 63.38、Diffusion-DPO 62.18、D-OPSD 62.75，D-OPCD 65.09 全面领先且四基准全第一。其六，教师条件消融：$[q_i; p_i]$ 得 65.09，仅 $p_i$ 得 64.63，打乱配对跌至 61.05，说明特权上下文必须与任务语义匹配。其七，上下文属性：改进过滤（65.14）与多样性适配（64.42）都未带来增益，生成时更有用的提示词未必更易内化。其八，OOD：GenEval/GenEval2 来源检查点在 T2I-CompBench++ 上 Color 从 77.45 升至 81.61/81.44、2D-Spatial 从 32.32 升至 36.19/37.33，WISE/R2I 来源接近基座。
![D-OPCD performance with different teacher inputs on Qeval. The teacher receives the original query with its matched harness prompt ([qi; pi]), the harness prompt alone (pi only), or the query with a prompt from another task (Shuffled).](/papers/2610.07250/images/table_3.jpg)
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GenEval 直接生成（无框架） | GenEval Overall | 81.28（D-OPCD） | 78.22（基座直接生成）；Vanilla SFT 80.09 / Diffusion-DPO 77.56 / D-OPSD 80.72 | +3.06（较次优基线 +0.56） |
| GenEval2 直接生成（无框架） | Soft-TIFA AM | 82.24（D-OPCD） | 78.14（基座直接生成）；Vanilla SFT 80.94 / Diffusion-DPO 79.04 / D-OPSD 76.48 | +4.10（较次优基线 +1.30） |
| WISE 直接生成（无框架） | WiScore | 50.00（D-OPCD） | 42.86（基座直接生成）；Vanilla SFT 46.00 / Diffusion-DPO 45.43 / D-OPSD 48.86 | +7.14（较次优基线 +1.14） |
| R2I-Bench 直接生成（无框架） | R2I-Score | 46.83（D-OPCD） | 42.87（基座直接生成）；Vanilla SFT 46.51 / Diffusion-DPO 46.70 / D-OPSD 44.96 | +3.96（较次优基线 +0.32） |
| 四基准平均，直接生成 | 未加权平均分 | 65.09（D-OPCD） | 60.52（基座）；Vanilla SFT 63.38 / Diffusion-DPO 62.18 / D-OPSD 62.75 | +4.57（较次优基线 +1.71） |
| 内化程度：更新后模型 + 无技能框架 | 四基准平均 / R2I-Score | 82.33（平均）与 73.68（R2I） | 81.83（原技能装备 agent 平均）与 69.41（R2I） | 内化差距 δ=+0.50（平均）、δ=+4.27（R2I-Bench） |
局限与改进
作者承认的限制：内化量有限，65.09 远低于技能装备 agent 的 81.83，可能是进化技能产出的提示词与扩散模型条件空间对齐不佳，仅凭 $q_i$ 难以学到同样行为；只验证了一轮再进化，多轮循环下的收益保持、迁移与训练/推理成本权衡未知；只内化了提示词介导的收益，检索、参考图等工具收益无法用文本表示；第二轮 R2I-Bench 不升反降（73.68→69.45）。我的补充观察：其一，$\delta=+0.50$ 幅度很小，技能已被内化的结论相当依赖 R2I-Bench 单项撑持；其二，整套系统的规划、验证与两个管理器都依赖 GPT-5.6 Terra，闭源模型的版本漂移会侵蚀可复现性；其三，框架进化、版本选择与检查点选择全部以官方自动评测器信号为目标，存在过拟合评测器的风险——GenEval/GenEval2 来源检查点 OOD 提升明显而 WISE/R2I 来源几乎无提升，暗示收益多停留在训练同分布；其四，rollout 仅 4 个状态点且 $t \le 0.5$ 采样，高噪声区覆盖不足，可能低估可内化上限。
独立分析的弱点
第一，数据效率与目标错位：480-500 个训练任务只换来平均 +4.57 分，改进过滤把数据砍到 43-314 对后增益几乎不变，说明当前蒸馏目标对数据规模不敏感但也未充分利用信号——可按验证器差距加权采样，或多个 harness 版本教师联合蒸馏。第二，特权上下文形式单一：只测了 $[q_i; p_i]$ 拼接，检查项清单、验证反馈、任务历史这些框架内部信息都可纳入教师条件，也可用对比学习显式建模 query 与 prompt 的语义差。第三，训练与推理配置不一致：训练 rollout 四点欧拉，评测却是 8 步 guidance 0，轨迹覆盖与推理路径不匹配。第四，评测闭环风险：进化、选版与训练都由同一族自动评测器驱动，建议引入人评或异构评测器交叉验证。第五，R2I-Bench 第二轮退化（73.68→69.45）未做归因分析，可能是更新后模型已饱和或新技能库路由冲突，值得做技能消融定位原因。
未来方向
作者提出的方向：研究哪类 harness 设计产出的经验既利于当期任务成功又利于后续模型学习；设计更强的 harness-生成器联合适配机制；开展多轮循环的长期研究，度量早期收益的保持、向新任务的迁移以及离线训练成本与反复推理成本的权衡，并防止重复更新带来的灾难性遗忘；扩展到带工具的智能体（网络搜索、参考图检索）与图生图任务，学习哪些可复用能力能写进权重、哪些应留在推理期工具。基于成果可延伸：把 D-OPCD 与奖励类 RL（DDPO/DRaFT）结合，以验证通过率为信号内化非提示词介导的收益；引入多模态特权上下文（参考图、检索证据）作教师条件；跨生成器迁移——用 A 模型收集的 query-prompt 对蒸馏 B 模型；从理论上刻画上下文蒸馏的信息上限，解释为何 65.09 与 81.83 之间仍有近 17 分的巨大缺口。
复现评估
论文声明代码已公开。复现要素大体齐备：基座 Z-Image-Turbo 开源；GenEval、GenEval2、WISE、R2I-Bench 与 T2I-CompBench++ 均公开；附录给出完整超参（LoRA rank 64、$\alpha=128$、AdamW、恒定学习率 $10^{-4}$、2000 步、bfloat16、1024px、seed 42、每 200 步存档）与各方法选中的检查点步数（表 11）；ASE 的动作空间、全部提示词模板（图 4-12）、三集数据划分（表 12）与上下文诊断（表 15-16）均已公开。主要障碍：agent 依赖 GPT-5.6 Terra（medium reasoning effort）充当规划器、验证器与两个管理器，任务流涉及数千次多模态调用，有可观 API 成本且受闭源模型版本漂移影响；训练需 4 张 A100 80GB（LoRA 配置下尚可）；评测要跑 GenEval 检测器、TIFA 等官方评估器。综合评估：训练与评测部分可直接复现，agent 进化部分难度中等偏高。
论文图表
