MT Forcing：基于自回归扩散的稳定且一致的多轮图像编辑训练范式 MT Forcing: Towards Stable and Consistent Multi-Turn Image Editing with Autoregressive Diffusion

流程见 Algorithm 1。第一步预热：在参考轨迹集 $D_{ref}$ 上用流匹配损失 $\mathcal{L}_{TF}$（Eq.8）微调预训练编辑器得 $\theta_w$，并以其初始化学生 $G_\theta$、冻结教师 $T_\phi$ 与在线假模型 $F_\psi$。第二步主循环，每次采样一条轨迹，先把源图编码进 KV 缓存并关闭梯度；对每轮 $i$：(a) 将 $c_{1:i}$ 重组为捆绑提示词 $\bar{c}_i$，设定教师条件 $C^T_i$；(b) 采样本轮反传步 $s_i\sim\mathrm{Uniform}(1,\dots,T)$，从纯噪声无梯度去噪到 $s_i$；(c) 在 $s_i$ 步开启梯度，计算 $\hat{x}^0_i=G_\theta(x^{t_j}_i;t_j,KV,c_i)$，随后关闭梯度并把 $(c_i,\hat{x}^0_i)$ 的 KV 追加进缓存继续 rollout；(d) 用 $C^T_i$ 下的教师与假模型分数差（Eq.6）得截断方向 $\hat{g}_i$。N 轮后以 $\frac{1}{N}\sum_i\hat{g}_i+\lambda_{TF}\nabla_\theta\mathcal{L}_{TF}$ 更新学生，再用 detach 输出训练假模型 $\psi$。

新颖性有四点。第一，监督信号构造：用『指令捆绑』把多轮问题映射到成熟的单轮编辑能力上，绕开『不存在双向多轮教师』的领域空白——这是与 CausVid、Self Forcing 依赖双向教师蒸馏的根本差异，也与 MT-OPSD 在退化输入上逐步蒸馏不同，本方法的教师监督不携带递归误差。第二，理论洞察：论文指出逐轮分布匹配存在零损失却不一致的退化解（Eq.7），边缘对齐是必要非充分条件，这一分析干净回答了『为什么 DMD 还不够』，直接导出双目标设计。第三，训练调度：teacher forcing 先 warmup 建立历史依赖行为、蒸馏期再以低权重 $\lambda_{TF}$ 作正则，防止分布匹配更新冲垮预热学到的一致性行为。第四，工程实现：历史 KV 全 detach 的跨轮梯度截断，加上每轮仅一个随机去噪步反传，使 N 轮自 rollout 的显存与计算可控；并提出基于 MatchAnything-RoMa 匹配点位移的 Pixel 指标，在 MTEdit-Bench 原有 IF/CC/DRS 之外补充了几何对齐维度的评测。

第一，Reorganize 算子是黑盒：论文未给出指令重组的实现、失败率统计和对指代/空间约束/否定类指令的鲁棒性分析，重组质量差会直接污染教师监督；改进方向是引入可验证的重组器（如教师在源图上自检每条子指令是否满足并回传置信度），或多候选采样加一致性筛选。第二，两个损失都不直接惩罚『学生在自己的历史上偏离一致轨迹』：DMD 只管边缘分布，TF 只看参考历史，自 rollout 历史下的历史-输出依赖缺乏显式监督；可加自 rollout 轨迹上相邻轮特征对齐或无参考的自身一致性正则。第三，每轮仅一个随机去噪步反传（$s_i\sim\mathrm{Uniform}(1,\dots,T)$）省算力但分数差梯度方差可能偏高，可研究重要性采样或多步联合反传的方差-算力权衡。第四，Pixel 对所有匹配点一视同仁，当轮合法编辑区域也计入位移，可能混淆『该变的变了』与『不该变的变了』，建议按区域掩码拆成保留区/编辑区两个指标。第五，评测全靠自动裁判（Qwen3.5-Plus 等），缺少人工评测校准，且 IF/CC（0-10）与 DRS（0-5）量纲不同，跨论文比较需换算。

作者提出的或方法天然指向的方向：把 MT Forcing 推广到视频多轮编辑与 3D 场景编辑——AR 扩散的因果结构天然适配时序内容，单轮教师可由强视频编辑模型充当；探索无需参考轨迹的自监督变体，例如用学生多条 rollout 之间的相互一致性替代 $\mathcal{L}_{TF}$，摆脱对 $D_{ref}$ 的依赖；为捆绑提示词建立自动化与可验证机制，覆盖不可重组的复杂指令链。基于本文成果可延伸的研究：其一，把『条件不对称蒸馏』框架迁移到其他存在曝光偏差的自回归任务，如多轮代码生成、Agent 轨迹规划——凡训练用参考历史、推理用自生成历史的场景都适用同一诊断；其二，与 KV 缓存管理结合攻关 20 轮以上的长会话编辑，检验误差累积模型在更长视野下的有效性；其三，与轨迹级奖励优化（如 MT-EditFlow 的 RL 路线）组合，用 DMD 打质量底座、RL 做偏好对齐；其四，做人类偏好评测校准 LLM 裁判，并在开源底座（如 Qwen-Image-Edit、FLUX Kontext 类单轮编辑器）上复现以验证泛化性，这两点论文均未覆盖。

复现难度：中高。不利因素——论文未提及代码、权重或参考轨迹数据集 $D_{ref}$ 的开源计划，只有项目主页；底座 SenseNova-U1/U1.5 是商汤模型，公开可用性不明，无法直接复现 Table 1；训练需学生、冻结教师、在线假模型三份 UMM 同时驻留显存并完整 rollout 8 轮，估计要多卡 A100/H100 级资源；Reorganize 实现与关键超参（去噪总步数 T、学习率）披露有限，$\lambda_{TF}$ 还需按底座扫描（1/0.5 会糊、0.25/0.1 较好）。有利因素——方法描述完整：Algorithm 1 给出逐步伪代码，Eq.5 的 KL 目标与 Eq.6 的分数差梯度可直接对接 DMD2 开源实现，前向加噪沿用标准 $x^t=\alpha_t x+\sigma_t\epsilon$；评测协议明确（MTEdit-Bench step-wise 100 会话、Qwen3.5-Plus 打 IF/CC、VisualQuality-R1 与 RALI 合成 DRS、MatchAnything-RoMa 算 Pixel），均可独立获取。务实路径：用开源单轮编辑器当教师、自构建 8 轮指令数据集，先在 4 轮短会话上验证再全量复现。