UniEvo-VL：面向多模态模型自我进化的在线策略自蒸馏训练配方 UniEvo-VL: An On-policy Self-Distillation Training Recipe for Multimodal Model Self-improvement
把模型对自己生成图像的批评当特权信息，用在线自蒸馏让生成能力在原始提示下自我提升。
前置知识
统一多模态模型（MMM）
同一套权重兼具图像生成与视觉理解的模型，如 Qwen-Image-2512 内嵌 Qwen2.5-VL 编码器。生成模式 $M^{gen}_\theta(p,\epsilon)$ 从噪声出图，理解模式 $M^{und}_\theta(p,I)$ 输出图文差异 $c$ 与判定 $a$。
本文全部方法建立在生成与理解共享一套权重之上：理解分支产出的批评正是生成分支的免费监督源，没有这种统一性，自我进化闭环就无从谈起。
流匹配与去噪轨迹
流模型把生成建模为噪声到图像的连续插值，网络预测速度场 $v_\theta$，下一步隐状态为 $s_{j+1}=s_j+\Delta\sigma_j v_\theta$；扩散模型则预测去噪得分。整条生成过程是一串中间隐状态 $\tau=\{s_0,\dots,s_T\}$。
论文的训练目标是在学生自己这条轨迹的中间状态上逐点对齐师生的速度预测，读懂损失函数必须先理解去噪轨迹与速度场的含义。
在线策略自蒸馏（OPSD）
蒸馏时学生的训练样本来自学生当前策略自己的采样（on-policy），而非教师离线生成的数据；教师在每个学生状态上给出目标预测，学生用 KL/JS/L2 等散度逼近。相比离线蒸馏，监督恰好落在学生实际会访问的状态上， 避免了在分布外状态上的无效监督。
UniEvo-VL 的机制核心就是它：学生在自己的采样轨迹上向看到了特权提示的教师逐状态学习，这是本文把奖励无关的自提升与蒸馏两条线接起来的关键。
EMA 教师
用指数滑动平均参数 $\bar\theta\leftarrow\beta\bar\theta+(1-\beta)\theta$（本文 $\beta=0.999$）维护一个缓慢跟随学生的影子模型作为蒸馏教师。它比当前学生稍旧、更平稳，提供低方差且随训练共同进步的学习目标。
本文教师与学生唯一的差别是条件不同（修订提示 vs 原始提示）加 EMA 参数，理解 EMA 才能明白教师完全是自产的、无需外部大模型；附录还扫描了衰减率的影响。
特权信息（privileged information）
训练时只给教师看、部署时学生拿不到的额外信息。本文中它是把视觉批评转写成的自洽修订提示 $\tilde p$，例如把画错的三只猫改写成「四只猫、两橙两灰」的完整生成指令。师生在同一噪声状态上的预测差异可干净地归因于这段特权文本。
这是全文的核心技巧：把「验证比生成容易」转化为可训练信号——批评被注入教师条件而非学生输入，学生只能通过更新参数去模仿教师的过渡，从而把纠正能力内化。
GenEval / GenEval2 评测基准
GenEval 用 553 条提示按单对象、双对象、计数、颜色、位置、属性绑定六类检测图文一致性；GenEval2 用 800 条原子性 3–10 的更难提示与 Soft-TIFA VQA 评测器，旨在缓解 GenEval 的饱和与评测器漂移问题。
两者的类别分与原子分是主结果表和技能相关增益分析的基础，理解计分方式才能正确解读 0.747→0.808、32.97→35.53 这些数字的实际含义。
研究动机
现代统一多模态模型（MMM）把图像生成与视觉理解装进同一套权重，理论上能够「自己发现问题、自己改进」，但已有自提升路线各有缺口：一类用理解分支为自生成图像打分，再构造 SFT 或偏好优化数据（Han et al. 2025、SRUM、UniCorn）；一类从「缺陷图—反思—改进图」三元组学习推理时反思（ReflectionFlow、UniReason）；还有一类把模型评估聚合成标量奖励做策略优化（Flow-GRPO、DiffusionNFT、Meta-TTRL）。这些方法都没有把纠正性条件直接蒸馏进「仅看原始提示」的生成策略——一条「把缺失的物体补回来」的批评只描述了想要的结果，并不规定生成器中间去噪预测应如何改变。实际问题集中在组合性生成上：基线 Qwen-Image-2512 在 GenEval 上总体只有 0.747，其中位置类仅 0.46、计数类仅 0.61，而单对象类已到 1.00；依赖更大的外部教师或人工修正图又成本高昂，违背「无外部监督自进化」的初衷。
本文的目标是本文要构建一个不依赖外部教师、修正图像目标或奖励模型的自我进化闭环：让同一个模型在理解模式下诊断自己生成的图像（输出差异 $c$ 与接受判定 $a$），把诊断合成为可独立执行的修订提示 $\tilde p$，再把 $\tilde p$ 作为只有教师可见的特权条件，通过在线策略自蒸馏把纠正信息回灌进生成器参数。量化目标是在 GenEval、GenEval2、OCR 三个基准上提高「直接生成」（推理时不看任何反馈）的成绩，分别从 0.747、32.58（Soft-TIFA GM）、0.771 出发；方法学上还要用配对实验拆分两种收益——训练内化进参数的能力提升与推理时做一次反思修订的即时收益——判断它们是重叠还是互补，并考察批评者强弱（Qwen3-VL-8B vs GPT-5.6-Luna）与事后验证过滤对学习信号质量的影响。
与已有工作不同的是，本文的独特切入点是把「验证比生成容易」这一广泛接受的假设工程化为特权信息蒸馏：批评不用于打分排序（选择式 SFT）、不折算成标量奖励（RL）、也不产生回归目标（SFT），而是被转写成一份完整描述期望画面的修订提示，注入 EMA 教师的条件端。师生被强制在同一批学生自身采样的噪声状态上比较，预测差异可以干净地归因于这段特权文本，从而产生稠密的逐状态监督。与 DiffusionOPD 蒸馏独立训练的任务教师、D-OPSD 用真实目标图像做条件不同，这里的教师条件完全来自模型对自身失败输出的诊断，整个循环既不需要配对修正图，也不需要可微图像奖励；附录 E 还实验证明，若改用朴素的 SFT（把验证通过的修正图当回归目标），学生会在训练中迅速崩坏，反衬出逐状态分布匹配这一监督形式的必要性。
核心方法
直觉上，模型「看出图里只有三只猫而要求是四只」远比「一次就画对四只」容易，于是把前者的产出变成后者的训练信号。整体循环分四步：学生以原始提示 $p$ 和噪声 $\epsilon$ 生成草稿 $I$；冻结的理解分支按语义、文字、质量三条轴批评 $I$，并把可执行的修正合成为自洽的修订提示 $\tilde p$；可选地做事后验证——用同一 $\epsilon$ 按 $\tilde p$ 重新生成 $I'$，再对原始 $p$ 复查，通过才把 $(p,\tilde p,\epsilon)$ 收入训练集；最后做在线自蒸馏：学生沿自己的 20 步去噪轨迹采样，教师（EMA 副本）在相同状态 $s_j$ 下以 $\tilde p$ 为条件给出过渡目标，学生用 L2 速度匹配损失逼近，只更新生成器 LoRA，教师按 EMA 缓慢跟随，批评者全程冻结。直觉解释是：师生在同一噪声状态上的唯一差别是条件里是否含纠正信息，最小化两者过渡差异等于逼着学生在没有修订提示时也走出教师「知道错在哪」的去噪方向，从而把纠正能力写进参数，部署时直接用原始提示即可受益。
核心创新是「批评条件化的在线策略自蒸馏」：特权信息不是参考答案、奖励或人工指令，而是模型自己写出的修订提示 $\tilde p=M^{\mathrm{und}}_\theta(p,c)$；训练目标不是终图回归或标量回报，而是学生自身轨迹上的逐状态转移匹配 $\ell_B=\frac{1}{|B|}\sum_{j\in B}D\big(M^{\mathrm{gen}}_\theta(s_j,p),\ \mathrm{sg}[M^{\mathrm{gen}}_{\bar\theta}(s_j,\tilde p)]\big)$。与已有工作的本质区别有三：其一，监督落在学生实际访问的状态上（on-policy），教师目标稠密且随学生共同前进；其二，纠正信息通过教师条件传递而非图像目标传递，规避了 SFT 的分布坍缩与 RL 的高方差标量奖励；其三，事后验证把「批评写得头头是道」与「改完后确实变好」区分开——只有重生成后能通过原始提示复查的 $\tilde p$ 才录取（通过率约 10–21%）。它是自生成信号的可靠性过滤器，消融显示去掉后 GenEval2 训练中期会出现下降。
方法步骤详情
第一步草稿生成：$I=M^{gen}_\theta(p,\epsilon)$，$\epsilon$ 为高斯噪声。第二步评估：$(c,a)=M^{und}_\theta(p,I)$，$a=1$ 跳过；三轴模板核查对象/数量/属性/空间关系、文字、渲染缺陷。第三步合成：$\tilde p=M^{und}_\theta(p,c)$，须为不引用原图的自洽指令，无问题则 KEEP。第四步验证：同种子重生成 $I'=M^{gen}_\theta(\tilde p,\epsilon)$ 并对原 $p$ 复查，通过才录取 $(p,\tilde p,\epsilon)$。第五步自蒸馏：取学生轨迹最噪 6 个转移（20 步前 30%），损失取速度场 MSE $D_j=(\Delta\sigma_j)^2\|u-w\|^2/(2d)$，AdamW（lr $3\times10^{-4}$）更新 rank-16 LoRA。第六步：EMA 更新教师 $\bar\theta\leftarrow\beta\bar\theta+(1-\beta)\theta$（$\beta=0.999$）。
技术新颖性
技术新颖性体现在四个层面。监督来源上，本文把统一模型的理解能力变成生成能力的免费监督源——特权条件是对自身输出的诊断，这是纯文生图模型不具备的结构性优势，也区别于 UniCorn 等用理解分支做数据选择的做法。监督形式上，逐状态过渡匹配提供稠密目标：作者证明对确定性流采样，散度 $D$ 简化为按 $(\Delta\sigma_j)^2$ 加权的速度场 MSE，无需把 RL 的 KL 解释硬套进来，训练稳定且只需一阶损失。系统设计上，critic 与 generator 角色解耦但权重同源：生成器只更新 LoRA，批评与合成模块冻结（Qwen3-VL-8B-Thinking 负责批评、Qwen3-VL-8B-Instruct 负责合成），EMA 教师提供非平稳但平滑的目标，EMA 扫描显示 0.995 在受测范围内最优。评估方法学上，配对的「直接/一次反思」评估把参数内化与推理时利用反馈分离，回答了自提升文献普遍混淆的问题。作者也诚实地把自回归统一模型的扩展标注为未验证推测，框架目前只在流匹配实例化上闭环。
实验结果
①直接生成超基线（Table 1）：GenEval 0.747→0.808、0.818（+验证）、0.882（Luna）；GenEval2 GM 32.97→35.53（Luna；验证 35.07）；OCR 0.771→0.790。②训练与反思互补（Table 2）：训练增益 +0.069/+3.15/+0.021（三任务）；反思增益 GenEval 缩小（+0.078→+0.030）而 GenEval2 仍 +11.17；同给反思进化模型仍更高（0.848/46.23/0.803 vs 0.826/42.52/0.783）。③技能相关（Table 3）：GenEval 位置 6.85→8.79/9.88、计数 7.86→9.29/9.58；GenEval2 中 Luna 双对象 +1.21、颜色 +1.02。④横向对比（Table 7）：直接 0.81–0.82、一次反思 0.85，超 SD3.5-L/SANA-1.5/BAGEL/HiDream/Z-Image，位置类 0.46→0.81。⑤增益集中 Hard 提示（Figure 4）：最高 +67 点，Easy 回退 1–4 点。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GenEval 组合文生图（官方评测器） | 六类平均正确率（0–1） | 0.808（自批评）/ 0.818（+事后验证）/ 0.882（GPT-5.6-Luna 批评者） | Qwen-Image-2512 基线 0.747 | +0.061 ~ +0.135 |
| GenEval2 组合文生图 | Soft-TIFA GM（0–100） | 35.53（Luna 批评者，update 200）；35.07（+事后验证） | 32.97（Luna 配对基线）/ 32.58（种子平均基线） | +2.56（配对口径） |
| OCR 视觉文字渲染（Flow-GRPO 评测器） | 编辑相似度（0–1） | 0.790（+事后验证配置） | 0.771 | +0.019 |
| GenEval 与主流模型横向对比 | 官方总体得分（0–1） | 直接生成 0.81–0.82；+1 次批评 0.85（位置类最高 0.81） | 自身基线 0.75；SD3.5-L 0.71、SANA-1.5 0.81、BAGEL 0.82、HiDream-I1 0.83、Z-Image 0.84、LongCat 0.87 | 较自身基线 +0.06~+0.10，一次批评后达次高总分 |
| GenEval 位置/计数类别分（Gemini 构图保真评分） | Gemini 评分（0–10） | 位置 8.79（Qwen 批评）/ 9.88（Luna）；计数 9.29 / 9.58 | 位置 6.85；计数 7.86 | 位置 +1.94 / +3.03；计数 +1.43 / +1.72 |
局限与改进
作者承认的局限：提升不跨任务均匀——无验证的 Qwen 批评配置在 GenEval2 原生分不升反降（32.37 vs 基线 32.58），OCR 同样低于基线（0.761 vs 0.771）；Easy 提示回退 1–4 个归一化百分点，缺乏保护已掌握能力的机制；事后验证使采集开销放大到每录取样本约 5–10 次生成；反馈模板的写实光照偏好造成偏低调、素净背景的风格漂移。我的观察：其一，自进化天花板由批评者决定——Luna 与 Qwen 批评者拉开 GenEval 0.882 对 0.808 的差距，最强配置隐性依赖闭源外部模型，「无外部监督」的说法打了折扣；其二，critic 冻结、只训生成器，理解侧并未随之进化；其三，训练流与评测基准同分布（GenEval 格式训练元数据），跨域泛化未测；其四，评估全靠自动判官（Gemini-2.5-Flash、原子判定、HumanPref 自动代理），而 GenEval 检测器有已知评估漂移（作者引人类正确率 96.7% vs 自动分 82.1%）；其五，只在流匹配实例化上验证，且仅监督最噪 30% 转移，细节精修阶段未触及。
独立分析的弱点
弱点一，批评者瓶颈与「伪自监督」风险：主要增益随批评者升级而放大（GenEval 0.808→0.882），说明系统实际是在向强评委蒸馏；若批评者在某类错误上系统性失明（如 GenEval2 的位置、属性增益仅 +0.14/+0.06），学生便学不到。改进方向：critic-generator 交替进化，或用多批评者一致性投票过滤系统性偏差。弱点二，验证流程昂贵：录取率仅 10–21%，意味着八到九成的生成与批评算力被丢弃；可引入批评者置信度或轻量奖励模型做前置过滤。弱点三，无防遗忘机制：Easy 子集回退 1–4 分且可能随迭代累积，可对 $a=1$ 的通过样本加保留性自蒸馏锚定项。弱点四，风格偏移有被放大的风险：合成模板中的审美偏好（自然光、素背景）写进了特权提示，长程迭代可能把风格指令误学为内容先验；应在合成阶段剥离风格措辞。弱点五，低噪转移（细节精修阶段）无监督，限制画质提升上限；可实验全轨迹加权或噪声调度课程。弱点六，评估链路含多个 API 模型（温度 0 仍非确定），复现方差与判官偏差未量化。
未来方向
作者方向：改进教师调度——EMA 扫描显示 0.995 优于 0.99（不稳定）而主实验用 0.999，时变或基于不确定性的调度值得探索；把 OPSD 扩展到自回归统一模型（需在共享前缀与词表上定义下一词分布损失）；把修正机会从一次扩展到多轮；研究混合任务训练下的能力保留机制。基于成果可延伸的方向：其一，批评者共同进化——用同样的逐状态蒸馏提升 Qwen3-VL 批评者本身，形成双向飞轮，缓解对 GPT-5.6-Luna 的依赖；其二，把 Hard 子集 +67 个百分点的观察升级为显式课程学习，按失败模式采样训练提示；其三，把事后验证器改造成过程奖励模型，为拒绝采样或 RL 提供更细粒度的信号；其四，跨技能迁移研究——为何 GenEval 位置类大幅提升而 GenEval2 位置类几乎不动，值得机制层面分析；其五，用真实人类偏好检验「低调素净」风格漂移是否损害用户体验；其六，推广到图像编辑、视频与 3D 生成等更多任务，检验「理解反馈→特权条件→自蒸馏」范式的普适性。
复现评估
复现材料相当完整：附录 A 给出全部超参（AdamW、lr $3\times10^{-4}$、LoRA rank/alpha 16/16、20 步去噪、CFG 4.0、最噪 6 转移、EMA 0.999、4×H200、run seed 0/42 ），附录 B/C 描述批评接口与数据来源（GenEval 553 提示、GenEval2 800 提示、OCR 约 2 万训练/1018 测试提示，均公开），附录 F 逐字公开批评与合成模板样例，附录 D 定义评测协议、种子与失败处理。但正文未给出代码仓库链接，是否开源需确认。门槛中高：需 Qwen-Image-2512 与 Qwen3-VL-8B（Thinking/Instruct）权重组件、4×H200 级算力（LoRA 训练本身不重，大头在采集——录取率 10–21% 意味着 5–10 倍生成开销），以及大量 Gemini-2.5-Flash API 调用（每 checkpoint 全量评测 800–2212 张图、6000+ 二元判定），API 有非确定性。拿到代码后单配置数天内可复现，全表复现需可观 API 预算与数周时间。
论文图表
概念示意图：用户给出文字指令（如「四只小猫，两橙两灰」），模型先草拟（DRAFT）生成初稿，再自我批评（CRITIQUE）指出「应该有四只小猫而不是三只，最右边那只应是灰色而不是黑色」，最后按批评精炼（REFINE）得到更好的图。整个「迭代并自我进化」的循环把理解能力转化为生成质量的提升，并提示可外接更强的批评者。
这是全文的核心直觉图，用一页讲清了「批评如何变成训练经验」的闭环动机，读者先看懂它再进入方法细节会容易得多。