通过再生实现精修：扩大修改空间提升统一多模态模型的图像精修能力

RvR将图像精修重构为条件再生，移除编辑指令与像素一致性约束以拓宽修改空间。

前置知识

统一多模态模型(UMM)

将视觉理解与图像生成整合在单一框架中的模型，典型代表如 BAGEL。它同时具备 ViT 语义编码器用于高层语义理解，以及 VAE 编码器用于低层像素生成，并配合流匹配等扩散式生成头。

本文所有方法建立在 UMM 之上，理解其双编码器结构(语义 ViT + 像素 VAE)是看懂 RvR 为什么能丢弃 VAE 输入的关键。

图像编辑 vs 图像精修(Refinement)

图像编辑要求局部修改并严格保留未编辑区域(像素级一致性)，而图像精修的目标是让生成结果更好地符合 prompt，对未修改区域不做硬性保留约束。两者目的不同导致监督信号与修改空间本质不同。

本文的核心论点正是这两类任务的约束差异——编辑的像素一致性约束对精修而言是多余负担。

Rectified Flow / Flow Matching

一种扩散式生成目标，通过线性插值 = (1-t)x_0 + t x_1$ 把干净样本与高斯噪声连接，让模型预测速度场 heta$ 并以 $\mathcal{L}_{FM}=\mathbb{E}\|v_ heta-(x_1-x_0)\|^2$ 训练，是 UMM 常用生成训练方式。

RvR 的训练与推理完全基于 flow matching，理解其速度场预测目标是看懂 RvR 输入输出格式的前提。

Classifier-Free Guidance (CFG)

在推理时同时进行条件预测与非条件预测，通过 $\hat{v} = v_{uncond} + s(v_{cond} - v_{uncond})$ 放大对条件的跟随程度，常用文本引导系数与图像引导系数两个标量独立控制。

RvR 推理时使用文本 CFG=4、图像 CFG=2 的双尺度策略，影响最终生成质量与语义对齐。

研究动机

现有统一多模态模型(UMM)在做文生图精修时普遍采用 Refinement via Editing (RvE) 范式：先让 UMM 理解图像与 prompt 的语义差距并产出编辑指令，再依据该指令对原图做局部编辑。这类方法存在两个根本性瓶颈。第一，编辑指令天然是粗糙的——以 Fig. 3(a) 中 'A photo of three benches' 为例，一条 '增加第三条长椅' 的指令只覆盖了部分语义缺口，却遗漏了移除多余扶手、调整布局、统一外观等同样必要的修正，使得下游编辑步骤被不完整的中间表示锁死上限。第二，像素级一致性约束要求未编辑区域严格保持原样，这一编辑专属约束对精修任务是冗余负担——同一图中若要插入第三条长椅，强行保留原构图会逼出小而失真的结果。Table 1 数据印证了这一瓶颈：BAGEL 基础模型 Geneval 仅 0.78、UniGenBench++ 仅 61.53，即便用 UiG、Uni-CoT、IRG 等最强 RvE 方法精修，最高的 UniGenBench++ 也只到 69.86，对复杂语义的对齐仍不理想。

本文的目标是本文的核心目标是打破 RvE 范式中 '编辑指令 + 像素级一致性' 双重约束对精修性能的天花板。具体而言，作者希望设计一个框架，让 UMM 直接以目标 prompt 与初始图像的语义 token 为条件重新生成一张更对齐的图像，将精修任务彻底重构为 '另一轮条件生成'，从而在更宽广的修改空间中自由重排对象、属性、布局。作者期望在 Geneval、DPGBench、UniGenBench++ 三个基准上都取得显著且一致提升，并将 RvR 做成一个可迭代、可鲁棒、可与现有 UMM 兼容的通用精修模块。

与已有工作不同的是，本文最独特的切入角度在于 '否定式重构'——并不是提出一种更好的编辑指令生成器，也不是加大外部 LLM/VLM 的判别能力，而是反过来追问：编辑范式自身的哪些约束是多余的？由此识别出两把 '枷锁'：(1) 中间编辑指令的引入放大了误差累积；(2) 像素级 VAE 输入硬性限制了修改自由度。RvR 通过同时砍掉这两把枷锁(仅保留语义 ViT 输入 + 直接条件于目标 prompt)，用 '重新生成' 替代 '编辑'，把方法论从 '如何写好编辑指令' 转向 '如何用生成先验吃掉修改自由度'。这一视角在文生图精修文献中相对新颖，与 SLD/IMG 等外挂 LLM 的训练式方法形成鲜明对比。

核心方法

RvR 的整体直觉是：既然编辑的强约束会拖累精修，那就不如把精修当成 '再看一次 prompt 但参考一下旧图的高层语义，然后重新画'。技术路线上分三步走——首先构造大规模、来源多样、不强求像素对应的训练三元组 (misaligned, aligned, prompt)；然后在 UMM 上以 flow matching 目标训练，其中条件只包含文本 token 与初始图的 ViT 语义 token，刻意丢弃 VAE 像素 token；最后在推理时用 50 步流匹配采样 + 双 CFG 完成再生。这一设计的本质是从数据侧(放宽监督形式)与管线侧(简化条件)同时放大有效修改空间。

与已有 RvE 方法的本质区别在于 '条件集合的最小化' 与 '监督信号的去约束化'。RvE 的条件为 $\mathcal{M}(\hat{T}_{edit}, Z_{ViT}, Z_{VAE})$，需要先产生编辑指令 $\hat{T}_{edit}$、并把整张原图的 VAE 像素 token 喂回模型，因此既存在指令生成误差，又有像素保持偏置。RvR 把它直接简化为 $\mathcal{M}(T_{prompt}, Z_{ViT})$——只保留语义级先验与目标 prompt，让 UMM 单纯以 '生成' 视角重建图像。在监督层面，传统编辑数据要求 edited image 与 source image 强对应，RvR 则构造 (misaligned, aligned) 独立生成对，去除任何像素级约束。这种 '生成代替编辑' 的视角是核心创新点。

方法步骤详情

RvR 流程分四步。**数据构造**(Fig. 4)：LLM 在随机 1–5 个语义维度上生成 prompt，多 T2I 生成器(BAGEL + GPT-4o)独立出图，VLM 判对齐并配对 $\langle I, I', T\rangle$，不要求 $I'$ 是 $I$ 的编辑版。**系统提示**：固定 $T_{system}=$ 'Analyze the misalignment... re-generate the image...' 与用户 prompt 拼接。**训练**(Fig. 5a)：输入含文本 token、初始图 ViT token $Z_{ViT}$ 与对齐图像 VAE 加噪 token $x_t$，损失 $\mathcal{L}_{FM}=\mathbb{E}\|v_\theta-(x_1-x_0)\|^2$；数据按 100k 精修 + 60k T2I + 1k 理解样本 2:1:1 混合。**推理**(Fig. 5b)：提取 $Z_{ViT}$ 对纯噪声做 50 步去噪，CFG 文本=4、图像=2。

技术新颖性

RvR 在三个层面具有技术新颖性。**数据层面**首次提出 '独立生成对' 监督——抛弃编辑对的像素对应假设，从两个不同生成器各自采样再配对，巧妙地把 '修改自由度' 编码进了训练分布本身。**模型层面**首次明确指出 '像素级 VAE 条件会损害精修'，并通过 Table 2 的 +VAE(86.41) 与 +Editing Data(85.70) 两个消融从经验上坐实了这一观察。**系统提示层面**用一句自然语言指令把 UMM 的角色从 'editor' 切换到 'regenerator'，是无侵入式但效果显著的 trick。整体来看，这是一种 '通过删除而非添加来提升性能' 的极简主义方法论，与同期追求更大模型/更多数据的潮流形成有趣对照。

实验结果

**主结果**(Table 1)：RvR 三基准均 SOTA。Geneval 从 BAGEL 0.78 升至 0.91，其中 Position 0.50→0.86 提升最大；DPGBench 84.02→87.21，Relation 89.22→92.66；UniGenBench++ 61.53→77.41，相对提升 25.8% 最大。同时击败 UiG/Uni-CoT/IRG 等所有 RvE 方法(77.41 vs 69.86)。**多轮精修**(Fig. 7)：第一轮已对齐结果不被第二轮破坏，必要时第二轮可继续修正残余错误(如 Saturn 重复)。**鲁棒性**(Fig. 8)：初始图含兼容语义(草地、城市)时保留，含冲突语义时丢弃并重新生成。**消融**(Table 2)：纯 T2I 微调仅 84.08、同规模 SFT 仅 84.62，证明增益来自再生机制；+Editing Data 降至 85.70、+VAE 降至 86.41，反向验证砍掉两者的合理性。

**Fig. 6**: RvR 与 RvE 方法(UiG、Uni-CoT) 的定性对比

**Fig. 7**: 多轮精修(Multi-round generation)

查看结构化数据

任务	指标	本文	基线	提升
Geneval 综合评测	Overall 分数	0.91	BAGEL 基线 0.78	+0.13，相对提升 16.7%
DPGBench 综合评测	Overall 分数	87.21	BAGEL 基线 84.02	+3.19，相对提升 3.8%
UniGenBench++ 综合评测	Overall 分数	77.41	BAGEL 基线 61.53	+15.88，相对提升 25.8%
Geneval 计数子项	Counting 分数	0.91	BAGEL 基线 0.78	+0.13
Geneval 空间位置子项	Position 分数	0.86	BAGEL 基线 0.50	+0.36，绝对增幅最大
DPGBench 关系推理	Relation 分数	92.66	BAGEL 基线 89.22	+3.44

局限与改进

**作者明确承认的局限**：论文未对极端 prompt(如超长上下文、多步因果) 做评估，多轮精修虽展示稳定但缺乏量化曲线。**算力门槛**：16 张 H800 × 15K 步的训练规模对一般研究者并不友好，论文未给出推理阶段的吞吐量与延迟数据。**对底座依赖较强**：所有结论都建立在 BAGEL 之上，未在 Show-o、Janus-Pro 等其他 UMM 上验证方法的可迁移性。**评估主观性**：UniGenBench++ 的语义对齐评估本身依赖 VLM 判定，而 RvR 训练数据也用 Gemini 做对齐标注，存在 '评估者-训练者同源' 的潜在偏差。**CFG 调参敏感性**：CFG 文本=4、图像=2 是经验值，论文没有系统做 grid search，迁移到其他 UMM 时可能需要重新调整。

独立分析的弱点

**弱点 1：完全丢弃 VAE 致细节漂移**——用户期待保留人脸身份、特定 logo 等细节时，RvR 没有像素级条件可能把它们也重画掉，与 '精修' 直觉略有冲突。改进方向：加一个低强度 VAE 残差或 LoRA 适配器，让保留强度可调。**弱点 2：对系统 prompt 过度依赖**——若 inference 时去掉或改写 $T_{system}$，行为可能漂移；论文无鲁棒性消融。改进方向：训练时混入多种 prompt 模板。**弱点 3：训练数据依赖闭源 VLM**——Gemini 对齐判定存在系统性偏差且不可复现。改进方向：换开源 VLM 或多模型投票。**弱点 4：缺人类主观评测**——Table 1 全为自动基准，缺 user study。改进方向：补充 win-rate 评测。**弱点 5：算力门槛**——16×H800 不易复现。改进方向：开源 LoRA 权重或少样本版本。

未来方向

**作者明确提出的方向**：把 RvR 推广到视频精修、3D 内容精修等更广义的生成任务；探索把 '再生式精修' 与 RLHF/DPO 结合，让模型能根据人类反馈选择保留或丢弃语义。**基于结果可延伸的方向**：(1) 把 RvR 与可控生成(如 ControlNet、IP-Adapter) 结合，构造 '既能保留结构又能再生语义' 的混合精修器；(2) 把语义 ViT token 换成 CLIP/DINOv2 等更强语义编码器，进一步提升语义继承质量；(3) 探索自博弈式迭代——用 RvR 反复精修同一 prompt 直到 VLM 一致判定对齐，再蒸馏成单步模型以加速推理；(4) 把 '再生代替编辑' 的视角抽象为通用方法论，推广到音频、3D、代码等多模态精修场景。

复现评估

**开源情况**：作者在摘要末尾给出了官方仓库 https://github.com/LeapLabTHU/RvR2026，承诺代码开源，但截至论文发表尚未给出 checkpoint 与训练数据的下载链接。**复现难度**：中高。算法本身只需改写 UMM 的训练条件输入，相对清晰；但数据构造依赖闭源 Gemini、GPT-4o，且需要 16 张 H800、训练 15K 步，对硬件要求较高。**复现关键瓶颈**：(1) 100k '独立生成对' 数据无法从公开数据直接获得，需要重新跑 BAGEL 与 GPT-4o 各 50k 次，调用成本与时间都不小；(2) Gemini-2.5-Pro 既用于 prompt 生成又用于对齐标注，换成其他 VLM 可能引入分布偏移；(3) CFG、采样步数、训练数据混合比例都需要重新调优。**总体判断**：思路与论文描述清晰可复现，但完整复现 Table 1 数字需要相当算力与 API 预算，官方代码权重一旦发布可显著降低门槛。

通过再生实现精修：扩大修改空间提升统一多模态模型的图像精修能力 Refinement via Regeneration: Enlarging Modification Space Boosts Image Refinement in Unified Multimodal Models