StableI2I：检测图到图转换中非预期变化的统一评估框架

面向图像编辑/恢复任务的保真度评估模型与基准

前置知识

图到图转换（Image-to-Image, I2I）

指将一张输入图像通过生成模型变换为另一张输出图像的任务，主要包含语义级编辑（如替换物体）和低层图像恢复（如去噪、去模糊）。任务目标不仅要求美学质量，更要求输出与输入在语义和像素层面保持一致。

StableI2I 的核心议题正是 I2I 中'内容一致性'如何度量，因此必须先理解 I2I 的两类子任务及其差异。

多模态大语言模型（MLLM）

将视觉编码器与语言模型结合的架构，可同时接收图像与文本输入并生成自然语言输出。StableI2I 基于 Qwen3-VL-8B-Instruct，并通过 SFT 与 GRPO 强化学习进行微调。

StableI2I 本身是一个 8B 参数的 MLLM，理解其训练范式（SFT + GRPO）才能掌握其工作原理。

GRPO 强化学习

一种基于组的策略优化算法，对同一输入采样多条候选响应，通过组内相对优势估计更新策略。StableI2I 对每个样本生成 16 条响应、并行 8 条训练。

StableI2I 在第二阶段训练中依赖 GRPO 来提升结构化输出的泛化能力，是其性能跃升的关键。

免参考质量评估（No-Reference IQA）

在没有 ground-truth 图像的情况下评估图像质量的方法，传统 NR 指标如 MANIQA、MUSIQ 仅评估绝对美学或感知质量，无法衡量与源图的语义一致性。

StableI2I 提出的源条件评估范式正是为了弥补 NR IQA 在保真度评估上的根本缺陷。

研究动机

现有图像编辑与恢复任务的评估体系存在系统性盲点。主流方法如 CLIP-IQA（得分 0.715/0.503）、MANIQA（0.323/0.269）、MUSIQ（52.48/43.96）、ArtiMuse（61.25/58.75）以及 ImgEdit-Judge（均为 5 分）等指标都集中于'指令遵循度'和'美学/感知质量'，对'输出是否忠实保留输入的语义与空间结构'几乎无法评估。如论文 Fig. 1 所示，GPT-Image-1 在'用大树替换建筑'任务下获得更高的传统指标分数，却把天空、沙地和左侧围栏都错误地重绘了；在医学影像、遥感等高风险应用中，这种'内容漂移'会带来严重后果。同时，基于掩码分离编辑区域的方法在恢复任务中无法使用，因为整张图像都被修改；而当前基于闭源 MLLM 的提示工程方法（如 ImgEdit-Judge 蒸馏自 GPT-4o）对像素级结构不敏感，导致语义看似一致、像素却错位。

本文的目标是StableI2I 旨在构建一个统一、动态、面向保真度的 I2I 评估框架，无需参考图像即可同时捕捉'语义层（Semantic Level）'、'结构层（Structure Level）'与'低层外观（Low-level Appearance）'三个维度的内容一致性与结构保留度，并配套发布 StableI2I-Bench（每个维度 1000 条人工标注样本）作为系统化基准，用以诊断主流生成模型的内容一致性并推动更忠实的 I2I 系统发展。

与已有工作不同的是，StableI2I 的切入角度有三点独特之处：第一，区别于 ImgEdit-Judge 等仅蒸馏 GPT-4o 的方法，本文提出'错误放大数据构造管线'，通过对原始描述施加受控的语义扰动再引导图像恢复，从而主动制造难以察觉的细微不一致样本，缓解长尾分布问题；第二，把'开放描述'转化为'多选题 QA'，以选择题形式约束模型对细粒度内容的判别能力，弥补开放输出难以用结构化奖励训练的缺陷；第三，训练阶段同时使用 SFT 与 GRPO RL，对选择题和二元判断任务分别设计奖励 $R_{MC}=M \cdot |G \cap \hat{G}|/|G|$ 与 $R_{Binary}=\max(0, |\hat{P}\cap P|/|P| - \alpha|\hat{P}\setminus P|/|P|)$，让 8B 模型达到甚至超过 GPT-5、Gemini-3-pro 等闭源巨模型。

核心方法

StableI2I 的整体思路是：把'图像编辑/恢复的保真度评估'视为一项'多图像条件下的结构化判别任务'，通过任务模板把开放式描述压缩为可控输出格式，再借助大规模多任务数据 + 强化学习让 8B 模型学会同时理解指令语义、像素结构与低层外观。其技术路线分四步：(1) 构建错误放大的 I2I 训练数据；(2) 用 GPT-5 + 人工过滤生成结构化标注；(3) 用 SFT 在多任务混合数据上训练 Qwen3-VL-8B-Instruct；(4) 用 GRPO 在 MC 与 Binary 两类任务上做强化学习微调以增强泛化。

核心创新在于'任务模板化 + 错误放大数据 + 选择题式结构化奖励'三件套：与传统方法（如 ImgEdit-Judge 单纯蒸馏 GPT-4o）相比，StableI2I 不追求让模型写自由描述，而是把答案强制收敛为两种 JSON 格式（Format 1: `{"answer": Yes/No, "problem": [Type1,...]}` 和 Format 2: `{"think": CoT, "problem": {...}}`），并在数据层面人为制造低层细节破坏与全局重绘样本，使 ViT 编码器被迫学到像素级敏感度；再通过把 ShareGPT4V、CapRL 等描述数据转换为多选题，让模型在确定选项中学会细粒度定位。

方法步骤详情

方法分四步。第一步'错误放大数据构造'：对恢复任务，用 GPT-5 提取原图描述并施加受控语义扰动，再引导恢复模型把低质图恢复向错误方向，主动制造低层错误；对编辑任务，用 GPT-Image-1、Nano-Banana 等多模型配合多指令生成编辑结果并人工标注三类错误。第二步'标注与基准构造'：GPT-5 初标 + 人工校正，每维度采样 1000 对组成 StableI2I-Bench，并设计含输入图、输出图、指令与格式说明的统一模板。第三步'SFT'：在 Binary & Type QA、Multiple-choice QA、Free-form Descriptive 三类数据上对 Qwen3-VL-8B-Instruct 微调，$\eta = 1\times 10^{-5}$、batch 128、5 epoch、8 张 H200。第四步'GRPO'：用 SFT 模型回标无标签数据，过滤后与 V1 合并得 V2 与 Open-ended QA，对选择题与二元任务分别用 $R_{MC}$ 与 $R_{Binary}$ 奖励，至少 5000 步、每样本 16 候选。

技术新颖性

技术新颖性体现在三方面：(1) 数据层面首次系统提出'错误放大管线'，通过故意让恢复模型基于错误语义引导来主动制造结构/低层错误，弥补了 I2I 错误样本难以枚举的问题；(2) 任务格式层面把'多选题 QA'与'二元 + 类型 QA'作为可奖励的固定模板，使 RL 训练在 8B 小模型上也能稳定收敛；(3) 多阶段训练范式：先 SFT 学通用视觉感知，再 RL 增强选择题与二元判断能力，最后把 RL 模型回标的 V2 数据与原 V1 数据混合再 SFT 一次得到最终模型，避免了单纯 RL 带来的多样性退化（Tab. 4 中 StableI2I-Dev.1→StableI2I-Dev.2→StableI2I 的逐步优化路径即为佐证）。

**Figure 2**: The data construction pipeline mainly includes data construction for image editing tasks and image restoration tasks, with annotations provided along three dimensions.

**Figure 3**: An illustration of the four types of training data: Free-form Descriptive, Binary & Type QA, Multiple-choice QA, and Open-ended QA.

**Figure 4**: Pipeline for Constructing the Multiple-Choice QA Dataset.

**Figure 5**: The three columns on the left illustrate the training pipeline; the single column on the right shows the configuration of trainable model parameters under different training strategies.

实验结果

Tab. 1 显示 StableI2I 以 89.10% 二元准确率领先 9 个 MLLM，超过 Gemini-3-pro（79.09%）、GPT-5（80.57%）、Claude-Sonnet-4.5（75.33%），三维度（语义 82.80、结构 85.40、低层 99.10）均最佳；严格准确率 83.00%，领先 Gemini-3-pro（67.15%）与 GPT-5（55.27%）超 15 pp。Tab. 2 反向审计 8 个生成模型：Bagel 在 ImgEdit-Bench（88.38%）、GEdit-Bench（82.92%）、低层数据集（81.30%）保真度最佳；Flux.1-dev（结构 1.23%/2.23%）与 GPT-Image-1（13.42%/6.93%）出现严重全局重绘。Tab. 3 显示 MCQ 让 Binary & Type QA 从 64.95% 升至 81.90%；Tab. 4 多阶段训练使结构与低层分别由 53.50% 升至 80.30%、21.40% 升至 96.60%。Fig. 7/8 可识别'天空重绘''冷色偏'等错误；Fig. 6 显示 7 位志愿者在 50 张样本上与人类判断最一致。

**Table 1**: Quantitative comparison of mainstream models on StableI2I-Bench.

**Table 2**: Quantitative results of mainstream I2I models on image editing and restoration tasks evaluated using StableI2I.

**Table 3**: The following shows a quantitative ablation study on the use of Multiple-Choice QA.

**Table 4**: The following shows the accuracy of models at different stages of multi-stage training on Multiple-Choice QA (MCQ) and Binary & Type QA.

**Figure 6**: Human evaluation of answer accuracy.

**Figure 7**: Qualitative results of mainstream I2I models on image editing and restoration tasks evaluated using StableI2I.

**Figure 8**: This figure presents representative failure cases of different models on ImgEdit-Bench, together with a detailed analysis of the observed errors.

查看结构化数据

任务	指标	本文	基线	提升
StableI2I-Bench 结构层	Binary Accuracy	85.40%	Gemini-3-pro 71.52% / GPT-5 65.50% / Claude-Sonnet-4.5 66.20%	+13.88 pp vs Gemini-3-pro
StableI2I-Bench 语义层	Binary Accuracy	82.80%	Gemini-3-pro 83.61% / GPT-5 83.00%	-0.81 pp vs Gemini-3-pro（基本持平）
StableI2I-Bench 低层外观	Binary Accuracy	99.10%	Gemini-3-pro 91.72% / GPT-5 93.20%	+7.38 pp vs Gemini-3-pro
StableI2I-Bench 平均严格准确率	Strict Accuracy	83.00%	Gemini-3-pro 67.15% / GPT-5 55.27%	+15.85 pp vs Gemini-3-pro
ImgEdit-Bench 反向评估	Avg. Fidelity	Bagel 88.38% (Qwen-Image-Edit-2509 86.97%, Nano-Banana 86.48%)	Flux.1-dev 43.90% / GPT-Image-1 65.24%	+23.14 pp over GPT-Image-1
Multiple-Choice QA 消融	Avg. Binary & Type Accuracy	w/ MCQ in SFT+RL: 81.90%	Base 64.95%	+16.95 pp

局限与改进

作者在 Limitations 中明确指出：(1) 由于 StableI2I 依赖固定任务模板，当提示中加入先验知识或更复杂指令结构时，其鲁棒性低于通用 MLLM（这一点也被 Appendix B.1 的实验佐证——去除模板先验后通用模型性能显著下降，但 StableI2I 同样受限）；(2) 评估目前以二元 + 错误类型为主，未覆盖分数级别的连续评估，难以直接用于模型排序；(3) 错误类型词典仍有限，对'风格迁移''光照合理性'等主观维度缺乏细粒度定义。本人额外观察到：(a) StableI2I 在语义层（82.80）略输 Gemini-3-pro（83.61），说明小模型在高阶语义推理上仍稍逊于超大闭源模型；(b) 论文依赖 GPT-5 做数据过滤与回标，存在继承 GPT-5 偏置的风险；(c) 评测仅在 Bagel/Nano-Banana/GPT-Image-1 三类模型生成的 50 张样本上做了 7 人主观验证，规模偏小，主观结果可信度有限；(d) 全流程使用 8 张 H200 训练，复现门槛较高。

独立分析的弱点

独立分析可观察到四点弱点。弱点一：模板依赖性。StableI2I 的提示模板与训练数据强耦合，论文自承在指令结构变化时性能下降，改进方向是引入 prompt-agnostic 的统一前缀编码或对模板本身做数据增强；改进方向二：连续分数缺失。当前只能输出 Yes/No + 离散错误类型，无法对'错误的严重程度'排序，可考虑增加连续置信度输出或 Likert 量表。弱点三：GPT-5 偏置风险。基准标注、错误过滤、CoT 生成都依赖 GPT-5，可能继承其系统性盲点，应补充人工专家交叉校验或采用多模型集成过滤。弱点四：覆盖任务有限。StableI2I-Bench 仅覆盖编辑与恢复两类任务，对风格迁移、ControlNet 类条件生成、inpainting 等任务尚未验证；扩展方向是引入更多任务场景并保持三维度定义不变。

未来方向

作者提出的未来方向包括：(1) 将 StableI2I 与人类主观评估进一步对齐，构建更大规模（>5000 样本）跨文化、跨领域基准；(2) 把 StableI2I 反向用作 I2I 模型的奖励模型，在 RLHF/DPO 阶段直接优化生成模型的保真度；(3) 与 ImgEdit-Judge 等评分器联合形成'语义-结构-低层外观-美感'四维评估协议。基于成果可延伸的方向包括：(a) 把三维度拆解扩展为细粒度子类型（如'颜色偏移'细分为白平衡、饱和度、色温），构造层级化标签；(b) 把错误放大管线推广到视频编辑、3D 资产生成等更广义的视觉生成任务；(c) 利用 StableI2I 的结构化输出构建'诊断报告生成器'，自动给出修复建议；(d) 探索轻量化蒸馏（如 2B 模型）以便在端侧实时评估。

复现评估

复现评估整体偏难，但作者给出了较多细节：项目页 https://henry-lee-real.github.io/StableI2I_Page 公开源码与基准；StableI2I-Bench 的 3000 条标注（每维度 1000 条）将随论文发布；训练超参数完全公开（SFT 学习率 $\eta = 1\times 10^{-5}$，batch=128，5 epoch；GRPO 16 候选、8 并行、至少 5000 步、$\alpha$ 惩罚项）。算力门槛高：完整训练需要 8 张 NVIDIA H200 GPU，对一般实验室不可达；不过 StableI2I-Bench 评估仅需单卡推理。数据方面，编辑数据来自 ImgEdit-Bench、GEdit-Bench、Bagel、Nano-Banana、GPT-Image-1 等公开模型输出，恢复数据由自建去噪/去模糊/去雨/去雾/曝光数据集组成，但具体来源细节需查 Appendix A.1。整体复现难度评级：中高。

StableI2I：检测图到图转换中非预期变化的统一评估框架 StableI2I: Spotting Unintended Changes in Image-to-Image Transition