VibeEdit：基于画布指令的图像编辑 VibeEdit: Image Editing with Canvas Instructions

完整流程分数据构造、SFT、RL 三段。数据构造：每张图先由 Florence-2 生成候选框，过滤过大过小后交 GPT-5.6-sol 按操作专属规则选对象（要求可识别、可见充分、空间可分离），产出物体名与编辑提示 $p$，SAM 3 依框生成掩码 $M$。移除用 ObjectClear 修补出无目标图，把『原图→修补图』与反转方向分别作为移除/添加监督；属性修改由 GPT 从颜色/材质/纹理/图案/状态/局部风格中选一个可见属性并指定可验证目标值，Qwen-Image-Edit 执行；替换由 FLUX.1 Fill 在扩张掩码内生成他类对象；移动由 Qwen-Image-Edit 搬运刚性物体，再用 SAM 3 在结果图上定位终点得到目标掩码。所有记录离线存储；训练时在线渲染画布指令：添加/属性/替换用红圈加手写短注（如 'add {object}'、'change {attribute} to {value}'），移除用圈住的涂鸦加 'remove it'，移动用红圈（起点）与绿圈（终点）加有向箭头，圈与掩码边界距离随机取 0.25–0.45 倍等效半径、透明度取 0.82–1.0、字体覆盖手写与印刷体。SFT：$z_t=(1-\sigma_t)z_0+\sigma_t\epsilon$、$v^*=\epsilon-z_0$，损失 $\mathcal{L}_{SFT}=\mathbb{E}\left\|(1+\lambda f_M)\odot(v_\theta(z_t;h,z_I,z_C,t)-v^*)\right\|^2$，监督掩码 $M_{sup}=M_{obj}\vee M_{ann}$（移动时 $M_{obj}$ 为起终点掩码并集）膨胀 50 像素，$\lambda=1.5$；约 $1024^2$ 分桶、全局 batch 128、lr $5\times10^{-5}$（500 步预热后恒定）训 12000 步。RL：每条件用 SFT 模型离线采 12 个 rollout 算奖励标准差 $\sigma(c)$，每类选方差最高的 704 个、共 3520 个条件；奖励 $R_k=\frac{1}{|Q|}\sum_j q_{k,j}-\gamma_p\mathbb{1}[PSNR_{out}<\tau_p]$（$\gamma_p=0.3$、$\tau_p=25$ dB），条件内中心化、类型内标准差归一化得 $\rho_k$；在 $512^2$ 分辨率、每条件 12 个 rollout、8 步去噪、CFG 1 下训 220 步，超参 $a_{max}=5$、$\beta=1$、$\eta=10^{-4}$。两阶段共用 32 张 A100。

新颖性体现在五个层面。其一，接口层面：画布指令是首个把定位标记与开放词表手写语义统一在同一画布上、并覆盖添加/移除/替换/属性/移动五类操作的编辑接口，区别于只做单一操作的拖拽方法和『图上定位+外部文本』两段式的区域引导方法。其二，架构层面：layer-decoupled conditioning 把语义通路（VLM 看标注图）与生成通路（VAE 分别编码干净图与灰底标注层）解耦，直接解决视觉指令方法特有的『输出残留标注』难题，消融显示分离编码比混编标注图多拿 9.2 分 rubric、2.8 dB。其三，数据层面：存储结构化记录、在线渲染标注，使 155 万对样本每次呈现不同笔迹字体，可逆方向采样进一步翻倍监督多样性；人类 Elo 评估证明多字体训练从 1382.9 提升到 1617.1。其四，优化层面：区域加权加膨胀的 SFT 损失针对局部编辑中『绝大多数像素不变』造成的梯度稀释（不膨胀反而从 66.2 掉到 64.2）；RL 条件按奖励方差而非均值筛选，为 DiffusionNFT 的组内相对信号保留最多信息（高方差 79.9 vs 低方差 76.6）。其五，奖励层面：三组 rubric（成功/保持/质量）加 PSNR 低层惩罚的组合经 Table 5 验证缺一不可，PSNR 惩罚专门弥补二值 VLM 判断对低层像素变化的盲区。

独立分析有四个值得关注的弱点。第一，监督信号全部来自模型合成：目标图由 Qwen-Image-Edit、FLUX.1 Fill、ObjectClear 生成，这些生成器自身的伪影（修补区纹理痕迹、替换物光影不接）会混入『标准答案』，模型可能学进系统性偏差；改进方向是引入真实前后对比图（如设计师修图历史、图像版本管理记录）做校准集，或在数据质检中加入伪影判别器而非仅靠 GPT 打分。第二，画布指令语法较封闭：Table 12 的模板（'add {object}'、'change {attribute} to {value}' 等）限定了可表达意图的范围，多对象联合编辑、模糊意图（『让它好看点』）、条件性编辑均无法表达；可扩展为多轮渐进式画布对话，允许圈多个区域写组合要求。第三，短注理解本质上是 OCR+语义解析，训练语料的手写风格由渲染引擎合成，覆盖有限——人类评估也只做了 200 对偏好比较，真实书写场景（连笔、倾斜、中英混排、简写俚语）下的退化程度未知；应扩充手写渲染多样性并纳入真实用户标注数据做域适应。第四，RL 阶段规模很小：每类 704 个条件、每条件 12 个 rollout、仅 220 步，与 155 万对的 SFT 相差三个数量级，说明最终 12 分的提升可能远未到上限；更大规模在线采样、更高效的探索或离线优先级回放都值得尝试。

作者方向上，rubric 分组奖励与 DiffusionNFT 的组合可自然迁移到其他『局部修改保真』任务，如虚拟试穿、文档图像编辑、摄影修图流水线；其评委-人类一致性验证流程（κ=0.805）也可作为社区评测协议推广。基于本文成果可延伸的研究包括：(1) 把画布指令从静态单轮扩展为多轮交互，支持『先圈椅子改蓝、再把旁边桌子挪走』的渐进式编辑并保持前轮结果不变；(2) 引入真实用户书写数据与在线学习，弥合合成手写与真实笔迹的分布差距；(3) 把移动箭头推广为形变控制（缩放、旋转、非刚性变形），与 DragGAN 类细粒度控制合流成统一画布语法；(4) 在输出端加标注残留检测头或显式『擦除监督』，进一步压低笔迹复现率，并把该机制作为通用视觉指令编辑的即插即用组件；(5) 摆脱闭源依赖：用开源 VLM 替代 GPT 系评委与选择器、开源分割模型替代 SAM 3，形成完全可复现的开源训练栈，并公开发布数据集与权重；(6) 扩展到视频局部编辑——画布上的箭头天然对应运动意图，区域加权损失与区域外保持奖励可直接推广到时空区域。

复现难度中偏高。利好方面：论文对流程的描述异常详尽——附录给出对象选择规则全文、评委系统与用户 prompt、全部 rubric 二值问题、DiffusionNFT 目标与超参（$K=12$、$a_{max}=5$、$\beta=1$、$\eta=10^{-4}$、$\delta=10^{-4}$）、渲染细节（圆距掩码边界 0.25–0.45 倍等效半径、透明度 0.82–1.0）以及语料统计（Table 13），并提供了项目主页。障碍方面：数据构造依赖 GPT-5.6-sol 与 GPT-5.4-mini 两个闭源 API（155 万对的选择、描述、质检全走 GPT，成本可观），ObjectClear、SAM 3、Qwen-Image-Edit、FLUX.1 Fill、Florence-2 虽大多公开但需要工程拼装整条流水线；155 万对训练数据与模型权重截至论文成文未见开源发布；训练需要 32 张 A100（SFT 12000 步全局 batch 128 + RL 220 步），RL 每轮还要对 3520 条件做在线 rollout 并调用 GPT 判分，API 开销与工程复杂度显著。资源有限的复现者建议先小规模复现 SFT 与核心消融（如 Table 2 的层解耦条件对比，仅需 Qwen-Image-Edit + 小量合成对），确认趋势后再按比例缩减 RL 条件数验证奖励设计。