EditCrafter：基于预训练扩散模型的无调参高分辨率图像编辑 EditCrafter: Tuning-free High-Resolution Image Editing via Pretrained Diffusion Model

完整 EDITCRAFTER 流水线（Fig. 2 + Alg. 1 + Alg. 2）分两阶段。阶段 A：tiled DDIM inversion。Step 1：用裁剪函数 $T_{x\to i}(S):\mathbb{R}^{H\times W\times3}\to\mathbb{R}^{H'\times W'\times3}$ 把高分辨率图 $x_0$ 切成 $n$ 个非重叠 $S\times S$ 小块 $\{x^{(0)},\dots,x^{(n)}\}$；Step 2：对每块 $x^{(i)}$ 经 VAE 编码器得到 $z_0^{(i)}=E(x^{(i)})$；Step 3：设 CFG 尺度 $\omega=0$（即 $\epsilon_c^\omega=\epsilon_\varnothing$），逐时间步按 $z_{t+1}=\sqrt{\bar\alpha_{t+1}}z_c^\omega(z_t)+\sqrt{1-\bar\alpha_{t+1}}\epsilon_\varnothing(z_t)$ 反演到 $z_T^{(i)}$；Step 4：用逆映射 $T_{i\to z}(S/8)$ 把所有 $z_T^{(i)}$ 拼回高分辨率潜码 $z_T^*$。阶段 B：反向生成（Alg. 2）。Step 5：U-Net 所有卷积层替换为 ScaleCrafter 的 re-dilated 卷积以适配 $H\times W$ 输入；Step 6：循环 $t=T,\dots,1$，若 $t\leq\tau$（$\tau=10$ for $4\times$，$37$ for $8\times/16\times$）执行 NDCFG++：先算 $\tilde\epsilon_c^\lambda(z_t^*)=\epsilon_\varnothing(z_t^*)+\lambda[\tilde\epsilon_c(z_t^*)-\tilde\epsilon_\varnothing(z_t^*)]$，再用 vanilla 无条件噪声 $\epsilon_\varnothing(z_t^*)$ 做重噪声化得 $z_{t-1}^*$；Step 7：若 $t>\tau$ 切回标准 CFG++；Step 8：用 VAE 解码器 $D$ 把 $z_0^*$ 还原成像素图。

技术新颖性体现在四方面：(1) 首次把 tiled inversion + kernel re-dilation 联合起来做高分辨率真实图编辑，避开'切块后子结构与文本不对齐'和'全图感受野不足'两个痛点；(2) NDCFG++ 公式 $\tilde\epsilon_c^\lambda(z_t)=\epsilon_\varnothing(z_t)+\lambda[\tilde\epsilon_c(z_t)-\tilde\epsilon_\varnothing(z_t)]$ 用 vanilla 与 dilated 两个估计器显式分工，并通过分阶段调度 $\tau$ 实现'编辑前期稳定身份、后期跟随 prompt'，这一点是 ScaleCrafter/CFG++ 都没做到的；(3) Fig. 3 通过可视化引导残差 $\epsilon_c(z_t)-\epsilon_\varnothing(z_t)$ 证明 NDCFG++ 比直接套 ScaleCrafter 在去噪过程中保留更多语义信号、压制背景噪声；(4) 配套的 tiled inversion 在反演阶段就强制 $\omega=0$ 抑制文本影响，确保切块拼接不引入拼接错位。整篇工作是无调参流派在'超高分辨率'维度的一次系统化推进。

独立看几个可改进点：(1) Tiled DDIM inversion 切块独立反演后直接拼接，块与块之间共享语义但潜码边界存在相位差，Fig. 4 中'cat → goat'等例在物体边缘能看到轻微拼接痕迹；改进方向是引入块重叠 + 重叠区潜码混合，类似 latent merging 的设计。(2) 反演阶段强制 $\omega=0$ 虽避免文本干扰，但完全弃用文本条件也意味着块与块间无法语义协同，对跨块的连续结构（如山脉、水流）效果受限。(3) NDCFG++ 的 $\tau$ 是分辨率相关离散阈值，缺少自适应判定；可考虑基于潜码残差能量 $\|\epsilon_c-\epsilon_\varnothing\|$ 自动切换阶段。(4) 用户研究的 prompt-image 数据集仅 30 张且全来自 UltraPixel 合成，在真实摄影、自然场景上的泛化未充分覆盖。(5) 论文未给完整的失败案例集，比如当 prompt 要求添加新物体而非替换时（如'add a bird to the sky'），系统是把它当作 $\text{sky}\to\text{sky with bird}$ 还是直接整体重画？行为未澄清。

作者在 Conclusion 与 Sec. 5 明确表示预期'EDITCRAFTER 能被集成到真实编辑应用'。可延伸方向包括：(1) 把 tiled inversion 推广到视频编辑，利用相邻帧重叠块的时间一致性做隐式约束；(2) NDCFG++ 的分阶段调度可与 ControlNet、IP-Adapter 等条件控制结合，实现可同时编辑姿态、风格、语义的统一框架；(3) 把 NDCFG++ 应用到 inpainting / outpainting 场景，用流形约束引导保留未编辑区域；(4) 把 $\lambda$ 与 $\tau$ 做成可学习的元参数，让模型自己决定何时切换引导阶段；(5) 与最新 FLUX.1 Kontext 等流匹配模型结合，研究 NDCFG++ 在 MMDiT 架构上的等价物。基于本文的'无调参、可任意分辨率'定位，下一步明显是把它做成商业级高分辨率编辑产品或 Photoshop 插件。

复现友好度较高：(1) 论文给完整算法伪代码（Alg. 1 tiled DDIM inversion、Alg. 2 reverse diffusion with ours、Alg. 3/4 对照版本），公式全部显式写出（Eq. 1-13）。(2) Appendix A 提供实现细节：DDIM 步数 $T=50$，$4\times$ 时 $\tau=10$，$8\times/16\times$ 时 $\tau=37$；CLIP 用 ViT-B/32；ScaleCrafter 的 re-dilation 配置直接复用官方设置。(3) 硬件门槛低：单卡 RTX 4090 即可跑全部实验，VRAM 占用 3.8GB（$1024\times1024$）至 18.2GB（$4096\times4096$）。(4) 依赖模型仅 SD 2.1 与 SDXL 1.0，均可公开下载。(5) 主要未知项：作者未明确说明项目代码是否开源（arXiv 预印本，文末未给 GitHub 链接），且 30 张图 + 150 对 prompt 的私有评估数据集未公开，因此独立复现的'评估'环节需要研究者自行构造。建议复现时优先对齐 Fig. 4 中 16× 'cat → goat'、SDXL 'mountain → sand dune' 等案例。