解耦残差去噪扩散模型：面向统一且数据高效的图像到图像翻译 Decoupled Residual Denoising Diffusion Models for Unified and Data Efficient Image-to-Image Translation
把扩散过程拆成噪声域协调与残差映射两阶段，实现统一高效的图像翻译
前置知识
图像到图像翻译（Image-to-Image Translation, I2I）
把一张图像从源域映射到目标域的任务，例如把模糊图变成清晰图、低光图变成正常曝光图、边缘图变成物体图。核心要求是改变外观或域属性的同时保留内容结构。早期由 GAN 主导，近年来扩散模型（如 SR3、Palette）在质量和多样性上成为新标杆。
本文的研究对象就是 I2I 翻译，统一 I2I（一个模型同时处理多种任务/域）是本文要解决的难点与目标。
去噪扩散概率模型（DDPM）与 DDIM 采样
DDPM 通过两个过程学习数据分布：前向逐步给图像加高斯噪声 $\varepsilon$ 直到变成纯噪声；反向训练网络 $\epsilon_\theta$ 逐步预测并移除噪声还原干净图像。DDIM 是其确定性、少步数的采样加速变体，只需 2-10 步即得良好结果，是本文两阶段的实际采样策略。
DRDD 的整个方法建立在 DDPM/DDIM 的数学框架上（式2、式7、式8），理解前向加噪与反向去噪的对应关系才能看懂解耦设计。
残差扩散与耦合反向过程（RDDM / I2SB / IR-SDE）
一类 I2I 扩散方法：不从纯噪声出发，而从携带噪声的输入图像出发，把翻译建模成单一反向过程，在每个扩散步同时移除注入的高斯噪声和源-目标残差 $I_{res}=I_{in}-I_0$。RDDM、I2SB、IR-SDE 都属此类，本文称之为「耦合」扩散。
耦合扩散是本文要打破的范式，DRDD 的核心创新就是把这种同时移除噪声和残差的单过程拆成两个独立阶段。
领域差异与分布距离（Domain Gap / KL 散度 / MMD）
不同任务或不同数据源（如自然图像、医学图像、遥感图像）的特征分布之间存在的统计距离。本文用 KL 散度（Kullback-Leibler divergence）和最大均值差异（MMD）量化。差异越大，一个统一模型越难学到兼顾所有域的单一映射，这是统一 I2I 的核心难点。
本文最重要的理论发现就是「注入高斯噪声能缩小不同域之间的 KL 散度」（命题3.1），这是整个方法成立的基石。
流形提升（Manifold Lifting）
扩散模型给数据加噪声的经典作用之一：把集中在低维流形上的真实数据「抬起」到高维空间，避免神经网络在低维结构上优化困难，同时丰富训练信号以估计得分函数。本文发现噪声除这一经典作用外，还有「域协调」这一被忽视的新作用。
理解噪声的传统作用，才能理解作者为何把「域协调」称为一个「未被充分探索的新性质」，并据此重新设计扩散流程。
研究动机
现有耦合扩散模型（RDDM、I2SB、IR-SDE）把图像到图像翻译建模成一个单一的反向过程：在每个扩散步同时移除注入的高斯噪声和源-目标残差。当把它们用于「统一 I2I 翻译」——也就是让一个模型同时处理去噪、去雨、去雾、去模糊、低光增强等多种任务，乃至自然、医学、遥感等多个数据域——时，会遇到两大困难。其一，不同 I2I 任务之间存在巨大的领域差异（domain gap），论文图1(a) 的 t-SNE 可视化显示三个任务的源域特征分布相距甚远，单一映射函数难以同时拟合所有任务；其二，难以收集覆盖这种任务多样性、域多样性的大规模配对「源→目标」数据。更关键的是，作者发现这些耦合方法在每个反向步都把噪声逐步移除掉，而噪声恰恰有缩小域间距离的好处，于是「域协调」效应还没等源-目标映射完成就被提前侵蚀掉了，削弱了统一模型的潜力。
本文的目标是本文有四个具体且可量化的目标：第一，从理论和实证上揭示并形式化高斯噪声作为一种「域协调器」（domain harmonizer）的新角色，证明注入噪声能严格缩小不同域特征分布间的 KL 散度；第二，基于这一发现设计 DRDD，在统一多任务（All-in-One-5、CDD-11）和多域（MNMD）设置下达到 SOTA 的图像修复质量；第三，证明在配对数据严重受限时（例如只用 25% 训练数据）仍能保持稳健性能；第四，证明这套解耦框架可迁移到主流扩散范式（DDPM、DDIM、基于 SDE 的模型），不是一个孤立的小技巧。
与已有工作不同的是，本文切入了一个长期被社区忽视的视角。主流印象是「扩散模型的生成能力来自去噪网络本身」，但作者论证：去噪过程本身只学习移除噪声，并不产生语义；真正的生成能力来自预测噪声 $\epsilon_\theta$ 与目标图像 $I_0^\theta$ 之间的相互表示关系及由此导出的采样公式。基于这一再认识，他们重新审视「噪声到底起什么作用」，从而发现固定水平（不做时间步调度）的高斯噪声可以充当域协调器——这个性质对统一 I2I 尤其有利，却一直被淹没在「加噪是为了流形提升和丰富训练信号」的传统认知里。而已有耦合扩散在残差映射尚未完成时就把这些有益噪声删掉，等于把好东西提前丢了，本文正是抓住了这一点提出解耦。
核心方法
可以打这样一个比方：DRDD 像一个「先把所有方言翻译成一种共同中介语言、再用中介语完成翻译、最后转回目标语」的译员。先把各种任务的数据统一拉到一个共同的中介表示（噪声携带域），在这个中介空间里完成核心的源→目标映射，最后再从中介域解码出干净的目标图。技术上，DRDD 把传统单一前向扩散拆成两个顺序且独立的阶段：第一阶段是随机噪声扩散，注入固定水平高斯噪声做域协调和流形提升，把目标域投影到一个「和谐化」的噪声携带域；第二阶段是确定性残差扩散，在这个固定噪声域内学习源到目标的残差映射。反向过程对称解耦：先在噪声携带域内做残差移除（完成核心的源→目标变换），再做去噪把噪声携带的目标转成干净目标。这样域协调效应贯穿整个核心变换，并且去噪网络只需在目标域图像上训练，能利用海量无配对数据。
全文最核心的一句话是「解耦」：把负责域协调的噪声扩散和负责语义映射的残差扩散彻底分离成两个串行阶段，并让残差映射完全在一个固定的噪声域内完成。这是与 RDDM 等耦合方法最本质的区别——它们在单一过程里同时删噪声和残差，域协调效应随噪声被删而消失；DRDD 则让协调效应始终在场。数学基石是命题3.1：对任意分布 $P$、$Q$ 注入相同高斯噪声后，新分布间 KL 散度不增，即 $D_{KL}(P_\sigma \| Q_\sigma) \leq D_{KL}(P \| Q)$。第二个关键优势是数据高效：残差映射在固定噪声域内完成，去噪网络 $\epsilon_\theta$ 的损失 $\mathcal{L}_\epsilon=\mathbb{E}[\|\epsilon-\epsilon_\theta(I_t^{(1)},t)\|_1]$ 只依赖目标域图像，不配对的源域图也能用，于是可拿大量无配对目标域图像去提升最终保真度。
方法步骤详情
前向分两步：噪声扩散把目标图 $I_0^{(1)}$ 加噪到 $I_{T_1}^{(1)}=I_0^{(1)}+\bar{\beta}_{T_1}\varepsilon$（式2）；残差扩散以上一步终点作初值 $I_0^{(2)}:=I_{T_1}^{(1)}$，按 $I_t^{(2)}=I_0^{(2)}+\bar{\alpha}_t I_{res}$（式3）注入残差 $I_{res}=I_{in}-I_0$，终点 $I_{T_2}^{(2)}=I_{in}$ 即噪声携带输入图。反向由两个独立网络完成：残差移除网络迭代 $I_{t-1}^{(2)}=I_t^{(2)}-\alpha_t I_{res}^\theta$（式6）在噪声域内完成源→目标变换；去噪网络按 $I_{t-1}^{(1)}=I_t^{(1)}-(\bar{\beta}_t-\sqrt{\bar{\beta}_{t-1}^2-\sigma_t^2})\epsilon_\theta+\sigma_t\varepsilon_t$（式8）移除噪声输出干净目标。两网络均以 L1 损失训练，采样用 DDIM 各 2 步。
技术新颖性
技术新颖性体现在三方面。其一，结构上首次把「噪声扩散」与「残差扩散」解耦成串行的两个独立阶段，这与 RDDM、I2SB、IR-SDE 等在单过程里同时移除噪声和残差的耦合范式形成本质对比；也与 SR3/vanilla DDPM「从纯噪声出发、输入图仅作条件」的做法不同——DRDD 从一个固定的噪声携带域出发，核心语义映射在噪声域内完成。其二，理论上首次形式化证明固定噪声的域协调性质（命题3.1）并给出 KL 散度下降的严格推导，还用双 MMD 距离目标 $J(\sigma;\lambda)=\lambda\widetilde{A}(\sigma)+(1-\lambda)\widetilde{B}(\sigma)$（式12）推导出最优噪声强度 $\bar{\beta}\approx1.1$–1.2，把「加多少噪声」从拍脑袋变成了可计算的优化问题。其三，可迁移性：这套解耦思想不止挂在 DDPM/DDIM 上，作者还把它嵌入 SDE 框架得到 De-IRSDE（附录A.4），证明这是一个通用范式而非特定技巧。
实验结果
实验从四方面展开。① 统一多任务修复（All-in-One-5，表1）：DRDD 五项平均 SSIM/LPIPS/FID=0.916/0.073/18.3，全面优于 DFPIR(0.912/0.081/24.9)、VLUNET、AdAIR 及扩散类 DiffuIR、DA-CLIP，感知指标领先明显。② 多域单任务（自建 MNMD，表2）：自然/医学/遥感去噪平均 0.9338/0.0553，超 VLUNET(0.9274/0.0784)、RDDM(0.8406/0.1702)，直接验证域协调假设。③ 数据高效（图5）：All-in-One-3 仅 25% 数据仍达 0.947/0.041，优于 AdAIR(0.944/0.050)、RDDM(0.929/0.058)，下降幅度最小。④ 单任务扩展：复合退化 CDD-11 平均 SSIM 最高；CelebA-HQ 修复各掩码/分辨率 LPIPS/FID 全部最佳，Rain100H 去雨 SSIM 0.9375 vs RDDM 0.8806，edges2handbags FID 4.76 vs 5.72；解耦版 De-IRSDE 优于基线（表3）。成本上 DRDD-S 两阶段各 2 步、延迟约 0.33s、FID/LPIPS 均最佳（表9）；噪声强度 $\bar{\beta}$ 在 0.8–1.3 稳定、最优约 1.0（图6）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 统一多任务图像修复（All-in-One-5，五项平均） | FID↓ | 18.3 | DFPIR 24.9 / DA-CLIP 20.0 | 相比最强基线 DA-CLIP，FID 从 20.0 降至 18.3，LPIPS 从 0.108 降至 0.073 |
| 多域图像去噪（MNMD，三域平均） | LPIPS↓ | 0.0553 | VLUNET 0.0784 / RDDM 0.1702 | 相比 VLUNET，LPIPS 降低约 29.5%，SSIM 0.9338 vs 0.9274 |
| 图像去雨（Rain100H） | SSIM↑ | 0.9375 | RDDM 0.8806 / IR-SDE 0.9041 | SSIM 提升 0.0569，LPIPS 0.0400 vs RDDM 0.1170 |
| 受限数据统一修复（All-in-One-3，25% 训练数据） | SSIM↑ / LPIPS↓ | 0.947 / 0.041 | AdAIR 0.944/0.050；RDDM 0.929/0.058 | 数据减至 1/4 仍保持最优，且性能下降幅度最小 |
局限与改进
论文没有单独的「局限」章节，但从内容可归纳若干限制。第一，引入两阶段结构意味着额外的网络与调度复杂度：DRDD-S 需要 7M 的残差移除网络加上 138M 的去噪网络，参数与残差/噪声两个步数都要分别配置；表8 的「去掉去噪网络」消融显示残差移除网络本身也会扰动噪声，所以专门去噪网络是必需的，不能简单相减。第二，最优噪声水平虽理论给出约 1.1–1.2，但作者在附录C.9 承认该值需在 0.8–1.3 区间内针对数据集实测调参，区间外敏感性增大，并非完全免调参。第三，感知指标（LPIPS/FID）提升显著，但像素级 PSNR 优势有限——附录C.7 显示在去雾 PSNR 30.56 与 VLUNET 持平、去模糊 29.08 略胜，说明方法偏感知质量而非像素保真。第四，统一模型在分布外数据上的失真指标（表11）虽优于基线，但绝对 PSNR 仍不算高（如去噪 PSNR 34.8），对需要严格像素对齐的场景不是最优。
独立分析的弱点
我独立看到的几个弱点及改进方向。其一，残差定义 $I_{res}=I_{in}-I_0$ 假设源-目标间是简单加性差异，这对去噪、去雾、去雨等加性/乘性退化很合适，但对涉及大几何形变、视角变化、拓扑变化（如语义分割图→真实图）的任务建模能力有限——改进方向是引入可变形场或用 flow matching 替代加性残差。其二，噪声强度 $\bar{\beta}$ 是一个全局常数，不随任务难度或样本自适应，简单任务可能加噪过多、困难任务可能不够——改进方向是做任务条件化或实例条件化的噪声调度。其三，两阶段各自有独立网络与超参（$T_1$、$T_2$、两个学习率、两个 U-Net 配置），搜索空间比单网络更大——改进方向是用权重共享的单一骨干分别输出噪声和残差预测。其四，实验以加性退化类修复任务为主，对结构变换类 I2I（除 edges2handbags 的定性结果外）验证不足，泛化性 claims 需更多支撑。其五，感知与失真指标的权衡（perception-distortion tradeoff）偏向感知一侧，对医学配准、遥感测量等保真优先场景，建议叠加保真约束或混合损失。
未来方向
作者明确暗示的方向：把解耦思想推广到更多扩散范式（论文已验证基于 SDE 的 IR-SDE，自然延伸到 flow matching、Schrödinger bridge），并继续挖掘噪声在生成模型中的新角色。基于成果可延伸的方向包括：第一，自适应/可学习的噪声调度，让 $\bar{\beta}$ 随任务或样本动态变化；第二，把框架扩展到高分辨率（如 512/1024）、视频 I2I 以及时序一致的去噪；第三，利用「去噪网络仅需目标域无配对图像」这一性质，构建大规模无配对目标域预训练 + 小规模配对微调的新范式，进一步压低标注成本；第四，与预训练大规模图像修复基础模型（如 Restormer、FoundIR）结合，探索解耦模块作为即插即用增强。
复现评估
复现评估总体良好。开源情况：代码已发布在 https://github.com/HKU-HealthAI/DRDD。数据集：全部使用公开数据（All-in-One-3/5、CDD-11、CelebA-HQ、FFHQ、Rain100、BSD400、WED、UC-Merced、BrainWeb 等），并基于公开数据自建了 MNMD 多域去噪基准。算力需求：NVIDIA A6000 48GB 单卡即可，batch size 8，初始学习率 8e-5，共 30 万步，训练 patch 256×256。网络为标准 ADM U-Net（去噪 C=128、残差 C=64），损失是简单的 L1，采样用 DDIM 各取 2 步。复现难度中等偏低：架构常规、配置在附录B/C 写得清楚，主要门槛在于搭建多任务混合训练流水线和在 0.8–1.3 区间标定噪声水平；受限数据实验还需准备 ImageNet 预训练权重初始化去噪网络。
论文图表
