RealRestorer: 基于大规模图像编辑模型的通用化真实世界图像复原 RealRestorer: Towards Generalizable Real-World Image Restoration with Large-Scale Image Editing Models
利用大规模图像编辑模型的强先验知识，通过高质量数据生成与两阶段训练实现真实世界图像复原
前置知识
图像复原 (Image Restoration)
图像复原是计算机视觉中的基础任务，旨在从退化的观测图像中恢复高质量图像。真实世界图像可能遭受多种退化，包括模糊、雨滴、噪声、低光照、摩尔纹、雾气、压缩伪影、反射和光晕等。传统方法通常为每种退化类型设计专门的模型，但这种方法在面对真实世界复杂退化时泛化能力有限。图像复原技术是自动驾驶、遥感、目标检测和3D重建等下游任务的关键基础。
理解图像复原的基本概念和挑战是理解本文研究动机的前提，本文试图用一个统一模型处理多种真实世界退化。
大规模图像编辑模型 (Large-Scale Image Editing Models)
这类模型是在海量图像-文本对上训练的大规模生成模型，具备强大的语义先验知识。代表模型包括GPT-Image-1.5、Nano Banana Pro、Seedream 4.5等闭源模型，以及Step1X-Edit、FLUX.1-Kontext-dev等开源模型。这些模型通过学习图像编辑任务（如风格迁移、内容修改等），隐式获得了对图像结构和退化的理解能力，可以用于图像复原任务。
本文的核心思路是利用这些大规模编辑模型已学到的先验知识来解决复原问题，理解这类模型的能力和局限对把握论文关键创新很重要。
扩散模型与DiT架构 (Diffusion Models & DiT)
扩散模型是一类生成模型，通过逐步向数据添加噪声再学习去噪过程来生成图像。DiT（Diffusion in Transformer）是将Transformer架构引入扩散模型的架构创新，替代了传统的U-Net结构。本文的基线模型Step1X-Edit就是基于DiT架构构建的，采用28步去噪过程，并使用QwenVL作为文本编码器注入语义信息。Flux-VAE用于将图像编码到潜在空间。
理解DiT架构和扩散模型的去噪过程有助于理解本文方法的技术细节，包括为什么计算成本较高以及微调策略的设计。
全能复原 (All-in-One Restoration)
全能复原是指用一个统一的模型处理多种不同类型的图像退化，而非为每种退化训练专门的模型。这种方法面临的主要挑战是如何在共享表示和任务特定组件之间取得平衡。现有全能复原方法通常依赖有限的合成退化分布进行训练，导致对真实世界场景的泛化能力不足。
本文属于全能复原范畴，但通过利用大规模编辑模型的先验知识和高质量数据生成，试图突破传统全能复原的局限。
合成数据与真实数据的域差距 (Synthetic-Real Domain Gap)
在图像复原领域，获取大规模真实退化-干净图像对成本高昂且困难，因此常用合成数据训练。然而，合成退化模型（如简单的高斯模糊、JPEG压缩模拟）往往无法完全捕捉真实世界退化的复杂性和多样性，导致模型在真实场景上泛化性能下降。缩小这一域差距是提升复原模型实用性的关键挑战。
本文提出的数据生成管线和两阶段训练策略正是为了解决这个域差距问题，这是理解论文核心贡献的关键。
研究动机
现有图像复原方法在真实世界应用中面临严峻挑战。首先，单退化复原方法（如专门的去模糊、去雨模型）通常基于任务特定的假设构建，退化类型是预定义且相对单一的，这使得模型在遇到未见或复合退化时泛化能力差，甚至可能引入二次伪影。其次，全能复原方法虽然试图在统一框架中处理多种退化，但仍严重依赖合成数据集，这些数据集的退化模式有限且过于简化，无法真实反映真实世界数据分布的复杂性。例如，传统合成管线通常使用简单的高斯模糊或标准JPEG压缩，但真实世界的退化模式要复杂得多——运动模糊可能包含复杂的轨迹，压缩伪影可能来自多种编码器的级联处理。此外，现有的评估协议主要依赖全参考指标（如PSNR、SSIM），需要配对的干净参考图像，但获取完美对齐的真实世界干净目标是不可行的，这使得传统评估方法无法准确反映模型在真实场景中的表现。闭源的大规模图像编辑模型（如Nano Banana Pro）虽然展示了强大的复原能力，但其训练数据和计算资源不公开，限制了研究社区的使用和发展。
本文的目标是本文的具体目标是构建一个开源的真实世界图像复原模型RealRestorer，使其在九种常见真实世界退化类型（模糊、压缩伪影、摩尔纹、低光照、噪声、光晕、反射、雾气、雨水）上达到与领先闭源系统可比的性能。具体而言，作者希望：1）开发一个高质量的退化数据生成管线，覆盖九种退化类型，缩小合成与真实退化之间的域差距；2）设计两阶段训练策略，将大规模图像编辑模型的先验知识迁移到图像复原任务；3）构建一个新的非参考基准RealIR-Bench，包含464张真实退化图像，并提出基于VLM的评估框架，同时衡量退化去除能力和内容一致性保持。在量化指标上，作者期望在开源模型中排名第一，整体排名进入前三，与Nano Banana Pro的差距控制在0.01个FS分数点以内。
与已有工作不同的是，本文的独特切入角度在于三个方面。第一，不是从零开始训练复原模型，而是利用大规模图像编辑模型已经学到的强大语义先验知识。这些模型在海量图像-文本对上训练，隐式获得了对图像结构和退化的深刻理解，通过微调将这种知识迁移到复原任务，可以显著减少所需的数据量和计算成本。第二，构建了一个包含合成和真实数据的混合训练管线，合成数据用于建立基础复原能力，真实数据用于适应真实退化分布，两阶段渐进式训练策略有效平衡了泛化能力和复原保真度。第三，提出了非参考评估框架，使用VLM（Qwen3-VL-8B-Instruct）评估退化严重程度并计算复原分数，结合LPIPS衡量感知一致性，解决了传统全参考指标无法用于真实世界无参考图像评估的问题。
核心方法
RealRestorer的方法可以类比为一个经验丰富的修图师的学习过程。首先，修图师（基础模型Step1X-Edit）已经掌握了基本的图像编辑技能（如风格迁移、内容修改），这相当于大规模编辑模型的先验知识。然后，通过大量的合成退化练习（第一阶段迁移训练），修图师学会了处理各种标准退化模式。最后，通过接触真实世界的退化案例（第二阶段监督微调），修图师能够应对实际工作中遇到的复杂退化。技术路线如下：基线模型采用Step1X-Edit，这是一个基于DiT架构的大规模图像编辑模型，配备QwenVL文本编码器和Flux-VAE。训练过程分为两个阶段：迁移训练阶段使用合成退化数据（约1.5M样本）将编辑能力迁移到复原任务；监督微进阶段使用真实退化数据（约80K样本）进一步提升复原保真度和泛化能力。两阶段都采用固定分辨率1024×1024的训练设置，全局批大小分别为16和32。
本文最核心的创新是提出了一套完整的「从编辑到复原」的迁移学习范式。与传统复原方法从零开始训练或使用预训练生成模型作为骨干不同，RealRestorer直接利用大规模图像编辑模型的强大语义先验。这种范式的关键优势在于：大规模编辑模型在海量图像-文本对上训练，已经学会了理解图像内容、结构和语义，这种能力可以直接迁移到复原任务中。例如，模型知道「窗户应该是什么样子」「人脸应该具有什么特征」「天空应该是什么颜色」，这些知识对于在退化图像中恢复真实内容至关重要。另一个核心创新是两阶段训练策略的设计：第一阶段使用合成数据建立基础复原能力，第二阶段使用真实数据适应真实退化分布，同时保留小比例合成数据（Progressively-Mixed策略）防止过拟合。这种设计巧妙地解决了传统方法中合成-真实域差距的问题。
方法步骤详情
RealRestorer的完整流程包括数据生成、两阶段训练和推理三个主要步骤。在数据生成阶段，作者构建了覆盖九种退化的合成管线：模糊使用视频片段的时间平均模拟运动轨迹；压缩伪影使用JPEG压缩和图像缩放；摩尔纹生成3000个多尺度图案随机融合；低光照应用亮度衰减和gamma校正；噪声采用web风格退化和segment-aware噪声；光晕收集3000+眩光图案；反射使用SynNet管线；雾气基于大气散射模型；雨水结合雨滴、飞溅和200个真实雨纹。真实退化数据通过CLIP过滤、水印检测、Qwen3-VL评估和人工审核获取。在迁移训练阶段，冻结Flux-VAE和文本编码器，仅微调DiT，使用恒定学习率1e-5，全局批大小16，训练约500步。在监督微调阶段，采用渐进混合训练策略（合成:真实=2:8），余弦退火学习率，冻结前1/4 SingleStreamBlocks，全局批大小32，训练约1500步。推理时，模型接收退化图像和任务特定的英文提示，输出复原后的图像。
技术新颖性
RealRestorer的技术新颖性体现在多个层面。首先，在模型选择上，不同于以往使用U-Net架构的扩散模型或专门的复原网络，本文首次将DiT架构的大规模图像编辑模型（Step1X-Edit）应用于图像复原任务，证明了这类模型在复原任务上的潜力。其次，在数据生成上，本文提出了比传统合成管线更精细的退化建模，包括segment-aware噪声、web风格退化、真实雨纹/眩光/雾气图案的融合，显著缩小了合成-真实域差距。第三，在训练策略上，两阶段渐进式训练和Progressively-Mixed策略是针对编辑-复原迁移场景专门设计的，不同于传统的单阶段或简单多任务训练。第四，在评估上，提出了基于VLM的非参考评估框架，定义了复原分数（RS）、LPIPS（LPS）和最终分数（FS）三个互补指标，FS = 0.2 × (1 - LPS) × RS，同时衡量退化去除和内容一致性。
实验结果
RealRestorer在多个基准上展示了强大的复原性能。在自建的RealIR-Bench基准（464张真实退化图像）上，RealRestorer在九个退化任务上的平均最终分数（FS）达到0.146，在开源模型中排名第一，整体排名第三，仅比闭源模型Nano Banana Pro（0.153）低0.007分，比第二好的开源模型Qwen-Image-Edit-2511（0.127）高0.019分。具体来看，在去模糊任务上，RealRestorer的LPS为0.582，RS为1.900，FS为0.159，在所有模型中表现最佳；在低光照增强任务上，LPS为0.597，RS为1.360，FS为0.110，同样排名第一。在摩尔纹去除任务上，LPS为0.563，RS为1.620，FS为0.142，排名第二。在传统参考基准FoundIR上，RealRestorer在7个孤立退化任务中的5个上获得最佳PSNR和SSIM，平均PSNR为21.45，SSIM为0.70。在额外的公开基准上，包括Flare7K++的Flare-R子集（去光晕）、UHDM（去摩尔纹）和SIR²+（去反射），RealRestorer也展示了竞争力的性能，平均PSNR为20.88，SSIM为0.803。用户研究（32名参与者，3200组图像）表明，RealRestorer的第一排名率为21.54%，与量化指标趋势一致。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RealIR-Bench九任务平均 | FS (↑) | 0.146 | Nano Banana Pro: 0.153 | 开源第一，整体第三，与闭源第一差距0.007 |
| 去模糊 (Deblurring) | FS (↑) | 0.159 | Nano Banana Pro: 0.144 | 超越闭源SOTA，提升10.4% |
| 低光照增强 (Low-light) | FS (↑) | 0.110 | Nano Banana Pro: 0.077 | 超越闭源SOTA，提升42.9% |
| FoundIR平均 (7任务) | PSNR (↑) | 21.45 | Nano Banana Pro: 20.37 | 提升5.3% |
| FoundIR平均 (7任务) | SSIM (↑) | 0.70 | Nano Banana Pro: 0.67 | 提升4.5% |
| 雨滴去除 (Rain Removal) | PSNR (↑) | 23.72 | Step1X-Edit: 19.91 | 提升19.1% |
| 去噪声 (Denoise) | PSNR (↑) | 28.15 | Step1X-Edit: 27.18 | 提升3.6% |
| 低光照增强 (Low-light) | PSNR (↑) | 17.59 | Step1X-Edit: 15.72 | 提升11.9% |
局限与改进
作者在论文中承认了三个主要局限。首先，由于基础图像编辑模型依赖28步去噪过程，RealRestorer的计算成本远高于小规模复原模型，这是大规模图像编辑模型的通病。其次，在存在强语义和物理歧义的情况下，如镜像自拍，模型可能无法区分真实场景内容和不希望的反射，这在其他图像编辑方法中也是常见挑战。第三，RealRestorer在极端严重退化（可靠像素证据大量缺失）的情况下仍然表现不佳，可能无法保持物理一致性结构（如水面反射）。从我的观察来看，论文的评估存在一定的局限性：RealIR-Bench只有464张图像，样本量相对较小；VLM评估指标（RS）依赖于Qwen3-VL-8B-Instruct的评分能力，可能存在评估偏差；用户研究的参与者数量（32人）也相对有限。此外，论文没有详细讨论模型在不同分辨率图像上的泛化能力，以及在视频序列上的时序一致性。
独立分析的弱点
基于对论文的独立分析，我识别出以下几个弱点及改进方向。第一，计算效率问题：28步去噪过程导致推理速度慢，不适合实时应用。改进方向包括使用更快的采样器（如DDIM、DPM-Solver）或进行模型蒸馏，将去噪步骤减少到4-8步。第二，数据生成管线的复杂性：九种退化类型需要不同的生成策略，管线设计复杂且部分依赖外部模型（如SAM-2、MiDaS），增加了部署难度。可以考虑使用更统一的退化建模方法或自动化管线配置。第三，任务泛化能力有限：虽然论文展示了零样本泛化到雪去除和老照片修复，但模型仅在9种退化类型上微调，面对完全不同的退化（如医学图像伪影、卫星图像失真）可能表现不佳。改进方向包括引入更多样的退化类型或设计更好的任务泛化机制。第四，VLM评估的可靠性：FS分数依赖于VLM的退化严重程度评分，但VLM可能对某些退化类型（如摩尔纹）的评估不够准确。可以考虑结合多种评估方法（如无参考图像质量评估指标BRISURE）提高评估鲁棒性。
未来方向
作者提出将发布模型、数据合成管线和基准以支持未来研究。基于本文的成果，我认为有几个有前景的研究方向。第一，探索更高效的微调方法：当前方法微调整个DiT网络，可以研究参数高效微调（如LoRA、Adapter）在保持性能的同时减少可训练参数。第二，扩展退化类型：将管线扩展到更多真实世界退化，如运动伪影、色差、镜头畸变等，构建更全面的复原模型。第三，交互式复原：利用大规模编辑模型的指令跟随能力，支持用户通过自然语言描述指定复原偏好（如「保留更多细节」「更自然的颜色」）。第四，视频复原：将图像复原方法扩展到视频序列，需要解决时序一致性问题。第五，多模态融合：结合深度图、语义分割等辅助信息指导复原过程，特别是在处理遮挡和反射等歧义场景时。第六，轻量化部署：通过模型压缩、量化等技术将模型部署到移动设备或边缘计算场景。
复现评估
从复现性角度来看，本文具有较好的可复现性。作者承诺将发布模型权重、数据合成管线和RealIR-Bench基准，这为后续研究提供了重要基础。基线模型Step1X-Edit是开源的，基于DiT架构，代码和预训练权重可获取。训练数据方面，合成数据管线使用的工具（SAM-2、MiDaS、Retinexformer等）都是开源的；真实数据需要从网络收集并经过CLIP过滤、水印检测和人工审核。算力需求方面，论文报告在8块NVIDIA H800 GPU上训练约一天，这个资源需求对研究机构来说是可接受的，但对个人研究者可能有一定门槛。训练超参数详细列在论文的Table 6中，包括学习率、批大小、训练步数等，便于复现。主要的复现难度在于：1）真实退化数据的收集和人工审核需要大量人力；2）VLM评估依赖于Qwen3-VL-8B-Instruct模型；3）部分退化生成（如摩尔纹、反射）的物理模拟较为复杂。总体而言，具备中等GPU集群的研究团队应该能够复现本文的主要结果。
论文图表
