ImIR：用图像指令微调实现一体化图像修复 ImIR: Image-Instruction Tuning for All-in-One Image Restoration

第一步，数据：LOLv2-real（低光）、Rain100L（去雨）、RESIDE SOTS（去雾）、GoPro（去模糊）、SIDD（真实噪声）、Kodak+JPEG 六个基准，训练集跨任务平衡共 688 对。第二步，训练 mapper：预计算配对嵌入，训练 $g_\theta$ 最小化掩码残差损失 $\mathcal{L}_{\mathrm{map}} = \| g_\theta(e_y;\gamma,\beta) - (e_x - e_y) \|^2$（非填充 token），AdamW 学习率 $1\times10^{-4}$、余弦调度。第三步，微调适配器：冻结 mapper，以流匹配目标训练 LoRA，结构取自 $y$ 的 VAE latent，指令取自 $\hat{e}_x$。第四步，推理：对 $y$ 编码两次（VAE 结构、VLM+mapper 指令），30 步流匹配采样得 $\hat{x}$，无文本无参考图；输出缩放到真值帧再算指标。第五步，任务无关模式：把 $\tau$ 塌缩为单一共享槽位，仅凭 $y$ 推断退化。第六步：缩放 $s\cdot g_\theta$。

与最接近的工作相比，本质区别在条件模态与预测目标。InstructIR、Edit2Restore、UniProcessor 依赖文本提示或可学习提示向量，文本是离散全局信号，任务无关时几乎不含判别信息；DA-CLIP、MPerceiver 用对比预训练对齐退化文本与图像特征，仍以文本为载体。图像驱动方面，Lin 等人、Defusion、DiffRes 都要经过中间文本空间或依赖外部参考（DiffRes 需要干净参考的特征差），而本文直接在指令跟随编辑器的原生条件空间里，从退化嵌入预测该图像自己的干净目标 token 序列，训练与推理共用同一条件通路。工程上还有两个不显眼但关键的设计：恒等初始化让修正从零学起，避免训练初期不稳定信号被放大；FiLM 式任务注入把任务标签隔离在 $\phi_{\mathrm{agg}}$ 内部，使去掉任务标签成为一次不改动主干网络的简单替换，直接催生任务无关修复能力。效率对比同样鲜明：RealRestorer 全量微调约 160 万对、8 卡 H800，而本文 688 对、单卡 3 小时即达到可比的全参考质量。

第一，推理成本是硬伤：14 秒/图的 30 步扩散采样难以服务高吞吐场景，改进方向是流匹配蒸馏或一致性蒸馏，把步数压到 1–4 步，作者也把 sampler distillation 列为未来工作。第二，评价体系与生成式修复错配：PSNR/SSIM/LPIPS 对经 VAE 再生的输出天然吃亏，建议补充无参考指标与真实退化基准（如 RealRestorer 的 no-reference 基准），否则对修复社区的说服力有限。第三，泛化未经检验：六个基准都是合成配对数据，真实照片的混合退化、未训练的退化类型（水下色偏、雪、阴影）是否仍被任务无关 mapper 正确解读存疑，应构建盲修复基准验证。第四，指令预测是单向 MSE 回归，容易出现均值回归式的保守嵌入预测，目前尚有约 18% 的恒等到 oracle 差距未闭合，可探索扩散式或对抗式嵌入预测逼近上限。第五，缩放控制 $s$ 只对低光这类目标不唯一的任务有实际意义，去雨等任务的有效工作区间很窄，可研究多方向指令流形以扩展可控维度。第六，小测试集（去噪 32 图）削弱了部分结论的统计强度，扩测试集或做跨数据集评测会更稳健。

作者明确提出的方向包括：盲设定与真实世界退化评测（当前所有结果都限于合成配对基准）、采样器蒸馏降低推理成本、以及在嵌入空间做指令组合——例如把去噪与提亮两个指令向量叠加实现复合修复。基于本文成果还可自然延伸：其一，把 token mapper 推广为文本与图像混合指令的统一接口，模糊修复与编辑的边界；其二，任务无关能力暗示嵌入空间存在按退化类型聚类的结构，可以反过来做无监督退化发现与自动标注；其三，在 FLUX.1 Kontext、Step1X-Edit 等其他编辑器骨干上重复同一配方，检验图像指令范式的普适性；其四，把缩放轴 $s$ 产品化为用户可交互的曝光/修复强度滑杆，并研究每任务的最优工作区间自动校准；其五，将 mapper 的嵌入预测与判别式质量评估结合，在线检测生成先验引入的幻觉细节并回退缩放。

复现友好度较高。作者声明公开代码与权重（项目页提供），六个数据集 LOLv2-real、Rain100L、RESIDE SOTS、GoPro、SIDD、Kodak 全部公开可得；训练成本极低——688 对数据、单块 H100 约 3 小时（混合精度加梯度检查点），普通实验室甚至高端消费级 GPU 也接近可行。复现要点：需下载 Qwen-Image-Edit（2511 版）骨干与 Qwen2.5-VL 编码器，体积在数十 GB 量级；mapper 先于 LoRA 训练且训练后冻结，顺序不能颠倒；评测须按作者协议处理输出帧（超像素预算降采样、边长向下取 16 的倍数、再缩放到真值帧），表中所有基线数字均是用公开权重在相同预处理与指标代码下重跑的，这一点对对齐结果很重要。主要障碍在推理算力：MMDiT 编辑模型加 30 步采样在本地约 14 秒/图，批量评测较耗时；另外骨干版本号更新很快（2509→2511），版本漂移可能影响结果对齐。总体属于中低复现难度。