M2Retinexformer：面向低光图像增强的多模态 Retinexformer M2Retinexformer: Multi-Modal Retinexformer for Low-Light Image Enhancement

流程分六步。(1) 预处理：构造 $F_{in} = [I, L_p]$ 送入 E 得 $(I_{lu}, F_{lu})$。(2) 模态提取：Depth 用冻结 DepthAnything-V2 取中间 ViT 特征 $F_m^1$；Luminance 用 NTSC 权重叠 Sobel 与多尺度金字塔得 $F_m^2$；Semantic 用冻结 DINOv3 取中间层得 $F_m^3$。(3) 跨尺度对齐：投影到 $H/2^s \times W/2^s \times 2^s C$。(4) MMCAB 融合：并行算 IG-MSA 与跨注意力，子门控 $g_m$ 加权得 $U$，最终门控 $g_f$ 融合 $\text{Output} = g_f \odot S + (1-g_f) \odot U$。(5) Progressive Refinement：级联 τ∈{1,2,3} stage 复用 $F_m$。(6) 优化：$\mathcal{L} = \mathcal{L}_1 + 0.5\mathcal{L}_{per}$。

技术新颖性体现在四点。第一，把光照不变几何 (深度) 作为独立模态注入低光增强——以往 Retinexformer/Restormer/SNR-Net 都默认几何由 RGB 隐式编码，本文用图 2 可视化与表 2 的 +2.00 PSNR 消融给出直接证据。第二，Adaptive Gating 设计可解释：每个跨注意力分支有自己的 $g_m$ 控制单模态可靠性，再由 $g_f$ 在 self/cross 之间二选一，这种层级化门控在 Restormer/SwinIR 里都不存在；表 2 中加 Depth +1.44 → 加 Depth+DINOv3 +1.08 的反向变化正是 gating 抑制冗余的副作用。第三，Modality Extractor 的模块化接口 (统一维度 + 任意尺度 + 插件式注册) 让模型真正可扩展，新增红外/热成像等异构传感只需实现轻量 encoder。第四，把总参控制在 48M、可训练 2M 是工程贡献——ModalFormer 用 198M 4M-21，本文效率做到近 1/4。

独立审视，弱点有四个具体场景。第一，Adaptive Gating 失效：表 2 中 +PercLoss+Depth+DINOv3 (22.93) 比 +PercLoss+Depth (23.85) 低 0.92 dB，说明两模态提供相似信息时门控 $g_m$ 无法识别冗余，造成跨注意力噪声污染；改进方向是引入模态间正交化约束或互信息最小化项。第二，模态选择缺乏自适应：固定选 Depth/Luminance/Semantic，但 SMID/SDSD-out 上深度不可靠，应让网络根据输入自动决定启用哪些模态，可参考 MoE 稀疏路由。第三，训练缺少多模态对齐损失：当前仅 L1 + VGG perceptual loss 监督 $I_{en}$，未约束 $F_m^s$ 与 $I_{en}$ 几何/语义一致性；可加 depth-aware loss 或 semantic consistency loss 稳定融合。第四，复现细节不全：paper 未给出 DINOv3/DepthAnything-V2 取哪几层、$C'$ 数值、τ 最优选择等关键超参。

未来方向分作者提出与基于成果延伸两类。作者在结论指出模态可靠性依赖于场景，未来工作可纳入红外/热成像/事件相机等异构传感模态。基于本文成果可延伸的方向至少四个：(1) 把模态选择做成动态路由——类似 MoE 的 top-k gating，根据输入图像自适应启用最相关辅助模态，彻底解决 SMID/SDSD-out 上的负向问题；(2) 用更轻量的预训练 backbone 替换 DepthAnything-V2 + DINOv3 (二者冻结后仍有约 46M 参数)，探索知识蒸馏或 LoRA 适配，进一步压低推理成本；(3) 把多模态 Retinexformer 推广到更一般的图像恢复任务如去雨、去雾、去噪，统一视角处理光照 + 退化耦合问题；(4) 引入视频时序信息，把 SMID/SDSD-out 这种视频数据上的负向性能通过跨帧一致性约束扭转过来，升级到 video 版本；(5) 把 MMCAB 与 diffusion/flow-matching 风格的去噪器结合，吸收 RetiDiff 与 PWC-Diff 的生成式思路，把多模态先验注入扩散采样过程。

复现评估整体偏正面但仍有关键细节缺失。作者明确承诺代码与权重将在 https://github.com/YoussefAboelwafa/M2Retinexformer 开源（论文脚注 + 摘要末尾都提到），给出 7 个标准 benchmark 名称 (LOL-v1、LOL-v2 Real/Synthetic、SID、SMID、SDSD Indoor/Outdoor)，并报告硬件 (单卡 RTX 5090)、优化器 (Adam)、损失组成 ($\mathcal{L}_1 + 0.5 \mathcal{L}_{per}$) 等关键训练设置。但缺失细节较多：(a) DepthAnything-V2 取的具体层编号与特征维度 $C$；(b) DINOv3 取的具体层与通道数；(c) Modality Extractor 每尺度 $2^s C$ 中 $C$ 数值；(d) encoder/decoder 通道数与 MMCAB 堆叠数量；(e) τ 最优值（ablation 仅报告 τ=3 结果）。代码开源后会大幅降低复现难度，但仅凭正文无法复现。