← 返回 2026-04-10

面向低层视觉的全局光度对齐方法 On the Global Photometric Alignment for Low-Level Vision

Mingjia Li, Tianle Du, Hainuo Wang, Qiming Hu, Xiaojie Guo 📅 2026-04-09 👍 6 2026-07-13 08:36
低层视觉 像素级监督 光度一致性 图像增强 图像复原 损失函数设计
arXiv HuggingFace PDF

用闭式仿射对齐抑制成对光度噪声，PAL损失让监督更专注内容修复

前置知识

像素级重建损失 (Pixel-wise MSE)

像素级重建损失是低层视觉监督最常用的目标函数，定义为 $L_{\text{MSE}} = \frac{1}{N}\sum_i \|\hat{I}(i) - I_{gt}(i)\|^2$，逐像素比较预测与真值的强度，假设所有像素差异同等重要。

本文的核心问题是像素级损失过度关注全局光度差异，因此理解它的数学形式对把握 PAL 的出发点至关重要。

仿射色彩变换 (Affine Color Transform)

仿射色彩变换用 $C \cdot I + b$ 表示，$C$ 是 $3\times 3$ 矩阵、$b$ 是 $3$ 维偏置向量，共 12 个参数。它能同时建模逐通道增益、跨通道耦合（白平衡的非对角项）以及加性亮度偏移，是描述相机曝光、色温变化的经典模型。

PAL 用一个全局仿射矩阵解释预测与真值之间的光度差异，理解仿射色彩变换是读懂 PAL 数学推导的前提。

Ridge 回归 (岭回归)

岭回归是最小二乘回归的正则化变体，目标函数为 $\|Xw - y\|^2 + \epsilon \|w\|^2$，通过 $L_2$ 惩罚稳定病态矩阵求逆。当协方差接近奇异时标准 OLS 会数值爆炸，添加 $\epsilon E$ 保证可逆性。

PAL 在协方差矩阵上加 $\epsilon E$ 正则化，正是岭回归思想的应用，理解这一点对看懂稳定性保障非常关键。

梯度能量 (Gradient Energy)

梯度能量定义为 $E_{\text{grad}} = \sum_i \|\nabla_{\hat{I}(i)} L\|^2$，衡量模型优化时分配到不同误差成分的梯度预算。空间稠密的成分按 $\mathcal{O}(N)$ 累积，稀疏成分仅按 $\mathcal{O}(M)$ 累积。

本文用梯度能量分析证明全局光度误差主导优化，这是 PAL 立论的核心数学工具。

停梯度 (Stop-Gradient)

停梯度指前向计算中正常参与、反向传播时阻止梯度流过的特殊算子，通常通过 `.detach()` 或显式停止节点实现，使得中间量在前向中可计算但反向中视作常数。

PAL 对仿射参数 $(C^*, b^*)$ 使用 stop-gradient，否则网络可通过操纵预测让对齐残差消失而学不到结构内容，是工程关键细节。

研究动机

在低光增强、水下增强、去雾、去雨等配对监督的低层视觉任务中，训练数据以"输入-参考"图像对形式给出，模型最小化像素级重建损失。然而这些成对数据集存在显著的逐对光度不一致：每对图像之间有不同的全局亮度增益、色彩温度或白平衡映射。例如 LOLv2-Real 上输入和真值的逐通道均值散点图呈现明显发散而非沿 $y=x$ 对角线集中；RESIDE-SOTS（去雾）任务即便理论上不应改变场景光度，采集过程引入的曝光差异仍导致散点偏离单一轨迹。这种不一致有两类来源：一是任务内在型（如低光增强场景下真值本身就被有意调整亮度与色彩），二是采集诱发型（如去雾去雨任务中相机参数不匹配）。两者造成同一优化病态——光度差异在空间上是稠密的（影响全部 $N$ 个像素），结构差异（纹理、边缘）却是稀疏的（仅 $M \ll N$ 个像素），光度项的梯度能量按 $\mathcal{O}(N)$ 累积而结构项仅按 $\mathcal{O}(M)$ 累积，比例约 $N/M$，导致网络把绝大部分梯度预算浪费在解决逐对光度冲突上。

本文的目标是本文的具体目标是提出一种即插即用、任务无关的监督机制 Photometric Alignment Loss (PAL)，显式从像素级损失中剔除逐对光度不一致干扰。具体三点：（1）理论上严格证明像素级 MSE 在最小二乘分解下可正交分解为光度项和结构项，并量化光度项对梯度能量的主导程度；（2）设计闭式可解的仿射色彩对齐损失，无需引入额外可学习参数或网络，对 $256\times 256$ 图像仅增 $0.0037$ GFLOPs 额外开销（约为骨干网络的 $0.01\%\text{-}0.1\%$）；（3）在 6 类任务、16 个数据集、16 种骨干网络上一致提升保真度与跨数据集泛化能力。

与已有工作不同的是，本文的独特切入角度是把"成对光度不一致"作为低层视觉中的一个统一现象系统处理，而非针对具体任务的局部修补。已有工作大多采取三种不彻底策略：感知损失和对抗损失通过深度特征隐式获得光度鲁棒性，但开销大且只能间接监督；颜色空间变换（HSV、YUV、Lab、HVI 等）重新组织问题而非消除它，且通常需要配套的特定架构设计；GT-Mean 等亮度对齐方法只标量对齐，捕捉不到色温和白平衡中的跨通道耦合。本文的关键洞察在于——光度项与结构项在最小二乘意义下严格正交，且光度项在空间上是稠密的，因此它的梯度能量天然主导优化。基于此，作者选择一个 12 参数的全仿射变换（而非标量或对角模型）精确建模光度项，通过闭式岭回归求解避免训练不稳定，再以 stop-gradient 方式把它从梯度中剥离。这种"先减后求"的策略是任务无关、架构无关、计算几乎免费的。

核心方法

PAL 的整体思路是"先剥离光度项、再求重建误差"。直觉上，训练图像对时每对之间除内容差异外还夹杂全局亮度增益和色温漂移。若在评估重建质量前自动用一次闭式色彩对齐吸收这些全局差异，残差就只剩真正需要学的内容。技术路线上，作者把预测-真值残差 $\hat{I} - I_{gt}$ 在最小二乘意义下正交分解为光度分量 $\Delta_p$ 和结构分量 $\Delta_s$，光度分量由最优仿射变换 $(C^*, b^*)$ 拟合。PAL 重新定义损失 $L_{\text{PAL}} = \|(C^*\hat{I} + b^*) - I_{gt}\|$，$(C^*, b^*)$ 由闭式岭回归解 $C^* = \text{Cov}(I_{gt},\hat{I})[\text{Cov}(\hat{I},\hat{I}) + \epsilon E]^{-1}$ 与 $b^* = \mu_{gt} - C^*\mu_{\hat{I}}$ 给出。最终损失 $L_{\text{total}} = L_{\text{pixel}} + \alpha L_{\text{PAL}}$。

PAL 的核心创新是从理论到实践完整建立"光度-结构正交分解 + 仿射对齐剥离"的范式。和已有方法的本质区别在于三点：（1）正交分解是严格的数学证明而非经验直觉，作者在 Proposition 1 中证明 $\sum_i \|\hat{I}(i) - I_{gt}(i)\|^2 = \sum_i \|\Delta_p(i)\|^2 + \sum_i \|\Delta_s(i)\|^2$，交叉项因最小二乘最优条件精确为零；（2）剥离方式是闭式仿射对齐而非迭代优化或网络预测，仅依赖协方差统计量与 $3\times 3$ 矩阵求逆，对 $256\times 256$ 图像只需 $0.0037$ GFLOPs，约为主干网络的 $0.01\%\text{-}0.1\%$，因此可无缝集成到任何已有训练管线中；（3）选择全仿射模型（12 参数）而非标量（1 参数）或对角（3 参数）模型至关重要，标量和对角模型都无法处理白平衡引起的非对角耦合，作者在 Figure 2 中实测对比展示只有全仿射能匹配参考色彩。

方法步骤详情

PAL 实现分四步。第一步统计量计算：对每个训练批次的预测 $\hat{I}$ 与真值 $I_{gt}$ 计算逐通道均值与协方差。第二步闭式仿射参数求解：通过岭回归得 $C^* = \text{Cov}(I_{gt},\hat{I})[\text{Cov}(\hat{I},\hat{I}) + \epsilon E]^{-1}$ 与 $b^* = \mu_{gt} - C^*\mu_{\hat{I}}$，$\epsilon$ 是小正数（如 $0.001$）避免协方差奇异。第三步对齐残差计算：把 $(C^*, b^*)$ 视作常数（stop-gradient）代入 $L_{\text{PAL}} = \|(C^*\hat{I} + b^*) - I_{gt}\|$，否则网络会通过操纵预测让对齐残差消失。第四步总损失组合：$L_{\text{total}} = L_{\text{pixel}} + \alpha L_{\text{PAL}}$，$\alpha = 0.6$（增强）或 $0.8$（复原）。对阴影去除等混合场景，PAL 扩展为掩码版本分区拟合独立仿射矩阵。

技术新颖性

本文的技术新颖性体现在四个层面：第一，理论贡献上首次给出像素级 MSE 在最小二乘仿射对齐下的严格正交分解证明，并量化光度项梯度能量主导优化（$\rho = E_{\text{phot}}/(E_{\text{phot}} + E_{\text{struct}}) \to 1$）这一现象；第二，方法设计上把仿射色彩对齐从经典色彩恒常性文献迁移到深度学习损失函数设计中，加入岭回归正则化解决预测色彩方差低时的数值不稳定问题；第三，工程实现上极轻量（$0.0037$ GFLOPs）与即插即用，对 16 种架构无需修改骨干结构；第四，扩展能力上既可以全局应用，也可以按掩码分区应用（阴影去除场景），且在光度不一致可忽略时退化为标准像素级损失。这种"理论正交分解 + 闭式仿射剥离 + 极轻量工程实现 + 灵活分区扩展"的组合构成一个通用、稳健、即插即用的损失函数增强方案。

Comparison of alignment families applied to Low-light image pairs. The optimal transforms are computed in closed form and applied. Channel-wise mean (b) and Optimal Scalar (c) cannot correct color-temperature shifts. Optimal Diagonal (d) handles per-channel gain but not cross-channel coupling. Only PAL's full affine model (e) closely matches the reference (f).
Figure 2: Comparison of alignment families applied to Low-light image pairs. The optimal transforms are computed in closed form and applied. Channel-wise mean (b) and Optimal Scalar (c) cannot correct color-temperature shifts. Optimal Diagonal (d) handles per-channel gain but not cross-channel coupling. Only PAL's full affine model (e) closely matches the reference (f).

实验结果

本文在 6 类任务、16 个数据集、16 种骨干网络验证 PAL 有效性。低光增强（Table 1）：LOLv1/v2-syn/v2-real 上对 MIRNet、Uformer、Retinexformer、HVI-CIDNet，PAL 在 PSNR/SSIM/LPIPS/IQA/IAA 一致提升，Retinexformer LOLv1 PSNR +1.13 dB。水下增强（Table 2）：EUVP 上 Shallow-UWnet +0.65 dB、LiteEnhanceNet +0.57 dB。夜间去雾（Table 4）：NHR 上 NAFNet +0.85 dB。阴影去除（Table 5）：ISTD 上 HomoFormer +0.47 dB。全任务恢复（Table 6）：Snow100K、Outdoor、RainDrop 上 Histoformer 与 MODEM 均一致提升。超参消融（Table 7）：$\alpha = 0.6$ PSNR 23.95 最佳。跨数据集泛化（Table 8）：DICM、LIME、MEF、NPE、VV 上 PAL 一致超越基线。

Quantitative comparison on LOL, across PSNR (↑), SSIM (↑), LPIPS (↓), IQA (↑) and IAA (↑).
Table 1: Quantitative comparison on LOL, across PSNR (↑), SSIM (↑), LPIPS (↓), IQA (↑) and IAA (↑).
Underwater enhancement results on EUVP.
Table 2: Underwater enhancement results on EUVP.
Dehazing results on RESIDE-SOTS-Indoor.
Table 3: Dehazing results on RESIDE-SOTS-Indoor.
Nighttime dehazing results on NHR.
Table 4: Nighttime dehazing results on NHR.
Shadow removal results on ISTD.
Table 5: Shadow removal results on ISTD.
All-in-one restoration results across multiple weather degradation benchmarks.
Table 6: All-in-one restoration results across multiple weather degradation benchmarks.
Ablation analysis of the weight α for our PAL and the regularization term ϵ for matrix inversion.
Table 7: Ablation analysis of the weight α for our PAL and the regularization term ϵ for matrix inversion.
Quantitative results on unpaired datasets across IQA (↑) and IAA (↑), evaluated using Q-Align.
Table 8: Quantitative results on unpaired datasets across IQA (↑) and IAA (↑), evaluated using Q-Align.
Qualitative comparisons on LLIE (CIDNet on LOLv2-real). PAL produces more natural colors.
Figure 5: Qualitative comparisons on LLIE (CIDNet on LOLv2-real). PAL produces more natural colors.
Qualitative comparisons on nighttime dehazing (NAFNet on NHR). PAL reduces residual haze and color cast.
Figure 6: Qualitative comparisons on nighttime dehazing (NAFNet on NHR). PAL reduces residual haze and color cast.
Qualitative comparison on MITNet image dehazing. We use error map to highlight the difference. Darker is better. PAL reduces residual color cast relative to the baseline.
Figure 7: Qualitative comparison on MITNet image dehazing. We use error map to highlight the difference. Darker is better. PAL reduces residual color cast relative to the baseline.
Qualitative comparison on underwater image enhancement (EUVP). PAL produces outputs with more natural color and fewer artifacts.
Figure 8: Qualitative comparison on underwater image enhancement (EUVP). PAL produces outputs with more natural color and fewer artifacts.
Qualitative comparison on the all-in-one task.
Figure 9: Qualitative comparison on the all-in-one task.
查看结构化数据
任务指标本文基线提升
低光增强 (LOLv1, Retinexformer) PSNR (↑ dB) 24.53 23.40 +1.13 dB
低光增强 (LOLv2-real, Retinexformer) PSNR (↑ dB) 22.73 21.69 +1.04 dB
低光增强 (LOLv1, CID-Net) LPIPS (↓) 0.099 0.104 -4.8%
水下增强 (EUVP, Shallow-UWnet) PSNR (↑ dB) 20.35 19.70 +0.65 dB
水下增强 (EUVP, LiteEnhanceNet) PSNR (↑ dB) 20.97 20.40 +0.57 dB
去雾 (RESIDE-SOTS-Indoor, DehazeXL) PSNR (↑ dB) 28.07 27.77 +0.30 dB
夜间去雾 (NHR, NAFNet) PSNR (↑ dB) 22.91 22.06 +0.85 dB
夜间去雾 (NHR, Restormer) PSNR (↑ dB) 18.89 18.30 +0.59 dB
阴影去除 (ISTD, HomoFormer) PSNR (↑ dB) 32.49 32.02 +0.47 dB
全任务恢复 (Outdoor, MODEM) PSNR (↑ dB) 33.25 33.10 +0.15 dB
跨数据集泛化 (LIME, Retinexformer) IQA (↑) 3.243 3.005 +7.9%
跨数据集泛化 (NPE, CID-Net) IQA (↑) 3.434 3.061 +12.2%

局限与改进

作者在论文中明确指出了几个局限性：（1）实现细节依赖附录——论文提到 "The implementation is in the appendix"，但当前提供的版本并未给出 PAL 的具体 PyTorch 实现代码片段、超参选择搜索过程或训练曲线，给读者复现带来不便；（2）空间变化光度建模有限——PAL 只用全局仿射变换，对于晕影、局部光照渐变等空间变化光度效应无能为力，作者承认当全局相关性缺失时 PAL 退化为标准像素级监督；（3）依赖低阶统计量——PAL 仅用一阶（均值）和二阶（协方差）统计量，对更复杂的光度分布建模能力有限；（4）评估偏重合成数据集——大多数实验在合成或受控采集的低光、水下、去雾数据集上完成，真实世界复杂场景下鲁棒性验证不够充分。此外，$\alpha$ 与 $\epsilon$ 的选择存在任务依赖性（增强 0.6 / 复原 0.8）但缺乏系统准则；闭式仿射参数依赖批次统计量，小批量下估计可能不稳定但未做敏感性实验；文章以 $L_{\text{pixel}} + \alpha L_{\text{PAL}}$ 形式组合，但与感知损失、对抗损失的协同效应未探索。

独立分析的弱点

从独立分析的角度看，本文存在以下可改进之处。第一，理论分析建立在"光度是全局的、12 参数仿射足以描述"这一假设上，但实际场景中存在大量空间变化的光度漂移（如背光、阴影渐变），PAL 对此退化为标准像素监督。建议扩展为局部仿射或多项式基底对齐。第二，超参 $\alpha$ 和 $\epsilon$ 的选择缺乏自动化机制，增强 $0.6$、复原 $0.8$ 的经验设置在不同数据集上是否最优尚不清楚，建议引入课程学习或自适应权重调度。第三，闭式仿射参数的 stop-gradient 是工程必要，但作者未深入讨论允许梯度小量流过会产生什么效应，可能存在"软 stop-gradient"或低秩更新的中间地带值得探索。第四，文章未分析 PAL 与感知损失、GAN 损失的相互作用。第五，作者在 Table 7 中报告 $\epsilon = 0.0001$ 出现 NaN，但未对数值稳定性做更系统研究，例如对病态场景加入 SVD 截断或对协方差矩阵做预白化处理。

未来方向

作者在结论中提到 PAL 提示了一个"在配对监督中显式建模光度一致性"的方向。基于此，未来工作可以沿几个方向延伸。第一，把 PAL 推广到自监督或无参考设置——例如在没有真值图像时，可以借助另一视角、相机元数据或预训练视觉模型提供"伪光度参考"，使 PAL 在无监督数据上同样可用。第二，把光度对齐与其他模态对齐结合——例如视频超分中的时间光度一致性、跨相机图像翻译中的传感器差异、生成对抗网络中的光度恒常性约束。第三，把全局仿射扩展为更丰富的基底，如 DCT 基底、傅里叶级数、小波基底，覆盖空间缓变的光度漂移。第四，结合大模型先验——利用预训练的 CLIP、视觉语言模型的"美学偏好"或"自然图像分布"作为光度对齐的隐式目标，缓解某些场景下真值不完美的困难。第五，把 PAL 应用于其他领域，如医学图像重建（不同设备间的色彩差异）、遥感图像融合（多光谱配准）、视频风格迁移（跨帧色彩漂移）等。

复现评估

PAL 复现评估整体中等可行：作者给出闭式解 $C^* = \text{Cov}(I_{gt},\hat{I})[\text{Cov}(\hat{I},\hat{I}) + \epsilon E]^{-1}$ 与 $b^* = \mu_{gt} - C^*\mu_{\hat{I}}$，实验在标准数据集上公开可下载（LOLv1/v2、RESIDE-SOTS、EUVP、NHR、ISTD、Snow100K、RainDrop），超参明确（$\alpha = 0.6$ 或 $0.8$，$\epsilon = 0.001$），PAL 仅依赖协方差与 $3\times 3$ 矩阵求逆。降低复现性的因素包括：第一，论文声明 "implementation is in the appendix" 但公开版本未提供具体代码；第二，超参 $\alpha$ 在不同任务需重新调节但缺乏统一准则；第三，作者使用 TPU Research Cloud 算力但未给出 GPU/TPU 类型、训练时长等关键细节；第四，stop-gradient 实现细节需读者自行推断。方法思路清晰但读者需一定工程经验重现训练管线。

论文图表

An Illustration of our work. (a) We identified that there exist inconsistent global photometric shift across the paired training datasets. (b) As the photometric shift dominates the gradient, learning texture and structure content from the training data becomes difficult. Our PAL helps rebalance the gradient. (c) Equipped with our PAL, the performance gained across 6 tasks, 16 methods, and 16 datasets, with an average gain in PSNR of 0.45dB across 6 tasks.
Figure 1: An Illustration of our work. (a) We identified that there exist inconsistent global photometric shift across the paired training datasets. (b) As the photometric shift dominates the gradient, learning texture and structure content from the training data becomes difficult. Our PAL helps rebalance the gradient. (c) Equipped with our PAL, the performance gained across 6 tasks, 16 methods, and 16 datasets, with an average gain in PSNR of 0.45dB across 6 tasks.

Figure 1 是论文的概览图，三栏分别展示（a）成对训练数据集中存在不一致的全局光度漂移、（b）光度漂移主导梯度导致结构和纹理学习困难、（c）PAL 通过重平衡梯度在 6 任务/16 方法/16 数据集上平均 PSNR 提升 0.45 dB。

这是论文的总纲图，用极简的视觉语言把问题、机制、收益三者串成一线，让读者一眼把握论文的核心叙事，是 motivation 章节最关键的视觉锚点。

Per-pair photometric scatter plots. Each point represents one training pair, with per-channel (R/G/B) input mean on the x-axis, and GT mean on the y-axis. In both LOL-v2 and RESIDE-SOTS cases, the wide per-pair spread means a pixel-wise loss receives conflicting photometric supervision.
Figure 3: Per-pair photometric scatter plots. Each point represents one training pair, with per-channel (R/G/B) input mean on the x-axis, and GT mean on the y-axis. In both LOL-v2 and RESIDE-SOTS cases, the wide per-pair spread means a pixel-wise loss receives conflicting photometric supervision.

Figure 3 把 LOLv2-Real 和 RESIDE-SOTS 两个数据集的每个训练对的输入和真值逐通道均值画成散点图，理想情况下点应沿 $y=x$ 对角线聚集，但实测显示两点云都呈现明显的发散和宽分布，直观证明逐对光度不一致在两类任务（任务内在型 vs. 采集诱发型）中都普遍存在。

这是 motivation 章节最有力的经验证据，通过简单的统计可视化就把"成对光度不一致"这一关键现象呈现给读者。

(Left) Decomposed photometric/content error on validation set. (Right) Gradient ratio ρ. Plots are sampled from a Retinexformer trained on LOL-V1 every 1000 steps.
Figure 4: (Left) Decomposed photometric/content error on validation set. (Right) Gradient ratio ρ. Plots are sampled from a Retinexformer trained on LOL-V1 every 1000 steps.

Figure 4 左图把验证集 MSE 分解为光度 MSE 和内容 MSE 并画在 log 尺度上，右图画光度梯度能量占比 $\rho$ 随训练步数的变化。两条曲线显示光度项始终主导梯度能量，且 $\rho$ 长时间维持在接近 1 的水平，直观验证 Proposition 1 的结论。

这是 motivation 与 method 之间的桥梁图，把理论上的梯度能量主导论证用真实训练曲线具象化，是 PAL 立论的实验支柱。