基于随机Hessian估计的全参考图像质量指标率失真优化 Rate-distortion optimization for full-reference image quality metrics via stochastic Hessian estimates
用随机Hessian估计将任意感知指标近似为逐块二次失真，实现解码器不变的标准编码器感知RDO
前置知识
率失真优化（RDO）
块基视频编码器在编码每个块时要从大量离散候选中选参数（划分方式、帧内预测模式、变换、量化）。RDO 对每个候选参数 $\theta$ 计算代价 $J(\hat{x}(\theta)) = d(x,\hat{x}(\theta)) + \lambda\, r(\hat{x}(\theta))$，即失真加拉格朗日加权的码率，选代价最小者。SSE 能按块分解、使各块独立优化，这是它成为默认失真度量的根本原因。
本文的全部目标就是把 RDO 中的失真项 $d$ 从 SSE 换成感知指标的可计算替代，不理解 RDO 的决策环节就无法理解替换发生在哪里。
全参考图像质量评估（FR-IQA）
FR-IQA 指标以参考图像与解码图像两幅完整图像为输入，输出感知质量分数。SSIM/MS-SSIM 比较局部统计矩，LPIPS/DISTS 比较预训练网络的多尺度深层特征，Wasserstein Distortion（WD）统一保真度与真实感。它们与人类主观评分的相关性普遍优于逐像素平方误差。
本文要把这类指标塞进编码回路，但它们需要完整解码图、不能按块分解，这正是论文要解决的核心矛盾。
输入相关二次失真（IDQD）与 Hessian
将可微指标 $d(x,\hat{x})$ 在 $\hat{x}=x$ 处做 Taylor 展开，一阶项为零，得 $d(x,\hat{x}) \approx (x-\hat{x})^\top H(x)(x-\hat{x})$，其中 $H(x)$ 是指标对 $\hat{x}$ 的二阶导矩阵（Hessian），随输入变化，相当于给每个像素一个感知重要性权重及像素间耦合。IDQD 即以此二次型作为失真。
IDQD 是全文的中心对象，估计器、块对角近似、率控制公式全部围绕 $H(x)$ 的获取与近似展开。
Hessian 的随机对角/块对角估计
显式构造 Hessian 需要 $n_p^2$ 个元素，对百万像素图像不可行。Hutchinson 类方法用零均值、单位协方差的随机探针 $v_k$（如 Rademacher $\pm 1$）计算矩阵-向量积 $a_k = H v_k$（自动微分一次前向两次反向即可），再用 $\hat{h} = \frac{1}{m}\sum_k v_k \circ a_k$ 无偏估计对角线，用 $\hat{H}_b = \frac{1}{m}\sum_k (a_k)_b (v_k)_b^\top$ 估计块对角。
这是论文把不可计算的 $H(x)$ 变成可部署估计器的数学基础，两种估计器的设计直接来自该理论。
Gauss-Newton 结构
当失真是残差平方范数 $d(x,\hat{x}) = \|r(x,\hat{x})\|_2^2$ 且 $r(x,x)=0$ 时（LPIPS、DISTS、WD 属此类），Hessian 有 $H(x) = 2J(x)^\top J(x)$ 的 Gauss-Newton 形式，$J = \nabla_{\hat{x}} r|_{\hat{x}=x}$ 是雅可比。此时可用向量-雅可比积 $b_k = J^\top v_k$ 估计，结果天然半正定，对角元素相对标准差仅 $\sqrt{2/m}$，方差远低于普通 Hessian-vector 估计。
这是论文针对神经网络类指标降低估计方差的关键技巧，Table 3 的消融直接验证其收益。
BD-rate（Bjøntegaard Delta rate）
比较两个编码器率失真曲线的标准指标：在相同质量度量下对 RD 曲线做多项式拟合后积分，得到平均码率节省百分比。BD-rate 为负表示同等质量下更省码率，如 -20% 即节省 20% 码率；常同时报告另一指标（如 Y-PSNR）的成本以示公平。
论文所有实验结论均以 BD-rate 表述，理解它才能读懂 Table 2-4 中与基线对比的幅度含义。
研究动机
现代块基视频编码器（如 VVC/VTM）在划分、预测、变换、量化每个环节都依赖率失真优化（RDO）选择参数，而几乎所有决策默认以平方误差和（SSE）为失真度量。SSE 主导的原因是它能按块分解——整图 SSE 等于各块 SSE 之和——从而各块可独立优化。但 SSE 与人眼感知严重脱节：SSIM、MS-SSIM、LPIPS、DISTS、Wasserstein Distortion 等全参考图像质量指标（FR-IQA）与主观质量对齐更好。问题在于这些指标必须以完整解码图像为输入、不能按块分解，无法在编码回路中直接计算：用它们做 RDO 需要反复"编码-解码-评估"迭代。已有替代方案各有局限：SSIM-RDO（Yeo 2013、Chen 2010）只支持 SSIM 且需离线算权重；PerceptQPA 只做逐块 QP 偏移，回路内失真仍是 SSE；Yang & Bajić 的比特分配迁移需为每个目标指标重训练一个学习型编解码器并逐图完整压缩，复杂度高。目前不存在能在标准编码器内、对任意可微 FR-IQA 指标做完整 RDO 的方法。
本文的目标是本文的目标是让标准块基编码器能够直接以任意可微的全参考感知指标为优化目标做完整 RDO（划分/预测/变换/RDOQ 全部决策），且不改动解码器、保持码流标准兼容。具体做法是：把 FR-IQA 指标在输入图像处二次化，得到输入相关二次失真（IDQD）$d_H(x)(x,\hat{x}) = (x-\hat{x})^\top H(x)(x-\hat{x})$，用 IDQD 替换 RDO 中的 SSE；由于 $H(x)$ 有 $n_p^2$ 个元素且依赖完整输入，需设计只需矩阵-向量积的随机估计器，并通过块对角化或对角化让失真可按块计算；同时推导 IDQD 对应的拉格朗日乘子使码率控制可行；最终在 VVC 帧内编码上量化 SSIM、MS-SSIM、LPIPS、DISTS、WD 五种指标的 BD-rate 增益与编码复杂度开销。
与已有工作不同的是，本文的独特切入是选择"曲率"作为感知重要性的载体：不修改网络、不做离线训练、不局限于单一指标，而是利用度量二次化（quadratization）的经典理论（Li et al. 1999、Linder et al. 1999），把"优化某 FR-IQA 指标"严格转化为"优化其 IDQD 近似"。关键观察是：FR-IQA 指标无论基于局部矩（SSIM/MS-SSIM）还是网络特征（LPIPS/DISTS/WD），都在不同程度上依赖局部运算，像素主要与近邻耦合，因此 Hessian 的能量天然集中于块对角，这为"定位 + 随机估计"提供了理论依据。与作者此前面向机器视觉的工作相比，FR-IQA 关于 $\hat{x}$ 的梯度在输入处消失（$\nabla_{\hat{x}} d|_{\hat{x}=x} = 0$），一阶重要性加权方法失效，必须借助二阶 Hessian——这正是本文与现有感知编码路线的本质分野。
核心方法
直觉上，感知指标在参考图像附近的形状决定了哪些像素误差“更贵”：把指标在输入 $x$ 处 Taylor 展开得 $d(x,\hat{x}) \approx (x-\hat{x})^\top H(x)(x-\hat{x})$，Hessian 就是一张逐像素重要性权重图。技术路线五步：一“定位”，把图像切成 tile，只保留 $H(x)$ 的对角块，得 $d_{H_{B_{n_t}}}(x,\hat{x}) = \sum_b e_b^\top H_b(x) e_b$，tile 间量化误差不相关时两边期望一致；二“随机估计”，用 $m=256$ 个 Rademacher 探针与自动微分 Hessian-vector 积估计块对角或对角；三对残差平方范数类指标（LPIPS/DISTS/WD）利用 Gauss-Newton 结构 $H = 2J^\top J$ 改用方差更低的向量-雅可比积；四“平滑”，对 NN 指标用 $H_\sigma(x) = E_n[H(x+n)]$（$\sigma=3$）对抗 Hessian 场的剧烈波动；五“率控制”，设 $\lambda_m = \lambda_s\, E_x[\mathrm{tr}\,Q(x)]/n_p$，$Q(x) = H(x) + \tau I$ 平衡 PSNR 与目标指标。全程只改编码器，解码器与码流不变。
核心创新是"把感知指标变成逐块可算的二次失真，且曲率在线估计"。与已有方法的本质区别有三。其一，已有感知 RDO 要么只针对 SSIM（SSIM-RDO），要么只做逐块 QP 偏移——此时划分、预测、变换等回路内决策仍在最小化 SSE（见 Table 1 中 PerceptQPA 与 Yang & Bajić）——本文则让任意可微 FR-IQA 指标驱动全部 RDO 决策（划分/预测/变换/RDOQ）。其二，无需重离线阶段：SSIM-RDO 需离线算权重，[10] 需训练学习型编解码器并逐图压缩，本文 Hessian 估计每图仅需 1-10 秒（$m=256$ 探针）。其三，标准兼容：码流与解码器零改动。数学上最关键的洞察是 FR-IQA 依赖局部运算，故 Hessian 能量高度集中于块对角——SSIM/MS-SSIM 的 8×8 tile 内行能量占比高达 99%——使得廉价的部分估计即可保留绝大部分增益，而这一性质此前从未被用于编码器设计。
方法步骤详情
(1) 输入参考图像 $x$（VVC 帧内、8-bit 4:2:0），选定目标指标（SSIM/MS-SSIM 用 luma，LPIPS-VGG/DISTS/WD 用 RGB）。(2) 平滑（仅 NN 指标）：抽 $R=16$ 轮噪声 $n_r \sim N(0, \sigma^2 I)$，$\sigma=3$。(3) 随机估计：每轮用 $m/R$ 个 Rademacher 探针 $v_k$，经自动微分算 $a_k = H(x+n_r)v_k$，累加得块对角估计 $\hat{H}_b = \frac{1}{m}\sum_k (a_k)_b (v_k)_b^\top$（8×8 tile）或对角估计 $\hat{h} = \frac{1}{m}\sum_k v_k \circ a_k$；GN 类指标改用 $b_k = J^\top v_k$（天然半正定），其余 NN 指标把 $\hat{H}_b$ 投影到半正定锥。(4) 正则化：$Q = \hat{H} + \tau I$，$\tau$ 控制权衡（扫 3 个值插值）。(5) 编码：VTM 23.8 all-intra（QP ∈ {22,27,32,37}）中，用 $e^\top Q e$ 替换划分、帧内模式、变换选择中的 SSE，RDOQ 用变换域加权 SSE。(6) 率控制：$\lambda_m = \lambda_s\, E_x[\mathrm{tr}\,Q(x)]/n_p$。输出标准码流：目标指标 BD-rate 大降，编码 +10-30%，解码端零改动。
技术新颖性
技术新颖性体现在四个层面。问题级：首次让任意可微 FR-IQA 指标以完整 RDO（而非仅 QP 偏移）进入标准混合编码器，填补 Table 1 方法谱系中的空白。估计理论级：把 Hutchinson/Bekas 型随机对角与块对角估计从“固定矩阵”搬到“随图像变化的感知指标 Hessian”上，并给出两条适配——GN 形式 $H = 2J^\top J$ 利用向量-雅可比积，对角相对标准差仅 $\sqrt{2/m}$ 且天然半正定；平滑化 $H_\sigma(x) = E_n[H(x+n)]$ 借鉴 SmoothGrad 应对 NN 指标 Hessian 场的剧烈波动（相邻输入的梯度近乎不相关）。优化理论级：Proposition 1 在高码率、正交变换、均匀量化下推导 IDQD 的拉格朗日乘子 $\lambda_m = \lambda_s\, \mathrm{tr}\,Q(x)/n_p$，把经典 SSE 乘子模型 $\lambda_s = c\Delta^2$ 推广到任意二次失真，率控制无需重新标定。工程级：只动编码器，与 VTM 的 RDO 无缝结合，代码开源。
实验结果
实验在 VTM 23.8 all-intra（QP ∈ {22,27,32,37}）进行，Kodak 调参、CLIC professional（41 张）held-out 测试，沿 $\tau$ 插值到 PerceptQPA 的 Y-PSNR 成本（+8.1%/+9.7%）。主结果（Table 2）：目标指标 BD-rate，Kodak 为 SSIM -23.6%、MS-SSIM -16.8%、LPIPS -15.5%、DISTS -17.3%、WD -19.1%；CLIC 为 SSIM -36.7%、MS-SSIM -16.9%、LPIPS -14.9%、DISTS -14.2%、WD -16.0%。块估计在全部 10 个组合上优于 PerceptQPA（最大领先 21.0 个百分点），对角估计 6/10 占优。局部性：8×8 tile 内 Hessian 行能量占比 SSIM/MS-SSIM 99%、WD 63%、LPIPS 18%、DISTS 0.3%，解释了 SSIM 类收益最大。消融（Table 3）：块 GN+平滑最佳（-15.5/-17.3/-19.1%），优于块 HVP（-9.5/-10.6/-15.0%）。对比 [10]（Table 4）：优化 MS-SSIM -17.53% vs -11.88%，优化 LPIPS -17.63% vs -8.33%。复杂度（Fig. 5-6）：块对角编码 +10-30%，估计每图 1-10 秒，$m=64$ 保留 ≥83% 增益；vs PQA 的 bootstrap 95% 区间均不含零。
![Kodak under the configuration of [10]. BD-rate (%) against the anchor. We use the block-diagonal estimator, interpolated along τ to the RGB-PSNR cost [10] reports. Lower is better; best in bold.](/papers/2609.30077/images/table_4..jpg)
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VVC 帧内编码，目标指标 SSIM（Kodak / CLIC） | BD-rate（SSIM，Y-PSNR 成本对齐 +8.1%/+9.7%） | 块对角估计：-23.6% / -36.7% | PerceptQPA：-8.1% / -15.7%；SSE-RDO 锚点为 0% | 较 PQA 分别多节省 15.5 / 21.0 个百分点码率 |
| VVC 帧内编码，目标指标 MS-SSIM（Kodak / CLIC） | BD-rate（MS-SSIM） | 块对角估计：-16.8% / -16.9% | PerceptQPA：-6.1% / -7.8% | 领先 PQA 约 10.7 / 9.1 个百分点 |
| VVC 帧内编码，目标指标 LPIPS/DISTS/WD（Kodak） | BD-rate（各自目标指标） | 块对角估计：LPIPS -15.5%、DISTS -17.3%、WD -19.1% | PerceptQPA：-12.3% / -7.9% / -12.3% | 三个指标分别领先 3.2 / 9.4 / 6.8 个百分点 |
| 估计器消融：NN 类指标（Kodak，+8.1% Y-PSNR 成本） | BD-rate（LPIPS / DISTS / WD） | 块 Gauss-Newton + 平滑 σ=3：-15.5% / -17.3% / -19.1% | 块 Hessian-vector 积估计：-9.5% / -10.6% / -15.0% | GN 结构 + 平滑带来 6.0 / 6.7 / 4.1 个百分点增益 |
| 与比特分配迁移对比（Kodak，[10] 的实验配置） | BD-rate（优化指标，RGB-PSNR 成本对齐） | 优化 MS-SSIM -17.53%；优化 LPIPS -17.63% | Yang & Bajić [10]：优化 MS-SSIM -11.88%；优化 LPIPS -8.33% | 在优化指标上分别领先 5.65 / 9.30 个百分点 |
| 编码复杂度与探针预算 | 编码运行时间 / Hessian 估计时间 | 块对角 +10-30% 编码时间；估计 1-10 秒/图（m=256） | SSE-RDO 运行时间；PerceptQPA 需离线训练编解码器并逐图压缩 | m=64 时保留 ≥83% 增益，估计时间降至 1/4 |
局限与改进
作者承认的局限：块对角/对角近似对局部性弱的指标不精确——8×8 tile 内 Hessian 行能量占比 LPIPS 仅 18%、DISTS 仅 0.3%（仅对角更只有 4% 与 0.02%），收益部分依赖"量化误差跨 tile 不相关"这一在高码率下才较好成立的假设；神经网络指标的 Hessian 是快速变化场，必须依赖平滑，且 $\sigma$ 敏感（$\sigma=6,10$ 反而更差）；IDQD 是输入处的高码率近似，低码率下精度下降；SSIM 与 DISTS 地图互相退化的机制未解释。我的补充观察：Hessian 在参考图 $x$ 处估计一次、编码全程固定，忽略了 RDO 实际产生的 $\hat{x}$ 偏离输入后的曲率变化；实验仅限帧内编码与静态图像，视频/帧间场景下逐帧估计的耗时与时间相关性未探索；变换块内高频系数量化为零时误差相关性假设可能被打破（作者自己指出 per-pixel 情形条件更强）；10-30% 开销来自 A100 + Xeon E5-2667 的特定环境，CPU-only 部署可行性未报告；4:2:0 色度沿用 [10] 的分配方案，色度感知优化仍是空白。
独立分析的弱点
独立分析几处弱点。其一，NN 指标局部性差是根本问题：DISTS 的 tile 对角能量只有 0.3%，块对角近似数学上很粗糙，其 -14.2%~-17.3% 的收益更可能来自逐像素加权的整体效应而非真正的二阶结构，可改用重叠 tile 或多尺度分块显式建模感受野。其二，平滑半径 $\sigma=3$ 是 Kodak 上手调的全局常数，而图像不同区域的 Hessian 场粗糙度不同，可按探针方差在线自适应。其三，探针利用率：$m=256$ 个探针各需完整网络前反向，对 VGG 类骨干开销大；结构化探针或 GN 雅可比子采样有望在 $m \ll 64$ 时保住增益。其四，$\lambda_m = \lambda_s E_x[\mathrm{tr}\,Q(x)]/n_p$ 依赖高码率与均匀量化假设，QP>37 的低码率端未验证。其五，Hessian 在编码前一次估定，若按实际 $\hat{x}$ 迭代更新可进一步收紧 IDQD 与真实指标的差距。其六，块估计需对每 tile 每探针做 rank-one 更新并投影到半正定锥，大分辨率下的内存与数值稳定性值得优化。
未来方向
作者在结论中保持克制，但成果可延伸的方向很多：(1) 扩展到视频与帧间编码——Hessian 逐帧估计代价高，可利用时间相关性做 Hessian 传播或低频更新，并与运动补偿 RDO 结合；(2) 更强的结构先验——用 GN 雅可比的低秩近似或随机特征显式建模跨块耦合，弥补 LPIPS/DISTS 局部性不足；(3) 自适应超参数——$\sigma$、$\tau$、$m$、tile 大小按图像内容在线整定，甚至把 $\tau$ 变为逐块变量实现空间可变的质量-码率权衡；(4) 与学习型编码互补——本文框架管回路内决策，[10] 的比特分配迁移管码率分配，两者叠加值得验证；(5) 感知重要性图的再利用——Fig. 3 的 Hessian 对角图本身可作为码率预分配、ROI 编码或其他感知任务的免费副产品；(6) 理论侧，把 Proposition 1 从高码率渐近推广到中低码率，并量化 tile 间误差相关性对期望等价性（$E[e^\top H e] = \mathrm{tr}\,H\,E[ee^\top]$）的破坏程度。
复现评估
复现条件较好。代码已开源（github.com/sf219/RDO_IQA_FR）；编码器用 JVET 官方 VTM 23.8；Kodak 与 CLIC professional validation 公开可下载；五个指标均有标准实现。算力需求温和：Hessian 估计在单张 A100 上每图 1-10 秒（$m=256$ 探针，NN 指标另需 $R=16$ 轮平滑），编码端为 CPU 上的 VTM（Xeon E5-2667，单线程计时），总编码开销 10-30%。难度中等偏上：需把 IDQD 接入 VTM 的划分/模式/变换/RDOQ 多个决策点，工程改动面广；还需复现 [10] 的 PerceptQPA 环境做公平对比（作者已验证：PQA LPIPS 本文跑出 -12.87% vs 报告 -11.96%，接近）；超参数已完整给出（$m=256$、8×8 tile、$\sigma=3$、$\tau$ 扫三个值、QP ∈ {22,27,32,37}），但 BD-rate 插值到固定 Y-PSNR 成本的流程需细心复刻。总体属于“可复现但需相当编码工程量”的类别。
论文图表
五个指标（SSIM、MS-SSIM、LPIPS、DISTS、WD）的 Hessian 对角热力图（对数尺度）：SSIM/MS-SSIM 权重集中于局部矩窗口内且近邻取值相近，DISTS 权重近乎均匀。
直观展示各指标"感知重要性图"的空间结构，支撑块对角近似的动机，也解释 SSIM 与 DISTS 失真图互相退化的现象。
左图为四个 QP 的平均编码时间（虚线为 SSE-RDO 基线：对角估计几乎无额外开销、块对角增加 10-30%），右图为 $m=256$ 探针时各指标的 Hessian 估计时间（每图约 1-10 秒）。
量化方法的实际复杂度，是论证"解码器不变 + 适度编码开销"这一实用性主张的核心证据。
固定 Y-PSNR 成本（+8.1%）下，目标指标 BD-rate 随探针数（16→256）及估计时间的变化：估计时间与 $m$ 成线性，NN 类指标较早饱和，SSIM/MS-SSIM 到 256 仍在提升，$m=64$ 保留至少 83% 增益。
直接指导实际部署中的探针预算选择，是精度与耗时权衡的关键曲线。