SP³：基于球面先验的即插即用图像复原

用球面编码器替换扩散先验，无需反向传播即可在20步内恢复图像

前置知识

最大后验估计（MAP）

在已知退化观测 $y$ 的条件下，求使后验概率 $p(x|y)$ 最大的清晰图像 $x$。等价地最小化 $-\log p(y|x) - \log p(x)$，前者是数据保真项，后者是先验正则项。

SP³ 整篇论文围绕 MAP 目标展开，理解它才能明白为何要交替优化先验投影和数据一致性步骤。

即插即用（Plug-and-Play, PnP）

一种图像复原范式，把迭代算法中的显式先验优化步骤替换为任意预训练去噪器。常见实现是 Half-Quadratic Splitting（HQS），交替进行先验步和数据保真步。

SP³ 是 PnP 的最新代表，但用球面编码器代替了去噪器，是理解论文算法结构的必要背景。

球面编码器（Spherical Encoder, SE）

一种新型生成模型，类似 VAE 通过编解码器在图像与潜空间间映射，但潜空间被约束在半径为 $\sqrt{L}$ 的球面上（通过 RMS 归一化实现），从而避免 VAE 的后验空洞问题。

SE 是 SP³ 的核心先验，其紧致球面结构使 SP³ 能像投影算子一样反复应用而不发散。

感知-失真权衡（Perception-Distortion Tradeoff）

Blau & Michaeli 证明在图像复原中，LPIPS 等感知指标和 PSNR 等失真指标存在不可调和的冲突。最佳感知质量需要接受一定失真，反之亦然。

论文用 LPIPS 和 KID 两个维度评估所有方法，理解这一权衡才能看懂 Figure 5 的对比。

研究动机

图像复原的核心难题是设计自然图像先验。传统 PnP 方法将先验替换为去噪器，但表达能力有限；而近期最先进方法——基于扩散模型（Diffusion）和流模型（Normalizing Flow）的零样本复原——虽能产生高质量结果，却有两个显著痛点：第一，必须在推理时计算并反向传播梯度穿过生成模型，单次复原需数十秒甚至数分钟，例如 DPS 在 AFHQ 上去模糊耗时数十秒；第二，输出质量依赖于迭代步数，无法在中间步骤获得可用结果。此外，在 VAE 等潜空间执行 MAP 优化的早期方法（如 S-PGD、S-GD）则存在保真度差或偏离观测的问题。这些瓶颈限制了零样本复原在真实场景中的实用化。

本文的目标是本文提出 SP³，目标明确而克制：在感知质量上保持与扩散/流方法相当的同时，实现两个具体收益。其一，运行速度提升 3 到 630 倍——论文右侧 Figure 1 在 AFHQ 去模糊场景给出实测对比，SP³ 20 步仅需约 0.3 秒，而 DPS、OT-ODE 等需要数秒到数十秒。其二，支持「任意时刻」复原，即单步就能输出锐利可用图像，后续迭代逐步精修，无需等全部步数完成。这一特性对交互式编辑、实时预览等场景意义重大。作者并不追求超越所有 SOTA，而是追求以极低代价逼近 Pareto 前沿。

与已有工作不同的是，切入角度很巧妙：作者观察到 PnP 原始动机本就是「用投影算子强制先验」，而非真正求解先验近端算子。受此启发，他们用球面编码器（SE）替代去噪器——SE 的紧致球面潜空间本身就是天然的投影目标，使「编码→加噪球化→解码」可作为稳定的图像流形投影算子反复使用。结合 HQS 框架的闭式数据保真步，整个算法无需任何梯度反向传播，这是与扩散/流方法最本质的差异。此外，作者通过对照实验（图 3 右）证明普通 VAE 反复编解码会发散，从而反衬 SE 球面结构的独特性，这种「否定替代品」的论证在同类工作中并不常见。

核心方法

SP³ 的整体思路可拆为三个层次。直觉上，它把图像复原想象成「在球面与观测之间反复拉锯」：先用一个学好的球面流形把当前估计拉回到自然图像空间，再用闭合公式把它拉回到与观测一致。技术路线上，算法基于 Half-Quadratic Splitting（HQS）框架，定义辅助变量 $x$ 和潜变量 $v$，通过增广拉格朗日交替求解；其中潜变量更新被整流为 SE 投影算子 $P(\cdot)=D(S(E(\cdot),\sigma))$，而图像变量更新为闭式近端解。整体无需梯度，20 步即可稳定收敛。

核心创新在于「把 SE 当作稳定的投影算子嵌入 PnP」。与 S-PGD、S-GD 只用解码器不同，SP³ 利用了完整的编码器-解码器对；与扩散/流方法需要梯度反向传播不同，SP³ 的每一步都通过确定性映射完成。SE 的潜空间被强制在球面上（半径 $\sqrt{L}$），训练时注入潜噪声 $S(v,\sigma)=f(v+\sigma e)$ 又使流形被均匀覆盖，因此多次投影不会像 VAE 那样指数发散（图 3 右侧对比清晰展示了 VAE 在 10 步内 LPIPS 与 KID 都飙升的现象）。

方法步骤详情

完整算法见 Algorithm 1，共 7 行：输入为退化观测 $y$、线性退化算子 $A$、编码器 $E$、解码器 $D$、球化函数 $S$、超参 $\lambda$、步数 $K$、噪声强度 $\sigma$。第 1 行从 $y$ 初始化 $x_0$。第 2 步循环：第 3 行编码 $v_k = E(x_{k-1})$；第 4 行加噪球化 $v_k = S(v_k, \sigma)$；第 5 行解码得到先验估计 $x^{prior}_k = D(v_k)$；第 6 行求解闭式数据一致性 $x_k = (A^\top A + \lambda I)^{-1}(A^\top y + \lambda x^{prior}_k)$。整个流程每步只需一次编解码加一次矩阵求解，梯度永远不参与反向传播，天然适合 GPU 并行。

技术新颖性

新颖性体现在三方面。第一，把 PnP 哲学「回归本源」——把显式去噪器换成显式投影算子，用 SE 的结构化球面流形替代通用去噪器的黑盒正则。第二，理论分析到位，作者明确指出 PnP 收敛需要投影算子满足收缩或平均性质，对非线性 SE 这在实践中难证，因此给出经验收敛曲线（图 4），MSE 在前几步就逼近 0。第三，作者对比了多种 SOTA VAE（SD-VAE、EQ-VAE、FLUX.1、FLUX.2）作为投影算子的失败案例，反衬 SE 球面结构的独特性，这种「对照实验」在相关工作中并不常见。

实验结果

实验在 AFHQ-Cat（256px）和 CelebA（128px）两个数据集、六类退化任务（高斯去噪、去模糊、超分、方块修复、随机像素修复、画笔修复）上展开。Table 1 给出 SE 内部基线对比：SP³ 在 AFHQ-Cat 去模糊上 PSNR 达 25.7 dB（优于 S-GD 的 18.5 dB 和 S-PGD 的 23.1 dB），LPIPS 低至 0.12（vs S-GD 0.58、S-PGD 0.26），KID×10³ 仅 2.64（vs 34.3、5.49），耗时 0.28 秒约为最快基线（S-GPD 1.17 秒）的四分之一。Figure 5 的感知-失真平面表明，SP³（红色球）与 DPS、OT-ODE 等 SOTA 在六个任务上落在同一 Pareto 前沿。Figure 7 的感知-运行时间对比是论文最大亮点：SP³ 20 步比 OT-ODE 快约 8 倍、比 DPS 快约 60 倍，整体实现 3-630 倍加速；即使单步输出也已超越部分竞争对手。Figure 8 展示「任意时刻」特性，超分任务上 1、3、5 步的视觉效果持续改善但始终保持锐利可用。

查看结构化数据

任务	指标	本文	基线	提升
AFHQ-Cat 去模糊	PSNR↑ / LPIPS↓ / KID×10³↓ / Time[s]↓	SP³: 25.7 dB / 0.12 / 2.64 / 0.28 s	S-GPD: 23.1 dB / 0.26 / 5.49 / 1.17 s	PSNR +2.6 dB，LPIPS 降低 54%，KID 降低 52%，速度提升 4.2 倍
AFHQ 随机像素修复	感知-失真平面（图 5）	SP³ 与 DPS、OT-ODE 共占 Pareto 前沿	DiffPIR、DDRM、RED 等	在 LPIPS≈0.05、KID 较优位置与 SOTA 持平
AFHQ 整体加速	感知质量相同前提下的运行时间	20 步 SP³	OT-ODE / DPS	比 OT-ODE 快 8 倍，比 DPS 快 60 倍，最高 630 倍
AFHQ 去模糊	收敛性	MSE 在前几步迅速下降到接近 0（图 4）	无对比	经验稳定收敛，验证固定点存在

局限与改进

作者在结论部分坦率承认三点限制：其一，SE 投影算子总是把中间状态强行拉回自然图像流形，导致 SP³ 强烈倾向于感知质量，在 PSNR 等传统失真指标上不如 MMSE 类方法，无法获得平滑的最小均方误差解。其二，SP³ 求的是 MAP 点估计而非后验分布，与 DPS 这类后验采样器不同，无法给出不确定性或多样本。其三，虽然作者在结论中只列了两点，但从 Figure 3 看 SE 的成功依赖适当选择潜噪声强度 $\sigma$，$\sigma=0$ 时 KID 会缓慢发散，说明超参仍需针对任务微调；此外 SE 本身需要为每个数据集（AFHQ-Cat、CelebA）从头训练，与直接复用预训练扩散模型相比增加了前期成本。

独立分析的弱点

独立分析可指出四点可改进之处。第一，SP³ 强依赖 SE 训练质量，若目标域与训练集偏差大（如医学图像、遥感），重建质量会下降；改进方向是引入域自适应或把 SE 与预训练视觉基础模型结合。第二，闭式数据保真步 $(A^\top A+\lambda I)^{-1}$ 在 $A$ 为病态算子（如大面积修复）时求解困难且代价昂贵，可考虑切换到共轭梯度或随机 SVD 加速。第三，Figure 5 显示 SP³ 在 CelebA 部分任务上比 AFHQ 偏离 Pareto 前沿更多，提示对 128px 较小模型的生成能力受限，可通过扩大 SE 容量或引入潜空间正则弥补。第四，论文未深入分析 $\sigma$ 和 $\lambda$ 的最优调度策略，目前固定参数在 20 步内单调收敛，但能否动态调节以加速早期收敛值得探索。

未来方向

作者明确点出两个未来方向：一是利用 SE 结构化潜噪声主动采样后验分布，把 MAP 点估计扩展到完整贝叶斯推断，给出多样性结果和不确定性估计；二是探索 PnP 与 SE 结合在其他逆问题（如 3D 重建、音频去噪、压缩感知 MRI）的迁移。本文结果还启示若干可延伸方向：把 SE 球面先验用于视频时序复原以保持帧间一致性、利用 SE 紧致潜空间设计高效的图像编辑接口，以及结合 KID 与感知指标研究「任意时刻」特性在交互式编辑中的实时反馈应用。此外，将 SE 与基础视觉模型（如 DINO、CLIP）结合以实现开放域先验，也是值得探索的方向。

复现评估

可复现性评估较积极。作者使用 SE 官方代码库训练模型，超参沿用原 SE 论文设置，对比方法的扩散/流模型均为公开权重（PnP-Flow 训练的流模型、各类官方扩散模型），DRUnet 等 PnP 基线来自 DeepInv 库。数据集沿用 PnP-Flow 定义的测试划分。算力上，Modal Labs 提供 8 张 NVIDIA L40S GPU，作者声明所有时间为单卡实测。主要不确定点在于：SE 训练 100 个 epoch 的 CelebA 模型未公布种子，复现时可能与论文报告有微小偏差；闭式解中 $(A^\top A+\lambda I)^{-1}$ 的具体实现（直接求逆 vs Cholesky）需自行选定。整体复现难度中等，需要熟悉 PyTorch 与生成模型训练流程。

SP³：基于球面先验的即插即用图像复原 SP^3: Spherical Priors for Plug-and-Play Restoration