← 返回 2026-08-14

PixSDS：潜空间SDS噪点像素的成因诊断与VAE一致梯度修复 PixSDS: Why Latent SDS Makes Noisy Pixels

Vsevolod Skorokhodov 📅 2026-08-13 👍 10 2026-08-19 18:30
VAE 分数蒸馏采样 图像质量修复 扩散模型 文本到3D生成
arXiv HuggingFace PDF

潜空间SDS伪影源于VAE欠约束的像素漂移，解码前瞻步即可轻量修复梯度

前置知识

分数蒸馏采样（SDS）

用预训练扩散模型作为先验来优化任意参数（如3D表示）的方法。设渲染图像为 $x = R_\theta(c)$，加噪得 $z_t = \alpha_t x + \sigma_t \epsilon$，SDS 梯度为 $\nabla_\theta \mathcal{L}_{\mathrm{SDS}} = \mathbb{E}_{t,\epsilon}\, w(t)\,(\partial x/\partial \theta)^\top (\hat{\epsilon}_\phi(z_t; y, t) - \epsilon)$，即用扩散模型预测噪声与真实噪声之差反向传播更新参数，无需配对3D数据即可从文本生成3D内容。

本文研究的正是潜空间版 SDS 产生结构化伪影的机理，并据此提出修复方法；不理解 SDS 的梯度形式（Eq. 1、Eq. 2）就读不懂诊断实验设计与 PixSDS 的公式推导。

VAE 与潜空间扩散模型

VAE 由编码器 $\mathrm{enc}: \mathbb{R}^{C \times H \times W} \to \mathbb{R}^{c \times h \times w}$ 与解码器 $\mathrm{dec}$ 组成，把高分辨率图像压缩为低分辨率潜码再重建；潜扩散模型（LDM）就在这个潜码空间做扩散以节省算力。关键性质是逆映射欠约束：许多视觉上不同的图像可以映射到几乎相同的潜码。

论文的核心论断是：优化图像会沿 VAE 编码器弱感知的像素方向漂移并累积伪影，而潜码保持干净；不懂 VAE 的压缩性与欠约束几何，就无法理解诊断逻辑与 PixSDS 为何有效。

欠约束逆问题与噪声放大

当目标函数对参数的某些方向不敏感时，损失面存在整片极小值流形，梯度下降收敛到哪一点取决于初始化与优化轨迹，而非“最干净”的解。论文用 $\ell(x,y) = (x + 2y)^2$ 说明：从 $(1,1)$ 出发收敛到 $(0.4, -0.2)$ 而非 $(0,0)$；附录进一步证明对 1D 卷积目标 $\tfrac{1}{2}\|\omega * x\|_2^2$，初始噪声再小也可能在优化后被放大。

这正是“VAE 诱导像素漂移”的数学骨架：VAE 编码类目标天然欠约束，这是伪影能够系统性出现而不只是随机噪声的根本原因。

无分类器引导（CFG）

扩散模型采样或蒸馏时，用条件预测与无条件预测之差放大文本控制强度：$\tilde{\epsilon} = \epsilon_\phi(z_t, \varnothing) + s\,(\epsilon_\phi(z_t, y) - \epsilon_\phi(z_t, \varnothing))$，其中 $s$ 是引导强度。$s$ 越大文本一致性越强，但蒸馏梯度也更尖锐、更易放大高频成分。

PixSDS 全部 2D 实验使用 guidance_scale = 25.0，这是复现 Table 1 结果的必要超参数，也与 SDS 梯度易产生过饱和、高频噪声的现象直接相关。

图像质量与噪感评价指标

FID 衡量生成图像与真实图像分布的 Fréchet 距离（越低越好）；BRISQUE 是无参考图像质量指标（越低越好）；CLIP-IQA 利用 CLIP 分别评估感知质量与噪感（越高越好）；CLIP Score 衡量图文语义一致性。本文因目标是减少伪影，特别依赖 BRISQUE 与 CLIP-IQA Noisiness 这类噪声敏感指标。

解读 Table 1 时需要分清“分布质量”（FID）、“感知质量”与“噪感”三类指标，才能理解论文宣称的领先究竟落在哪些维度。

研究动机

基于 SDS 的文本生成3D（DreamFusion、ProlificDreamer、DreamGaussian 等）虽然已成为主流范式，但普遍产生视觉干扰伪影：结构化色块、高频纹理噪声、漂浮几何碎片，在基于潜扩散的流程中尤其严重，因为扩散先验作用于 VAE 潜码而非像素。已有补救各有局限：NFSD 修改蒸馏目标剔除多余噪声分量，PGC 裁剪解码后的像素梯度离群值，DreamGaussian 把部分问题归因于纹理提取与 mipmap 采样，HiFA 混合潜空间与像素空间引导。这些方法大多治标不治本，伪影的根本成因始终不清楚。作者先用两组对照实验排除常见解释：用 128×128 低分辨率的 stable-diffusion-nano-2-1 做潜空间 SDS，结构化伪影依然出现，说明潜张量形状与分辨率不是原因；用 CIFAR-10 训练的 64×64 像素扩散模型做像素空间 SDS，图像保持真实无伪影，说明像素空间优化本身也不是原因。

本文的目标是本文有两个目标。诊断层面：定位潜空间 SDS 结构化伪影的充分成因，证明它既非低分辨率潜张量、也非像素空间 SDS 优化、也非 3D 渲染器或纹理提取的特有效应，而是 VAE 映射本身的几何性质——编码器弱约束方向上的“像素漂移”。作者用最小实验确立因果：仅用 VAE 编码器优化图像，目标为 $\mathcal{L}_{\mathrm{VAE}}(Z) = \|\mathrm{enc}(Z) - \mathrm{enc}(X)\|_2^2$（SGD、学习率 0.1），完全不涉及扩散模型，优化图像却出现与潜空间 SDS 相同的结构化噪声，而解码潜码 $\mathrm{dec}(\mathrm{enc}(Z))$ 始终干净。修复层面：在不重训扩散模型、不改渲染器、不换 SDS 目标的前提下，提出轻量的 VAE 一致梯度修复方法 PixSDS，使其在 2D 优化和 DreamGaussian、LucidDreamer 等文本生成3D流水线中都显著减少伪影。

与已有工作不同的是，与已有工作的本质区别在切入角度：此前的 VSD、NFSD、SDI、SDS-Bridge 等都在提出新的蒸馏目标，PGC 在像素端做被动的大梯度裁剪，都是在症状层面修补；本文反过来先回答“为什么”——伪影为何在潜码干净的同时出现在像素里。作者用受控实验逐一剥离变量：张量形状（低分辨率潜扩散仍伪影，Fig. 1）、优化空间（像素 SDS 不伪影，Fig. 2）、VAE 映射（仅编码器优化即伪影，Fig. 3），并用 $\ell(x,y) = (x+2y)^2$ 的玩具类比和附录中 1D 卷积的构造性定理（对任意 $C > 0$，存在初始噪声低于 $C$ 的输入，最小化 $\tfrac{1}{2}\|\omega * x\|_2^2$ 反而放大噪声）把直觉形式化。这种“先诊断、后修复”的路径让 PixSDS 的设计成为诊断结论的自然推论，而不是又一个启发式技巧。

核心方法

直觉起点是 Fig. 4：潜空间 SDS 中图像充满结构化噪声，其潜码与解码潜码 $\mathrm{dec}(\mathrm{enc}(Z))$ 却始终干净——扩散模型根本看不见这些伪影，它们生活在 VAE 编码器弱约束的像素方向上。既然解码潜码干净，把 SDS 在潜空间的前瞻一步解码回像素，就得到既干净又保留语义方向的目标位置。技术上：每步计算前瞻潜码 $\mathrm{enc}(Z) - \beta g_{\mathrm{sds}}^{\mathrm{latent}}$ 并解码得 $\widehat{Z}$，干净方向为 $g_{\mathrm{clean}} = \widehat{Z} - Z$，按逐像素通道范数缩放到 $g_{\mathrm{sds}}$ 的幅值，得修复更新 $\widetilde{g}_{\mathrm{sds}} = g_{\mathrm{sds}} + \frac{g_{\mathrm{clean}}}{\mathrm{cnorm}(g_{\mathrm{clean}})} \odot \mathrm{cnorm}(g_{\mathrm{sds}})$（Eq. 6）。修复只改一步梯度，不触碰扩散模型、渲染器与蒸馏目标。

核心创新是把干净方向定义为潜空间前瞻步的解码，而不是当前潜码的重建。消融（Fig. 10）特意区分了这两者：若取 $\beta = 0$，即 $\widehat{Z} = \mathrm{dec}(\mathrm{enc}(Z))$，等于把图像拉回当前的 VAE 投影，只会得到干净但不真实的图像；只有解码 SDS 之后的潜码，才能在去噪的同时保留语义前进方向。这与 PGC 形成本质对比：PGC 被动压制大梯度幅值，PixSDS 则主动提供指向 VAE 一致流形的替代方向。第二个关键设计是逐像素通道范数 $\mathrm{cnorm}(U)_{i,j} = (\sum_{k=1}^{C} U_{k,i,j}^2)^{1/2}$ 的匹配：消融显示直接相加 $g_{\mathrm{sds}} + g_{\mathrm{clean}}$ 在 2D 尚可、在 3D 中会因 $g_{\mathrm{sds}}$ 幅值占优而失效；归一化让干净方向处处获得与 SDS 更新相同的幅值，在空间上平衡两者。这种组合使方法与任意 SDS 变体（NFSD、SDI、VSD 等）正交、可直接叠加。

方法步骤详情

按 Fig. 5 伪代码：第一步，把优化图像 $Z$ 经 VAE 编码为潜码。第二步，采样时间步 $t$ 与噪声 $\epsilon$，同时计算图像空间梯度 $g_{\mathrm{sds}}$ 与潜空间梯度 $g_{\mathrm{sds}}^{\mathrm{latent}}$（Eq. 1）。第三步，计算前瞻潜码 $\mathrm{enc}(Z) - \beta g_{\mathrm{sds}}^{\mathrm{latent}}$ 并解码得干净目标 $\widehat{Z}$；2D 取 $\beta = 0.1$，LucidDreamer 因潜空间梯度小取 $\beta = 100 \times$ 学习率。第四步，构造干净方向 $g_{\mathrm{clean}} = \widehat{Z} - Z$，按通道归一化并缩放到 $\mathrm{cnorm}(g_{\mathrm{sds}})$。第五步，用修复梯度更新 $Z$（SGD 或 Adam，学习率 0.05）。2D 设置：初始化常数 0.5，guidance_scale 25.0，1000 步、fp16，时间步从 1000 线性退火到 400 以减少过饱和。3D：嵌入 DreamGaussian 第二阶段（保留核 11 高斯平滑）与 LucidDreamer（3000 步，时间步 [0.3, 0.8]）。

技术新颖性

新颖性体现在三点。其一，因果定位：首次把潜空间 SDS 伪影归因于 VAE 映射的欠约束几何，并给出“仅 VAE 编码器优化即可复现伪影”的最小充分证据，加上附录中关于卷积编码目标必然放大噪声的构造性证明——此前 DreamGaussian 归因于纹理提取/mipmap、PGC 归因于解码梯度离群值，都被证明只是相关而非充分条件（没有渲染器和纹理提取时伪影照样出现，Fig. 3）。其二，修复方式的正交性：PixSDS 本质是对像素空间更新做一次“VAE 流形投影”，不改目标函数、不重训模型、不改渲染器，因此可与现有任意 SDS 风格目标组合。其三，两个缺一不可的组件设计：前瞻步 $\beta$ 解决“拉回当前重建”的退化问题（$\beta = 0$ 消融显示图像干净但失真），逐像素幅值匹配解决了 2D 到 3D 的迁移问题（无 cnorm 在 3D 失败）。这种由诊断直接驱动设计选择的研究叙事本身也有方法论上的示范价值。

Clean latents. During SDS optimization, images (columns 1–5) contain structured noise, while their latents (columns 6–10) and decoded latents (columns 11–15) remain visually clean.
Fig. 4: Clean latents. During SDS optimization, images (columns 1–5) contain structured noise, while their latents (columns 6–10) and decoded latents (columns 11–15) remain visually clean.
Python-like pseudocode of PixSDS. Given a text prompt, PixSDS computes the standard SDS gradient and then adds a clean-up direction obtained by decoding the SDS-updated latent.
Fig. 5: Python-like pseudocode of PixSDS. Given a text prompt, PixSDS computes the standard SDS gradient and then adds a clean-up direction obtained by decoding the SDS-updated latent.
Overview of PixSDS. The (a) SDS step points towards noisy images, while (b) Realistic Step removes the noise and points towards clean images.
Fig. 6: Overview of PixSDS. The (a) SDS step points towards noisy images, while (b) Realistic Step removes the noise and points towards clean images.

实验结果

诊断实验：128×128 的 stable-diffusion-nano-2-1 潜空间 SDS 仍出现伪影（Fig. 1）；CIFAR-10 像素扩散模型（64×64）的像素空间 SDS 图像保持真实（Fig. 2）；仅用 VAE 编码器优化（SGD 学习率 0.1）即复现结构化噪声且解码潜码始终干净（Fig. 3）——共同锁定 VAE 映射为充分成因。2D 生成（Table 1，100 条 MS-COCO 描述）：PixSDS+SGD 的 FID 223.021、BRISQUE 12.850、CLIP-IQA Noisiness 0.590 均为 SDS 类方法最佳，对比 vanilla SDS 的 431.877/82.120/0.031，也优于 PGC、NFSD、HiFA（FID 293–305）；CLIP Score 15.962 与 SDS 的 16.442 持平。PixSDS+Adam：FID 229.638、BRISQUE 31.013。最接近的 2-step-SDS（FID 229.813）常过平滑；直接 SD 采样 FID 190.851 更强但属采样而非优化。定性上（Fig. 7）PixSDS 保留更多局部细节。3D：DreamGaussian 二阶段纹理更干净（Fig. 8）；LucidDreamer 减少噪声高斯与漂浮伪影，但白发属性未完整保留（Fig. 9）。消融（Fig. 10）：仅干净方向则构图差；无 cnorm 在 3D 失效；$\beta = 0$ 干净但不真实。

2D generation comparison. Each column shows a different method, and each row corresponds to the same text prompt.
Fig. 7: 2D generation comparison. Each column shows a different method, and each row corresponds to the same text prompt.
DreamGaussian comparison. We apply PixSDS in the second optimization stage of DreamGaussian. Compared with SDS, PixSDS produces cleaner textures and fewer structured artifacts.
Fig. 8: DreamGaussian comparison. We apply PixSDS in the second optimization stage of DreamGaussian. Compared with SDS, PixSDS produces cleaner textures and fewer structured artifacts.
LucidDreamer comparison. We integrate PixSDS into LucidDreamer. The repaired update reduces floating noisy Gaussians and structured texture artifacts.
Fig. 9: LucidDreamer comparison. We integrate PixSDS into LucidDreamer. The repaired update reduces floating noisy Gaussians and structured texture artifacts.
Ablation study. We ablate the main design choices of PixSDS. The full method preserves the SDS update while adding a normalized VAE-consistent clean direction.
Fig. 10: Ablation study. We ablate the main design choices of PixSDS. The full method preserves the SDS update while adding a normalized VAE-consistent clean direction.
查看结构化数据
任务指标本文基线提升
2D 图像生成（SDS 优化，100 条 MS-COCO 2014 描述） FID（越低越好） PixSDS+SGD 223.021；PixSDS+Adam 229.638 vanilla SDS 431.877；2-step-SDS 229.813；直接 SD 采样 190.851 较 SDS 降低约 48.4%，在所有 SDS 类方法中最低
2D 图像生成 BRISQUE（越低越好） 12.850（PixSDS+SGD） SDS 82.120；直接 SD 采样 12.020 较 SDS 降低约 84.4%，几乎追平直接采样的感知质量
2D 图像生成 CLIP-IQA Noisiness（越高越好） 0.590（PixSDS+SGD） SDS 0.031；PGC 0.455；2-step-SDS 0.479 所有 SDS 类方法中最高，仅次于直接 SD 采样的 0.655
2D 图像生成 CLIP Score（越高越好） 15.962（PixSDS+SGD） SDS 16.442；SDI 16.539 基本持平（差距约 0.5），说明去噪未牺牲图文语义对齐
文本到3D（DreamGaussian 第二阶段） 纹理质量（定性对比） 纹理更干净、结构化伪影更少 SDS 基线（双方同样施加核 11 高斯平滑） 定性改善；论文未提供 3D 定量指标
文本到3D（LucidDreamer，3000 步，时间步 [0.3, 0.8]） 漂浮伪影与噪声高斯（定性对比） 头盔内部噪声高斯与汉堡周围漂浮伪影明显减少 LucidDreamer 原版 定性改善，但 white hair ironman 的白发属性部分丢失

局限与改进

作者承认的局限：LucidDreamer 实验中 white hair ironman 的头部更干净但“白发”属性未被完整保留，提示部分 prompt 需要额外调参；LucidDreamer 的 $\beta = 100 \times$ 学习率是经验设置，作者明确说明未做充分超参搜索；直接 Stable Diffusion 采样在所有指标上仍更强（FID 190.851 对 223.021），PixSDS 只改进 SDS 类优化而非取代采样。我的补充观察：(1) 评测仅 100 条 COCO 描述、每方法一张图，FID 在百张图规模上方差极大，与 2-step-SDS 的差距（223.0 对 229.8）未必显著；(2) 3D 部分只有定性对比，没有任何定量指标或用户研究；(3) 每步额外一次 VAE 解码（含反向传播穿过解码器）带来计算开销，论文未报告时间与显存成本；(4) 时间步退火截断在 400（附录 E）与 $\beta$ 的设置相互耦合，超参数敏感性没有系统分析；(5) 理论分析限定在 1D 卷积与二次目标的简化情形，与真实 VAE 的深度非线性映射仍有距离。

独立分析的弱点

弱点一：评测仅 100 张图，FID/BRISQUE 统计噪声大，与 2-step-SDS 的差距（223.0 对 229.8）可能不显著；建议扩到 5k–30k 条描述并报告多种子置信区间。弱点二：3D 只有定性对比，无任何定量指标；建议补充 CLIP R-precision、用户研究并对 $\beta$ 做扫描。弱点三：超参迁移性差——2D 用 $\beta = 0.1$，LucidDreamer 需要 $\beta = 100 \times$ 学习率，说明 $\beta$ 与潜空间梯度尺度强耦合，换管线就要重调；建议按梯度范数自动定标或在归一化后的方向空间比较。弱点四：DreamGaussian 对比中双方都加核 11 高斯平滑，PixSDS 与平滑的交互未拆开验证；建议做有/无平滑的 2×2 消融。弱点五：属性保真问题（白发消失）暗示干净方向可能轻微偏离 prompt 语义；可给 $g_{\mathrm{clean}}$ 加 CLIP 相似度门控或用正向 CFG 梯度约束前瞻解码。弱点六：每步额外一次 VAE 解码与反传的开销未量化，可隔 $k$ 步更新干净方向或缓存。

未来方向

作者在结论中指出：VAE 潜码到像素映射的几何是潜空间 SDS 优化的重要因素，未来设计分数蒸馏方法时应将其纳入考量。基于此可以延伸：(1) 训练“逆映射良置”的 VAE——对编码器施加压缩/利普希茨正则，或给解码器加去噪目标，从源头消除弱约束方向，而非事后修复；(2) 把前瞻解码修复推广到其他潜空间引导任务：视频生成、图像编辑、个性化扩散的梯度反演等同样存在“潜码干净、像素漂移”的风险面；(3) 与 2-step-SDS、VSD 等更强蒸馏目标组合，验证修复增益能否叠加；(4) 把附录的 1D 卷积噪声放大定理推广到一般 encoder-decoder 结构，给出噪声增长速率界，为 $\beta$ 与归一化策略提供理论指导；(5) 自适应时间步调度：附录 E 已发现时间步 400 之后图像梯度范数变大，可与 PixSDS 做步长/方向的协同控制；(6) 在整流流或一阶蒸馏等新框架中复现诊断流程，检验 VAE 漂移假说的普适性；(7) 针对 LucidDreamer 类场景做 $\beta$ 的自动化标定研究，消除跨管线的手工调参负担。

复现评估

复现条件较好。代码公开（项目页 https://sevashasla.github.io/pixsds-webpage/），核心方法只有十几行（Fig. 5 伪代码完整定义了算法），无需训练、只需推理。硬件门槛低：全部实验在单张 NVIDIA V100 32GB 上完成，基于 PyTorch 与 Hugging Face 生态。关键超参齐全：2D 用 stable-diffusion-2-base，学习率 0.05、guidance_scale 25.0、$\beta = 0.1$、1000 步、fp16、时间步 1000→400 线性退火；诊断用的 stable-diffusion-nano-2-1 与 CIFAR-10 像素扩散模型均为公开资源；数据为 MS-COCO 2014 随机 100 条描述。3D 需集成进 DreamGaussian 与 LucidDreamer 开源代码，设置（3000 步、时间步 [0.3, 0.8]、$\beta = 100 \times$ 学习率、核 11 平滑）已写明。主要风险是 3D 下 $\beta$ 的敏感性、不同精度下 VAE 的数值差异及百张图评测的随机性；总体难度中等偏低，2D 部分一天内可复现。

论文图表

Small latent diffusion model. SDS with a low-resolution latent diffusion model still produces structured artifacts, suggesting that tensor shape alone does not explain the failure mode.
Fig. 1: Small latent diffusion model. SDS with a low-resolution latent diffusion model still produces structured artifacts, suggesting that tensor shape alone does not explain the failure mode.

用 stable-diffusion-nano-2-1（Stable Diffusion 2.1 的 128×128 低分辨率版本）对 car、frog、dog、bird 等 prompt 做潜空间 SDS，展示 step 100 到 2000（右列为 step 25 到 500）的优化序列：结构化色块与纹理噪声依然出现，只是形态随分辨率变化。

这是排除“潜张量形状/分辨率导致伪影”这一解释的关键对照实验，把嫌疑集中到 VAE 映射本身，是诊断链条的第一环。

Small pixel diffusion model. SDS with a pixel-space diffusion model produces realistic images without the same structured artifacts, suggesting that pixel-space optimization alone is not the cause.
Fig. 2: Small pixel diffusion model. SDS with a pixel-space diffusion model produces realistic images without the same structured artifacts, suggesting that pixel-space optimization alone is not the cause.

用 CIFAR-10 训练的 64×64 像素空间条件扩散模型做像素空间 SDS，优化 Auto、Frog、Dog、Bird 等 prompt，step 25 到 500 的结果保持真实、没有结构化伪影。

排除了“SDS 直接优化像素本身就不稳定”的解释，说明像素空间优化不是伪影成因，与 Fig. 1 一起把唯一剩余变量锁定为 VAE 映射。

VAE-only optimization. Even without a diffusion model, optimizing only through the VAE encoder produces structured noise in Zi, while the decoded latents dec(enc(Zi)) remain clean.
Fig. 3: VAE-only optimization. Even without a diffusion model, optimizing only through the VAE encoder produces structured noise in Zi, while the decoded latents dec(enc(Zi)) remain clean.

第 1 列为目标图像 X，第 2–7 列为两个随机初始化下仅通过 VAE 编码器匹配目标潜码（$\|\mathrm{enc}(Z) - \mathrm{enc}(X)\|_2^2$，SGD 学习率 0.1）优化得到的图像 $Z_i$，右下角小图为对应解码潜码 $\mathrm{dec}(\mathrm{enc}(Z_i))$：优化图像出现结构化噪声，解码潜码却始终干净。

全文最核心的证据：完全不借助扩散模型即可复现“潜码干净、像素噪”的失配，直接确立 VAE 诱导像素漂移是伪影的充分成因。

Table 1: 2D Generation Results. PixSDS achieves the best results in FID, BRISQUE, and CLIP-IQA Noisiness, while remaining competitive in CLIP Score and CLIP-IQA Quality.

在 100 条 MS-COCO 2014 描述上，报告 8 个 SDS 类方法与直接 SD 采样的五项指标：PixSDS+SGD 取得 FID 223.021、BRISQUE 12.850、Noisiness 0.590 的最佳组合；SDS 基线为 431.877/82.120/0.031；直接 SD 采样为 190.851/12.020/0.655；2-step-SDS 的 FID 229.813 最接近。

论文唯一的定量主表，支撑“在 FID、BRISQUE、Noisiness 三项上全面领先所有 SDS 类基线”的核心结论，也是复现时的目标数字来源。