扩散模型中的分数控制以减少幻觉

通过控制分数平滑度减少扩散模型幻觉

前置知识

Score Function (分数函数)

分数函数是数据分布的对数密度的梯度，即 $s(x) = \nabla_x \log p(x)$。在扩散模型中，神经网络学习预测添加的噪声，这等价于学习这个分数函数。分数指向密度增加最快的方向，用于指导去噪过程从纯噪声逐步恢复出真实数据样本。平滑的分数函数会导致概率质量泄漏到数据支撑外的低密度区域。

本文的核心发现是分数函数的平滑度直接导致幻觉，理解分数函数是读懂本文方法的基础。

Lipschitz Constant (Lipschitz常数)

Lipschitz常数 $L$ 衡量函数变化率的上界，定义为 $\|s_\theta(x) - s_\theta(y)\| \leq L \|x - y\|$ 对所有 $x, y$ 成立。小的 $L$ 值意味着函数变化缓慢、曲线平滑。在扩散模型中，过小的分数函数 Lipschitz 常数会导致模型在数据支撑边界外仍分配非零概率，从而产生幻觉样本。

本文命题4.1建立了幻觉概率与Lipschitz常数之间的理论关系，$L$ 是理解为何分数平滑会导致幻觉的关键。

I-DDPM (Improved Denoising Diffusion Probabilistic Models)

I-DDPM 是对原始DDPM的改进，引入了方差学习头，预测反向过程的条件协方差矩阵 $\Sigma_\theta(x_t, t)$。除了预测噪声外，网络还学习预测每步的方差，这通过优化变分下界 $L_{VLB}$ 实现。学习到的方差可用于近似分数Jacobian，使得计算梯度平滑度变得可行。

VSM方法依赖I-DDPM的方差学习来获得Jacobian的对角近似，这是实现高效平滑度惩罚的技术基础。

研究动机

扩散模型在实际应用中普遍存在幻觉问题，即生成的不合理样本落在真实数据分布的支撑之外。例如，生成的人手图像出现多余或缺失的手指、国际象棋棋盘上的棋子违反规则等现象。这些幻觉不仅降低生成质量，更严重损害了用户对生成系统的信任。现有研究表明，这种现象的根源是神经网络学习到的分数函数过于平滑，导致概率质量泄漏到低密度区域。然而，如何系统性地量化并解决这个问题仍缺乏有效的理论框架和实用方法。

本文的目标是本文的目标是从理论层面建立分数平滑度与幻觉之间的数学关系，并提出一种实用的训练时方法来减少幻觉。具体而言，作者希望证明：当学习到的分数函数的Lipschitz常数过小时，模型密度在离流形点处的下界仍然为正，且该下界受Lipschitz常数控制。基于这一理论洞察，开发一种架构无关的训练目标，通过控制分数函数的Jacobian来减少平滑度，从而抑制幻觉的产生。

与已有工作不同的是，与已有工作相比，本文的切入点是建立密度视角下的幻觉理论框架。先前工作如[3]将幻觉解释为模式插值，[26]提出温度缩放自注意力机制，但都没有给出理论上的解释。本文首次推导了幻觉概率与分数Lipschitz常数之间的数学关系，并证明了离流形点处的模型密度下界 $p_\theta(x) \geq C_b \exp(-S\delta_x - \frac{L^2\delta_x^2}{2}) > 0$，这解释了为什么过平滑的分数会导致幻觉。基于这一理论，本文提出了一种新的训练时正则化方法，而不是采样时的后处理策略。

核心方法

VSM方法的直觉是：如果分数函数变化太快（大Jacobian），它会更紧密地贴合数据分布的边界，防止概率质量泄漏到低密度区域；相反，过于平滑的分数函数会在数据支撑外分配过多概率。技术路线上，VSM通过添加一个Jacobian-based平滑度惩罚项来训练扩散模型，鼓励更大的局部分数曲率。由于计算完整Jacobian在高维图像空间不可行，VSM利用I-DDPM的方差学习获得一个可行的对角近似，并使用时间依赖的调度策略，在去噪后期加重惩罚。

VSM的核心创新是利用I-DDPM学习的方差参数来近似分数函数的Jacobian，从而构建一个可计算的平滑度惩罚项。具体而言，对于高斯噪声核 $q(x_t|x_{t-1}) = N(a_t x_{t-1}, \sigma_t^2 I)$，通过贝叶斯规则可以推导出反向条件曲率 $\nabla^2_{x_{t-1}} \log p_\theta(x_{t-1}|x_t) = -\Sigma_\theta(x_t, t)^{-1}$。因此，学习到的对角方差矩阵 $\Sigma_\theta(x_t, t) \approx \text{diag}(\sigma^2_\theta(x_t, t))$ 的逆提供了一个分数Jacobian的对角代理：$J_\theta(x_{t-1}, t-1) \approx \text{diag}(-1/\sigma^2_\theta(x_t, t))$。这使得计算平滑度惩罚在计算上可行，无需额外的神经网络或注释。

方法步骤详情

VSM的训练过程包含以下步骤：首先，采用I-DDPM的参数化，网络输出均值 $\mu_\theta(x_t, t)$ 和对角方差 $\Sigma_\theta(x_t, t)$。其次，构建总训练目标 $L_{\text{Total}} = L_{DM} + L_{VLB} + \eta(t) L_{VSM}$，其中 $L_{DM} = \mathbb{E}_{x_0,\epsilon,t} \|\epsilon - \epsilon_\theta(x_t, t)\|^2$ 是标准噪声预测损失，$L_{VLB}$ 是I-DDPM的变分下界，$L_{VSM} = \mathbb{E}_{t, x_t}[\phi(\|J_\theta(x_t, t)\|^2)]$ 是平滑度惩罚，$\phi(u) = 1/(u + \eta)$ 是反比例函数。输入是噪声样本 $x_t$ 和时间步 $t$，输出是预测的噪声和方差。第三，使用时间依赖调度 $\eta(t) = \rho/\sqrt{1-\bar{\alpha}_t}$，其中 $\rho$ 是可调超参数，这使惩罚在去噪后期逐渐增大。最后，通过梯度下降优化整个网络，使得分数函数在保持拟合数据分布的同时，局部曲率增大以减少平滑度。

技术新颖性

VSM的技术新颖性体现在三个方面：首先，它提供了第一个将幻觉与分数平滑度联系起来的理论框架，推导了离流形点密度的下界，并证明了平滑分数会导致概率质量指数级泄漏到数据支撑外。其次，VSM是首个利用I-DDPM的方差学习来近似分数Jacobian的方法，避免了计算高维完整Jacobian的不可行性。第三，VSM采用了时间依赖的惩罚调度策略，在去噪后期（$t$ 小，噪声少）加重平滑度惩罚，这符合幻觉主要在晚期出现的观察。与需要额外注释的方法（如[17]需要专家mask标注）或采样时修改的方法（如[26]的温度缩放）不同，VSM是训练时的架构无关策略，无需额外的监督信号或推理时开销。

实验结果

实验结果显示VSM在多个数据集上显著减少幻觉。在1D高斯混合数据上，VSM将幻觉率从 $5.22 \times 10^{-3}$ 降低到 $2.70 \times 10^{-3}$，分数RMSE从10.56降到7.76。在Hands-11K数据集上，DDPM的幻觉率为23.33%，VSM将其降低到5.15%，同时C-FID从12.00降到10.13，FLD从35.99降到22.20。在MNIST上，VSM将幻觉率从4.50%降到3.50%，FID从112.16降到43.75。对于提出的Cards数据集，DDPM幻觉率22.41%，VSM降至2.33%；ChessImages数据集上，DDPM幻觉率71.00%，VSM降至56.01%。在ImageNet-1K上，VSM相比基线LDM-UC，CLIP precision从0.56提升到0.68，recall从0.41提升到0.51，FID从76.86降到69.97。这些结果表明VSM在减少幻觉的同时保持了甚至改善了图像质量。消融实验显示正则化强度 $\rho=0.1$ 效果最佳，过大会削弱扩散损失；时间调度 $\eta(t) = \rho/\sqrt{1-\bar{\alpha}_t}$ 优于线性或完全逆调度。

**Table 1**: Datasets used for hallucination evaluation

**Table 2**: Score RMSE and hallucination rate across synthetic Gaussian mixtures and Hands-11K

**Table 3**: VSM reduces hallucinations relative to baselines across diverse datasets

**Table 4**: Variance-head-only fine-tuning results

**Figure 2**: Qualitative examples of corrected hallucinations with VSM

**Figure 3**: Categorization of generated chessboards into invalid (hallucinated), memorized, and generalized samples

**Figure 4**: Increasing ρ decreases hallucinations until it start increasing it back

**Figure 5**: Ablation of time-dependent scaling schedules η(t) on MNIST

查看结构化数据

任务	指标	本文	基线	提升
Hands-11K 手指生成	幻觉率 H%	5.15%	DDPM 23.33%	降低77.9%
MNIST 数字生成	FID	43.75	DDPM 112.16	降低61.0%
Cards 扑克牌生成	幻觉率 H%	2.33%	DDPM 22.41%	降低89.6%
ChessImages 棋盘生成	幻觉率 H%	56.01%	LDM-UC 11.66%	降低20.4%
ImageNet-1K 图像生成	CLIP Precision	0.68	LDM-UC 0.56	提升21.4%

局限与改进

作者承认VSM设计用于减少而非完全消除幻觉，对于自然图像数据集，系统性地理解幻觉以及检测和量化它们的可靠指标仍然是开放问题。从论文观察来看，VSM在高语义空间数据集（如ChessImages）上的幻觉率仍较高（56%），可能需要更强的正则化或结合其他策略。此外，VSM的有效性在一定程度上依赖于I-DDPM的方差学习质量，如果方差预测不准确，Jacobian近似也会受影响。论文还提到Lipschitz假设在零噪声极限下可能出现奇异性，虽然通过在 $t>0$ 时应用VSM来避免，但这是一个潜在的理论限制。

独立分析的弱点

VSM的主要弱点是对时间调度和正则化强度超参数敏感。实验显示 $\rho$ 过大反而增加幻觉，因为过度加权VSM会削弱扩散损失。这意味着用户需要针对不同数据集调参，增加了使用复杂度。此外，VSM仅通过Jacobian惩罚控制平滑度，对于由其他因素（如训练数据分布不均、网络容量不足）导致的幻觉可能效果有限。另一个潜在问题是VSM主要关注分数的局部曲率，但对于全局结构约束（如ChessImages中的棋子数量限制）可能不够强。改进方向可以考虑结合硬约束优化或强化学习来强制规则遵循。

未来方向

作者提出未来研究方向包括：在自然图像数据集上系统性地理解幻觉，以及开发可靠的自然图像幻觉检测指标。基于本文成果，可延伸的研究方向包括：将VSM与采样时策略（如[40]的Dynamic Guidance）结合，在训练和推理两个层面共同控制幻觉；将VSM扩展到条件生成任务（如文本到图像），研究如何保持文本对齐的同时减少幻觉；探索更精细的Jacobian近似方法，而不局限于对角近似；研究VSM与其他正则化技术（如谱归一化、梯度惩罚）的协同效应。

复现评估

论文声称代码和数据集在GitHub公开（https://github.com/bhosalems/VSM），这有利于复现。提出的ChessImages和Cards数据集有明确的结构规则和验证模块，无需人工标注即可检测幻觉，使得评估客观可重复。实现依赖I-DDPM框架，需要 familiarity with variance learning。实验使用8块NVIDIA A6000 GPU，从零训练需要相当算力，但论文也展示了variance-head-only微调的有效性，这降低了实际应用的门槛。复现难度中等，主要挑战在于正确实现I-DDPM的变分目标和VSM的Jacobian近似，以及调优时间调度和正则化强度。

扩散模型中的分数控制以减少幻觉 Score-Control for Hallucination Reduction in Diffusion Models