← 返回 2026-06-26

LISA：视觉条件可控生成的似然分数对齐 LISA: Likelihood Score Alignment for Visual-condition Controllable Generation

Yanghao Wang, Hongxu Chen, Jiazhen Liu, Zhenqi He, Rui Liu, Zhen Wang, Long Chen 📅 2026-06-25 👍 13 2026-07-13 08:37

ControlNet 扩散模型条件生成训练优化

通过显式对齐似然分数加速视觉条件生成模型训练并提升质量

前置知识

扩散模型

扩散模型是一种基于分数的生成模型，通过学习前向扩散过程的逆过程（从高斯噪声逐步去噪生成图像）。核心是学习分数函数，即在时间步 t 处对数据分布的对数密度求梯度。训练目标是让网络预测这个分数，然后可以通过SDE或ODE求解逆过程来生成样本。扩散模型的训练和采样过程是解耦的，采样通常需要多步迭代

本文的双分支范式和LISA方法都建立在扩散模型框架之上，理解分数匹配和条件扩散是理解似然分数分解的前提

条件分数分解

条件分数可以通过贝叶斯规则分解为无条件分数和似然分数之和。这意味着条件生成实际上由两部分组成：无条件分数保证基础感知质量，似然分数提供条件控制信息。似然分数描述给定当前噪声状态下条件 c 出现的似然，它的梯度指示如何调整生成过程以匹配条件

LISA 方法的核心创新点就是基于这种分解，提出侧边网络应该学习似然分数这一角色

研究动机

主流的双分支范式在视觉条件可控生成中取得了显著成功，但侧边分支的作用和训练效率尚未得到充分探索。在这个范式中，需要冻结预训练的主网络，训练一个侧边网络来编码视觉条件。然而，标准训练目标仅监督最终预测，这使得侧边网络缺乏明确的正则化，导致训练效率低。实验数据显示，ControlNet在2K到10K训练迭代时条件遵循指标如PCK仅达到19.38%，需要30K迭代才能达到89.82%，训练收敛速度慢。这表明侧边网络的学习过程缺乏明确指导，需要大量训练时间才能掌握正确的条件控制信号

本文的目标是本文的具体目标是通过显式正则化侧边网络，加速双分支范式的训练收敛，并提升最终的合成质量。作者希望利用基于分数的生成模型的理论框架，为侧边网络提供更明确的训练目标，使其能够更快速准确地学习到条件控制所需的信息。同时，目标是在不增加推理成本的前提下实现这些改进，保持原始架构的部署友好性

与已有工作不同的是，本文的独特切入角度是从基于分数的生成模型的视角重新审视双分支范式，揭示主网络和侧边网络的分解角色：主网络负责提供无条件分数保证感知质量，侧边网络负责提供似然分数实现条件控制。与现有工作不同，本文不依赖外部语义编码器，而是直接从条件概率角度构建似然分数作为监督目标，通过一个轻量级解码器将侧边网络特征对齐到这个分数空间

核心方法

LISA 的整体思路是先从直觉上理解双分支范式中各分支的作用，然后为侧边网络引入显式的似然分数对齐。技术路线上，作者首先基于分数分解理论分析发现侧边网络实际上应该学习似然分数。然后利用冻结的主网络作为无条件分数预测器，结合可计算的去噪目标构造近似似然分数。接着，通过一个轻量级解码器将侧边网络中间特征映射到分数空间，并计算解码器输出与近似似然分数的对齐损失作为正则化。最终联合优化标准扩散损失和对齐损失，训练完成后丢弃解码器用于推理

LISA 的核心创新在于显式对齐侧边网络特征与构造的似然分数。这与已有方法的本质区别在于，已有方法如REPA依赖外部预训练语义编码器（如DINOv2-B）来对齐特征，而LISA直接从条件概率角度出发，利用主网络和已知去噪目标构造似然分数目标。这种方法不依赖额外预训练模型，同时提供了更直接的监督信号，使侧边网络能够更明确地学习其期望的角色。另一个关键创新是引入轻量级解码器（仅占侧边网络约0.1%大小），实现零推理成本的正则化

方法步骤详情

LISA 方法的具体步骤如下：第一步，进行一次不注入条件的主网络前向传播，获得无条件分数，这近似于无条件分数。第二步，从标准条件扩散训练中获得去噪目标，这可以通过前向SDE的闭式解计算。第三步，构造近似似然分数为去噪目标减去无条件分数。第四步，进行注入条件的第二次前向传播，从侧边网络的第 k 层提取特征。第五步，将这个特征送入轻量级解码器，获得预测的似然分数。第六步，计算LISA对齐损失为预测似然分数与近似似然分数的L2距离，其中使用停止梯度操作。第七步，联合优化总损失为标准扩散损失加上对齐损失乘以权重lambda，其中 lambda 控制对齐强度

技术新颖性

LISA 的技术新颖性体现在几个方面：首先是理论创新，将双分支范式重新框架化为分数分解问题，揭示侧边网络应该学习似然分数。其次是方法创新，利用主网络和已知目标构造无需额外预训练模型的似然分数监督。第三是架构创新，引入轻量级解码器实现训练时的特征对齐，推理时直接丢弃，零额外成本。第四是正则化策略创新，不同于现有的特征对齐方法（如REPA），LISA 直接对齐到概率空间而非特征空间，提供了更明确的监督信号。实验表明，在姿态条件生成中，LISA能够在2K迭代时将PCK从19.38%提升到83.02%，而需要30K迭代才能达到类似的89.82%

**Figure 1**: Likelihood score alignment (LISA) can improve training convergence and synthetic quality

实验结果

实验结果显示LISA在多个图像和视频条件生成任务上一致地加速了训练收敛并提升了最终合成质量。在姿态条件图像生成中，使用ControlNet+LISA训练10K迭代时，PCK从19.38%提升到83.02%，FID从56.37略降到56.28，CLIP从31.47略降到31.39，表明在早期阶段显著改善结构一致性。在深度条件生成中，LISA训练4K迭代时获得的FID、CLIP和RMSE（66.75、26.80、0.114）优于ControlNet训练10K迭代的结果（77.84、25.61、0.120），展示了显著的训练效率提升。在分割条件生成中，25K迭代时LISA将mIoU从34.34%提升到34.88%，FID从37.72改善到32.51。与REPA相比，LISA在姿态任务上18K迭代时PCK达到89.90%略低于REPA的92.75%，但FID从62.23大幅改善到56.50。消融研究表明对齐深度为5层、权重 lambda 为 0.2 时效果最佳，过强的对齐会损害结构匹配。在视频生成中，30K迭代时LISA将FVD从7.79降到6.89，PCK从90.53%提升到91.86%。计算开销分析显示LISA仅增加约0.4M参数（364.2M到364.6M），GPU内存保持21G不变，训练时间每迭代仅增加0.2秒（2.1s到2.3s），推理时完全无额外成本

**Table 1**: Comparisons with dual-branch baselines across four conditional image generation tasks

**Table 3**: Computational overhead comparisons

**Table 4**: Compatible with Stable Diffusion 3

**Figure 3**: Qualitative examples across four image-condition generation tasks

**Figure 4**: Qualitative comparisons on the pose-condition video generation

**Figure 5**: Quantitative (left) and qualitative (right) results of compositional-condition generation

查看结构化数据

任务	指标	本文	基线	提升
姿态条件图像生成（ControlNet，10K迭代）	PCK (%)	83.02	19.38	提升328%
深度条件图像生成（ControlNet，4K vs 10K迭代）	FID降低	66.75	77.84	降低14.2%，且训练时间减半
姿态条件图像生成（ControlNet+REPA vs LISA，18K迭代）	FID降低	56.50	62.23	降低9.2%，且无需外部预训练模型
分割条件图像生成（ControlNet，25K迭代）	mIoU (%)	34.88	34.34	提升1.6%
姿态条件视频生成（ControlVideo，30K迭代）	FVD降低	6.89	7.79	降低11.6%

局限与改进

作者承认LISA目前主要验证了视觉条件（空间条件）的有效性，对文本条件等模态条件的适用性尚未充分探索。方法需要额外一次主网络前向传播来获取无条件分数，这虽然不增加推理成本但增加了训练计算。需要调节对齐深度和权重 lambda，不同任务可能需要不同的超参数。从观察来看，LISA的性能提升在某些指标上相对温和（如CLIP分数提升不明显），并且实验主要在标准数据集上进行，对复杂真实场景的泛化性有待进一步验证。此外，解码器的架构设计目前相对简单（卷积、激活、上采样），可能有进一步优化的空间

独立分析的弱点

LISA的主要弱点是训练时需要额外一次主网络前向传播，虽然时间开销很小但在大规模训练时累积起来仍会增加计算成本。方法需要调参（对齐深度和权重），自动化程度不高。对某些指标（如CLIP分数）的提升相对有限，可能对文本条件遵循的帮助较小。从理论角度看，构造的近似似然分数是单样本估计，可能存在方差问题。改进方向包括：研究自适应的对齐深度选择策略，减少调参负担；探索更高效的似然分数估计方法（如多样本平均）；将LISA扩展到文本等其他模态条件，或与文本条件相结合；优化解码器架构，可能引入更复杂的结构以提升特征对齐效果；研究在不同训练阶段动态调整对齐强度的策略

未来方向

作者提出未来将LISA正则化扩展到实际应用和更一般的条件生成场景。基于论文成果可以延伸的方向包括：将LISA应用于更多类型的生成模型架构（如新的DiT变体或流匹配变体），验证方法的理论基础是否适用于更广泛的框架；探索LISA在多条件组合生成中的潜力，利用特征解耦特性提升组合控制能力；研究LISA与训练效率优化的结合，如与课程学习或蒸馏方法结合；探索LISA在3D生成、跨模态生成等更复杂任务中的应用；研究理论分析似然分数对齐对模型泛化性和可控性的影响；开发自动化工具来选择最优的对齐层和权重，减少人工调参需求

复现评估

论文提供了GitHub项目页面链接（https://github.com/HKUST-LongGroup/LISA），但未明确说明代码是否已开源。实验使用了公开数据集（COCO Pose、ADE20K分割、NYU深度等）和公开预训练模型（SDXL-1.0、Stable Diffusion 2.1、Stable Video Diffusion、Stable Diffusion v3-medium），数据可获取性较好。计算资源方面，实验使用8张H20 GPU，单次训练在2K-30K迭代之间，具体训练时间未说明但根据单次迭代2.1-2.3秒估计，30K迭代大约需要17-19小时。论文提供了详细的实现细节和超参数设置（学习率1e-5、对齐权重0.2等），复现难度中等。主要挑战在于需要大量GPU资源，并且需要实现对齐解码器和修改训练循环以支持额外的损失计算

论文图表

Table 2: Ablation of alignment depth and lambda

Table 2展示了LISA的两个关键超参数的消融实验结果：对齐深度和权重 lambda。第一行是基线（深度-，lambda-），FID=56.71，CLIP=31.24，PCK=85.97%。对齐深度固定lambda为0.2时，深度=2、8、5分别得到PCK=88.03%、88.06%、89.90%，其中深度=5效果最佳。固定深度=5时，lambda=0.5、0.2、0.1分别得到PCK=87.83%、89.90%、86.19%，FID分别为56.34、56.50、57.31。数据表明过深的对齐（深度=8）不会带来进一步改进，过强的对齐（lambda为0.5）可能损害结构匹配，lambda为0.2达到了最佳平衡

这个表格对理解LISA的参数敏感性很重要，它帮助读者理解如何调优方法。表格清晰地展示了不同超参数选择对性能的影响，为实际应用提供了指导。数据表明存在最优的超参数范围，过深或过强的对齐都不利于性能。这对想要应用LISA的研究者来说很有价值，避免盲目调参

Table 5: Compatible with Video Generation

Table 5展示了LISA在视频生成任务上的泛化性，基于Stable Video Diffusion和ControlVideo进行姿态引导视频生成。5K迭代时，ControlVideo的FVD=10.57、SSIM=0.852、LPIPS=19.07、PCK=30.22%，而LISA的FVD=7.85、SSIM=0.882、LPIPS=10.62、PCK=57.00%。30K迭代时，ControlVideo的FVD=7.79、SSIM=0.902、LPIPS=9.28、PCK=90.53%，LISA的FVD=6.89、SSIM=0.905、LPIPS=8.74、PCK=91.86%。数据表明LISA在视频生成上同样显著改善所有指标，特别是早期阶段PCK从30.22%提升到57.00%

这个表格对理解LISA在视频生成领域的应用潜力很重要。表格数据显示LISA在视频任务上同样有效，甚至在某些指标上改善更显著（如FVD从7.79降到6.89）。这支持了作者声称的LISA适用于图像和视频任务。对于视频生成研究者来说，这表明LISA可以解决视频生成中的条件控制问题，特别是在需要保持时序一致性的场景