CFG-Ctrl:基于控制论的无分类器扩散引导 CFG-Ctrl: Control-Based Classifier-Free Diffusion Guidance
把 CFG 重写为控制律,提出滑模控制 SMC-CFG 解决高引导尺度下的振荡失稳
前置知识
Classifier-Free Guidance (CFG)
一种在扩散/流匹配模型中实现条件生成的技术,通过联合训练有条件 vθ(xt,t,c) 和无条件 vθ(xt,t,∅) 两个预测,在推理时把两者的差以权重 w 放大后叠加,引导生成样本贴近条件 c。w=1 时退化为纯条件生成,w>1 时语义对齐增强但多样性下降、容易过饱和。
本文的核心对象就是 CFG,作者要把 CFG 重新解释为反馈控制律,因此读者必须清楚条件/无条件速度场、引导权重 w、引导方向 Δvθ 这些量的定义,才能跟上后续的形式化。
流匹配 (Flow Matching) 与 rectified flow
一种把数据分布到噪声分布的变换建模为常微分方程 dxt/dt = vθ(xt,t) 的生成范式,直接学习确定性的速度场。相比 score-based diffusion,流匹配的轨迹更直、训练更稳定、采样步数更少。Stable Diffusion 3.5、Flux、Qwen-Image 等当前主流 T2I 模型均建立在 rectified flow / flow matching 之上。
本文的整套框架建立在流匹配采样可被写成受控动力系统 dxt/dt = vθ(xt,t) + ut 的前提下,语义误差 e(t) 也建立在流匹配的连续时间速度场上而非离散的 score。读者若不理解 flow matching,就无法理解式 (8)(9) 的状态空间建模。
Lyapunov 稳定性
控制理论中判断非线性系统稳定性的经典工具:构造一个类似能量的标量函数 V(s) ≥ 0,只要其沿系统轨线的时间导数 ˙V < 0,就证明系统收敛到平衡点。若 ˙V ≤ -η∥s∥(η>0),还能进一步给出有限时间收敛 (finite-time convergence) 的界。
本文用 Lyapunov 函数 V(s)=½∥s∥² 严格证明 SMC-CFG 在切换控制律下能在有限时间内把系统状态压到滑模面 s(t)=0 上,从而保证生成轨迹的稳定收敛。读者需要理解 V 与 ˙V 的关系,才能跟上 Theorem 1 的证明。
滑模控制 (Sliding Mode Control, SMC)
一种鲁棒控制策略:先在状态空间定义一条滑模面 s(x)=0 作为期望运动轨迹,再用不连续的切换控制律 u = -k·sign(s) 把系统强制压到该面上。一旦到达,系统沿滑模面滑向平衡点,对参数扰动和未建模动态具有强鲁棒性,但代价是会出现高频抖振 (chattering)。
SMC-CFG 的核心创新就是把 SMC 的滑模面 s(t)=ė(t)+λe(t) 与切换律 Δe(t)=-k·sign(s(t)) 移植到扩散引导中,读者必须理解 sign 函数的不连续性、滑模面的几何含义,以及切换增益 k 的稳定性区间,才能看懂算法 1 与式 (27)(28) 的有限时间收敛证明。
研究动机
尽管 Classifier-Free Guidance 已成为扩散与流匹配生成模型的标配,但它本质上只是一种条件-无条件速度场的线性外推,在文生图实践中存在三类典型失效:第一是过饱和与色偏,比如 Stable Diffusion 3.5 在 w 较大时图像出现明显的颜色过曝与结构扭曲;第二是对引导尺度高度敏感,w 略大就会出现失真,需要在每个模型上手工调出最优区间;第三是当模型容量变大、流匹配的非线性增强时,标准 CFG 的线性反馈会在 (e, ė) 相平面上产生强振荡甚至发散(论文 Figure 1 左侧示意),从而导致颜色失真、纹理不一致、细节丢失。以往的修补方案,无论是 Weight-Scheduler [49] 的时变增益、APG [39] 的正交投影分解、CFG-Zero⋆ [9] 的速度重新缩放,还是 Rectified-CFG++ [41] 的预测-校正框架,本质上都是对这种线性外推做一些局部修正,无法从理论上保证收敛性,在大模型与高引导尺度下仍会出现 artifacts。
本文的目标是本文的总体目标是为 CFG 提供一个统一的控制论解释框架,并在此框架下设计一种真正具有稳定性保证的引导机制。具体而言,作者希望 (i) 把标准 CFG 与现有的若干改进方案都纳入同一个一阶状态反馈控制律 u_t = K_t Π_t e(t) 的视角,使每种方法对应不同的'调度器 K_t'或'方向算子 Π_t';(ii) 在此基础上提出 SMC-CFG,即通过构造关于语义误差 e(t)=vθ(xt,t,c)-vθ(xt,t,∅) 的指数滑模面 s(t)=ė(t)+λe(t),并施加切换控制 Δe(t)=-k·sign(s(t)),让生成轨迹被强制推到该滑模面上沿指数速率收敛,严格解决高引导尺度下的振荡与发散问题。
与已有工作不同的是，以往对 CFG 改进的工作要么局限在经验层面调参(如调 w 的时间调度),要么局限在几何层面分解(正交投影、速度重缩放),都默认 CFG 本身是一种'静态外推规则',没有把它视作可反馈控制的动态系统。本文最独特的切入角度是从控制理论(尤其是滑模控制与 Lyapunov 稳定性)重新审视 CFG:首次把条件-无条件的差异 e(t) 当作系统误差信号、把 e 的动力学视为受控 ODE,从而把 CFG 解释为 P-控制器、把调度器对应增益调度、把 APG/CFG-Zero⋆ 对应投影反馈、把 Rectified-CFG++ 对应模型预测控制,最后再设计一个非线性切换控制器(SMC) 来给出严格的有限时间收敛保证。这一视角把零散的经验改进统一在同一个理论框架内,并自然衍生出了一种理论上更稳健的算法。
核心方法
CFG-Ctrl 的总体思路是先把流匹配的采样过程建模成连续时间的受控动力系统 dxt/dt = vθ(xt,t) + ut,其中 vθ 是预训练好的速度场,ut 是我们要设计的引导控制量。然后作者把 ut 写成 ut = K_t Π_t e(t),由两个组件构成:调度器 K_t 控制引导强度,方向算子 Π_t 控制引导方向。误差信号 e(t)=vθ(xt,t,c)-vθ(xt,t,∅) 即条件与无条件速度预测之差。这样一来,标准 CFG 就退化为 K_t = w(常数)、Π_t = I(恒等) 的特例——也就是一个固定增益的比例控制器 (P-control)。基于这个统一语言,作者把 Weight Scheduler 解释为增益调度控制、APG 与 CFG-Zero⋆ 解释为投影反馈控制、Rectified-CFG++ 解释为模型预测控制(MPC),在 Table 1 中给出了一一对应的控制律解释。在此基础上,作者进一步提出 SMC-CFG:针对 e(t) 的动力学定义指数滑模面 s(t)=ė(t)+λe(t),λ 控制滑模面的'陡度',然后通过切换控制律 Δe(t)=-k·sign(s(t)) 把生成轨迹强制拉到该面上,沿指数速率收敛到语义平衡点。整条技术路线可以概括为'线性反馈控制视角→非线性滑模控制视角→Lyapunov 有限时间收敛证明→实验验证'。
本文最核心的创新有两点。第一是把 CFG 从'静态外推'提升为'反馈控制',并系统地用 (K_t, Π_t, e(t)) 三元组刻画所有现有变体,这一统一视角本身就是一个重要的概念贡献。第二是 SMC-CFG 的非线性切换反馈:区别于 APG 的'几何投影'或 Rectified-CFG++ 的'预测校正',SMC-CFG 不改变 CFG 的线性外推结构,而是在 e(t) 上额外叠加一个不连续的修正量 Δe(t)=-k·sign(s(t))。这个 sign 项会在系统偏离滑模面时施加最大幅度的非线性反向力,本质上相当于一个非线性 bang-bang 控制器,确保即使在模型非线性极强、引导尺度极高的情况下,e 也会沿 s=0 滑向原点,而不会像线性 CFG 那样围绕平衡点振荡或发散。这一设计直接借鉴了滑模控制对不确定扰动的鲁棒性,使生成流形在高引导下保持稳定。
方法步骤详情
SMC-CFG 在推理时的完整流程(对应 Algorithm 1)如下: 输入是预训练好的速度模型 vθ(·,t,c)、文本条件 c、引导尺度 w,以及两个超参数 λ(滑模面形状)与 k(切换控制增益)。初始 xT 从标准高斯 N(0,I) 采样。主体是 for t = T to 1 的反向迭代循环,每步依次做:(1) 条件预测 vt(c) ← vθ(xt,t,c);(2) 无条件预测 vt(∅) ← vθ(xt,t,∅);(3) 计算语义误差 e(t) ← vt(c) - vt(∅),这就是反馈控制中的误差信号;(4) 若上一步误差 e(t+1) 未记录,则先做一步 warm-up 取 e(t+1)=e(t);(5) 构造滑模面变量 s(t) ← (e(t)-e(t+1)) + λ·e(t+1),这里 (e(t)-e(t+1)) 是 ė(t) 的离散近似,所以 s(t) ≈ ė(t) + λe(t);(6) 计算切换控制 Δe ← -k·sign(s(t)),即把误差朝滑模面方向拉回的开关力;(7) 更新误差 e(t) ← e(t) + Δe,得到受 SMC 修正后的新误差;(8) 套回 CFG 公式得到引导速度 ˆvt ← vt(∅) + w·e(t);(9) 用 ˆvt 通过 ODE solver 更新到下一步 ˆxt-1。整个过程只比标准 CFG 多了一次 sign 运算和一次误差累积,几乎不增加 FLOPs。训练侧无需任何改动,只利用预训练好的条件/无条件 vθ 即可,因此是一个即插即用的推理时算法。
技术新颖性
技术新颖性体现在三个层面。理论层面,首次把 CFG 写成一阶状态反馈控制律 u_t = K_t Π_t e(t),把 CFG/Weight-Scheduler/APG/CFG-Zero⋆/Rectified-CFG++ 全部统一进控制论术语(P-control、gain scheduling、projection-based feedback、MPC),并以 Table 1 的形式给出对照表,这是一个新的形式化视角。算法层面,首次把滑模控制的指数滑模面 s=ė+λe 与切换律 Δe=-k·sign(s) 引入扩散引导,直接针对非线性生成流形在 (e,ė) 相平面上的振荡问题给出非线性反馈解,这是对现有线性 CFG 改进范式的范式跃迁。分析层面,本文给出了完整的 Lyapunov 稳定性证明:选取 V(s)=½∥s∥²,在标准 SMC 假设 (Γs 最小奇异值有下界、漂移 Φs 有上界) 下证明 ˙V ≤ -η∥s∥,从而推出式 (28) 的有限时间收敛界 ∥s(t)∥=0 for t≤∥s(0)∥/η,并进一步在离散实现中给出 k 的'稳定走廊' δ/(w-ρ√D) < k < 2∥s_t∥²/(w∆t),为 k 的取值提供理论依据。
实验结果
实验覆盖三类主流 flow matching 文生图模型(SD3.5 8B、Flux-dev 12B、Qwen-Image 20B),在 MS-COCO 5,000 对图文对上对比标准 CFG、CFG-Zero⋆ 和 Rectified-CFG++,评估指标包括 FID、CLIP Score、Aesthetic、ImageReward、PickScore、HPSv2、HPSv2.1、MPS 共 8 项。Table 2 的核心结论是:SMC-CFG 在 3 个模型 × 8 个指标 = 24 个格子中拿到了绝大多数的 SOTA。具体地,FID 在 SD3.5 上从 21.421 降到 20.044、在 Flux-dev 上从 27.323 降到 26.398、在 Qwen-Image 上从 35.431 降到 33.371,均为最低;CLIP Score 在三个模型上分别从 0.3681/0.3692/0.3815 提升到 0.3694/0.3743/0.3856,提升虽小但稳健;最显著的是 ImageReward 指标,在 SD3.5 上从标准 CFG 的 0.8889 一路爬到 SMC-CFG 的 0.9486,在 Flux-dev 上从 0.8749 提升到 1.0558,在 Qwen-Image 上从 1.1063 提升到 1.2035,这意味着人类偏好得分获得了 5%~20% 的相对提升。HPSv2.1 和 MPS 也呈现出同样的'全部第一'模式。在 Figure 2 与 Figure 3 的定性对比中,SMC-CFG 在复杂空间关系('鸟在时钟左侧'、'叉子在刀的右侧')、文本渲染('FORBIDDEN KNOWLEDGE'、'WELCOME TO THE FOREST')、细节刻画(发光刀刃、未来实验室全息投影)上明显优于 CFG 与另外两个 baseline。Figure 4 与 Figure 6 的引导尺度曲线显示,标准 CFG 在 w 超过模型默认最优值后各项指标迅速恶化,而 SMC-CFG 在大 w 下仍能保持稳定甚至继续提升,印证了滑模控制的鲁棒性。Table 3 的消融实验揭示两个超参数的耦合:λ 控制滑模面的'陡度',λ=5 时 FID 最低 25.951;k 控制推向滑模面的力,k=0.4 时 ImageReward 达 1.0504 的峰值,k=1.0 时 FID 反弹到 26.281,验证了式 (45) 给出的稳定性走廊 δ/(w-ρ√D) < k < 2∥s_t∥²/(w∆t)。在 T2I-CompBench 复合生成基准(Table 5)上,SMC-CFG 在四个子任务(颜色、形状、纹理、空间)上对三个模型均稳定提升,尤以 Qwen-Image 的空间关系从 0.2968 跳到 0.4085 (+37.7%) 最为突出;VQAScore(Table 6)上 SD3.5 的 Base/Advance/Overall 分别达到 0.89/0.68/0.77,均为最优。文生视频任务(Table 7)中,Wan2.2-TI2V-5B 的 Total Score 从 0.5594 提升到 0.5839、Subject Consistency 从 0.9450 提升到 0.9609,证明方法可跨模态迁移。最后 Table 8 报告了计算开销:在 512×512 与 1024×1024 两种分辨率下,SMC-CFG 与标准 CFG 的内存、FLOPs 完全相同,推理时间仅多 0.1~0.3 秒,几乎可忽略。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MS-COCO 文生图 (SD3.5) | FID ↓ | 20.044 | 21.421 (标准 CFG) | ↓ 1.377 (≈6.4%) |
| MS-COCO 文生图 (Flux-dev) | FID ↓ | 26.398 | 27.323 (标准 CFG) | ↓ 0.925 (≈3.4%) |
| MS-COCO 文生图 (Qwen-Image) | FID ↓ | 33.371 | 35.431 (标准 CFG) | ↓ 2.060 (≈5.8%) |
| MS-COCO 文生图 (Flux-dev) | ImageReward ↑ | 1.0558 | 0.8749 (标准 CFG) | ↑ 0.1809 (≈20.7%) |
| MS-COCO 文生图 (SD3.5) | ImageReward ↑ | 0.9486 | 0.8889 (标准 CFG) | ↑ 0.0597 (≈6.7%) |
| T2I-CompBench (Qwen-Image) | Spatial ↑ | 0.4085 | 0.2968 (无 CFG) | ↑ 0.1117 (≈37.7%) |
| VQAScore / GenAI-Bench (SD3.5) | Overall ↑ | 0.77 | 0.72 (标准 CFG) | ↑ 0.05 |
| VBench 文生视频 (Wan2.2-TI2V-5B) | Total Score ↑ | 0.5839 | 0.5594 (标准 CFG) | ↑ 0.0245 |
局限与改进
作者明确指出的局限性:SMC-CFG 引入了 λ 和 k 两个新超参数,虽然每个模型只需网格搜索一次即可固定,但仍然增加了部署复杂度;当前方法采用固定 λ、k,不能根据生成过程的不同阶段自适应调整,在不同数据集或采样步数下可能仍需重新校准。除此之外,从实验数据可以观察到的隐含局限包括:(i) 在 SD3.5 上 CLIP Score 仅提升 0.0013,Aesthetic 仅提升 -0.0085,说明对纯美学的提升并不显著,切换控制主要解决的是语义对齐而非美学;(ii) 当 w=1(无 CFG 基线)时 SMC-CFG 退化为标准 CFG,意味着方法严格依赖 CFG 本身,在不施加 CFG 的场景(如 guidance-distilled Flux 默认 w=1)上无法工作;(iii) 表 6 中 VQAScore 的 Advance 子项仅 0.68,绝对值仍偏低,提示在复杂组合语义上还有空间;(iv) Table 8 显示 1024×1024 下推理时间仍达 45 秒,文中方法未尝试与蒸馏/一致性模型结合以加速采样。
独立分析的弱点
独立审视本文,可识别出以下若干弱点。第一,理论分析与实际离散实现的衔接存在间隙:连续时间的 Lyapunov 分析 ˙V ≤ -η∥s∥ 假设 Γs 的最小奇异值有常数下界、Φs 有常数上界,但实际采样步长 ∆t、模型 Jacobian 的 Lipschitz 性会随 t 变化,稳态走廊式 (45) 是经验式而非严格推导。第二,切换律 sign(s) 的不连续性是 SMC 经典弱点,会引发数值抖振 (chattering),作者虽然在实验中固定 k 来抑制抖振,但并未在文中给出对 sign 做平滑(如用 tanh(αs) 替代 sign(s))的对照实验,因此真实鲁棒性边界可能比理论预期更窄。第三,文本渲染等能力(图 3 的'FORBIDDEN KNOWLEDGE')虽然定性提升,但缺乏定量文本识别准确率指标(如 OCR 准确率),无法判断是真改进还是 cherry-pick。第四,λ、k 的网格搜索在 200 个 MS-COCO 辅助样本上进行,与正式 5000 样本评测集存在分布差异,迁移到 T2I-CompBench 等其他基准时是否需要重新搜索并未给出统一结论。改进方向包括:用饱和函数 sat(s) 或 sigmoid 平滑 sign 以减小抖振、引入自适应增益调度使 λ、k 随 t 与 s 动态变化、为文本渲染增设 OCR 度量、把'稳定走廊'做成自动估计而非手工网格搜索。
未来方向
作者在 Limitations 部分已明确规划了两条主线:一是把固定 (λ, k) 升级为自适应控制,例如根据连续几步的文本-图像对齐误差的微分反馈自动调节 k;二是把 SMC-CFG 拓展到更大模型与更多模态。论文已展示 Wan2.2-TI2V-5B 上的视频迁移,但还未涉及 3D 与音频生成。基于其框架,可延伸的研究方向至少包括:(i) 把方向算子 Π_t 与 SMC 结合,例如在切换前先做一次 APG 投影,理论上能进一步压缩轨迹偏离;(ii) 把 λ 设计为 timestep-dependent 的函数 λ(t),在去噪早期 λ 小(滑模面平缓)以容忍噪声主导,后期 λ 大以快速收敛;(iii) 把该控制论视角推广到 DiT/Transformer 架构下的离散化 ODE 与 Rectified Flow 的耦合设计;(iv) 与一致性模型 (Consistency Model) 结合,做 1~4 步的快速高引导采样;(v) 探索 sign-based 控制与 diffusion RLHF/DPO 的连接,把人类偏好作为滑模面的额外约束。
复现评估
可复现性方面,作者提供了项目页 https://hanyang-21.github.io/CFG-Ctrl 但截至读论文时正文未给出代码仓库链接,需进一步确认开源情况。论文描述的实现细节相对充分:数据集采用 MS-COCO 的 5000 对图文对(补充材料还披露 T2I-CompBench 6000 条 prompt 中的颜色/形状/纹理/空间四类),backbones 是 SD3.5 (stabilityai/stable-diffusion-3.5-large, 8B)、Flux-dev (black-forest-labs/FLUX.1-dev, 12B)、Qwen-Image (Qwen/Qwen-Image, 20B),全部使用 HuggingFace 公开权重,生成分辨率均为 1024×1024。算法侧 SMC-CFG 只引入 λ、k 两个标量,实现为推理时对 e(t) 的一次 sign 运算,几乎无新增超参数。算力方面,论文报告全部实验在单张 NVIDIA A100 40GB 上完成(注:由于最大模型为 Qwen-Image 20B,单 A100 仅能跑 batch=1 的推理,实际应是单卡串行),且 Table 8 显示单步推理时间 23~45 秒,完整评测每模型 5000 样本约需 30~60 小时单卡时间,门槛中等。超参数通过 200 个 MS-COCO 辅助样本网格搜索确定:SD3.5 取 λ=6, k=0.1;Flux 取 λ=6, k=0.7;Qwen-Image 取 λ=6, k=0.1。整体复现难度属于'中等':方法本身极简、依赖开源权重,但缺少官方仓库代码时需要自己按 Algorithm 1 实现切换律,且单卡跑 20B 模型时间成本不低。
论文图表
左半图示意 CFG 的理想线性收敛轨迹(沿原点方向的直线)以及在高引导尺度下出现的强振荡发散路径;右半图示意 SMC-CFG 通过切换-强制机制把系统状态拉到由参数 λ 决定的滑模面(灰色虚线)上,实现鲁棒且快速的指数收敛,红色曲线表示实际收敛轨迹,两侧的箭头代表 sign(s) 的非线性校正力。
这是全文最关键的概念图,把'CFG 在高引导下为何振荡'与'SMC-CFG 为何能稳定收敛'同时压缩到一张 (e,ė) 相平面上,直接对应 Section 3.4 的核心动机与 Equation (18)(19) 的设计目标,读者理解本文的最大入口。
在 Flux-dev 上针对颜色+物体/形状+物体组合 prompt(如 'A black cat and a brown mouse'、'A spherical tennis ball and a conical tennis shoe')的并排对比,显示 Flux-dev 上 SMC-CFG 的复合属性提升。
Table 5 中 Flux-dev 子项的视觉证据,验证方法在不同 backbone 上的一致性。
在 Qwen-Image 上针对位置关系(底部、上方)、颜色+物体组合 prompt 的对比,显示 SMC-CFG 在空间关系与复合属性上的显著提升。
Table 5 中 Qwen-Image 子项的视觉证据,与定量数据中空间关系从 0.2968 跃升到 0.4085 的结论对应。
在 Wan2.2-TI2V-5B 上选取 4 个 prompt(烟花、叉子与刀、河、斑马与长颈鹿),把标准 CFG 与 SMC-CFG 生成的视频以多帧网格形式呈现,SMC-CFG 在运动一致性、闪烁抑制、空间结构保持方面明显优于 CFG。
对应 Section 8.2 视频生成迁移实验,展示方法从图像扩散到视频扩散的可推广性,论证控制论框架的模态无关性。