SALD：面向扩散模型的自参考优势学习训练框架 SALD: Self-Referenced Advantage Learning for Diffusion Models
同一扩散模型在易/难两个噪声水平自评，用相对误差优势自适应重加权样本、噪声间隔与频域权重
前置知识
流匹配与速度预测
流匹配将干净图像潜码 $x_0$ 与噪声 $\epsilon$ 线性插值 $z_t=(1-t)x_0+t\epsilon$，网络 $v_\theta(z_t,t,c)$ 预测速度场 $u=\epsilon-x_0$，损失为加权 MSE；推理时从纯噪声沿速度场积分还原图。SANA、PixArt-Σ、Flux 等现代文生图模型均采用此范式。
SALD 的 easy/hard 双路径直接建立在噪声水平 $t_e<t_h$ 的两个插值状态上，所有残差 $r$ 和优势 $A_i$ 都定义在速度预测误差之上，不理解流匹配的噪声-插值机制就无法读懂方法部分的公式。
优势函数与自参考信号
源自强化学习，衡量当前行为相对参照基准好多少，如 $A_i=\ell_h-\ell_e$。本文不使用外部教师或示范数据，而是让同一模型在更容易的条件下（低噪声）自评作内部参照，用两条路径误差之差作为训练信号，思想类似语言模型中的 SDFT/SDPO 自蒸馏微调。
论文标题即“自参考优势学习”，整个方法的核心就是把 RL 中的 advantage 思想迁移到扩散训练：AGD、TAM、SAD 三个组件全部围绕这一个相对误差信号在样本、时间、频谱三个维度展开。
停止梯度（stop-gradient）
$\mathrm{sg}(\cdot)$ 阻断梯度回传但保留数值。SALD 只对 easy 参考做停止梯度，hard 路径可微，故 $\nabla_\theta A_i=\nabla_\theta\ell_{h,i}$。消融显示若让权重 $\omega_i$ 也回传梯度，模型会“操纵加权”而非改进预测（COCO FID 从 29.31 恶化到 30.05）。
分清哪些分支被 detach 是理解 SALD 优化行为、它与自蒸馏的本质区别、以及 Theorem 1 收敛性证明适用范围的关键。
谱偏置与功率谱
神经网络天然先学低频（平滑）结构、后学高频（细节）结构，称为谱偏置或频率原则。二维实 FFT 可把残差图分解到频率域，功率谱 $P=|\mathcal{F}(r)|^2$ 度量各频率的能量；注意功率谱丢弃了携带空间位置的相位信息，因此只能回答“哪些频率难”，无法回答“哪里难”。
SAD 组件完全基于两条路径残差功率谱之差构建频域权重，理解谱偏置才能明白为什么要强调高频残差，以及作者为何谨慎地称 $M_i$ 为“频率导出的潜元素权重”而非像素级误差图。
指数滑动平均（EMA）与课程学习
EMA 以 $m\leftarrow\alpha m+(1-\alpha)A$ 平滑单次观测噪声。课程学习按难度由易到难安排训练，但经典课程难度固定，会随模型进步失效。TAM 结合两者：每样本维护 EMA 难度记忆，动态调节噪声间隔 $\delta_i$，形成持续演化的自适应课程。
TAM 是三大组件中唯一跨时间维度的，其记忆更新和间隔调节公式是方法细节中最依赖预置知识的部分，也解释了为什么单独使用 TAM 时效果最弱。
研究动机
标准流匹配/扩散目标在时间权重 $w(t)$ 之外，对所有训练样本和所有潜空间元素一视同仁地平均梯度，但训练难度实际上差异巨大：一张纯色背景的干净人像可能早早学会、损失趋零，继续投入更新收益有限；而含反射、细小文字、重叠物体的杂乱街景可能长期困难。同时网络存在谱偏置，天空、墙面等平滑低频结构先被学会，发丝、羽毛纹理、镜面高光、小字等高频细节长期滞后，而 MSE 把整个残差压成一个标量，完全看不出哪些频段还有大误差。均匀加权因此把有限的优化预算持续花在已学会的信号上，在领域微调阶段尤其浪费。现有补救各自为政：EDM、P2、SD3 等噪声级加权只按时间步/信噪比给所有样本同一规则；噪声选择工作证明不同噪声实例价值不等但不维护难度的持续估计；课程学习依赖固定难度排序；频域方法只处理频谱不平衡。
本文的目标是论文想回答一个统一问题：扩散模型能否在不借助外部教师网络、示范数据集或反馈数据的前提下，自己构造一个“更容易的参照”，并据此自适应地调整训练——跨越更难的样本、提示词、噪声水平和视觉频率？具体拆解为三个子问题：(i) 当前哪些样本是困难的（样本级重加权）；(ii) 每个样本的 easy-to-hard 噪声间隔应该多大（跨时间的自适应课程）；(iii) hard 路径的残差在哪些频率上仍然很大（频谱级权重分配）。方法还需满足严格约束：只用一套模型参数、训练和推理均不引入额外可训练参数或教师模型、不改变推理流程，并能跨 SANA、PixArt-Σ、Flux.2 等架构通用。
与已有工作不同的是，语言模型领域最近证明单模型可通过在示范或反馈增强的上下文中自评获得训练信号（SDFT、SDPO），但这无法直接迁移到扩散模型：扩散训练既没有上下文示范，也没有反馈条件的输出分布可供蒸馏，且训练状态来自规定的加噪过程而非自回归 rollout。SALD 的独特切入是：用同一图文对在两个噪声水平下的两次前向构造“相对难度”信号——关键在于 easy 路径的预测只充当参照来构造权重，而绝不作为蒸馏目标，从而既借用了自参考原则，又避开了教师-学生框架的额外参数开销。与现有工作的分界也很清晰：AGD 相对全局时间步加权是逐样本的，TAM 相对固定课程是自适应演化的，SAD 相对架构级频域改造是不动网络和采样器的对比式方案。
核心方法
直觉上，SALD 让模型每次迭代对同一图文对“做一道简单版和一道困难版的题”：低噪声的 Path A（容易，$t_e$ 小）在 no_grad 下前向，只产生参照误差 $\ell_e$；高噪声的 Path B（困难，$t_h=t_e+\delta_i$）保留计算图，提供训练梯度。两者的加权误差差 $A_i=\ell_{h,i}-\mathrm{sg}(\ell_{e,i})$ 就是优势，衡量“噪声变大后这个样本变得多难”。这个标量经 sigmoid 归一化为批内和恒为 1 的样本权重（AGD）；其历史 EMA 反过来调节未来评估的噪声间隔，形成逐样本课程（TAM）；两条路径残差的功率谱之差经门控和逆 FFT 变成频域导出的潜元素权重（SAD）。最终损失为 $L_{SALD}=\frac{1}{B}\sum_i\omega_i\ell_i^{SAD}$，其中 $\ell_i^{SAD}=\frac{1}{D}\sum_{p=1}^{D}M_{i,p}\,r^2_{h,i,p}$。全程只有一套模型参数，只有 hard 路径存储反向图，推理流程完全不变。
核心创新是“参照不是目标”。与自蒸馏把 easy 路径的预测蒸馏给 hard 路径不同，SALD 明确不包含任何把 hard 预测匹配到 easy 预测的损失项——easy 路径的输出预测从不进入损失，只有其标量误差 $\ell_e$ 和残差功率谱 $P_e$ 作为参照，用于构造自适应权重。这带来三个本质区别：其一，原始预测目标保持不变，优化问题的解空间没变，改变的只是梯度在样本间和频率间的分配方式；其二，相对误差比绝对误差稳健得多——消融中把 $A_i$ 换成绝对损失 $|\ell_a|$ 后收益几乎坍缩（MAGICK FID 从 36.74 退化到 36.95，1024² 下最严重），证明有效的信号是“相对难度”而非损失大小；其三，批内归一化 $\omega_i=Bq_i/\sum_j q_j$（$q_i=\sigma(A_i/\tau)$）保证 $\sum_i\omega_i=1$，只重排样本间相对重要性而不放大整体梯度规模，且 $\omega_i$ 保持对 hard 路径可微。
方法步骤详情
单个训练步（Algorithm 1）：第一步，按课程取基础间隔 $\delta_{base}(s)$——前 $K$ 步从 1 线性升到 $\Delta_{max}$，之后均匀采样；第二步，TAM 调制每样本实际间隔 $\delta_i=\mathrm{clip}(\delta_{base}(s)(1+\lambda\tanh(m_i)),1,\Delta_{max})$，历史困难的样本获得更大间隔；第三步，LogitNormal 采样噪声水平得 easy 索引 $k_a$ 与 hard 索引 $k_b=k_a+\delta_i$，用独立噪声 $\epsilon_a,\epsilon_b$ 构造两个含噪潜码；第四步，同一模型两次前向——easy 路径 no_grad，hard 路径带梯度——得残差 $r_a,r_b$；第五步，SAD 对残差做 2D 实 FFT 得功率谱 $P_e,P_h$，谱优势 $S_i=P_h-\mathrm{sg}(P_e)$ 经门控 $G_i=\sigma(S_i/\tau_s)$、逆 FFT 投回潜域并归一化（均值近似 1）得 $M_i$；第六步，AGD 计算 $A_i=\ell_b-\mathrm{sg}(\ell_a)$ 并归一化为批内权重 $\omega_i$；第七步，TAM 以数值方式更新记忆 $m\leftarrow\alpha m+(1-\alpha)A$，无梯度图；最后对 $\omega_i\ell_i^{SAD}$ 求平均并反向传播。整个流程中只有 easy 参照被停止梯度，$\omega_i$ 与 $M_i$ 均保持对 hard 路径可微，梯度严格按公式回传；TAM 是非训练缓冲区，不参与反向传播。每步仅需两次前向、一次反向（easy 路径不存计算图），这解释了约 25% 额外训练开销的来源。
技术新颖性
其一，AGD 的优势信号来自同一模型、同一样本、两个噪声水平的自比较：EDM 类方法用全局时间步权重，SRA 用表征自引导，而把“easy-to-hard 相对误差”做成可微样本权重是新的；消融中 Cross-Batch 变体（用另一批样本作参照）只有部分收益（COCO FID 30.18 vs 29.31），证明同样本跨噪声对比严格强于跨样本对比。其二，TAM 把一次性优势扩展为跨训练历史的持续课程，用非训练缓冲区反馈调节噪声间隔，是自适应课程学习在扩散噪声维度上的新用法。其三，SAD 用对比谱残差构建频域权重但施加在潜域，不改架构、采样器或加噪过程，并诚实指出功率谱丢相位、$M_i$ 只是“频率导出的潜权重”。理论上 Theorem 1 证明了含可微权重的目标在固定记忆下满足 $\frac{1}{J}\sum_s\mathbb{E}\|\nabla F_m(\theta^s)\|^2\le 2\frac{F_m(\theta^0)-F^{m,\star}}{\eta J}+L\eta\nu^2$，并刻画了门控 $G_i(u)>\frac{1}{2}\iff P_h(u)>\mathrm{sg}(P_e(u))$。
实验结果
主实验覆盖 4 架构（SANA 0.6B/1.6B、PixArt-Σ 0.6B、Flux.2 Klein 4B）、7 数据集、2 分辨率，统一在 RTX A6000、bf16、10k 步微调。512² 分辨率（Table 1）：SALD 几乎全面领先 SpeeD、Temporal Diff、SRA——SANA 1.6B 在 COCO 上 FID 由 26.49 降至 22.76、CLIP 升至 26.88，Flowers 降至 27.37，CUB 降至 18.16；SANA 0.6B 在 COCO 降至 29.31、Flowers 降至 25.83。1024²（Table 2）：SANA 0.6B 在 DALL·E 3 1M 上 FID 14.68→11.98、CLIP 29.96→31.06；Flux.2 Klein FID 14.11→10.85。消融（Table 3）：单组件中 AGD 最强，AGD+SAD 是最佳两两组合，完整 SALD 显著更低，证明非冗余协同；τ=0.5、α=0.90、Δmax=250 均呈 U 型敏感。等 wall-clock（Table 5）：SALD 10k 步仍优于基线 12.5k 步。推理效率（Table 6）：SANA 0.6B 的 SALD 用 15 步 FID 25.54 优于 Base 20 步的 30.64，省 25% 采样步数。10 倍训练（Table 7，至 100k 步）：MultiGen 上优势稳定在 2.58，排除了基线欠训练的解释。从模式上看，改进的幅度与数据的领域距离相关：在细粒度（鸟、花）与跨分布（MultiGen 用 COCO 验证集测）场景中 FID 降幅最大，说明把梯度预算重新分配给“长期困难”的样本和频率，恰恰在最需要细节的地方兑现为质量收益；而 CLIP 分数的提升相对温和，说明方法主要改善保真度而非语义对齐。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文本到图像生成（COCO 2017，512²，SANA 1.6B） | FID↓ | 22.76 | Base 26.49；最强基线 SpeeD 25.38 | 较 Base 降低 3.73，较最强基线降低 2.62 |
| 文本到图像生成（Oxford 102 Flowers，512²，SANA 0.6B） | FID↓ | 25.83 | Base 30.64；最强基线 SRA 29.72 | 较 Base 降低 4.81（约 15.7%） |
| 文本到图像生成（CUB-200，512²，SANA 1.6B） | FID↓ | 18.16 | Base 21.63；最强基线 Temporal Diff 20.72 | 较 Base 降低 3.47 |
| 文本到图像生成（DALL·E 3 1M，1024²，Flux.2 Klein 4B） | FID↓ | 10.85 | Base 14.11；最强基线 SRA 13.44 | 较 Base 降低 3.26（约 23.1%） |
| 文本-图像对齐（DALL·E 3 1M，1024²，SANA 0.6B） | CLIP↑ | 31.06 | Base 29.96；最强基线 SRA 30.73 | 较 Base 提升 1.10 |
| 推理步数压缩（Oxford Flowers，SANA 0.6B） | FID↓（15 步 vs 20 步） | 25.54（SALD，15 步） | 30.64（Base，20 步） | 少用 25% 采样步数仍低 5.10 |
| 等训练时长对比（CUB-200，SANA 1.6B） | FID↓（SALD 10k 步 vs 基线 12.5k 步） | 18.16（10k 步） | 20.61（Temporal Diff，12.5k 步） | 少 20% 训练步数仍低 2.45 |
| 长程训练持续性（MultiGen-20M，SANA 1.6B，100k 步） | FID↓ | 22.12 | 24.70 | 10 倍训练后优势保持 2.58 不消失 |
局限与改进
作者在附录 E 承认：(1) easy 参考路径使每步训练开销增加约 25%，虽等时长实验表明可补偿，但缓存旧 checkpoint 参考会因参数漂移失效；(2) TAM 每样本存一个标量，内存随数据集线性增长，且样本被重访时才更新，在 web 级数据上课程效果会减弱；(3) 实验仅覆盖预训练流匹配模型的微调，未验证从头训练；(4) 收敛分析只在固定 TAM 记忆状态下成立，记忆在线变化的目标漂移未分析；(5) DDPM 扩展只有公式推导无实验；(6) 未测试视频、3D 等模态。我的补充：CLIP 提升普遍较小（多在 0.1–1.1），文本对齐证据弱于 FID；理论误差下界 $L\eta\nu^2$ 非零，且平滑性、无偏性等假设对含 sigmoid 加权的实际网络未验证（Remark 5 明确承认）；Δmax、τ 的 U 型敏感意味着跨模型迁移仍需调参。
独立分析的弱点
(1) 约 25% 的额外前向开销在大模型上代价显著——Flux.2 4B 在 1024² 下单次前向 6953 GFLOPs；可研究低分辨率或部分通道的近似 easy 路径、隔步更新优势。(2) TAM 逐样本记忆在单遍大数据上失效：样本只见到一两次时 EMA 无历史可积累（作者亦承认）；可按文本嵌入聚类共享组级难度统计，或训练轻量难度预测器从标题估计 $m_i$。(3) SAD 因功率谱丢相位无法空间定位误差，只能称“频率导出的潜权重”；保留复数谱或相位对齐的谱对比可构建真正空间化误差图。(4) 优势 $A_i$ 依赖两组独立噪声，单次估计方差大，且 $\delta_i$ 经 round/clip 离散化使课程粒度粗糙；可引入方差缩减技术或连续化间隔。(5) CLIP/LPIPS 改进微弱，高频细节证据主要来自定性图，缺人类偏好评估（如 ImageReward）与分频段误差的定量分析来支撑 SAD 的频谱故事。每个弱点都有明确改进抓手，说明方法仍有较大迭代空间。
未来方向
作者明确提出的方向：降低 easy 路径的训练开销（缓存或近似参考）；用组级、聚类或压缩的难度统计降低 TAM 内存并提高更新频率，适配 web 级数据；验证从头训练场景；用实验验证 DDPM 噪声预测目标的扩展（附录 B 只给了公式）；扩展到视频、3D 等其他生成模态；以及突破固定记忆状态的收敛分析——对 $(\theta_s,m_s)$ 联合状态建模或控制记忆更新导致的目标漂移。基于本文成果可自然延伸的方向：(1) 把自参考优势原则迁移到一致性蒸馏或 RLHF 后训练中，充当无教师的质量信号；(2) 与噪声选择方法（Qi et al. 2024）正交结合——TAM 调间隔、噪声选择挑实例，两者作用于不同自由度；(3) 利用 TAM 难度记忆做数据筛选与主动学习，识别长期高优势的顽固样本；(4) SAD 的频域门控推广到视频的时空频谱或 v-prediction 等其他参数化；(5) 理论上分析 advantage 可微权重对损失景观平稳点位置的影响——Remark 4/5 承认 SALD 与基线的平稳点未必相同，这既是潜在风险，也是值得研究的新问题。
复现评估
复现难度中等偏低，工程量集中在训练循环的损失重加权。有利因素：不改架构与推理流程，AGD/TAM/SAD 各约几十行代码；Algorithm 1 伪代码给出完整单步流程；关键超参完整披露——τ=0.5、α=0.90、Δmax=250、500 步 warmup、bf16、梯度裁剪 1.0、按架构区分的学习率（SANA 1e-4、PixArt 2e-5、Flux.2 1e-5）、guidance 4–5；模型全部开源可得（SANA、PixArt-Σ、Flux.2 Klein 均在 HuggingFace），七个数据集全公开（80/20 划分）。不利因素：论文未提供官方代码链接；FID 样本数、LogitNormal 采样细节需自行确认；TAM 需要 $N$ 维稳定样本索引缓冲，DataLoader 须提供固定索引。算力上主实验在 RTX A6000（48GB）级完成，10k 步加 25% 开销，中小实验室可承受；1024² 的 Flux.2 4B 需更多显存。总体：凭伪代码、超参表与公开数据足以复现核心结论，熟悉扩散微调的工程师约 1–2 周可在 SANA 0.6B/COCO 上验证数量级。
论文图表
展示 SALD 微调后的 SANA 0.6B 在 1024×1024 分辨率下生成的多张样例图像，作为开篇效果预告，涵盖人像、场景等题材，呈现高频细节与语义一致性。
作为论文的第一印象图，直观说明该方法在不改推理流程的前提下能产出视觉质量明显提升的高分辨率图像，为后续定量结果建立直观预期。
在相同随机种子下对比 Base 与 SALD 于 CUB-200、Oxford 102 Flowers、MAGICK、DALL·E 3 1M 的生成样例（SANA 1.6B 与 PixArt-Σ），展示结构连贯性、细粒度纹理与语义保真的提升。
固定种子的对照排除了采样随机性的干扰，是公平性最强的定性证据；覆盖细粒度（鸟、花）与高分辨率（MAGICK、DALL·E 3）两类分布。
六个消融案例：Case 1 单组件（AGD 30.95 / SAD 31.02 / TAM 30.98）、Case 2 两两组合（AGD+SAD 最佳 30.56）、Case 3 温度 τ（0.5 最优）、Case 4 EMA 系数 α（0.90 最优）、Case 5 最大间隔 Δmax（250 最优）、Case 6 核心设计决策（绝对损失、固定 δ、关闭 detach、12 步、跨批优势等反事实），最终完整 SALD 29.31/36.74 对 Uniform 基线 31.59/38.59。
全文最信息量大的表格：逐项验证每个组件与每个设计决策的必要性，U 型超参敏感性以及“相对性、detach、warmup 不可或缺”的结论全部来自这里。
单个训练步的完整伪代码（29 行）：从课程得到基础间隔 δ_base，经 TAM 记忆调制出每样本间隔 δ_i；LogitNormal 采样噪声水平构造 easy/hard 两路输入；同一模型 no_grad 与带梯度两次前向；SAD 由谱优势生成权重 M_i，AGD 由损失差生成样本权重 ω_i；TAM 以数值方式更新记忆；最后加权平均得 L_SALD 并反向传播。
方法部分最可操作的呈现：所有符号、detach 位置与更新顺序在此完全确定，是复现者的主要依据，也澄清了“唯一停止梯度的只有 easy 参照”这一核心实现细节。