Calibri：通过参数高效校准增强 Diffusion Transformer

仅调约102个缩放参数，用进化策略校准 DiT 各模块权重，即可显著提升生成质量并加速推理

前置知识

Diffusion Transformer (DiT)

Diffusion Transformer 是将 Transformer 架构用于扩散模型的主干网络，由 Peebles & Xie (2023) 提出。DiT 由一系列顺序堆叠的模块（block）组成，每个模块包含多头自注意力（MHSA）和前馈网络（FFN），并受时间步嵌入调制。标准 DiT 模块的前向过程可以用 $x_{l+1} = x_l + \gamma \cdot FF(\alpha \cdot LN(x_l) + \beta)$ 描述，其中 $\alpha, \beta, \gamma$ 由时间嵌入生成的调制向量控制。MM-DiT（多模态 DiT）在此基础上分别处理文本和视觉 token，通过统一的注意力操作实现跨模态交互。本文的核心发现是这些模块的贡献权重并非最优，可以通过简单的后校准进行改善。

理解 DiT 架构是理解本文的前提。论文的核心观察——DiT 各模块贡献不均匀、禁用某些模块反而提升质量——直接建立在对 DiT 架构组成和前向过程的理解之上。

Flow Matching

Flow Matching 是一种训练生成模型的框架，通过学习从噪声分布到数据分布的连续流（velocity field）来实现生成。与传统的扩散模型逐步加噪/去噪不同，Flow Matching 通过回归目标训练一个 ODE 求解器，学习线性插值路径上的速度场。在推理时，从标准高斯噪声出发，沿学习到的速度场积分即可生成样本。FLUX、Stable Diffusion 3.5 等现代模型均采用 Flow Matching + DiT 的组合，成为当前文生图的新标准。本文研究的所有基线模型（FLUX.1-dev、SD-3.5M、Qwen-Image）都基于 Flow Matching 训练。

Calibri 的校准发生在 Flow Matching 模型的推理阶段，理解 Flow Matching 的生成流程才能理解为什么校准输出缩放因子可以改善生成质量。

Reward Model

Reward Model 是一种训练来预测人类偏好的模型，输入一张图像，输出一个标量分数反映图像质量或与文本描述的匹配程度。本文使用了多个 reward model：HPSv3（Human Preference Score v3）测量整体偏好评分，ImageReward 测量图像奖励值，Q-Align 测量图像质量，PickScore 测量文本-图像对齐度。Reward model 在本文中被用作黑盒优化的目标函数——Calibri 通过 CMA-ES 搜索使 reward model 分数最大化的校准参数，而非直接反向传播梯度。

Calibri 本质上是一个 reward-guided 的后校准方法，reward model 的质量直接决定了校准参数的有效性。论文在 Supplementary Material 中讨论了 reward model 的局限性（如对解剖异常不敏感），这影响了 Calibri 的上限。

CMA-ES（协方差矩阵自适应进化策略）

CMA-ES（Covariance Matrix Adaptation Evolution Strategy）是一种强大的无梯度黑盒优化算法，由 Nikolaus Hansen 等人提出。算法维护一个多元高斯分布 $\mathcal{N}(\mu, \sigma^2 C)$，其中 $\mu \in \mathbb{R}^d$ 是均值向量，$\sigma > 0$ 是步长，$C \in \mathbb{R}^{d \times d}$ 是协方差矩阵。在每次迭代中，从该分布中采样候选解，评估目标函数后，向表现更好的方向更新均值，同时自适应地调整协方差矩阵以反映搜索空间中成功的方向。本文选择 CMA-ES 是因为校准参数约 $10^2$ 个，reward model 的梯度难以获取（涉及离散的采样过程），CMA-ES 能高效地在这种设置下探索参数空间。

CMA-ES 是本文解决校准参数搜索问题的关键技术选择。理解 CMA-ES 的工作原理有助于理解为什么本文能用极少的计算成本（32-356 H100 GPU-hours）找到有效的校准参数，以及为什么可以提前终止训练（sigma 收敛时即可停止）。

研究动机

当前最先进的文生图模型（如 Stable Diffusion 3、FLUX）采用了 Diffusion Transformer（DiT）架构，这些模型由一系列结构相同的 DiT 模块顺序堆叠而成。尽管架构设计是均匀的，但已有研究（如 Stable Flow）发现不同模块对最终生成的贡献差异极大——存在所谓的“关键层”，禁用它们会显著改变输出。然而，现有模型在训练完成后，各模块的输出权重（即 $\gamma$ 调制向量）是固定的，没有针对生成质量进行后校准。一个关键的反直觉发现是：实验表明，通过简单地禁用某些 DiT 模块（将 $\gamma$ 设为 0），生成质量有时反而会提升，说明某些模块在推理时引入了有害的“噪声”或伪影。此外，现有对齐方法（如 RLHF、DPO、DDPO、Flow-GRPO）通常需要微调整个模型的数百万参数，计算成本极其昂贵——例如 Flow-GRPO 需要更新 18.78M 参数。

本文的目标是本文的目标是找到一种极轻量的后校准方法，在不改变 DiT 模型权重的前提下，仅通过学习约 $10^2$ 个标量缩放参数来系统性地提升 DiT 模型的生成质量。具体而言，作者希望：(1) 将校准过程形式化为一个黑盒优化问题；(2) 用无梯度进化策略高效求解；(3) 在多个主流模型上验证方法的普适性；(4) 同时实现推理加速——减少生成高质量图像所需的推理步数。

与已有工作不同的是，本文的独特切入角度是将 DiT 架构的“后校准”（post-hoc calibration）问题与进化策略优化相结合。与以往需要全参数微调的对齐方法（如 Flow-GRPO 更新 18.78M 参数）不同，Calibri 只调整模块输出的缩放因子，将可调参数压缩到 57-482 个。更重要的是，本文发现了三个层次的校准粒度（Block Scaling、Layer Scaling、Gate Scaling），可以根据模型特性和计算预算灵活选择。此外，Calibri Ensemble 的提出将校准后的多个模型进行集成，意外地推广了 Skip Layer Guidance 方法，并实现了推理步数的大幅缩减（从 30-50 步降至 10-15 步）。这种“用极少参数撬动大模型”的思路在扩散模型对齐领域是全新的。

核心方法

Calibri 的核心直觉非常简洁：既然 DiT 模型各模块的贡献不均匀，那么在推理时给每个模块的输出乘以一个可学习的缩放因子，就可以系统性地优化模型表现。直觉上，这相当于在推理阶段对模型各组件进行“音量调节”——把不需要的模块“静音”或“调小”，把重要的模块“调大”。技术路线上，首先通过实验证明这一观察的普适性：在 FLUX 模型上逐层禁用 DiT 模块，发现某些模块禁用后奖励分数反而提高；进一步对每个模块施加不同的缩放系数 $s \in \{0, 0.25, 0.5, 0.75, 1.25, 1.5\}$，发现对于每个模块都存在一个优于原始配置 $s=1$ 的最优缩放系数。基于这些发现，Calibri 将校准问题形式化为一个黑盒优化问题：找到最优的参数向量 $c^*$ 使得奖励函数 $R(c)$ 最大化，然后用 CMA-ES 进化策略求解，最后通过 Calibri Ensemble 进一步整合多个校准后的模型。

Calibri 的核心创新在于将 DiT 的校准问题从“微调模型权重”转变为“调整推理时的缩放因子”，这一转变带来了本质性的差异。传统对齐方法（如 RLHF、DPO、Flow-GRPO）需要更新模型的数百万参数，而 Calibri 仅需优化 $10^2$ 量级的标量系数。具体而言，对于一个有 $L$ 个模块的 DiT 模型，标准的校准输出为 $\omega \cdot f_\theta(x, t, p)$，其中 $c = \omega \cup \{s_i\}_{i=1}^L$ 是所有校准参数的集合。这里 $\omega$ 是输出级校准权重，$\{s_i\}$ 是内部层的校准参数。Calibrated model 不改变原始模型的任何权重，只在推理时对每层输出乘以一个系数，这使得校准后的模型可以零成本地“撤销”——只需将所有系数重置为 1 即可恢复原始模型。与 Flow-GRPO（更新 18.78M 参数）相比，Calibri 在 SD-3.5M 上只需更新 216 个参数即可达到可比的性能提升。

方法步骤详情

Calibri 的完整流程分为三个阶段。**第一阶段：确定校准粒度**。根据 DiT 架构的特点，选择三种粒度之一：(1) Block Scaling（模块级）：对同一个 DiT block 内的注意力和前馈层使用相同的缩放系数 $s_i$，参数数量为 $L$（模块总数）；(2) Layer Scaling（层级）：对 block 内的每个层（注意力层和前馈层）分别施加不同的缩放系数，参数数量为 $2L$；(3) Gate Scaling（门控级）：在 MM-DiT 等多模态架构中，对视觉 token 和文本 token 的门控分别施加不同的缩放系数，参数数量更多但精度更高。**第二阶段：CMA-ES 搜索最优参数**。将校准参数 $c \in \mathbb{R}^{L+1}$ 作为搜索变量，用 CMA-ES 算法迭代搜索：每次迭代从多元高斯分布 $\mathcal{N}(\mu, \sigma^2 C)$ 中采样候选解，用 reward model（如 HPSv3）评估候选解的质量，更新分布的均值向量和协方差矩阵。具体设置为：初始 $\sigma=0.25$，候选解数量为 $4 + \lfloor 3 \ln d \rfloor \approx 20 \pm 3$，bucket size=16，图像分辨率 512，推理步数 15。**第三阶段：Calibri Ensemble（可选）**。将 $N$ 个用不同校准参数校准后的模型集成：$f^F_{\{c_i\}}(x, t, p) = \sum_{i=1}^{N} \omega_i f_{\theta_{s_i}}(x, t, p)$，其中 $\omega_i$ 是第 $i$ 个模型的权重。当 $N=2$ 且使用 Block Scaling 时，Calibri Ensemble 推广了 Skip Layer Guidance 方法。

技术新颖性

Calibri 在技术上的新颖性体现在多个方面。首先，它首次系统性地揭示了 DiT 模型存在“次优加权”问题——即训练完成后各模块的输出权重并非生成最优的，这一发现本身具有重要的理论价值。其次，将推理时缩放因子的搜索形式化为黑盒优化问题并用 CMA-ES 求解，避免了梯度计算的困难（reward model 涉及离散采样过程，梯度不易获取），同时实现了极低的参数更新量（$10^2$ vs $10^7$）。第三，三种层次的校准粒度（Block/Layer/Gate）为不同场景提供了灵活的选择：Block Scaling 收敛最快（200 次迭代），Gate Scaling 精度最高（960 次迭代），Layer Scaling 在性能和速度间取得平衡。第四，Calibre Ensemble 的理论贡献在于：当 $N=2$ 使用 Block Scaling 时，它等价于 Skip Layer Guidance 的推广形式，建立了训练免费引导方法与参数校准方法之间的理论联系。最后，Calibri 的一个意外发现是校准还能大幅减少推理步数——这暗示 DiT 模型在标准推理配置下存在大量冗余计算。

**Figure 1**: Introducing Calibri – a parameter-efficient method for diffusion transformer alignment. By optimizing only ~10^2 parameters, Calibri significantly enhances the model's generation quality.

**Figure 2**: Illustration of DiT architectural components.

**Figure 4**: Illustration of calibration parameter search procedure.

**Figure 11**: Comparison of CMA-ES and Flow-GRPO performance in optimizing Calibri coefficients.

**Figure 12**: CMA-ES algorithm optimizes Calibri coefficients for layer scale FLUX.

实验结果

论文的实验结果非常全面且具有一致性。在 **不同模型的普适性** 方面，Table 2 展示了 Calibri 在三个主流模型上的一致改进：FLUX 的 HPSv3 从 11.41 提升至 13.48（+18.1%），SD-3.5M 从 11.15 提升至 14.10（+26.5%），Qwen-Image 从 11.26 提升至 12.95（+15.0%），同时推理步数大幅减少（FLUX 30→15，SD-3.5M 80→30，Qwen-Image 100→30）。在 **校准粒度** 方面，Table 1 显示 Gate Scaling 在 HPSv3 上达到最高分 13.48，但 Layer Scaling 在多个指标上更均衡（HPSv3=13.41, IR=1.24），且训练速度快 2.3 倍（410 vs 960 次迭代）。在 **推理加速** 方面，Figure 6 显示 Calibri Ensemble 将 FLUX 的最优推理步数从 30-50 步压缩到 10-15 步，实现约 2-3.3 倍的推理加速。在 **人类评估** 方面，Table 3 报告了 200 名用户、5600 次评估的大规模实验：Calibri 在整体偏好上以 51.87% vs 40.80%（FLUX）和 54.62% vs 37.47%（Qwen-Image）显著优于原始模型。在 **与 Flow-GRPO 的对比** 中，Table 4 显示 Calibri 用 216 个参数（vs 18.78M）在 PickScore 指标上达到了可比性能（23.07 vs 23.13）。值得注意的是，Calibri 可以与 Flow-GRPO 叠加使用，进一步提升已对齐模型的性能。

**Table 1**: Comparison of various granularity levels for internal-layer calibration applied to the Flux model.

**Table 2**: Quantitative evaluation of generation quality improvements across various baseline models.

**Table 3**: Human evaluation: Calibri vs. Baselines win rates %.

**Table 4**: Comparison of Calibri and Flow-GRPO on SD-3.5M.

**Table 6**: Comparison of Generation Diversity for SD-3.5M Optimized by Calibri and Flow-GRPO.

**Table 7**: Quantitative comparison of Calibri layer scale on Flux across different reward models.

**Figure 5**: Quantitative comparison of various granularity levels for internal-layer calibration applied to the Flux model.

**Figure 6**: Comparison between Calibri Ensemble and original model across several inference steps.

**Figure 7**: Qualitative evaluation of generation quality improvements across various baseline models.

**Figure 8**: Qualitative comparison of Calibri and Flow-GRPO on SD-3.5M.

**Figure 10**: Illustration of Calibri with different rewards as objective.

查看结构化数据

任务	指标	本文	基线	提升
FLUX 文生图	HPSv3	13.48 (Gate Scaling, 15 NFE)	11.41 (原始模型, 30 NFE)	+18.1%, 推理步数减半
SD-3.5M 文生图	HPSv3	14.10 (Gate Scaling, 30 NFE)	11.15 (原始模型, 80 NFE)	+26.5%, 推理步数减少 62.5%
Qwen-Image 文生图	HPSv3	12.95 (Gate Scaling, 30 NFE)	11.26 (原始模型, 100 NFE)	+15.0%, 推理步数减少 70%
FLUX 文生图	ImageReward	1.18 (15 NFE)	1.15 (30 NFE)	+2.6%
SD-3.5M 文生图	Q-Align	4.91 (30 NFE)	4.74 (80 NFE)	+3.6%
SD-3.5M 对齐 (PickScore 目标)	PickScore	23.07 (216 params)	Flow-GRPO: 23.13 (18.78M params)	参数量减少 87000 倍，性能相当

局限与改进

论文的局限性主要体现在以下几个方面。**Reward model 的局限性**（作者明确承认）：如 Supplementary Material Figure 9 所示，当前 reward model 对解剖异常（如多余手指、肢体变形）不敏感，这导致 CMA-ES 可能选出在人类看来有明显缺陷的校准参数，校准效果的上限受限于 reward model 的准确性。**计算成本**：虽然校准是一次性离线成本（32-356 H100 GPU-hours），但对于资源有限的研究者来说仍然不菲；同时 Gate Scaling 的 960 次迭代和 150 GPU-hours 对于快速迭代实验来说偏慢。**搜索空间的选择**：论文探索了三种粒度，但未涉及更细粒度的 head-level 或 token-level 校准，也未探索非线性的校准函数（如分段线性或仿射变换），这可能限制了进一步的性能提升。**多样性影响**：虽然论文声称 Calibri 保持了生成多样性（Dino Diversity 约 0.20），但这是在 SD-3.5M 上的单一实验，其他模型上的多样性影响未知。**泛化性**：所有实验都在 512 分辨率下进行，更高分辨率（1024+）下的表现未经验证；评估 prompt 来自固定的 T2I-Compbench++ 和 HPDv3 测试集，在更开放的场景中的泛化能力有待验证。此外，本人观察到论文未讨论校准参数在不同 prompt 分布上的迁移性——在一组 prompt 上校准的参数在另一组 prompt 上是否仍然有效，这一点缺乏实验支撑。

独立分析的弱点

基于对论文的独立分析，我识别出以下几个具体的弱点。**弱点 1：缺乏 prompt 间的迁移性分析**。Calibri 在 T2I-Compbench++ 的训练集上校准参数，在 HPDv3 测试集上评估，但未报告校准参数在不同风格、领域或难度的 prompt 上的泛化能力。如果校准参数高度依赖于特定 prompt 分布，那么方法的实用价值会大打折扣。改进方向：在多个不同分布的测试集上进行跨域评估，或研究是否可以学习 prompt 条件化的校准参数。**弱点 2：校准函数过于简单**。当前校准仅为逐层乘以标量，相当于线性缩放。对于某些模块，可能需要更复杂的变换（如偏移 $\alpha x + \beta$ 或门控 $\sigma(g) \cdot x$）才能达到最优。改进方向：探索更丰富的参数化形式，同时控制参数量增长。**弱点 3：缺乏与推理时计算图优化方法的对比**。如 Attention Reranking、Token Pruning 等方法也能在推理时提升效率，论文未与这些方法进行对比。**弱点 4：Calibrate Ensemble 的理论分析不够深入**。虽然论文指出 $N=2$ 时 Calibri Ensemble 推广了 Skip Layer Guidance，但缺少对 $N>2$ 时 ensemble 多样性与性能关系的理论分析。

未来方向

论文提出和启发的未来研究方向包括：(1) **Reward model 的改进**：作者在 Supplementary Material 中明确指出 reward model 对解剖异常的不敏感是 Calibri 的主要瓶颈，未来更先进的 reward model 可以直接提升 Calibri 的上限。(2) **与其他对齐方法的结合**：Table 4 已经展示了 Calibri 与 Flow-GRPO 的叠加效果，未来可以探索与更多对齐方法（如 DPO、DDPO）的组合。(3) **自动选择校准粒度**：目前粒度选择依赖人工实验，未来可以研究根据模型架构和计算预算自动选择最优粒度的方法。(4) **扩展到视频生成**：论文指出 DiT 架构已扩展到视频生成（如 WAN），Calibri 的思路可以直接应用于视频扩散模型的校准。(5) **在线校准**：当前校准是离线完成的，未来可以研究在推理过程中动态调整校准参数（如根据 prompt 复杂度自适应调整）。(6) **校准与剪枝的结合**：既然禁用某些模块可以提升质量，那么校准系数接近 0 的模块可以直接剪枝，实现真正的模型压缩。

复现评估

论文的可复现性较好。**开源情况**：论文提供了项目主页（https://v-gen-ai.github.io/Calibri-page/），但未在正文中明确说明是否开源代码。**数据可用性**：使用了公开的 T2I-Compbench++ 和 HPDv3 测试集作为 prompt 来源，reward model（HPSv3、ImageReward、Q-Align、PickScore）均为公开可用的模型，评估环境可完全复现。**算力需求**：校准成本从 32 到 356 H100 GPU-hours 不等，对于 FLUX Block Scaling 的最小配置（32 GPU-hours）来说相对可行，但对于 SD-3.5M Gate Scaling（356 GPU-hours）则需要相当的计算资源。**复现难度**：CMA-ES 算法有成熟的开源实现（pycma），校准过程本身只涉及模型推理和 reward 评估，不涉及梯度计算，实现难度较低。论文的详细方法描述（包括 CMA-ES 的超参数设置：$\sigma_0=0.25$、bucket size=16、图像分辨率 512、推理步数 15）为复现提供了充分的信息。主要的复现障碍在于需要加载多个大型 DiT 模型（FLUX、SD-3.5M 等）并运行 CMA-ES 迭代，需要较大的 GPU 显存和计算时间。

Calibri：通过参数高效校准增强 Diffusion Transformer Calibri: Enhancing Diffusion Transformers via Parameter-Efficient Calibration