HyperAlign：基于超网络的扩散模型高效测试时对齐 HyperAlign: Hypernetwork for Efficient Test-Time Alignment of Diffusion Models
用超网络动态生成LoRA权重，在推理时高效引导扩散模型生成轨迹朝向人类偏好对齐
前置知识
扩散模型对齐（Diffusion Model Alignment）
扩散模型在大规模网络数据上训练，其生成结果不一定符合人类的审美偏好或文本语义一致性。对齐（Alignment）的目标是让生成的图像既忠于用户的文本提示（prompt），又具有较高的视觉质量和美学吸引力。通常通过奖励模型（如 HPSv2、PickScore）来量化人类偏好，然后优化生成模型使其输出获得更高的奖励分数。对齐方法主要分为微调方法（如 RL、DPO）和测试时方法（如梯度引导）。
本文的核心就是解决扩散模型对齐问题，理解现有对齐方法的分类和各自优缺点是理解本文动机的前提。
LoRA（Low-Rank Adaptation）
LoRA 是一种参数高效的模型微调方法。它冻结预训练模型的原始权重 $W$，只训练两个低秩矩阵 $A \in \mathbb{R}^{d_{in} \times r}$ 和 $B \in \mathbb{R}^{r \times d_{out}}$，其中秩 $r \ll \min(d_{in}, d_{out})$。推理时将增量 $\Delta W = AB$ 加到原始权重上，即 $W' = W + \alpha \cdot AB$，其中 $\alpha$ 是缩放因子。LoRA 的参数量远小于全量微调，且可以随时卸载或切换。
HyperAlign 的核心机制就是让超网络动态生成 LoRA 权重来调制生成模型，理解 LoRA 的低秩分解和注入方式是理解本文技术细节的关键。
超网络（Hypernetwork）
超网络是一种特殊的神经网络，其输出不是预测值或分类结果，而是另一个网络（主网络）的权重参数。给定输入条件，超网络动态生成主网络的权重或权重增量，实现输入特定的模型适配。超网络的核心思想是将「为每个输入学习一个模型」的问题，转化为「学习一个能为任意输入生成合适模型参数」的问题。这使得推理时只需一次前向传播就能获得输入特定的适配，而无需昂贵的迭代优化。
本文的框架名称 HyperAlign 就来源于超网络，理解超网络的「生成权重」范式是理解本文方法如何实现高效测试时对齐的基础。
测试时计算（Test-Time Computing/Scaling）
测试时计算是指在推理阶段投入额外计算资源以获得更好生成结果的策略。在扩散模型中，典型方法包括：基于采样的方法（如 Best-of-N 搜索，生成多个候选后选择最优）和基于梯度的方法（如 FreeDoM、DyMO，在每个去噪步骤计算奖励梯度来引导生成轨迹）。这些方法能针对每个具体输入进行个性化对齐，但代价是显著增加推理时间和计算开销。
本文的目标就是在保留测试时方法的输入特定适应性的同时，大幅降低其计算开销。理解现有测试时方法的工作方式和效率瓶颈，才能理解 HyperAlign 的设计动机。
去噪轨迹（Denoising Trajectory）
扩散模型的生成过程是一条从纯噪声 $x_T$ 到干净图像 $x_0$ 的迭代去噪轨迹 $\{x_t\}_{t=T}^{0}$。在每个时间步 $t$，模型预测噪声或分数函数，将当前的带噪潜变量 $x_t$ 更新为 $x_{t-1}$。这条轨迹的每一步都影响最终生成质量。轨迹的不同阶段有不同的动态特性：早期步骤负责粗略结构构建（潜变量变化大），后期步骤负责细节精修（潜变量变化小且稳定）。
HyperAlign 的核心思想就是「引导去噪轨迹」，通过在每个时间步注入动态生成的 LoRA 权重来调整轨迹方向。理解去噪轨迹的阶段特性也是 HyperAlign-P 分段策略的设计依据。
研究动机
扩散模型对齐存在一个根本性的两难困境。一方面，微调对齐方法（如 RLHF、DPO、GRPO 等）通过修改模型参数来优化奖励，但面对的是一个固定的参数集合，无法适应每个具体的用户输入（文本提示 + 初始噪声的组合）。这导致两个严重问题：(1) 奖励过度优化（reward hacking），模型为了刷高代理奖励分数而牺牲生成多样性和视觉质量；(2) 泛化能力有限，固定的微调参数无法覆盖所有可能的输入组合。实验表明，DanceGRPO 和 MixGRPO 等方法虽然提升了奖励分数，但生成结果趋向单一风格甚至单一身份（见论文 Table 3，LPIPS 相似度从 0.538 降到 0.390，DINO 相似度从 0.746 升到 0.839）。另一方面，测试时对齐方法（如 FreeDoM、DyMO）通过在推理时计算梯度来针对每个输入进行个性化对齐，但代价极高：在 SD V1.5 上单张图推理需要 25-250 秒，在 DiT 架构的 FLUX 上更是需要数分钟。而且这些方法仅对瞬时奖励信号做出反应，缺乏对去噪过程全局动态的理解，容易出现奖励欠优化（reward under-optimization）。
本文的目标是本文的目标是设计一个框架，同时获得微调方法的效率和测试时方法的输入特定适应性。具体而言，HyperAlign 希望：(1) 在推理时为每个具体的输入提示和去噪状态动态生成适配参数，实现输入特定的轨迹引导；(2) 推理开销极小，接近原始模型的推理时间（SD V1.5 上从 3 秒仅增加到 5 秒，FLUX 上从 15 秒增加到 20 秒）；(3) 通过偏好数据正则化缓解奖励过度优化，保持生成多样性；(4) 通用适用于扩散模型和流匹配模型（如 FLUX）。
与已有工作不同的是，HyperAlign 的独特切入角度在于：它不直接修改潜变量状态（如梯度引导方法），也不微调整个模型参数（如 RL 方法），而是训练一个超网络来动态生成轻量级的 LoRA 适配权重。这一视角的关键洞察是：对齐后的分数函数 $\nabla_{x_t} \log \tilde{p}_{\theta,R}(x_t|c)$ 可以看作原始预训练模型分数函数的一个变体，因此可以通过对原始模型施加参数调整来实现。超网络吸收了奖励信号的学习知识，在推理时只需一次前向传播就能生成输入特定、时间步特定的 LoRA 权重，将昂贵的测试时优化摊销为高效的前馈操作。此外，作者观察到去噪过程的阶段性动态特性（图 4 的曲率分析），据此设计了分段生成策略 HyperAlign-P，在关键时间步才更新 LoRA 权重，进一步提升效率。
核心方法
HyperAlign 的核心思想可以用一个类比来理解：如果把扩散模型比作一个画家在画布上逐步作画，那么传统的测试时对齐方法就像是有一个艺术评论家在每一步都给出修改建议（梯度引导），这很慢且只看到当前一步；而微调方法则像是画家事先学会了一种固定风格，但无法针对每幅画的具体内容做调整。HyperAlign 的做法是训练一个「艺术总监」（超网络），这位总监能根据当前的画作状态、画作要求（文本提示）和作画进度（时间步），即时为画家调配合适的「画笔技巧」（LoRA 权重），让画家在保持自己基础能力的同时，针对每幅画做出个性化的调整。技术路线是：给定文本提示 $c$、当前去噪状态 $x_t$ 和时间步 $t$，超网络 $h_\psi$ 生成一组 LoRA 权重增量 $\Delta\theta_t = h_\psi(x_t, c, t)$，将其注入冻结的预训练模型的注意力层（to.q, to.k, to.v, to.out），修改每个去噪步骤的分数函数为 $s_{\theta+\Delta\theta_t}$，从而引导整条生成轨迹朝向目标奖励方向。
HyperAlign 与已有方法最本质的区别在于它选择在「模型参数空间」而非「潜变量空间」进行轨迹引导。测试时梯度引导方法（如 FreeDoM、DyMO）直接在潜变量 $x_t$ 上施加奖励梯度，这相当于在每一步计算 $\nabla_{x_t} R(x_0|t,c)$ 并加到潜变量更新中，但这种方式只能看到瞬时奖励信号，且每步都需要反向传播计算梯度。HyperAlign 则完全不同：它通过超网络生成 LoRA 权重来修改模型本身的参数，使得修改后的模型在每个去噪步骤自然地输出朝向奖励方向的分数函数。这意味着：(1) 对齐知识被「学习」到超网络的参数中，而非依赖瞬时梯度；(2) 推理时只需一次前向传播生成 LoRA 权重，无需反复计算梯度；(3) 超网络的输入包含了当前状态 $x_t$、提示 $c$ 和时间步 $t$，实现了输入特定和状态感知的动态适配。此外，为了处理不同模块的维度差异，作者引入了辅助矩阵分解：将每个模块的 LoRA 权重分解为 $A_i = A_i^{aux} A_i^{hyper}$，$B_i = B_i^{hyper} B_i^{aux}$，其中辅助矩阵是模块特定的可学习参数，而超网络只需生成统一维度的 $A_i^{hyper}$ 和 $B_i^{hyper}$。
方法步骤详情
HyperAlign 的完整流程分为训练和推理两个阶段。**训练阶段**：(1) 从偏好数据集中采样文本提示 $c$ 和对应的优选图像 $x_0$；(2) 前向扩散过程生成带噪潜变量 $x_t$；(3) 将 $x_t$、时间步 $t$ 和提示嵌入 $c$ 输入超网络的感知编码器（使用预训练 U-Net 的下采样块作为编码器），提取特征 $F$；(4) 特征通过线性层投影为上下文特征，输入 Transformer 解码器（4 层标准 Transformer 块），解码器接收零初始化的 token 和上下文特征，输出 LoRA 权重 $\Delta\theta_t$；(5) 将生成的 LoRA 权重注入冻结的预训练模型的 128 个注意力模块（SD V1.5）或 192 个模块（FLUX），执行一步去噪得到 $x_{t-1}$；(6) 重复步骤 3-5 直到生成完整图像 $x_0$；(7) 计算奖励损失 $\mathcal{L}_R = -R(x_0|t,c)$ 和正则化损失 $\mathcal{L}_G$（鼓励对齐后的分数函数接近偏好数据的真实分数），反向传播更新超网络参数。**推理阶段**：给定用户提示，超网络在每个去噪步骤（HyperAlign-S）、仅在起始步骤（HyperAlign-I）或在关键时间步（HyperAlign-P）生成 LoRA 权重，注入预训练模型后执行标准去噪采样。HyperAlign-P 的关键时间步基于去噪动态的曲率分析确定（SD V1.5 为 0%、5%、20%，FLUX 为 0%、5%、10%）。
技术新颖性
HyperAlign 的技术新颖性体现在三个层面。首先，它首次将超网络引入多步扩散模型的对齐问题。此前的 HyperNoise 只能用于蒸馏的单步模型（如 SD-Turbo），通过预测初始噪声来实现对齐，但将其适配到多步模型时会因为长链反向传播导致内存爆炸和生成伪影。HyperAlign 通过生成 LoRA 权重而非初始噪声，巧妙地避免了这一问题——每个时间步的 LoRA 权重直接作用于当前步骤，不需要跨整个去噪链传递梯度。其次，HyperAlign 将对齐问题重新表述为「轨迹引导」（trajectory steering），并通过参数空间而非潜变量空间来实现，这使得对齐知识可以被学习和摊销，而非依赖瞬时的奖励梯度。第三，分段生成策略 HyperAlign-P 基于去噪动态的曲率分析来确定关键时间步，利用了「去噪过程不同阶段行为不同但同阶段内相似」的观察，这比均匀分段更高效且效果更好（Table 12 显示 HyperAlign-P 优于均匀 3 段的 HyperAlign-US3，与均匀 10 段的 HyperAlign-US10 相当）。
实验结果
HyperAlign 在多个维度上展现了显著优势。**在对齐质量方面**，基于 SD V1.5 的 HyperAlign-S 在 Pick-a-Pic 数据集上的 HPS 分数为 0.2957，超越所有基线方法，包括最佳测试时方法 DyMO（0.2944）和最佳微调方法 DanceGRPO（0.2925）。基于 FLUX 的 HyperAlign-S 更是取得 HPS 0.3611 的最佳成绩，比 DanceGRPO（0.3527）提升 2.4%，比 MixGRPO（0.3460）提升 4.4%。在美学分数方面，FLUX 上的 HyperAlign-S 达到 6.853，大幅超越 DanceGRPO 的 6.706。**在 GenEval 语义一致性基准上**，SD V1.5 上的 HyperAlign 总分 0.52，比次优的 DyMO（0.50）高出 4%，尤其在颜色属性（0.24 vs 0.14）和位置关系（0.09 vs 0.05）上提升显著。FLUX 上的 HyperAlign 总分 0.70，超越 DanceGRPO 的 0.68。**在多样性保持方面**，HyperAlign 的 LPIPS 相似度为 0.497，DINO 相似度为 0.751，远优于 DanceGRPO（0.466/0.774）和 MixGRPO（0.390/0.839），表明其不会像 RL 方法那样导致生成结果坍缩。**在推理效率方面**，SD V1.5 上 HyperAlign-S 仅需 5 秒/张（原始 3 秒），HyperAlign-P 为 4 秒，HyperAlign-I 为 3 秒；FLUX 上 HyperAlign-S 为 20 秒（原始 15 秒），而 DyMO 需要 300 秒，ε-greedy 需要 1100 秒。**在用户研究中**，100 名参与者对 100 个提示的评估显示，HyperAlign 在总体偏好（40.6%）、视觉吸引力（36.0%）和提示对齐（36.0%）三个维度上均获得最高得票率。**在蒸馏模型上**，HyperAlign 在 SD-Turbo 和 FLUX-Schnell 上也优于 HyperNoise，且随着推理步数增加优势更明显（SD-Turbo 四步推理：HPS 0.3176 vs 0.3032）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SD V1.5 - Pick-a-Pic 对齐质量 | HPSv2 | 0.2957 (HyperAlign-S) | 0.2944 (DyMO) | +0.44% |
| FLUX - Pick-a-Pic 对齐质量 | HPSv2 | 0.3611 (HyperAlign-S) | 0.3527 (DanceGRPO) | +2.4% |
| FLUX - Pick-a-Pic 美学质量 | Aesthetic Score | 6.853 (HyperAlign-S) | 6.760 (MixGRPO) | +1.4% |
| FLUX - Pick-a-Pic 推理效率 | Time (seconds/image) | 20s (HyperAlign-S) | 300s (DyMO) | 15x faster |
| SD V1.5 - GenEval 语义一致性 | Overall Score | 0.52 (HyperAlign) | 0.50 (DyMO) | +4.0% |
| FLUX - GenEval 语义一致性 | Overall Score | 0.70 (HyperAlign) | 0.68 (DanceGRPO) | +2.9% |
| FLUX - 多样性保持 | LPIPS ↑ | 0.497 (HyperAlign) | 0.466 (DanceGRPO) | +6.7% |
局限与改进
尽管 HyperAlign 取得了优异表现，仍存在以下局限。首先，论文仅在 SD V1.5（512×512）和 FLUX.1.Dev（720×720）上进行了验证，未涉及视频生成或多模态扩散模型，其在这些场景下的适用性尚不清楚。其次，超网络本身的参数量并不小（SD V1.5 上 0.4B，FLUX 上 0.6B），虽然推理时只增加少量延迟，但训练需要 8-12 个 H100 GPU 小时，这对资源有限的研究者构成一定门槛。第三，正则化损失 $\mathcal{L}_G$ 中的超参数 $\eta_t$ 如何随时间步变化没有详细说明，这可能影响方法的鲁棒性。第四，论文承认早期去噪步骤中预测的干净数据存在模糊性，导致奖励信号不准确——虽然正则化损失在一定程度上缓解了这一问题，但并未完全解决。第五，用户研究仅在 FLUX 上进行，且每个参与者需要在 100 个提示上做评估，可能存在疲劳效应。此外，论文未讨论 HyperAlign 在极端或对抗性提示（如 NSFW 内容）上的行为，考虑到其优化人类偏好的目标，这是一个值得关注的安全维度。
独立分析的弱点
从独立分析的角度，HyperAlign 有以下几个值得关注的弱点。(1) **奖励模型依赖性**：整个框架的对齐质量高度依赖代理奖励模型的质量。论文主要使用 HPSv2 作为奖励模型，而 HPSv2 本身存在已知的偏差和局限。如果奖励模型无法准确捕捉人类偏好，HyperAlign 生成的 LoRA 权重可能会引导生成朝向错误方向。改进方向是引入多个异构奖励模型的集成，或使用基于人类反馈的在线学习来持续校准。(2) **LoRA 权重的冗余性**：超网络为每个时间步生成完整的 LoRA 权重集（128 或 192 个模块），但图 11 显示相邻时间步的 LoRA 权重变化是渐进的。这意味着早期和后期时间步的 LoRA 权重可能存在高度冗余，可以通过时间步间的权重插值或缓存机制进一步降低计算开销。(3) **辅助矩阵的学习效率**：每个模块的辅助矩阵 $A_i^{aux}$ 和 $B_i^{aux}$ 是独立学习的，这在模块数量很多时（如 FLUX 的 192 个模块）可能不够高效。可以考虑引入跨模块的参数共享或层次化结构来减少辅助矩阵的参数量。(4) **缺乏与潜变量引导方法的组合**：HyperAlign 与传统的分类器自由引导（CFG）是正交的，论文使用固定 CFG 系数（SD V1.5 为 7.5，FLUX 为 3.5），但未探索动态 CFG 与 LoRA 权重的协同优化。
未来方向
作者在结论中提到未来将进一步增强动态适应性并开发更轻量的超网络设计。基于本文成果，可以延伸出以下研究方向：(1) **自适应分段策略**：当前 HyperAlign-P 的分段边界基于离线的曲率分析固定，可以探索在线的自适应分段，在推理过程中根据实时的去噪动态决定何时更新 LoRA 权重。(2) **多目标对齐**：当前框架使用单一奖励模型，可以扩展为多奖励联合优化，同时优化美学、语义一致性、多样性等多个目标。(3) **视频和 3D 扩展**：将 HyperAlign 的轨迹引导思想扩展到视频扩散模型和 3D 生成模型，利用超网络为不同的时间帧或视角生成协调的适配权重。(4) **个性化对齐**：结合用户个人偏好数据，让超网络学习特定用户的审美风格，实现千人千面的生成对齐。(5) **与推理加速的结合**：探索 HyperAlign 与一致性模型（Consistency Models）或蒸馏方法的结合，在保持对齐质量的同时进一步压缩推理步数。
复现评估
论文的复现条件相对明确。**开源情况**：论文提供了项目主页（hyperalign.github.io），但正文和附录中未明确提及代码是否开源。**数据集**：使用的偏好数据集 Pick-a-Pic 和 HPD 均为公开数据集，测试使用的 Pick-a-Pic（1K 提示）、GenEval（2K 提示）、HPD（500 提示）和 Partiprompt（1K 提示）也是公开可获取的。**算力需求**：训练超网络需要 4 张 NVIDIA H100 GPU，SD V1.5 训练 8 小时，FLUX 训练 12 小时，内存占用约 70-81 GB。这对大多数学术实验室来说是可以负担的，但对个人研究者可能有一定门槛。推理时仅需 1 张 GPU，与原始模型相同。**复现难度**：超网络的架构描述相对清晰（感知编码器 + 4 层 Transformer 解码器 + 辅助矩阵分解），训练细节（学习率 1e-5、AdamW 优化器、batch size 16/4）也在附录中给出。但超网络训练涉及通过冻结的预训练模型反向传播梯度，这在实现上需要仔细处理梯度流和内存管理。总体复现难度中等偏上。
论文图表
