跟随均值：参考引导的流匹配生成

用参考样本均值漂移控制预训练流匹配模型

前置知识

流匹配（Flow Matching）

流匹配是连续时间生成范式，学习速度场 $u_t(x)$ 把噪声分布 $p_0$ 输送到目标 $p_1$。线性插值下 $u_t(x)=(\mu_t(x)-x)/(1-t)$，其中 $\mu_t(x)=\mathbb{E}[x_1\mid x_t=x]$ 是端点均值。

本文核心机制——改变速度场只需改变端点均值——正是建立在流匹配这一闭式表达之上，读者必须先理解端点均值对动力学的支配作用。

端点均值（endpoint mean）

在给定当前噪声状态 $x_t$ 时，对真实数据点 $x_1$ 的后验期望 $\mu_t(x)=\mathbb{E}[x_1\mid x_t=x]$。对高斯桥它有显式加权闭式解 $\hat{\mu}_t(x)=\sum_n w_t^{(n)}(x)x^{(n)}$，权重由 softmax 给出。

整个论文把端点均值作为"控制旋钮"——只需替换这个均值的参考对象，就能把生成流引向新分布，无需重训网络。

交叉注意力（cross-attention）

Transformer 用 query 关注 key/value 的机制。SPG 用它把参考集聚合为锚点 $\bar{x}=\sum_m \alpha_m x^{(m)}$，$\alpha$ 由 $q_\theta(x_t), k_\theta(x^{(m)})$ 学到，替代闭式 softmax。

半参数化方法 SPG 用交叉注意力替代闭式 softmax 权重，使参考集可作为条件输入端到端训练，是论文从闭式方法走向可学习架构的桥梁。

FLUX rectified flow

FLUX 是基于 rectified flow 的潜变量文生图模型，其前向过程使用线性插值桥，因此本文的关键恒等式 $u_t(x)=(\mu_t(x)-x)/(1-t)$ 原生成立，$\mu_\theta^t(x)=x+(1-t)u_\theta^t(x)$ 可从速度直接恢复端点均值。

RMG 之所以能以零训练成本挂载到 FLUX.2-klein (4B) 上，正是依赖这一闭式关系；理解这一点是看懂 4B 模型实验的前提。

可控生成（controllable generation）

在保持预训练生成器大体能力的同时，对输出施加额外约束（颜色、身份、风格、姿势、构图等）。主流做法分三类：微调/适配器、分类器或奖励引导、测试时搜索，各有代价。

本文的对照基准（Prompt Opt、Best-of-N、SMC、ReNO）以及 GenEval 任务设计都围绕这一概念，读者需要清楚本文定位在"第三种替代品"。

研究动机

当前对预训练生成模型施加控制的方法都有明显短板：微调和适配器（如 LoRA、ControlNet）每换一个目标就要改一组参数，难以快速迭代；分类器/奖励引导（CFG、ReNO）依赖外部分类器或奖励模型，需要额外交互和梯度计算；测试时搜索（Prompt Optimization、Best-of-N、SMC）虽然不改参数，但要做多轮采样、筛选甚至 per-prompt 优化，推理开销通常达到基线的 4×–19.4×（如表 1 中 ReNO 19.44× 时间、4× NFE）。三类方法在"无额外训练、无辅助网络、无测试时搜索"三点上无法同时满足，对结构正确性（如手部姿势、剪影、构图）这种缺乏简单标量代理的约束更显无力，因为 VLM 也难以可靠判断手势或四肢深度顺序是否符合目标形状。

本文的目标是本文提出"参考引导流"（reference-guided flows）框架，目标是为预训练流匹配模型提供一种新控制接口：在不修改任何参数、不引入辅助网络、不进行测试时搜索的前提下，仅通过更换一个参考样本集 $R=\{x^{(1)},\dots,x^{(M)}\}$，就能把生成方向从训练分布 $p_1$ 平滑推向目标分布 $\rho_1$，从而实现颜色、身份、风格乃至结构属性的精确控制，且推理开销仅为基线的 1×。

与已有工作不同的是，本文的独特切入点是抓住确定性插值下"速度场 = 端点均值 / (1-t)"这一恒等式，认识到控制问题等价于改变端点均值 $\mu_t(x)$，而 $\mu_t(x)$ 又有显式加权闭式解。这意味着参考集不需要是目标分布的完美代表，只要能让均值往期望方向偏移即可——控制信号来自数据本身而非奖励函数或分类器，已有工作中无人把这一观察系统化为引导方法，本文首次把它同时实例化为训练免费版（RMG）和可学习版（SPG）两条路径。

核心方法

方法核心直觉：流匹配的速度场 $u_t(x)=(\mu_t(x)-x)/(1-t)$ 完全由端点均值 $\mu_t(x)$ 决定，换掉均值参考来源就能改写整个流的走向。基于此给出两种实现：训练免费的 Reference-Mean Guidance（RMG）通过闭式权重把参考集 $R$ 聚合成参考端点均值 $\hat{\mu}_t^\rho(x)$，再用 $\beta_t$ 与预训练均值混合，得到引导速度 $u_t^\pi(x)\approx u_t^\theta(x)+\beta_t(\hat{\mu}_t^\rho-\mu_t^\theta)/(1-t)$，可直接挂到冻结的 FLUX.2-klein (4B) 上；可学习的 Semi-Parametric Guidance（SPG）用交叉注意力生成显式锚点 $\bar{x}$，再加带门控的残差细化器 $f_\theta$，通过 leave-one-out 目标训练，让参考集在测试时可整体替换。

与已有方法最本质的区别在于：微调改的是参数 $\theta$，分类器引导用的是外部标量信号 $s(x)$，搜索方法用的是延迟聚合（多次采样+筛选）。本文改的是数据——一个参考集 $R$ 直接充当端点均值的"软锚"。由于 $\hat{\mu}_t^\rho$ 是参考集元素的 softmax 加权和，这一均值天然带有方向性但又不强制复制内容，从而绕开了"复制参考图"和"过拟合奖励"两类陷阱；SPG 进一步通过 stop-gradient 残差训练分离了"锚定参考"与"修正残差"两个角色，使参考集可作可交换的条件输入。

方法步骤详情

RMG 步骤：(1) 准备 $M=20$ 张参考图，用冻结 VAE 编码到潜空间；(2) 每步用预训练模型算速度，由 $\mu_\theta^t(x)=x+(1-t)u_\theta^t(x)$ 反解端点均值；(3) 用 softmax 权重 $w_t^{(n)}\propto\exp((tx^\top x^{(n)}-\tfrac{1}{2}t^2\|x^{(n)}\|^2)/(1-t)^2)$ 算参考端点均值 $\hat{\mu}_t^\rho(x)=\sum_n w_t^{(n)}x^{(n)}$；(4) 插值得引导速度 $u_t^\pi=u_\theta^t+\beta_t(\hat{\mu}_t^\rho-\mu_\theta^t)/(1-t)$；(5) 沿引导速度场积分至 $t=1$，prompt、种子、权重全程冻结。SPG：(1) $R$ 与 $x_t$ 经交叉注意力得锚点 $\bar{x}=\sum_m\alpha_m x^{(m)}$；(2) 门控合成 $\mu_\theta^t=(1-g_t)x_t+g_t\bar{x}+\alpha_t f_\theta(\bar{x},x_t,t)$；(3) 用 $\mathcal{L}_\mu$（leave-one-out）与 $\mathcal{L}_{ref}$（stop-gradient 残差）联合训练。

技术新颖性

技术新颖性体现在三点：(a) 把"端点均值即控制界面"从直觉变成可计算引导公式——$\hat{\mu}_t^\rho$ 是参考集的闭式 softmax 聚合，不需要训练、不需要梯度、不需要额外模型求值；(b) 给出了几何混合与算术混合两种构造路径，并证明它们在标量 $\beta_t$ 近似下得到一致的引导规则，理论依据比单纯启发式更强；(c) SPG 通过 leave-one-out + stop-gradient 残差目标让 Transformer 自然学到"以参考集为锚、以数据残差为补"的可分解结构，等价于把闭式公式变成可学习的注意力算子，同时保留了推理时换参考集的能力——这一点是普通 RAG 检索方法做不到的，因为后者把参考当作上下文而非控制信号。

**Figure 2**: Two-Moons 分布上的参考均值引导实验：固定模型，仅改变参考集中类别比例（15% vs 85%）。

实验结果

实验分四层。第一层 Two-Moons（$N=500$）：固定模型，仅改参考集中类别比例（15% vs 85%），流场轨迹整体偏移、吸引子随参考移动，证明端点均值确实是因。第二层 FLUX.2-klein (4B)：固定 prompt、种子、权重，仅替换 $M=20$ 张参考图，"elephant in a jungle"可在大象→粉色/蓝色大象间切换，"a cat"可在写实→工作室/Van Gogh 间切换；几何控制（锁孔、horns 手势、跳马）的最近邻对比显示 RMG 注入先验而非复制内容。第三层 GenEval：RMG 总均值 91.17 vs 基线 80.10，最大提升在 Position +28.75（65.25→94.00）、Attribution +16.50，且仅用 1× 时间、1× NFE、零外部模型调用，远优于 ReNO（19.44×、4×）。第四层 AFHQv2 的 SPG：FID 23.26 vs DiT-B/4 23.11、KID 0.013 vs 0.012、IS 6.227 vs 6.554，三项几乎一致，参考集整体替换会系统性改变生成类别比例。

**Table 1**: GenEval 基准对比：FLUX.2-klein (4B) 基线、搜索方法、梯度方法与本文 RMG。

**Figure 3**: FLUX.2-klein (4B) 上的参考集替换实验：四个 prompt × 两个参考集，prompt 与种子固定。

**Figure 4**: FLUX.2-klein 上的结构控制定性对比：锁孔轮廓、手势 horns、跳马 ring leap。

**Figure 5**: SPG 在 AFHQv2 上的无条件质量与可控性：(a) FID/KID/IS 表 (b) 生成猫比例随参考集组成的变化曲线。

查看结构化数据

任务	指标	本文	基线	提升
GenEval 综合得分	Mean Accuracy (%)	91.17	80.10 (FLUX.2-klein 4B)	+11.07
GenEval 双物体生成	Two-object Accuracy (%)	99.49	91.41	+8.08
GenEval 位置控制	Position Accuracy (%)	94.00	65.25	+28.75
GenEval 属性绑定	Color Attribution (%)	75.25	58.75	+16.50
GenEval 颜色	Colors Accuracy (%)	90.16	84.84	+5.32
AFHQv2 无条件 FID	FID (lower is better)	23.256	23.111 (DiT-B/4)	−0.145（略高，质量持平）
AFHQv2 KID	KID	0.013	0.012	−0.001（基本持平）
AFHQv2 IS	Inception Score	6.227	6.554	−0.327（小幅下降）
GenEval 推理效率	相对墙钟时间 / NFE	1.02× / 1× NFE	ReNO 19.44× / 4× NFE	约 19× 加速、4× 少算函数评估

局限与改进

作者明确承认三点局限：(1) 参考集质量直接决定输出质量，噪声大或分布不均的 $R$ 会把伪影带进生成结果——尤其 RMG 容易把参考里的背景、构图等"干扰相关"也一并迁移；(2) 大规模参考集下闭式 softmax 的计算成本会膨胀，需要子采样或近似检索辅助；(3) 当前只验证了图像模态，扩展到视频、3D、音频需要针对桥接结构做域适配。另外从实验数据看也存在隐含限制：FLUX.2-klein 上的"结构控制"（锁孔、手势、跳马）只有定性展示，没有定量评估；Two-Moons 上 85% 类的流动虽偏移，但吸引子并未完全跨过决策边界，说明引导强度 $\beta_t$ 的调度对极端目标分布仍有边界；SPG 的 IS 从 6.554 降到 6.227，提示参考锚点对样本多样性略有折损。AFHQv2 上的实验也只在三类动物（猫/狗/野生）间测试，泛化到 ImageNet 这种大规模类目是否仍能保持 FID 持平尚未验证。

独立分析的弱点

独立分析有以下可改进处：(1) RMG 对参考集元素做无差别 softmax 加权，没有参考质量评估机制，坏样本会被同样聚合进去，改进方向是引入参考打分加权或选择先验。(2) FLUX.2-klein 上的"结构控制"完全靠定性图 4 撑场，缺乏可复现指标，可考虑引入 pose estimation 或 silhouette IoU 做端到端度量。(3) RMG 在 4B 模型上每步需重算 softmax over $M$，对高分辨率潜空间 $O(Md)$ 开销随 $M$ 线性增长，难以扩展到 $M\geq 100$，可用 FAISS 仅取 top-k 或核近似。(4) SPG 的 leave-one-out 训练假设参考条件 i.i.d.，但实际参考集常有隐性聚类，可引入条件独立正则或参考集 dropout。(5) GenEval 主表缺少对参考规模/多样性的消融，虽在附录 E 给出但未突出。

未来方向

作者给出的未来方向包括：(1) 把参考均值漂移范式推广到视频、3D、音频等其它模态；(2) 设计自动化参考集选择算法（剪枝、检索、合成）以应对 RMG 计算开销；(3) 把参考集构建为负责任生成的安全护栏——参考集可审核、可追溯，这一点在限制滥用上有先天优势。基于本文成果还可在以下方向延伸：(a) 把参考集当作"风格原型库"进行检索增强的风格化生成，融合 RAG 与引导机制；(b) 在多模态大模型中把参考集当作 in-context 示例，让文生图/文生视频在推理时支持 few-shot 风格迁移；(c) 把"端点均值即控制界面"的视角推广到 diffusion 和 consistency model，检验是否同样成立；(d) 探索 SPG 与人类反馈强化学习的结合，让参考集本身成为偏好信号——人只需提供喜欢的样本集合而非显式奖励函数；(e) 把 $\beta_t$ 调度学习化为可训练模块，让每个参考集自动寻找最优强度曲线。

复现评估

本文可复现性较好：作者明确在脚注放出代码仓库 https://github.com/pedrocurvo/follow-the-mean；预训练模型使用公开发布的 FLUX.2-klein (4B) 和 DiT-B/4 架构；AFHQv2 是公开数据集；实验在 Dutch national e-infrastructure / Snellius 超级计算机上完成，意味着硬件门槛在多节点 GPU，但 RMG 本身只需单卡推理即可（$M=20$, 20-step sampler，1× 时间开销）；SPG 训练涉及 DiT-B/4 级别的参考条件训练，参考 Section C.1/C.2 可较完整复现；GenEval 评估使用标准 prompt 集。复现难点主要在 (i) FLUX.2-klein 的 VAE 与扩散栈版本对齐、(ii) Two-Moons 实验中软后验权重的实现细节、(iii) RMG 在不同分辨率下的引导强度 $\beta_t$ 调度需要按附录 E 重新调参——这些都不在主仓库显眼位置，需要读 Section C 与 E 才能完全对齐。

跟随均值：参考引导的流匹配生成 Follow the Mean: Reference-Guided Flow Matching