探索式建模：解锁第三个预训练缩放轴与端到端生成 Explorative Modeling: Unlocking a Third Pretraining Axis and End-to-End Generation
训练时探索K个候选并训练最优者，为生成模型新增缩放轴并实现端到端生成
前置知识
多模态分布（Multimodal Distribution）
这里的多模态指的是概率分布有许多不同的峰（mode，即概率密度的高点），而不是指文本/图像等不同模态的数据。生成模型的核心难题就是要捕获这种多峰分布：一句“生成一只狗”没有唯一正确答案，而是有数十亿甚至无穷多张合法的狗图，每张对应一个峰。当模型用单次预测去逼近多个合法目标时，重构损失的最优解是这些目标的均值，而均值往往落在真实数据流形之外，对应一张模糊的、不像任何真实样本的图。
整篇论文的出发点就是：现有可扩展生成模型之所以要把生成过程切分成很多步，正是为了规避这种“模式模糊”。理解多峰分布才能理解为什么探索式建模能直接提升生成表达性。
重构式生成模型与耦合（Reconstructive Models & Coupling）
生成模型分两大族：对比式（GAN、能量模型）和重构式。重构式模型把自产的输入（如噪声或被腐蚀的样本）映射回一个显式的数据目标，包括自回归、扩散、流匹配等，是目前扩展性最好的一族。把输入与它应该映射到的目标配对，称为耦合（coupling）。难点在于耦合事先未知，同一个输入会被随机配对到很多合法目标，这种一对多耦合就是模式模糊的根源。探索式建模的Forward/Reverse两种变体本质上就是在不同方向上重新求解这个耦合。
论文聚焦的是重构式模型。要读懂“为什么探索K个候选就能解决耦合问题”，必须先理解耦合的随机配对如何导致模糊。
模式强制（Mode Forcing）
模式强制是本文的理论基础，其核心论点是：现代生成建模的本质是设计一个重构目标，使损失最小化能捕获各个模式而不是把它们平均掉。每个可扩展的重构模型都靠把生成过程分解成一系列更小、近似单峰的步骤来“躲过”模糊——自回归模型一次预测一个元素，扩散模型每步只做小幅去噪。本文正是把这套理论转化为预测：如果分解生成是为了提供“生成表达性”，那么用探索在训练时提供它，就能替代生成分解。
本文大部分结果是模式强制理论先预测、实验后验证的（FID/FVD随探索单调提升、随规模增长、与生成分解可替换）。不懂模式强制就读不懂论文的逻辑主线。
生成表达性（Generative Expressivity）
生成表达性是本文提出的新概念，定义为某个训练目标的损失最小化能在任意数据分布上保留的最大条件模式数。形式上 $\mathcal{E} \triangleq \sup_{p_*, c}\, \sup_{\theta^* \in \arg\min_\theta L(\theta)} M(P_{\theta^*}(\cdot | c))$。直接回归器的生成表达性 $\mathcal{E}=1$：即使参数和数据无限，最优输出仍是所有模式的模糊均值。它和参数规模、数据量并列，是第三个被忽略的缩放轴——前两个随规模扩展而它由训练目标固定。探索K个候选能把 $\mathcal{E}$ 提升到至少K。
这是论文的灵魂概念，“为什么探索是一个新缩放轴”的全部论证都建立在生成表达性这个量上。
端到端生成（End-to-End Generation）
端到端生成指训练时的采样方式与推理时完全一致，模型在推理时不会被暴露于训练时没见过的输入。这正是AlexNet以来深度学习成功的关键性质：避免分布偏移和曝光偏差（exposure bias），避免误差在多步外推中累积。可现有可扩展生成模型都不是端到端的——扩散模型训练时预测单个去噪步，推理时却迭代数百步，每步误差都喂给下一步，越走越偏出训练分布。论文要做的就是把生成建模也带入端到端范式。
论文的第二个大目标就是“使重构式生成完全端到端”。理解端到端的价值才能理解为什么Explorative Policy用1次前向就能匹敌Diffusion Policy的100步。
扩散模型与流匹配（Diffusion / Flow Matching）
扩散模型通过逐步去噪从噪声生成数据，流匹配把它建模成从噪声分布到数据分布的连续流，训练目标是学习速度场。本文所有连续域实验的扩散模型都用流匹配目标训练。Jumpy模型把扩散/流推广：通过改变步数（jump数），在直接端到端回归（1跳）和连续时间流（无穷多跳）之间插值——跳数越少越端到端、生成表达性越低，跳数越多反之。这使得Jumpy成为研究“探索与生成分解可替换性”的天然工具。
论文在Diffusion/Flow和Jumpy两个模型族上做实验，XDiffusion、XJumpy、XRAE等命名都建立在它们之上。
Best-of-K 与 Forward/Reverse 探索
探索式建模最简形式就是训练时的best-of-K：每个训练步生成K个候选样本，只在最接近数据的那一个上回传梯度，形式为 $L(\theta)=\min_{i\in\{1,..,K\}} J(\hat{y}_i, x)$。Forward XM固定数据目标、探索K个生成（侧重召回/覆盖，代价是计算随K增长）；Reverse XM固定一个生成、搜索K个数据点 $L_{Reverse}=\min_i J(\hat{y}, x_i)$（侧重精度，便宜且能处理大K，但有模式坍缩风险）。两者可组合使用。
这是方法的全部技术内核，所有实验都是在这个简单机制上加在现有模型上。
研究动机
现有可扩展的生成模型都不是端到端的。以扩散模型为例，它训练时只预测单个去噪步，推理时却被展开成数百步；自回归模型训练时预测单个token，推理时却像循环网络一样滚上千个预测的token。每步的误差都会喂给下一步，使输入漂移出训练分布并不断累积（曝光偏差）。这一切的根因在于：生成建模本质上要处理多峰概率分布，而现有可扩展方法都靠“分解生成过程”来回避模式模糊——把生成切成很多近似单峰的小步。直接做端到端回归则会把多个模式平均成一个落在真实流形之外的模糊均值，对应不上任何真实样本（直接回归器的生成表达性 $\mathcal{E}=1$）。即便是最强的当代模型，对分类器无关引导（CFG）和自引导（autoguidance）的严重依赖，本身就是模式模糊的证据：它们靠把样本推离条件均值来“锐化”。于是核心问题变成：既然分解生成会阻止端到端，那还能分解什么？
本文的目标是本文有两个具体目标。其一，为现有生成模型新增一条独立于参数和数据的预训练缩放轴——直接提升生成表达性。因为生成表达性由训练目标固定、不随参数和数据扩展，当它成为瓶颈时，单纯堆参数和堆数据也无济于事；作者想证明探索能单调提升性能，且收益随规模增长而非饱和。其二，把这种新机制用到极限，实现完全端到端的重构式生成——训练时怎么采样、推理时就怎么采样，从而消除曝光偏差与训练-推理失配。在效果上，端到端的探索式模型要以单次前向（1 NFE）匹敌需要上百步的扩散基线。
与已有工作不同的是，论文的独特切入角度来自一个简洁的二分：生成模型只有两个过程可分解——它如何生成（采样）和它如何训练（训练循环）。既然分解生成会阻止端到端，那就改去分解训练循环本身。具体做法是每个训练步探索K个“生成与数据之间可能的配对”，只训练最匹配的那一个。这与分解生成是可替换的：分解生成是为了供给生成表达性，而探索在训练时直接供给同样的量。这把“寻找每个隐变量（如噪声）该对应哪个数据点”这一本来需要立方复杂度最优传输的问题，转化为基于模型自身样本的搜索，绕开了minibatch OT的偏差，并能随训练协同进化。
核心方法
探索式建模（XM）的直觉极简：训练时的best-of-K。每个训练步，模型生成K个候选样本并与数据比较，只对最接近的那一个回传梯度（算法1的for循环）。其目的是把损失最小化点从“数据样本的均值”挪到“真实数据样本本身”，因为对大多数数据来说，样本均值并不在数据流形上。在此基础上，作者区分两个方向：Forward XM固定数据目标、探索K个生成（保证覆盖全分布，偏召回，代价是计算随K增长）；Reverse XM固定一个生成、搜索K个数据点（偏精度、几乎不增加FLOPs、适合大K，但偏模式寻优、有坍缩风险，需配合熵项或覆盖约束）。两者的大K平滑形式分别为 $\min KL(p_*\|p_\theta)+H(p_*)$ 与 $\min KL(g_\theta\|p_*^\sigma)+H(g_\theta)$，其中模型密度 $p_\theta(x)=(g_\theta*k_\sigma)(x)$。整个机制可叠加到现有扩散/流/Jumpy模型之上，对部分、掩码或加噪的样本应用，形成“X+模型名”的混合体。
核心创新是“分解训练循环”取代“分解生成过程”，并把它识别为一条新的预训练缩放轴——生成表达性 $\mathcal{E}=\sup_{p_*,c}\sup_{\theta^*}M(P_{\theta^*}(\cdot|c))$。直接回归 $\mathcal{E}=1$，而探索K个候选把 $\mathcal{E}$ 提到至少K。与已有方法的本质区别在于可替换性：分解生成供给的正是生成表达性，所以探索越多、模型所需的生成分解就越少，最优模型就越端到端（论文用XJumpy的jump数随探索下降直接验证）。理论层面还有一个反直觉结论：Forward XM在任意K下都是它所形成的混合密度的极大似然——K=1时退化为熟知的高斯回归极大似然（故只能拟合模糊均值），K增大时同一极大似然读数拟合的是能容纳K个模式的混合，这也解释了为何纯似然长期与样本质量相关性差：似然衡量的是密度拟合好坏，而生成表达性决定该密度能装下几个模式。
方法步骤详情
Forward XM（算法1）：输入为生成器 $G_\theta$、数据集 $D$、重构损失 $J$；先采样 $x\sim D$，对 $i=1,\ldots,K$ 各采样 $\hat{y}_i\sim G_\theta$ 并计算 $L_i=J(\hat{y}_i,x)$，返回 $\min_i L_i$ 并更新 $\theta$，只有获胜候选收到梯度。Reverse XM（算法2）：先采样 $\hat{y}\sim G_\theta$，对 $i=1,\ldots,K$ 各采样 $x_i\sim D$ 并计算 $L_i=J(\hat{y},x_i)$，同样取最小。第二步是组合：Forward负责召回、Reverse负责精度，按需混合控制生成多样性。第三步是与现有模型混合：在Diffusion/Flow/Jumpy等基线上加探索，对部分掩码或加噪的中间样本应用同样的best-of-K，记为XDiffusion、XJumpy等，并不对基线超参做任何XM专用调优。第四步是端到端极限用法：把探索作为独立模型，用Forward XM在机器人控制等弱多峰任务上训练Explorative Policy与Explorative World Model，推理时仅做单次前向。
技术新颖性
新颖性体现在五点。第一，首次把“生成表达性”显式识别为被忽视的第三缩放轴，并形式化为 $\mathcal{E}$，指出纯极大似然不足以评判生成质量。第二，首次提出分解训练循环这一全新分解维度，区别于业界惯用的分解生成。第三，理论上证明训练分解与生成分解可替换，并用XJumpy的jump数随探索下降给出直接实证。第四，给出Forward/Reverse的平滑大K形式，把best-of-K与极大似然、反向KL统一在一个框架下，并指出Reverse几乎零额外FLOPs。第五，把“通过搜索求解隐变量配对”做到可扩展：避开立方复杂度的全局最优传输，也不受minibatch OT偏差影响，因为搜索的是模型自身样本且每次只保留最佳匹配。这些共同把best-of-K这一朴素想法升级为可缩放、可解释、可端到端的范式。
实验结果
作为新缩放轴，探索在最强图像生成配方RAE上把FLOP效率提升4.1×、样本效率提升6.2×、参数效率提升47%（Large模型探索5个模式优于参数多47%的XLarge，图6）。关键是收益随规模增长而非饱和：从SiT（约1/3算力）到RAE，效率增益翻倍还多——SiT设置下FLOP效率仅提升52%、数据效率2.5×，而RAE提升到4.1×和6.2×；模式增益从数据缩放7%→36%、模型缩放13%→23%（图10）。FLOP最优探索量随训练推进而增长，复现了Chinchilla式的计算最优规律（图4b/5b）。跨模态单调提升：图像FID、视频FVD（图7）和MDLM的困惑度-熵前沿（图8）都随K上升而改善，XJumpy比XDiffusion受益更多。最强配方上，XRAE（XM-2）在ImageNet 256×256无引导下达到1.43 gFID、FDr6从4.42降到3.91（表1），且XRAE收敛比SiT快约300×。泛化方面，Something-Something V2上4步XJumpy的最佳FVD从37.5（无探索）降到30.0（探索），揭示了一种“计算-泛化”权衡（图9）。作为端到端方法，Explorative Policy仅1次NFE在所有Robomimic任务上匹敌或超过100 NFE的Diffusion Policy（表2）；Explorative World Model平均分130.0超过Diffuser的127.2，且推理步数少16-256×（表3）。作者特别强调这些数字很可能是大尺度下的下限。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ImageNet 256×256 图像生成（无引导，RAE配方） | gFID↓ / FDr6↓ | XRAE（XM-2）gFID 1.43，FDr6 3.91 | DiTDH-XL（RAE无探索）gFID 1.55，FDr6 4.42 | FDr6提升约12%，达到近SOTA无引导FID |
| FLOP效率（RAE配方） | 达到基线最佳性能所需FLOPs | 探索（XM） | 无探索RAE | 4.1×更少FLOPs |
| 样本/数据效率（RAE配方） | 达到基线最佳性能所需数据 | 探索（XM） | 无探索RAE | 6.2×更少数据 |
| 参数效率（RAE配方） | 性能随参数扩展 | Large + 5模式探索 | XLarge（参数多47%）无探索 | 47%更少参数达到更优扩展 |
| 行为克隆（Robomimic） | 成功率↑ / 推理NFE↓ | Explorative Policy，1 NFE：Lift 100%、Can 100%、Square 96%、Transport 74%、Tool Hang 86% | Diffusion Policy，100 NFE：100%/100%/94%/72%/86% | 推理计算减少100×，成功率持平或更高 |
| 目标条件世界建模（Maze2D） | 平均分↑ / 推理NFE↓ | Explorative World Model，平均分130.0，NFE 2.3 | Diffuser，平均分127.2，NFE 192 | 得分更高且推理步数少16-256× |
| 泛化（Something-Something V2 视频） | 过拟合前最佳FVD↓ | XJumpy 4步 + 探索，FVD 30.0 | 无探索，FVD 37.5 | FVD降低20%，揭示计算-泛化权衡 |
局限与改进
作者承认的局限集中在三点。其一，探索更易整合进某些模型族：连续域模型天然条件于噪声z，最易受益；MDLM需要额外学一个隐变量嵌入才能用上探索；自回归LLM最难——注入隐变量不自然、且AR模型本身不像其他模型那样受生成表达性瓶颈制约，作者只拿到初步的数据效率提升。其二，探索改变了训练目标，跨探索水平的损失不再直接可比，必须依赖FID/FVD/下游准确率等分布性指标；同时现有引导技术（CFG、autoguidance）并非为XM设计，autoguidance迁移得还行而CFG帮助不如对基线明显。其三，完全端到端的Forward XM要让K随模式数增长，在高多峰分布（如原始图像生成）上代价过高；Reverse XM虽便宜但偏模式寻优、需熵项或覆盖约束防坍缩，且高效搜索数据需要好的表征和向量库支持。此外端到端放弃了分解生成带来的隐式正则（每步训练在腐蚀/部分输入上更难记忆），数据稀缺时更易记忆。我自己额外观察到：最大实验仅 $2.2\times10^{21}$ FLOPs，与基础模型训练差约4个数量级，规模外推仍属假设；且论文未给出Reverse XM端到端生成的正面基准，端到端结果主要来自Forward XM的弱多峰任务。
独立分析的弱点
第一个弱点是自回归LLM的适用性差，改进方向是把探索接到多token预测（更接近多峰）或Free Transformer这类用VAE推断隐变量的解码器上，用探索搜索替换VAE及其曝光偏差。第二个弱点是Forward XM的K扩展代价，改进方向有三：用更便宜的评分器（小代理先排序、只对胜者完整前向）、改用soft-min让所有候选都贡献梯度（带更干净的极大似然解释，附录F.2）、或用梯度下降在隐空间搜索最优latent（把重构损失当作隐式能量）。第三个弱点是Reverse XM在大K下需要高效数据搜索，改进方向是构建覆盖全数据集的向量库使搜索降到对数时间，并引入“粘性耦合”防止最近邻在训练步间反复横跳导致有效目标被模糊。第四个弱点是引导技术未为XM量身设计，XM额外提供了“K个候选与哪个最优”的信号基线所没有，改进方向是据此设计XM专用引导。第五个弱点是缺乏类似Chinchilla的探索缩放律，改进方向是系统研究如何在探索、参数、数据之间分配计算。
未来方向
作者明确提出的方向包括：把探索扩展到更多生成模型（AR LLM的多token预测、Free Transformer、MeanFlow等少步模型、与Energy-Based Transformer结合做整序列的动态推理搜索与泛化）；端到端XM的应用（修复/超分这类低多峰任务、与JEPA等特征世界模型结合、与矩匹配结合按粒度重建特征）；改进探索核心机制（离散隐变量嵌入获得更好可控性与模式覆盖、梯度搜索、soft-min、学到的编码器统一搜索、Reverse XM的向量库规模化）；以及把探索延伸到后训练（pass@k奖励、best-of-N-aware微调本质上是带验证器的Forward XM）。基于本文成果可延伸的方向：一是给出探索的Chinchilla式缩放律，回答“在固定计算下探索、参数、数据如何最优分配”；二是把探索从弱多峰推广到极端多峰（如原始图像）并验证Reverse XM向量库路线；三是把“训练-生成分解可替换”这一规律推广为统一的设计原则，指导新模型架构。
复现评估
复现性较好但门槛高。作者提供了项目主页（explorative-modeling.github.io）和代码仓库（github.com/alexiglad/XM）。数据集均为公开标准数据：ImageNet 256×256、Something-Something V2、Robomimic（行为克隆）、Maze2D（世界建模），并复用RAE、SiT、MDLM、Diffusion Policy、Diffuser等已有强基线的设置。关键声明是“不做任何XM专用超参调优”，只保留各基线配方超参、仅叠加探索，降低了方法侧的调参负担，算法1/2也极简（一个for循环）。但算力门槛很高：最大图像实验训练到 $2.2\times10^{21}$ FLOPs，作者指出基础模型训练比其最大实验多约4个数量级，因此报告的收益在大尺度下很可能是下限。端到端部分需要为机器人任务做架构适配（偶尔加recurrent block）。Reverse XM的大K路线需要向量库支持，论文未给出完整工程细节（详见附录A与第6节）。总体而言，方法本身极易复现小规模验证，但完整复现表1/表2/表3的SOTA级结果需要大算力和较完整的工程实现。
论文图表