论高维隐空间的扩散可行性 On the Diffusibility of High-Dimensional Latents
重建微调的高维表征因维度坍缩使v预测失效，改用x0预测即可高效扩散
前置知识
流匹配与速度预测
流匹配定义从噪声到数据的直线路径 $z_t=(1-t)x_0+t\epsilon$，训练网络预测速度场 $v=\epsilon-x_0$。速度预测是标准做法，在低维VAE隐空间表现强劲；但在高维空间且数据位于低维流形上时，速度目标中混入大量与信号正交的噪声成分，导致优化低效。
本文的核心问题正是v-prediction在高维表征空间失效，理解流匹配的训练目标才能看懂论文的几何分析与替代方案。
表征自编码器（RAE）
直接使用DINOv2、SigLIP2、MAE等预训练视觉编码器的patch特征作为扩散模型的隐空间，另配一个训练的解码器做像素重建。相比VAE，语义特征能加速扩散收敛，但冻结编码器不为重建优化，会丢失文字、细纹理等高频细节。
本文研究的就是这类隐空间何时可扩散，RAE及其变体是全文的研究对象与实验平台。
有效维度
对大量patch特征做SVD得到奇异值谱，累计能量 $C(k)=\sum_{i=1}^{k}f_i$ 首次达到阈值 $\tau\%$ 所需的最小分量数记为 $R_\tau$，衡量特征集中于多低维的子空间。重建型编码器的 $R_{90}$ 远小于特征维度，如MAE-B为103/768。
$R_\tau$ 是论文量化"有效维度坍缩"的核心指标，是连接重建训练与扩散优化困难这条因果链的关键证据。
x0-prediction（干净数据预测）
扩散模型的另一种参数化：网络直接预测去噪后的干净数据 $x_0$ 而非速度，可通过 $v_\theta = z_t - x_\theta$ 相互转换。JiT（Li and He）证明当数据位于高维空间中的低维流形时，x0预测绕开纯噪声回归，优化更高效。
这是论文提出的核心解法——在高维表征隐空间用x0预测避开与信号流形正交的噪声分量，是全部实验增益的来源。
GenEval / DPG-Bench / FID 评测基准
GenEval用目标检测评估生成图与提示词在对象计数、位置、颜色等维度的一致性；DPG-Bench用VLM评估细粒度图文语义对齐；COCO-30k FID衡量生成分布与真实图像分布的距离，越低越好。三者分别覆盖属性正确性、语义对齐与图像保真。
论文所有结论都建立在这三个指标的对比上，读懂Table 2-4必须知道它们各自衡量生成质量的哪个侧面。
研究动机
潜在扩散模型通常在VAE的低维隐空间中生成，但VAE会丢弃对感知重要的细节信息。新兴的表征自编码器（RAE）直接把DINOv2、SigLIP2等预训练语义编码器的特征当作扩散隐空间，能显著加速训练，但这些编码器并未为重建而训练，会丢失文字、细纹理、小物体等高频信息。自然的补救是对编码器做重建微调，作者却发现一个反直觉现象：微调后的表征虽然重建PSNR从17.34提升到29.12，用标准流匹配v-prediction训练扩散模型却变得极难优化——哪怕在最简单的单张图片过拟合测试中收敛也非常缓慢；直接用微调后DINOv2-L做文生图，GenEval从37.63跌到30.96，COCO-30k FID从18.34恶化到29.97。此前工作只能训练降维适配器把隐空间压到低维来绕开这一困难，却因此牺牲了高维表征携带的信息量。
本文的目标是本文的目标是理解并消除高维强重建表征空间的扩散训练障碍，让文生图扩散模型能够直接在重建微调后的高维（1024维）特征空间中高效训练，从而同时保留语义结构与高频重建细节，而不必借助降维适配器压缩隐空间。具体而言，作者想回答三个问题：为什么重建微调会让v-prediction难以优化？这种优化困难与表征几何有什么定量关系？能否用最小的改动（只换预测目标，不改架构、不改数据、不改采样器）让高维强重建隐空间变得可扩散？最终希望在GenEval、DPG-Bench、COCO-30k FID三个基准上，让基于微调tokenizer的模型匹配或超越冻结语义编码器基线。
与已有工作不同的是，已有两条路线：一是REPA等在扩散训练中对齐中间特征与语义编码器，不改变隐空间本身；二是AlignTok等重建微调后训练降维适配器把1024维特征压到32维再做标准流匹配，或如RAE用冻结编码器配合加宽的扩散头与修改的噪声调度。这些工作都没有解释"重建训练"本身如何改变表征几何、又如何影响扩散的可优化性。本文的独特切入是把JiT在像素空间关于x0-prediction的分析推广到高维表征空间，并用有效维度这一可量化指标，把"重建微调 → 奇异值谱坍缩 → 速度目标中正交噪声项主导 → 优化低效"这条因果链完整串起来，指出问题不在维度高，而在信号流形维度低与预测目标参数化之间的错配。
核心方法
整体思路分两步。第一步构建强重建tokenizer：以DINOv2-L为例，在ImageNet上做重建训练时解冻编码器，损失为语义保持项与重建项的组合，得到1024维高维隐空间（PSNR 29.12）；另用RAE发布的冻结MAE-B编码器加ViT-XL解码器作第二对照。第二步在该隐空间训练文生图扩散模型：冻结Qwen3-VL-2B-Instruct作为自回归模型，用64个可学习query token提取文本条件，送入随机初始化的Lumina-Next 1B DiT（24层、每层24个注意力头、隐维1536）；训练目标不用标准速度预测，而是直接预测干净表征 $x_0$。数据用BLIP-3o公开预训练集（共39.3M，含CC12M、SA-1B、JourneyDB）的34M子集，AdamW学习率 $10^{-4}$，全局batch 1024，训练90k步，分辨率256×256，算力为64张A100或32张H200。
核心洞察是“有效维度坍缩”及其对预测目标的几何影响。重建微调迫使特征贴合自然图像的低维流形，奇异值谱急剧衰减：DINOv2-L的 $R_{90}$ 为672，微调后坍缩到129。设 $x_0=Qc_0$，$Q\in\mathbb{R}^{h\times l}$ 为正交基，则加噪输入分解为 $z_t^h=Q((1-t)c_0+t\epsilon_l)+t\epsilon_\perp$，其中 $\epsilon_\perp=(I-QQ^\top)\epsilon_h$。速度目标的条件期望 $v_\theta^h=\mathbb{E}[Q(\epsilon_l-c_0)+\epsilon_\perp\mid z_t^h]$ 含纯噪声的正交分量，当 $h\gg l$ 时模型被迫花大量容量拟合 $(1/t)(I-QQ^\top)z_t^h$，优化低效。改用x0预测后，因 $Qc_0$ 与 $t\epsilon_\perp$ 独立，期望化为 $\mathbb{E}[Qc_0\mid Qz_t^l]=Qx_\theta^l$，天然绕开正交噪声，学习集中在信号流形上。
方法步骤详情
步骤一：几何诊断。从ImageNet采样20万个patch特征，去均值后做SVD，按累计能量定义 $R_\tau=\min\{k\mid C(k)\ge\tau\%\}$，测得各编码器有效维度（如MAE-B-RAE为 $R_{90}=103$/维度768）。步骤二：tokenizer构建。对DINOv2-L在ImageNet上训练解码器，一组冻结编码器、一组解冻微调，损失 $\mathcal{L}_{FT}=\|g(I)-g'(I)\|^2+\mathcal{L}_{recon}$，后者含像素L1、感知与对抗损失，语义保持项防止坍缩。步骤三：隐空间采样。$h_i=g(I_i)$，加噪 $h_{i,t}=(1-t)h_{i,0}+t\epsilon$，$t$ 截断到不低于0.05避免数值不稳定。步骤四：DiT训练。以 $x_0$ 预测为目标，采用带shift的均匀时间表，$\alpha=\sqrt{m/n}$、$m$为图像token数×token维度、$n=4096$。步骤五：推理用100步Euler采样器，在GenEval、DPG-Bench、COCO-30k FID上评估对比。
技术新颖性
技术新颖性有三点。其一，首次定量刻画"重建训练导致高维表征有效维度坍缩"这一现象：MAE即便在Instagram-3B上预训练，$R_{90}$ 仍只有197/768；DINOv2-L重建微调后从672坍缩到129，且坍缩程度与v-prediction收敛缓慢强相关。其二，给出高维流形几何下的预测目标分析：证明速度目标的条件期望含正交噪声项，而x0目标的条件期望恰好与之独立，把"该用哪种参数化"从经验选择变成由隐空间几何决定的推论，这是对JiT像素空间结论在表征空间的推广与机制化解释。其三，改动极小——只换训练目标，不改架构、数据与采样器——却让1024维未压缩隐空间可直接扩散，挑战了"高维隐空间必须降维"的普遍做法，并说明表征学习目标与扩散参数化应当联合设计。
实验结果
核心结果有四组。其一，几何分析（Table 1）：重建型编码器有效维度远低于语义编码器，MAE-B-RAE为 $R_{90}=103$（维度768），DINOv2-L为672（维度1024），重建微调后坍缩到129，PSNR从17.34升至29.12。其二，微调DINOv2-L文生图（Table 2）：v-prediction全面崩坏（GenEval 30.96、DPG 67.47、FID 29.97，均差于冻结基线37.63/70.21/18.34）；换x0-prediction后达39.48/71.83/16.80，超过冻结基线且FID全场最优。其三，MAE-RAE（Table 3）：x0相对v把GenEval从36.17提到40.89，DPG从67.54到73.90，FID从22.20降到17.24。其四，规模实验（Table 4）：90M预训练GenEval 43.84，SFT后256分辨率达78.62/80.13，512分辨率达79.69/81.15，超过2.4B的Scale-RAE复现（77.43/78.47）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文生图（微调DINOv2-L, 1024维） | GenEval ↑ | 39.48（x0-pred） | 30.96（同tokenizer, v-pred） | +8.52；同时超过冻结DINOv2-L基线37.63 |
| 文生图（微调DINOv2-L, 1024维） | DPG-Bench ↑ | 71.83（x0-pred） | 67.47（同tokenizer, v-pred） | +4.36；超过冻结基线70.21 |
| 文生图（微调DINOv2-L, 1024维） | COCO-30k FID ↓ | 16.80（x0-pred） | 29.97（同tokenizer, v-pred）；低维32维变体17.64 | -13.17，全场最优 |
| 文生图（MAE-B-RAE, 768维） | GenEval ↑ | 40.89（x0-pred） | 36.17（v-pred） | +4.72 |
| 文生图（MAE-B-RAE, 768维） | COCO-30k FID ↓ | 17.24（x0-pred） | 22.20（v-pred） | -4.96；DPG同步从67.54升至73.90 |
| 大规模训练+512 SFT（1B DiT, 1024维） | GenEval / DPG-Bench ↑ | 79.69 / 81.15（512分辨率） | Scale-RAE*（2.4B DiT）77.43 / 78.47 | 以更小模型（1B vs 2.4B）超越 |
局限与改进
作者承认与笔者观察的局限如下：主实验分辨率仅256×256，512只是后处理SFT而非从头训练；90M大规模数据为内部数据未公开，Table 4中Scale-RAE对比是作者自己的SFT复现（带星号），公平性存疑；只验证了微调DINOv2-L与MAE两种tokenizer，SigLIP2等未覆盖；x0-prediction在低维VAE空间并非总是最优，其优势严格依赖有效维度坍缩这一前提，需要先做谱诊断再选参数化；语义保持损失是防止编码器坍缩的必要组件，增加了微调流程复杂度与超参负担；分析假设线性子空间 $x_0=Qc_0$，真实表征流形很可能是非线性的；此外GenEval与DPG上32维低维变体（40.99/73.04）仍略高于本文高维方案（39.48/71.83），只有FID上高维方案占优，说明语义对齐与图像保真之间的权衡尚未完全解决。
独立分析的弱点
独立分析几点弱点。第一，线性子空间假设过强：$x_0=Qc_0$ 中 $Q$ 为固定正交基，但深度特征流形高度非线性，全局SVD的有效维度只能粗略近似，改进方向是引入局部流形维度估计或非线性编码来细化理论。第二，有效维度在ImageNet验证集patch上统计，而文生图训练分布（CC12M、SA-1B、JourneyDB）与之差异很大，几何结论向训练分布的迁移性未验证，应在目标分布上重测谱衰减并做在线监控。第三，x0-prediction未与 $\epsilon$-prediction、score等参数化在同一框架下系统比较，也未讨论时间加权与参数化的交互；可做参数化×时间加权的完整消融。第四，DiT规模固定1B，x0-prediction的优势是否随模型规模放大而保持或增强未知，应在3B以上规模验证。第五，缺少与REPA等特征对齐方法的组合实验——对齐注入语义先验与x0目标聚焦流形学习可能互补，联合收益值得检验。第六，$t\ge0.05$ 截断等实现细节对稳定性的贡献没有单独消融。
未来方向
作者明确表示未来将构建同时服务生成与统一模型（理解+生成）的视觉编码器，让tokenizer在语义与重建两端都强，摆脱对冻结预训练编码器的依赖。基于本文成果还可延伸多个方向：把x0-prediction与REPA式表征对齐结合，检验语义先验注入与低维流形目标是否产生叠加增益；将有效维度分析推广到视频扩散的高维时空表征，检验维度坍缩在视频tokenizer上是否同样出现；探索非线性流形下的目标设计，例如先学习数据驱动的正交基 $Q$ 再在补空间显式建模噪声，而非完全丢弃 $\epsilon_\perp$；系统研究时间调度（shift系数 $n=4096$、$t$ 截断）与x0目标的交互以进一步加速收敛；在512以上分辨率从头训练，测试x0-prediction在更多token数下的表现；以及把 $R_\tau$ 作为tokenizer设计的可微代理指标，自动搜索重建质量与可扩散性之间的最优折中。
复现评估
复现难度中等偏高。有利条件：项目主页公开（cfeng16.github.io/on_the_diffusibility），依赖组件多为开源——DINOv2-L、MAE（含MAWS权重）、RAE解码器、Qwen3-VL-2B-Instruct、Lumina-Next、BLIP-3o的39.3M公开预训练集（论文用其34M子集）均可获取；方法本身只是更换训练目标，若已有流匹配训练框架，代码改动很小。不利条件：论文未提及开源训练代码；微调DINOv2-L的语义保持损失权重与解码器结构细节（仅说与Stable Diffusion的VAE架构相似）需自行摸索；90M内部数据集不可得，Table 4的规模结果无法严格复现；训练需要64张A100或32张H200跑90k步、batch 1024，属数百GPU天量级，普通实验室难以承受；几何分析部分只需对20万patch做SVD，单卡数小时即可复现。建议复现路径：先复现Table 1谱分析验证核心假设，再在小规模上复现Table 3的MAE-RAE对比。
论文图表
展示冻结DINOv2-L、微调DINOv2-L与MAE-RAE三种tokenzier的重建效果对比，以及单图过拟合实验中v-pred与x0-pred的收敛差异；右侧指标图显示x0-prediction在GenEval与DPG-Bench上的优势。
一图概括全文动机与结论：重建微调改善细节但让v-prediction难以优化，x0-prediction解决该问题，是理解论文故事的入口。
对比DINOv2-B、SigLIP2-B、DINOv2-L三种编码器的图像重建质量与过拟合难度，直观显示重建质量可能成为生成保真度的瓶颈。
补充Fig.1的证据链，说明重建能力不足是冻结语义编码器的普遍问题而非个例，支撑强重建tokenizer的研究动机。
上下两排分别展示Table 1中各编码器的归一化奇异值衰减曲线（对数坐标）与累计解释方差曲线，标注各自的R90值；可见MAE奇异值快速衰减，微调后DINOv2-L从R90=672坍缩到129。
这是"有效维度坍缩"现象的直接可视化证据，是把重建训练与优化困难联系起来的核心实验图。