联合图像-特征扩散中的共演化表征

CoReDi：让语义投影与扩散模型联合训练，稳定共演化提升生成质量。

前置知识

扩散模型与流匹配

扩散模型通过逐步加噪、去噪学习数据分布；流匹配是其变体，用网络预测连接噪声$\boldsymbol{\epsilon}$与数据$\mathbf{x}_0$的速度$v$，训练即速度回归。本文以流匹配作为联合生成目标。

CoReDi的图像损失$\mathcal{L}_{image}$与表征损失$\mathcal{L}_{rep}$都基于流匹配速度回归，理解该目标才能看懂为何要给表征目标施加停梯度。

联合图像-特征扩散(ReDi)

ReDi在统一扩散过程中同时建模低层VAE潜变量$\mathbf{x}_0$与高层语义特征$\tilde{\mathbf{z}}_0$，经PCA降到$d$维后用双预测头、合并token策略联合去噪，迫使模型同时捕捉局部细节与语义结构。

CoReDi正是把ReDi里固定的PCA投影替换为可学习的线性投影$g_\phi$，这是读懂本文核心创新的前提。

表征坍塌

自监督/表征学习中常见的退化现象：多个通道编码冗余信息或退化为常数，使表征失去多样性。本文观察到即便加了停梯度与BN，通道级特征坍塌仍会发生，需显式正则。

防止特征坍塌是CoReDi稳定共演化三必要成分之一，正则消融(表6)直接围绕这一现象展开。

停止梯度 sg(·)

停梯度算子阻断反向传播，使被包裹的目标不接收梯度。本文在表征回归的清洁目标$\tilde{\mathbf{z}}_0$上施加$\text{sg}(\cdot)$，避免投影为最小化损失而平凡地坍塌目标。

这是CoReDi三项稳定化手段之一，去掉它FID由24.7恶化到50.8，是理解训练稳定性的关键。

批归一化(BN)

用批统计量(或EMA估计的均值方差)对特征做标准化以控制输入尺度。本文在可学习投影$g_\phi$后施加无仿射参数的BN，稳定扩散噪声调度并隐式抑制样本级坍塌。

去BN会导致FID暴涨到223.9、训练完全崩溃，说明尺度控制对扩散模型至关重要，是必要成分之一。

研究动机

在联合图像-特征扩散(如ReDi)中，语义引导来自冻结视觉编码器VE的高维特征$\mathbf{z}_0=VE(\mathbf{x}_0)\in\mathbb{R}^{L\times D}$，用一个训练前一次性计算、训练中始终固定的PCA投影$P\in\mathbb{R}^{D\times d}$降到$d$维(默认$d=8$)，再与VAE潜变量$\mathbf{x}_0$一起做流匹配。该表征空间完全独立于生成目标构建、全程不变，无法针对图像合成需求特化：PCA投影得到的激活噪声大、空间组织弱(Fig.5中LDS/CDS/RMSC三项空间自相似指标均低于学到的投影)，且无法与扩散目标协同优化，限制了收敛速度与样本质量，导致ReDi需要更多训练迭代才能达到较优FID。

本文的目标是提出CoReDi(Coevolving Representation Diffusion)，把固定的PCA投影替换为一个与扩散模型联合、端到端训练的轻量线性投影$g_\phi(\mathbf{z}_0)=\mathbf{z}_0W_\phi$，让语义表征空间在训练中随生成目标'共演化'，逐步特化为对图像合成更有用、与图像潜变量更互补的结构。目标是同时提升VAE潜空间与像素空间两种设置下的生成质量与收敛速度，并验证'表征空间是否应该自适应'这一更基本的问题。

与已有工作不同的是，以往利用语义先验的工作分三类：对齐扩散特征与编码器(REPA)、用冻结编码器表征替换VAE、以及用固定PCA做联合建模(ReDi/REG)。它们都未让表征空间本身参与生成目标的优化。CoReDi首次把投影设为可学习组件并直接为生成目标优化，并系统识别出稳定共演化所必需的'停梯度+批归一化+显式正则'三件套，解决了朴素优化必然导致的退化与坍塌；进一步把它推广到DeCo像素扩散，填补了'自适应表征空间'在潜空间之外是否同样有效的空白。

核心方法

直觉上，语义特征是为分类等任务训练的，其对生成的最优投影不该是静态PCA。CoReDi保留ReDi的联合流匹配骨架：冻结编码器出$\mathbf{z}_0$后，先用线性层$g_\phi$降到$d$维并做BN得到共演化的$\tilde{\mathbf{z}}_0$，再与噪声潜变量$\mathbf{x}_t$一起送入DiT，由双头预测图像速度$v^x_\theta$与表征速度$v^z_\theta$。训练时扩散参数$\theta$与投影参数$\phi$联合优化，总损失为$\mathcal{L}_{image}+\lambda_z\mathcal{L}_{rep}+\lambda_{reg}\mathcal{L}_{reg}$，正则只作用于$\phi$。像素空间版本则在DeCo的编码器-解码器上做最小改动，把$\tilde{\mathbf{z}}_t$与下采样图一起送入编码器得到联合条件特征$\mathbf{c}_{joint}$。

核心创新是把表征投影从'固定的外部目标'变为'与生成模型共演化的可学习组件'，并系统识别出稳定共演化的三个必要成分：(1)在$\mathcal{L}_{rep}$的清洁目标$\tilde{\mathbf{z}}_0$上施加停梯度$\text{sg}(\cdot)$，阻止投影为降低损失而平凡地修改目标；(2)投影后施加无仿射参数、用EMA统计量的BN，稳定特征尺度、保住扩散噪声调度、隐式抑制样本级坍塌；(3)显式正则(特征方差/正交/协方差)防止通道级特征坍塌。三者缺一即退化或崩溃，与自监督学习(BYOL/SimSiam/VICReg)防坍塌思想相呼应。

方法步骤详情

单步训练：(1)冻结VE对图像$\mathbf{x}_0$取$\mathbf{z}_0$；(2)线性投影$\tilde{\mathbf{z}}_0=\mathbf{z}_0W_\phi$(正交初始化)；(3)无仿射BN(EMA统计量)标准化；(4)耦合插值得$\mathbf{x}_t,\tilde{\mathbf{z}}_t$；(5)两路token相加送入DiT；(6)双头出$v^x_\theta,v^z_\theta$，$\mathcal{L}_{rep}$以$\text{sg}(\tilde{\mathbf{z}}_0)$为目标；(7)总损失$\mathcal{L}=\mathcal{L}_{image}+\lambda_z\mathcal{L}_{rep}+\lambda_{reg}\mathcal{L}_{reg}$更新$\theta,\phi$(XL对$\phi$余弦衰减)。像素版：$\tilde{\mathbf{z}}_t$与下采样$\hat{\mathbf{x}}_t$经$Enc_\theta$得$\mathbf{c}_{joint}$，由$Dec_\theta,W_{dec}$分测像素与表征速度。默认潜空间$d=8,\lambda_z=1,\lambda_{reg}=1.0$；像素$d=16,\lambda_z=0.1$。

技术新颖性

新颖性有三点。第一，首次在联合图像-特征扩散中把语义投影设为可学习、与生成目标端到端共演化的组件，而非PCA或冻结编码器表征。第二，系统消融并量化出'停梯度+BN+显式正则'三必要成分：去SG使FID由24.7恶化到50.8，去BN使FID暴涨到223.9近乎全崩，去正则使FID退到37.2(劣于固定PCA的ReDi 30.9)。第三，提出特征方差正则——按空间位置$i$在通道维计算方差并施加hinge惩罚$\max(0,\gamma-\sqrt{\text{Var}(\tilde{\mathbf{z}}^i_0)+\epsilon})$($\gamma=1$)，这是针对'通道坍塌'而非VICReg式'样本坍塌'的新正则，并把整套方法推广到DeCo像素扩散，证明自适应语义引导在潜空间之外同样有效。

**Fig. 4**: Regularization Prevents Feature Collapse

实验结果

潜空间(ImageNet256,无CFG)：CoReDi-B/2@400K=16.4 FID，优于ReDi 21.4、SiT 33.0；CoReDi-XL/2@2M=3.3 FID追平ReDi@4M且训练步数减半，优于REPA@4M 5.9、SiT@7M 8.3(表1)。配CFG时CoReDi@400ep=1.58 FID，优于REPA@800ep 1.80、ReDi@800ep 1.72(表2)。更换编码器(表3)：DINOv2 30.9→24.7、SigLIPv2 36.2→29.1、MOCOv3 38.2→33.5、MAE 40.3→37.1均提升。像素空间(表4)：CoReDi-L/16@100K=31.5≈DeCo@200K 31.3(×2加速)；@200K=21.5。正则消融(表6)：无正则37.2、正交25.6、协方差25.9、特征方差24.7最优；稳定化(表7)：去SG 50.8、去BN 223.9；权重(表8)$\lambda_{reg}=1.5$最优24.3。空间结构(图5)：LDS/CDS/RMSC随训练持续提升并超过ReDi固定PCA，给出结构增强的解释。

**Table 1**: Latent Diffusion Comparison without Classifier-Free Guidance

**Table 2**: Latent Diffusion Comparison with Classifier-Free Guidance

**Table 3**: Representation Encoder Variation at 200K steps

**Table 4**: Pixel Diffusion FID Comparisons (DeCo-L/16)

**Table 6**: Effect of Regularization at 200K steps (CoReDi-B/2)

**Table 7**: Stabilization Methods at 200K steps (without Stop-Gradient / Batch Normalization)

**Fig. 2**: Learned CoReDi vs fixed PCA representations and convergence speedup

**Fig. 5**: Spatial structure of coevolving representations during training (LDS, CDS, RMSC)

查看结构化数据

任务	指标	本文	基线	提升
ImageNet256 潜空间扩散(无CFG)	FID↓ (50K样本, SDE Euler-Maruyama 250步)	CoReDi-XL/2 = 3.3 FID @2M迭代；CoReDi-B/2 = 16.4 FID @400K	ReDi-XL/2 = 3.3 FID @4M；REPA-XL/2 = 5.9 FID @4M；SiT-XL/2 = 8.3 FID @7M；ReDi-B/2 = 21.4 FID @400K	XL/2追平ReDi最优而训练步数减半(2M vs 4M)，明显优于REPA/SiT；B/2较ReDi降4.0 FID
ImageNet256 潜空间扩散(有CFG)	FID↓ / sFID↓ / IS↑ / Precision↑ / Recall↑	CoReDi FID=1.58 @400 epochs (Recall 0.78最高)	ReDi FID=1.72 @800 epochs；REPA FID=1.80 @800 epochs；SiT-XL/2 FID=2.06	FID 1.58优于ReDi/REPA，且训练量减半(400 vs 800 epochs)
ImageNet256 像素空间扩散(无CFG)	FID↓ (DeCo-L/16, Heun 50步)	CoReDi-L/16 = 31.5 FID @100K；21.5 FID @200K	DeCo-L/16 = 31.3 FID @200K；46.0 FID @100K(复现)	@100K即追平DeCo@200K，约×2收敛加速；@200K进一步降到21.5
视觉编码器泛化(200K步)	FID↓ (DINOv2/MOCOv3/SigLIPv2/MAE)	CoReDi: 24.7 / 33.5 / 29.1 / 37.1	ReDi(固定PCA): 30.9 / 38.2 / 36.2 / 40.3	四种编码器均提升，DINOv2降6.2、SigLIPv2降7.1最大，证明方法不依赖特定编码器

局限与改进

作者承认：朴素优化投影必然退化，必须依赖'停梯度+BN+正则'三件套，否则FID劣于固定PCA(37.2 vs 30.9)甚至完全崩溃(去BN 223.9)，说明方法对训练稳定性敏感；正则项与超参($\lambda_z,\lambda_{reg},\gamma$)需逐设置调，潜空间$\lambda_z=1$而像素$\lambda_z=0.1$差异大，缺乏跨设置自适应机制。我进一步观察到：投影仅限线性层+BN，未探索更复杂参数化；实验仅在ImageNet256类条件生成上验证，未覆盖文生图、更高分辨率、视频或跨域；表征通道数($d=8/16$)与编码器选择仍靠人工；评估指标限于FID/sFID/IS/Precision/Recall，缺CLIPScore或人工评估；XL规模的消融仅在少量设置上完成。

独立分析的弱点

第一，训练稳定性强依赖三件套：去BN即FID 223.9全崩，对EMA统计量、随机正交初始化等实现细节敏感，工程鲁棒性有待加强，可探索非BN的尺度控制(如RMSNorm)或自适应正则权重以降低调参负担。第二，投影参数化过简：仅单层线性+BN，未利用编码器多层或多尺度信息，改进方向是用轻量MLP或多层特征融合，并探索非线性投影。第三，泛化性受限：实验局限于ImageNet256类条件生成，未验证文本到图像、视频扩散或跨分辨率场景，建议扩展到Stable Diffusion类文本条件与更大分辨率。第四，正则与超参需逐设置手调且互不相同，缺自动化选择，可引入元学习或基于空间结构度量的自动搜索。

未来方向

作者明确提出的方向：进一步探索自适应表征空间作为提升生成建模的工具，并把共演化思想推广到更多生成范式。基于本文成果可延伸：(1)把可学习投影与特征方差正则迁移到文生图、视频扩散与多模态联合生成；(2)研究非线性或多层投影$g_\phi$，或联合微调编码器低层以释放更多语义；(3)用论文验证有效的空间结构度量(LDS/CDS/RMSC)作为可微训练目标或神经架构搜索信号，自动选择编码器与通道数$d$；(4)将共演化思想与REPA式对齐、VAE/tokenizer改进结合，逼近编码器-解码器-扩散全链路端到端联合优化；(5)在像素空间进一步去掉轻量像素解码器的重建瓶颈。

复现评估

复现性较好。论文给出详尽实现细节：ImageNet256、batch256、SiT/DiT标准训练设定、DeCo-L/16 patch16×16、潜空间用SDE Euler-Maruyama采样250步、像素用Heun采样50步、评估用ADM的TensorFlow套件与50K样本。关键超参明确：潜空间$d=8,\lambda_z=1,\lambda_{reg}=1.0$；像素$d=16,\lambda_z=0.1$；$\gamma=1$；投影用随机正交阵初始化，XL实验对$\phi$用余弦衰减。代码已开源：https://github.com/zelaki/CoReDi 。算力门槛较高：XL/2需2M迭代、且要与7M迭代的SiT基线对比，单卡难以复现；像素DeCo-L/16达426M参数亦重。综合难度中等偏高：方法清晰、代码与超参公开，但大规模训练与多编码器完整复现需要多GPU集群。

联合图像-特征扩散中的共演化表征 Coevolving Representations in Joint Image-Feature Diffusion