V-Co：通过协同去噪深入探究视觉表示对齐

系统性研究像素空间扩散模型中视觉协同去噪的四个关键设计，提出有效recipe提升生成质量

前置知识

扩散模型(Diffusion Models)

扩散模型是一类生成模型，通过逐步向数据添加噪声破坏原始分布，然后学习反向的去噪过程来从随机噪声中恢复数据。核心思想是将数据分布的变换分解为一系列简单步骤，每一步学习如何从噪声中恢复一点信息。数学上，扩散过程定义了前向过程$q(x_t|x_{t-1})$逐渐添加高斯噪声，反向过程$p_\theta(x_{t-1}|x_t)$学习去噪。训练时通常使用简化目标，如v-prediction预测$v = x_\epsilon - \epsilon$。

本文研究在像素空间中引入语义特征进行协同去噪，必须理解扩散模型的基本框架、前向/反向过程、训练目标以及采样过程，才能理解如何将语义特征流融入扩散训练中。

分类器自由引导(Classifier-Free Guidance, CFG)

CFG是一种在扩散采样时增强条件信号的技术。训练时同时学习条件预测和无条件预测，采样时通过$\hat{v} = \hat{v}_{uncond} + s(\hat{v}_{cond} - \hat{v}_{uncond})$组合两者，其中$s$是引导强度。无条件分支通常通过dropout条件信息获得，条件分支保持完整条件。这种方法简单有效，能在不使用额外分类器的情况下提高生成质量和对条件信息的响应度。

本文研究在co-denoising设置下如何定义有效的无条件预测，涉及同时处理类标签和语义特征的条件，理解CFG原理对理解论文的创新点至关重要。

自监督视觉编码器(Self-supervised Visual Encoders)

自监督视觉编码器如DINOv2通过无标签数据学习丰富的视觉表示。DINO系列方法使用知识蒸馏框架，教师网络从学生网络的滑动平均中获取，通过对比学习让不同视图的特征对齐。DINOv2在大规模数据上训练，能捕获物体形状、纹理、语义类别等多层次信息，其特征空间具有良好的泛化性和迁移能力，无需额外标注即可用于下游任务。

V-Co使用冻结的DINOv2作为语义特征源，理解其特性有助于理解为什么选择它作为teacher，以及如何校准其特征与像素流的比例关系。

流匹配(Flow Matching)

流匹配是扩散模型的一种等价表述，通过定义从噪声分布到数据分布的连续变换路径。在条件流匹配中，给定噪声$\epsilon$和真实数据$x$，构造$z_t = t \cdot x + (1-t) \cdot \epsilon$，模型预测速度向量$v = x - \epsilon$。这种表述更简洁，避免了复杂的变分下界优化，且可以等价转换为ODE形式进行采样。JiT等像素空间扩散模型采用流匹配参数化。

本文基于JiT框架，使用x-prediction和v-loss，必须理解流匹配的数学表述才能理解co-denoising的目标函数推导和特征校准中的信噪比匹配原理。

信噪比(Signal-to-Noise Ratio, SNR)

信噪比衡量信号功率与噪声功率的比值，在扩散模型中用来描述不同时间步下有用信息与注入噪声的比例。对于流匹配中的$z_t = t \cdot x + (1-t) \cdot \epsilon$，SNR可以计算为$\frac{t^2 \mathbb{E}\|x\|^2}{(1-t)^2 \mathbb{E}\|\epsilon\|^2}$。SNR越高，信号占比越大，去噪相对容易；SNR越低，噪声主导，去噪困难。两个流的SNR匹配意味着它们在相同时间步面临相似的难度。

论文第3.5节的关键洞察是：像素流和语义特征流应该匹配SNR以平衡去噪难度。通过RMS缩放特征可以等价地看作是调整语义流的噪声调度，理解SNR概念有助于理解这个设计选择的数学基础。

研究动机

像素空间扩散模型近年来重新成为高质量图像生成的有力替代方案，能够在不使用预训练自编码器的情况下实现高质量生成，避免了自编码器引入的偏差和瓶颈。然而，标准像素空间扩散模型的像素级去噪目标并没有显式设计来强制执行高层语义结构，使得语义表示学习的样本效率较低。虽然现有的视觉表示对齐方法（如REPA）表明预训练视觉特征可以显著改善扩散训练，视觉协同去噪已成为将这些特征融入生成过程的有前景方向，但现有的协同去噪方法通常混合了多个设计选择，涵盖架构、引导策略、辅助监督和特征校准等方面，这掩盖了控制有效像素-语义交互的基本原理，使得当前设计在很大程度上是临时的，也留下了如何将这些组件组合成鲁棒可扩展配方的不确定性。

本文的目标是本文的目标不是仅仅提高性能，而是通过系统性研究将使视觉协同去噪有效的原则提炼出来。作者构建了一个统一的像素空间测试平台，基于JiT框架，其中图像流与来自冻结预训练视觉编码器（如DINOv2）的patch级语义特征联合去噪。在这个受控框架内，作者系统性地研究四个关键问题：(i)什么架构最能平衡特征特定处理和跨流交互；(ii)如何为分类器自由引导定义无条件分支；(iii)哪些辅助目标提供最有效的补充监督；(iv)如何在扩散训练期间校准语义特征相对于像素的比例关系。

与已有工作不同的是，与现有工作不同，本文不将co-denoising视为固定的端到端设计，而是系统性地分解其设计空间。现有方法如Latent Forcing采用单独的噪声调度，REPA系列添加表示对齐损失但主要关注中间层对齐，PixelGen使用感知损失但没有考虑协同去噪的架构和校准问题。本文的独特切入角度是：在统一的JiT框架下，通过受控消融实验逐一验证架构、CFG设计、辅助损失和特征校准这四个关键因素的影响，然后将最优组件组合成一个清晰的recipe，从而提供原则性指导而非临时的工程技巧。

核心方法

V-Co方法首先将视觉协同去噪形式化在统一框架中。与标准像素空间扩散不同，co-denoising引入来自预训练视觉编码器（如DINOv2）的额外语义特征流。核心思想是在共享扩散过程中联合去噪像素流和语义流，让语义流为语义更丰富的生成提供补充监督。具体地，让$x$表示干净图像，$d$表示其编码的patch级语义特征，采样独立高斯噪声$\epsilon_x, \epsilon_d \sim \mathcal{N}(0, I)$用于两个流。在扩散时间$t \in [0, 1]$，对应的噪声输入为$z_{x_t} = t x + (1-t) \epsilon_x$，$z_{d_t} = t d + (1-t) \epsilon_d$。给定$(z_{x_t}, z_{d_t}, t, c)$，其中$c$表示类条件，co-denoising模型联合预测像素流和语义流的干净目标$(\hat{x}, \hat{d}) = f_\theta(z_{x_t}, z_{d_t}, t, c)$，然后将这些干净预测转换为速度预测，最终目标是像素和语义特征v-loss的加权和。

V-Co的核心创新在于系统性识别出四个关键设计选择：(1)完全双流架构——保留每个流的独立归一化、MLP和注意力投影，同时通过联合自注意力实现跨流交互，让模型自适应地学习每层的交互模式；(2)结构语义到像素掩码定义无条件预测——通过attention mask阻止语义流到像素流的注意力，从而在结构上定义无条件分支，而不是通过输入级别的corruption；(3)感知漂移混合损失——结合实例级感知对齐和分布级drifting正则化，既保证每个样本向其目标特征吸引，又防止生成特征向分布密集区域坍塌；(4)基于RMS的特征重缩放——通过匹配像素和语义特征的RMS幅度来平衡信号级别，这等价于通过信噪比匹配调整语义流的噪声调度。这些组件共同构成了一个简单且可扩展的视觉协同去噪recipe。

方法步骤详情

V-Co方法的完整步骤如下：首先，准备输入数据。对于训练集中的每张图像$x$，使用冻结的DINOv2编码器提取patch级语义特征$d$，然后计算数据集级别的RMS统计量，用$p = \sqrt{\mathbb{E}[x^2]} / \sqrt{\mathbb{E}[d^2]}$缩放$d$，使其与像素信号具有相同幅度。接着，采样扩散时间步$t$和独立高斯噪声$\epsilon_x, \epsilon_d$，构造噪声输入$z_{x_t} = t x + (1-t) \epsilon_x$和$z_{d_t} = t d + (1-t) \epsilon_d$。第二步，模型前向传播。双流架构分别处理像素和语义tokens，每层保持独立的Layer Norm、MLP和Q/K/V投影，通过联合自注意力实现跨流交互。对于无条件分支（训练时以概率0.1触发），应用语义到像素的attention mask，阻止语义流查询对像素键/值的注意力，同时联合dropout类标签。第三步，预测和计算损失。模型预测干净的像素和语义目标$(\hat{x}, \hat{d})$，转换为速度预测$\hat{v}_x = (\hat{x} - z_{x_t})/(1-t)$和$\hat{v}_d = (\hat{d} - z_{d_t})/(1-t)$。计算co-denoising v-loss $L_{v-co} = \mathbb{E}[\|\hat{v}_x - v_x\|_2^2 + \lambda_d \|\hat{v}_d - v_d\|_2^2]$，其中$v_x = x - \epsilon_x$和$v_d = d - \epsilon_d$是真实速度。同时，从预测的干净图像$\hat{x}$提取DINOv2特征$u = \phi(\hat{x})$，计算感知漂移混合损失。正场为$V^+(u_i) = \phi(x_i) - u_i$，负场基于同类其他生成样本的排斥$V^-(u_i) = \sum_j \alpha_{ij}(\phi(\hat{x}_j) - u_i)$，通过相似度门控$s_i$混合为$V_{hyb}(u_i) = s_i V^+(u_i) - (1-s_i) V^-(u_i)$，最终损失为$L_{hyb} = \|u_i - sg(u_i + V_{hyb}(u_i))\|_2^2$。总损失为$L = L_{v-co} + \lambda_{hyb} L_{hyb}$。第四步，反向传播和更新。优化器根据总损失更新模型参数，使用EMA维护副本用于采样。采样时，使用Heun求解器在50个时间步上求解ODE，对于条件生成应用CFG $\hat{v}_x = \hat{v}_x^{uncond} + s(\hat{v}_x^{cond} - \hat{v}_x^{uncond})$，其中无条件分支通过结构掩码获得。

技术新颖性

V-Co的技术新颖性体现在多个方面：首先，架构上提出了完全双流JiT设计，与之前共享backbone的方法相比，保留了流的特异性处理能力，通过联合注意力让模型学习交互位置，而不是预先固定的融合模式。其次，在CFG设计上创新性地使用结构语义到像素掩码定义无条件预测，这是第一个通过控制信息流而非输入级别corruption来定义无条件分支的方法，被证明比标准dropout更有效。第三，损失函数上提出了感知漂移混合损失，将实例级感知对齐建模为正向量场，将drifting排斥建模为负校正，并通过相似度门控自适应平衡两者，这不同于REPA的中间层对齐和单纯的感知损失。第四，特征校准上证明了基于RMS的特征重缩放与噪声调度平移的SNR等价性，提供了简单实用的校准规则。这些创新共同将视觉协同去噪从临时设计转变为有原则的recipe，具有理论洞察和实用价值。

**Figure 1**: An overview of V-Co and its recipe.

**Figure 2**: Single-stream and dual-stream architectures for visual co-denoising.

**Figure 3**: Comparison of two attention-masking strategies.

**Figure 4**: Influence of the DINO diffusion loss coefficient λd.

实验结果

通过系统性消融实验，论文得到四个核心发现：在架构方面，完全双流设计在相似参数量下达到最佳FID 8.86，优于所有单流变体，token-concatenation融合中分配更多块给特征特定处理持续改善性能，表明过度参数共享限制了模型保留语义信息的能力。在CFG设计方面，结构掩码方法（FID 3.18）显著优于输入dropout（FID 6.69），语义到像素单向掩码优于双向掩码，联合dropout优于独立dropout。在辅助损失方面，REPA损失仅提供边际改进（FID 2.91 vs 2.96），感知损失带来较大增益（FID 2.73），drifting损失提供分布级监督（FID 2.85），混合损失实现最佳结果（FID 2.44），表明实例级对齐与分布级正则化的互补性。在特征校准方面，移除RMS缩放使性能显著恶化（FID 5.28 vs 2.52），用噪声调度平移替代RMS缩放效果略差（FID 2.93 vs 2.52），证实了基于信噪比匹配的校准原理。完整recipe在ImageNet 256×256上达到强性能：V-Co-B/16（260M参数，200 epochs）FID 2.52；V-Co-B/16（260M，600 epochs）FID 2.33，匹配JiT-L/16（459M参数，600 epochs）的FID 2.36；V-Co-L/16（918M，500 epochs）FID 1.72；V-Co-H/16（1.9B，300 epochs）FID 1.71，超越JiT-G/16（2B，600 epochs）的FID 1.82。

**Table 1**: Comparison of architectural designs for visual co-denoising.

**Table 2**: Comparison of unconditional prediction designs for classifier-free guidance under co-denoising.

**Table 3**: Comparison of auxiliary losses applied to V-Co.

**Table 4**: Feature rescaling vs. noise-schedule shifting in V-Co.

**Table 5**: Reference results on ImageNet 256 × 256.

**Table 7**: Comparison of architectural designs for visual co-denoising (extended ablation).

**Table 8**: Comparison of different label/DINO dropout strategies.

**Table 13**: Comparison of different DINOv2 model sizes.

**Figure 5**: Comparison of guided FID (i.e., FID computed from samples generated with CFG).

查看结构化数据

任务	指标	本文	基线	提升
ImageNet 256×256类别条件生成（无引导）	FID↓	V-Co-H/16: 5.17	JiT-G/16: 1.86	V-Co在较少epochs下接近基线性能
ImageNet 256×256类别条件生成（引导）	FID↓	V-Co-B/16: 2.33 (600 epochs)	JiT-L/16: 2.36 (600 epochs)	用43%参数量达到相当性能
ImageNet 256×256类别条件生成（引导）	FID↓	V-Co-L/16: 1.72 (500 epochs)	JiT-H/16: 1.86 (600 epochs)	FID提升7.5%，训练时长减少17%
ImageNet 256×256类别条件生成（引导）	FID↓	V-Co-H/16: 1.71 (300 epochs)	JiT-G/16: 1.82 (600 epochs)	FID提升6.0%，训练时长减少50%
ImageNet 256×256类别条件生成（无引导）	IS↑	V-Co-B/16 (dual-stream): 132.8	JiT-B/16: 49.5	IS提升168%

局限与改进

作者承认了三个主要局限性：首先，本文研究聚焦于ImageNet-256上的类别条件生成，这提供了一个受控设置来分离架构、CFG设计、辅助目标和特征校准的影响，但没有捕获生成设置的完整多样性，如开放式文本到图像合成或更结构化的多模态任务。其次，V-Co依赖来自强大外部视觉编码器（即DINOv2）的预训练语义特征。虽然这种设计与表示对齐视角一致，并且显著改善了像素空间生成中的语义监督，但结果性的协同去噪动力学可能仍然依赖于teacher表示的质量、归纳偏差和空间粒度。第三，本文方法有意地采用极简主义设计，没有结合更强的辅助监督，如将REPA风格目标与感知漂移混合损失结合。这保持了实证结论的清晰性，但未来工作可能会探索V-Co recipe如何与更丰富的目标和更强的监督相互作用。此外，从技术角度，使用冻结的DINOv2特征意味着模型继承其任何偏差，且特征提取的开销可能影响实际部署效率。

独立分析的弱点

从独立分析角度，V-Co有几个可改进的弱点：首先，当前方法仅使用冻结的DINOv2特征，没有与预训练编码器联合微调，这可能限制了对特定生成任务的适应性。改进方向是探索端到端的联合训练或自适应特征蒸馏，让模型学习更适合生成任务的语义表示。其次，混合损失中的排斥温度$\tau_{rep}$和门控温度$\tau_{gate}$需要调优，在不同数据集或分辨率上可能需要重新调整。改进方向是设计自适应或可学习的温度参数，或者提供基于数据统计的经验公式。第三，当前实验仅在256×256分辨率ImageNet上进行，未验证在高分辨率（如512×512或1024×1024）上的效果。像素空间扩散在高分辨率时计算开销大，需要验证V-Co recipe是否仍然有效，可能需要调整patch大小或引入层级结构。第四，DINOv2特征提取的计算开销不可忽略，可能影响生成速度。改进方向是探索更轻量的语义编码器或设计特征缓存机制。最后，当前方法仅考虑类条件生成，未扩展到文本到图像等更复杂条件。改进方向是探索如何将文本编码器融入双流架构，可能需要额外的跨模态对齐机制。

未来方向

作者提出的未来工作方向包括：将提出的recipe扩展到ImageNet风格的类条件之外，如开放式文本到图像合成或更结构化的多模态任务。探索替代的语义特征来源，不仅限于DINOv2，而是考虑其他自监督编码器、多模态编码器或任务特定的表示。探索V-Co recipe如何与更丰富的目标和更强的监督交互，如结合REPA风格目标与感知漂移混合损失，或引入几何、深度等更丰富的多模态监督。基于论文成果可延伸的方向包括：研究动态的双流交互机制，让模型学习在哪些层、以何种强度进行跨流交互，而不是固定的全连接；探索渐进式特征校准，根据训练进度动态调整像素和语义流的比例关系；将V-Co与其他表示对齐技术结合，如中间层REPA对齐或特征蒸馏；研究co-denoising在视频生成、3D生成等更复杂场景中的应用，可能需要处理时序一致性和几何一致性等额外约束；探索更高效的特征编码器设计，平衡语义质量和计算效率；研究co-denoising的理论性质，如为何双流架构优于共享backbone，混合损失中的吸引和排斥如何平衡等。此外，论文中的SNR匹配原理可以进一步扩展到更多流的协同去噪，如图像、深度、语义分割等多模态联合生成。

复现评估

V-Co的复现情况良好。论文提供了开源代码（https://github.com/HL-hanlin/V-Co），使得研究社区可以复现和扩展工作。实验设置详细记录在附录的Table 6中，包括架构、特征预处理、训练和采样的所有超参数。数据集使用标准ImageNet训练集，评估使用50K样本计算FID和IS，遵循了领域内的标准实践。算力需求方面，V-Co-B/16训练200 epochs需要约260M参数，相比JiT-G/16的2B参数减少了87.5%，降低了计算资源要求。训练时间方面，论文未明确给出具体天数，但从参数量和epochs可以推断，V-Co-H/16训练300 epochs就达到了JiT-G/16训练600 epochs的性能，表明训练效率提升显著。难度方面，论文使用了JiT代码库作为基础，在此基础上添加co-denoising组件，相对容易上手。实验消融设计清晰，控制变量方法得当，使得其他研究者可以验证每个组件的贡献。然而，完全复现可能需要访问DINOv2预训练权重和足够的GPU资源（估计至少需要8×A100级别的集群进行大规模训练）。论文还提供了完整的超参数 sweeps结果（Tables 8-12），显示了各超参数对性能的影响，有助于理解调参过程。总体而言，V-Co具有较高的可复现性，开源代码和详细配置使得其他研究者可以验证结果并将其应用到自己的场景中。