超越最后一层：面向视觉分词的跨层级表征融合 Beyond the Last Layer: Multi-Layer Representation Fusion for Visual Tokenization

DRoRAE的完整方法流程分为三个阶段。预处理阶段(标准RAE)：给定图像 $x \in \mathbb{R}^{H \times W \times 3}$，冻结的DINOv2-B编码器 $E$ 将其划分为 $N = (H/p) \times (W/p)$ 个patch，依次通过 $L=12$ 个Transformer块，得到隐藏状态序列 $z^{(0)}, z^{(1)}, \ldots, z^{(L)}$，其中 $z^{(0)}$ 是patch embedding。基线潜变量为 $z_{base} = LN(z^{(L)}) \in \mathbb{R}^{N \times C}$，送入ViT-XL解码器(335M)重建图像。融合阶段(本文核心)：(1)层级专家——对每层 $k \in \{1, \ldots, L\}$ 训练独立的两层MLP $e_k$，输入为 $z^{(k)}$ 经骨干网络自身的层归一化 $LN_{bb}$ 标准化，输出 $h_k = e_k(z^{(k)})$；(2)路由器——线性投影 $R$ 将各层隐藏状态拼接为 $w = R([z^{(1)}; \ldots; z^{(L)}]) \in \mathbb{R}^{N \times L}$，$w_k$ 表示层 $k$ 在该token位置的路由权重；(3)能量约束聚合——$z_{fuse} = LN_{bb}\left(\frac{\sum_{k=1}^{L} w_k \cdot h_k}{\sqrt{\sum_{k=1}^{L} w_k^2 + \epsilon}}\right)$，分母以 $\ell_2$ 范数归一化以稳定输出能量；(4)增量修正——$z_{final} = LN_{bb}(z_{base} + \beta \cdot (z_{fuse} - z_{base}))$，$\beta=0.2$ 锚定分布，当 $\beta=0$ 时退化为标准RAE；(5)解码——$z_{final}$ 输入冻结/微调的ViT-XL解码器 $D$ 重建 $\hat{x} = D(z_{final})$。三阶段训练：(Phase 1)骨干+解码器，训练 $D$；(Phase 2)骨干+解码器，训练 $F$；(Phase 3)骨干，训练 $F+D$。三个阶段的损失函数均为 $\mathcal{L}_{total} = \mathcal{L}_{rec} + \lambda_p \mathcal{L}_{LPIPS} + \lambda_g \alpha_{adapt} \mathcal{L}_{GAN}$，其中 $\mathcal{L}_{rec}$ 是 $\ell_1$ 重建损失，$\mathcal{L}_{LPIPS}$ 是感知损失，$\mathcal{L}_{GAN}$ 是DINO判别器给出的对抗损失，$\alpha_{adapt}$ 是基于梯度范数的自适应权重。

DRoRAE的技术新颖性体现在多个层面。首先，将多层级特征融合引入生成式视觉分词领域是首创——尽管Dense Connector、MMFuser等已在判别式多模态任务中验证过多层级融合的价值，但本文是首次系统地探索其在分词器-扩散生成流水线中的可行性，并发现需要全新的"生成兼容性"约束。其次，能量约束路由打破了传统softmax MoE的非负性限制，允许负权重主动抑制，这种设计在MoE文献中相对罕见，且本文从频域角度提供了物理解释(浅层激活对应纹理丰富区域，深层抑制对应该区域)。第三，增量修正公式 $z_{final} = z_{base} + \beta \cdot (z_{fuse} - z_{base})$ 与"直接替换"思路的对比实验极为关键：消融研究表明，去掉增量修正后虽然rFID略优(0.447 vs 0.470)，但DiT训练损失翻倍至0.81，下游生成彻底失败——这一定量证据是本方法的核心经验贡献。第四，三阶段解耦训练是首个为"多层级融合+预训练解码器"场景设计的训练策略，作者通过逐步解冻实验证明这是不可或缺的。第五，缩放实验首次建立了"视觉分词器表示丰富度"的可预测扩展规律：rFID与融合模块参数呈log-linear关系($R^2=0.86$)，与NLP中词表规模影响下游损失的scaling law在数学形式上完全同构，确立了视觉分词领域一个新的可扩展维度。

尽管DRoRAE表现出色，从独立分析角度仍存在几个值得关注的弱点。第一，三阶段训练虽然有效，但流程复杂——需要分别管理骨干/解码器/融合模块三种组件的冻结状态。改进方向可以探索单阶段课程学习或加权损失方案，从头开始训练时动态调节各组件贡献度。第二，融合模块架构是手动设计的——每层一个2层MLP专家、单个线性路由器、单一标量$\beta$。可以探索神经架构搜索(NAS)或可微分架构优化来发现更优的融合拓扑。第三，路由权重在推理时是固定的——一旦融合模块训练完成，每个token使用相同的专家组合。改进方向可以引入测试时自适应，例如根据输入图像的频域统计动态调节$\beta$。第四，作者承认无CFG生成时gFID从2.16升至2.68，虽然有AutoGuidance兜底，但说明融合模块的潜变量分布并未完全"对齐"到下游DiT的训练分布——这是一个潜在的可改进点。第五，文本到图像的ATTR维度(0.35 vs VA-VAE的0.49)表明融合模块在"语义属性绑定"上的帮助有限，可能需要专门设计针对语义层的融合路径。第六，整篇论文的频域分析仅基于3个示例，定量证据(MAD值)的统计显著性未做bootstrap等验证。第七，超参数$\beta=0.2$的选择在论文中未做完整的敏感度分析。第八，与RPiAE-VB等通过通道扩展同时提升重建和生成的方法相比，DRoRAE只在重建上有显著优势，生成上几乎打平——说明多层级融合作为独立贡献的边际收益有限，可能需要与通道扩展、表示对齐损失(REPA)等方法联合使用。

作者明确提出了几个有前景的未来方向。首先是扩展到更大骨干——目前仅在DINOv2-B(12层)上验证，需要探索在DINOv2-L/G、ViT-22B等更大编码器上的可扩展性，可能需要设计层级权重共享、专家稀疏化等技巧。其次是视频分词——本文框架可自然扩展到视频，将"时间维度"作为一个额外的层级维度进行融合。第三是更深层次的语义-几何协同——作者发现浅层激活与图像梯度在空间上相关，这暗示了更紧密融合频域先验与内容路由的潜力。第四，作者观察到骨干解冻可将rFID进一步压到0.13但gFID崩溃，说明需要更精细的"骨干适应+分布稳定"机制以释放这一潜力。第五是无条件生成的改进——通过研究融合模块在w/o CFG下的行为模式，可能需要设计专门的分布对齐损失。基于本文成果还可以延伸：(1)将多层级融合思想扩展到多模态大语言模型(MLLM)的视觉编码器，增强细粒度视觉感知；(2)探索层级融合与连续/离散tokenizer的兼容性，例如将融合潜量量化后用作VQ-VAE的输入；(3)与REPA等表示对齐损失结合，验证"多层级融合+表示对齐"是否能产生互补增益；(4)将log-linear scaling law推广到视频分词，研究时间层和空间层是否共享统一的扩展规律；(5)开发轻量化的层级融合变体，将29M参数进一步压缩到<5M，使其能部署到边缘设备。

从复现角度评估，本文提供了较为详尽的实现细节。代码与模型权重已通过GitHub开源(https://github.com/zhuzil/DRoRAE)，核心超参数在附录A给出：骨干为DINOv2-B(冻结)，融合模块~29M参数(专家隐藏维度3072，12层全用)，解码器为ViT-XL(335M参数)，三阶段训练使用 $\mathcal{L}_{rec}+\lambda_p\mathcal{L}_{LPIPS}+\lambda_g\alpha_{adapt}\mathcal{L}_{GAN}$ 损失，$\beta$ 固定为0.2。生成器方面，类别条件实验用DiTDH-XL(839M, 80 epoch) + AutoGuidance(DiTDH-S, scale=1.5)，文本到图像实验用Bagel MoT + Qwen2.5-0.5B骨干。训练数据为ImageNet-1K(1.28M张图像)和CC12M-LLaVA-Next。复现的主要挑战：(1)三阶段训练涉及多轮完整训练循环，硬件需求较高(论文未明确GPU类型和数量，但从其规模推断至少需要8-32张A100)；(2)DiTDH-XL本身是DiT的改进版，开源情况可能影响复现；(3)AutoGuidance需要同时训练两个DiT变体，计算量翻倍；(4)文本到图像的Bagel框架可能不完全开源。从难度评估，纯分词器实验(Phase 1+2)可在单台多卡服务器上中等难度复现；包含下游DiT训练和文本到图像的完整流程复现难度较高，需要大量算力。论文方法学严谨，所有关键设计选择都有消融实验支撑，实验可重复性较好。