面向纯图像Transformer的表征对齐：比想象中更困难 Representation Alignment for Just Image Transformers is not Easier than You Think

PixelREPA的完整流程包含以下步骤：(1) 从JiT编码器的中间层（具体是在in-context start block之前的那一层）提取特征表示 $h_t$，其中N是token数量，d是隐藏维度。(2) 对提取的特征应用随机部分掩码，以掩码比例 $r=0.2$ 随机遮蔽token，生成掩码后的特征序列。(3) 将掩码后的特征送入两层Transformer适配器 $d_{\phi}$，适配器通过自注意力机制进行上下文聚合，每个token的预测都能利用相邻token的信息，输出变换后的特征表示。(4) 从冻结的DINOv2语义编码器 $f(\cdot)$ 提取对应的语义特征。(5) 计算适配器输出与DINOv2特征之间的余弦相似度损失。(6) 最终训练目标为JiT原始损失与PixelREPA损失的加权和：$\mathcal{L} = \mathcal{L}_{\text{JiT}} + \lambda \mathcal{L}_{\text{PixelREPA}}$，其中正则化超参数 $\lambda = 0.1$。

PixelREPA的技术新颖性体现在几个方面。首先，这是首次系统性地研究并解释REPA在像素空间扩散中的失败模式，提出了"特征劫持"这一新概念来描述这种现象。其次，方法设计上，用浅层Transformer适配器替代MLP投影头是一个重要创新：Transformer的自注意力机制能够进行跨token的上下文聚合，这是MLP的逐点映射无法实现的。这种设计使得每个token的对齐不再依赖于纯粹的局部对应，而是可以利用空间上下文信息。第三，部分掩码策略的设计巧妙地将自监督学习中的掩码思想引入到表征对齐中，不仅起到了正则化作用（防止逐token捷径），还在对齐路径上人为制造了信息瓶颈，这与潜在扩散中分词器压缩的角色类似但仅作用于对齐分支。最后，整个MTA模块仅在训练时使用，推理时无任何额外开销，这是一个非常实用的设计。

PixelREPA存在几个值得关注的弱点。第一，MTA的设计虽然有效但相对简单——仅使用两层Transformer块，更深层或更复杂的适配器架构可能带来进一步提升，但也可能引入过拟合风险，需要权衡。第二，掩码比例的选择基于B/16模型的消融实验，对于更大或更小的模型，最优掩码比例可能不同（如文中所示，r=0.2在B/16上最优，但r=0.5导致性能下降），这需要针对不同规模进行调优。第三，论文缺乏对MTA中间表示的深入分析——适配器学到了什么类型的特征？它的注意力模式是什么样的？这些分析有助于理解对齐机制的本质。第四，实验仅在256×256分辨率下进行，更高分辨率（如512×512或1024×1024）下的表现未知，而信息不对称问题在更高分辨率下可能更加严重。改进方向包括：探索自适应掩码策略（根据训练阶段或token重要性动态调整掩码）、尝试不同架构的适配器（如交叉注意力而非自注意力）、以及研究是否可以训练一个通用的适配器用于多种像素空间扩散模型。

基于PixelREPA的研究成果，未来有几个有前景的研究方向。首先，可以探索将PixelREPA扩展到其他像素空间扩散架构（如U-Net变体），验证Transformer适配器对齐的普适性。其次，研究自适应信息瓶颈机制——当前的固定掩码比例可能不是最优的，可以根据训练进度或特征空间的统计特性动态调整掩码策略。第三，探索多尺度对齐——当前方法仅在单一中间层进行对齐，多尺度或多层对齐可能提供更丰富的语义信号。第四，研究PixelREPA与分词器蒸馏的结合——是否可以同时利用分词器压缩和对齐两种策略的优势。第五，将方法扩展到文本条件生成、视频生成等更复杂的任务，这些任务中像素空间与语义空间的信息差距可能更加复杂。最后，从理论角度更严格地分析信息不对称如何影响对齐学习的动态，这可能揭示更一般的设计原则。

在复现性方面，本文提供了较好的支持。作者在论文中明确指出代码已开源在GitHub（https://github.com/kaist-cvml/PixelREPA），这大大降低了复现难度。实验设置方面，作者说明严格按照JiT的实现和配置进行，使用8块NVIDIA H200 GPU进行训练，这对于大多数研究机构来说是可以获得的算力水平。关键超参数（2层Transformer适配器、掩码比例0.2、λ=0.1、使用DINOv2作为语义编码器）都在论文中明确列出。然而，有一些细节可能影响精确复现：(1) in-context start block之前的层的具体选择因模型规模而异，需要查看代码确认；(2) 训练的具体epoch数、学习率调度等细节需要参考代码；(3) DINOv2的具体版本和配置未明确说明。总体而言，凭借开源代码和清晰的超参数说明，本文的复现难度较低。