V-JEPA 2.1：解锁视频自监督学习中的密集特征

通过将预测损失扩展到所有token并引入深层自监督，大幅提升视频自监督学习的密集特征质量

前置知识

联合嵌入预测架构（JEPA）

JEPA是由Yann LeCun提出的自监督学习框架，其核心思想是在学到的表示空间中进行预测，而非直接在像素空间重建。模型将输入分为「损坏」视图（如遮挡部分区域）和「干净」视图，用编码器分别处理两者，然后训练预测器从损坏视图的表示预测干净视图的表示。通过停止梯度（stop-gradient）和指数移动平均（EMA）更新目标编码器来避免表示坍缩。这种方法避免了生成模型在像素空间重建的计算开销，同时学习到更抽象、更有语义的表示。

V-JEPA 2.1是JEPA家族的最新成员，理解JEPA的基本框架是理解本文技术改进的前提。

Vision Transformer（ViT）与patch嵌入

ViT将图像切分为固定大小的patch（如16×16像素），每个patch通过线性投影映射为一个token向量，然后输入标准Transformer进行处理。对于视频，通常使用3D卷积（如16×16×2）将时空体素块映射为token。每个token对应图像/视频中的一个局部区域，因此ViT的中间层特征天然具有空间对应关系，可以用于密集预测任务。patch size决定了token序列的长度和空间分辨率——patch越小，序列越长，空间分辨率越高。

本文的核心贡献是提升每个patch token的特征质量，理解patch token如何产生及其与空间位置的对应关系是理解密集特征的关键。

密集特征 vs 全局特征

密集特征是指每个空间位置（patch token）的表示都编码了该位置的局部语义信息，如物体边界、深度、纹理等，可以直接用于像素级任务（语义分割、深度估计、目标跟踪）。全局特征则是通过全局聚合（如[CLS] token或全局平均池化）得到的整张图/视频的摘要表示，适合分类等高层任务。理想情况下，一个优秀的视觉编码器应该同时具备高质量的密集特征和全局特征，但实践中两者往往存在权衡。

本文的核心发现就是V-JEPA 2的全局特征很强但密集特征很差，而通过修改训练损失可以同时提升两者。

线性探测（Linear Probing）

线性探测是一种评估预训练模型特征质量的标准方法：冻结预训练编码器的参数，只在特征之上训练一个简单的线性层来完成下游任务（如分类、分割、深度估计）。因为只有线性层可学习，如果下游任务表现好，说明编码器学到的特征本身就包含了丰富的、线性可分的语义信息。如果线性探测效果差，可能是特征不够好，也可能是需要更复杂的解码头。

本文大量使用线性探测来评估密集特征质量，理解这个评估协议对解读实验结果很重要。

指数移动平均（EMA）目标编码器

在自监督学习中，为了避免表示坍缩（即所有输入映射到相同输出），常用的做法是维护一个目标编码器，其参数通过当前编码器参数的指数移动平均来更新，即 $\theta_{\text{target}} \leftarrow \alpha \cdot \theta_{\text{target}} + (1-\alpha) \cdot \theta_{\text{online}}$，其中 $\alpha$ 通常设为0.999以上。目标编码器的输出作为训练的「伪标签」，且不接收梯度回传。这类似于BYOL和DINO中的设计，提供了稳定的学习信号。

V-JEPA 2.1的训练依赖EMA目标编码器提供监督信号，理解这一机制对理解训练流程和后续的蒸馏改进很重要。

研究动机

V-JEPA系列模型在视频自监督学习中展现了强大的全局语义理解能力，尤其擅长运动建模、动作预测和具身规划任务。然而，当我们尝试将其用于密集视觉任务（如语义分割、深度估计、目标跟踪）时，发现其特征存在严重缺陷。具体而言，V-JEPA 2在ADE20K语义分割上仅达到22.2 mIoU（使用线性探测），在NYUv2深度估计上RMSE高达0.682，远逊于同期的图像自监督模型如DINOv2（49.5 mIoU）和DINOv3（55.9 mIoU）。通过PCA可视化（将patch特征的前三个主成分映射为RGB通道），可以直观看到V-JEPA 2的特征图充满噪声，仅呈现碎片化的局部空间结构，语义相似的区域（如狗的头部、车的轮子）未能映射到相近的颜色。根本原因是V-JEPA 2的预测损失仅应用于被遮挡的token，而未遮挡的上下文token没有任何自监督信号，导致模型倾向于将上下文token用作全局信息聚合器（类似register token），而非编码局部空间信息。

本文的目标是本文的目标是设计一种新的自监督训练方法，使视频自监督模型在保持强大全局语义理解能力（如动作识别、视频分类）的同时，获得高质量的密集时空特征，能够直接用于深度估计、语义分割、视频目标跟踪等像素级任务，并且在预测性任务（如短期物体交互预测、动作预测）上超越现有方法。具体来说，作者希望在ADE20K语义分割、NYUv2深度估计等密集任务上大幅超越V-JEPA 2（22.2→40+ mIoU），同时不在Something-Something-v2等全局任务上退步。

与已有工作不同的是，本文的核心洞察看似简单却极具启发性：在JEPA框架中，预测器不仅为被遮挡的token生成输出，也为上下文token生成输出，但原版损失只监督遮挡token。这意味着上下文token没有被「要求」编码局部信息——模型可以自由地让这些token去聚合全局信息以帮助预测。本文抓住了这个被忽视的问题，提出将损失扩展到所有token（遮挡和未遮挡），并对距离遮挡区域近的上下文token给予更高权重。此外，作者还发现可以在编码器的多个中间层施加自监督信号（Deep Self-Supervision），而不仅限于最后一层，这使得局部信息能更好地流向最终表示。这种「监督所有token + 多层监督」的组合是本文区别于已有工作的核心视角。

核心方法

可以用一个类比来理解V-JEPA 2.1的核心思想：想象一个学生在做填空题（遮挡预测），老师只检查填空部分的答案。学生为了答对填空，可能会把精力集中在理解全局语境上，而对已经「看到」的上下文部分不做深入理解。V-JEPA 2.1的做法是：不仅检查填空部分，还要检查学生对每个已读段落的理解（context loss），而且要求在不同学习阶段都做检查（deep self-supervision）。这样，学生被迫对每个局部都形成深入理解，而不是只关注全局大意。技术路线方面，V-JEPA 2.1在V-JEPA 2的基础上引入四个关键改进：(1) 密集预测损失，对所有token施加监督；(2) 深层自监督，在编码器多个中间层施加损失；(3) 多模态tokenizer，用不同的卷积分别处理图像和视频；(4) 数据和模型扩展，使用163M混合数据集和2B参数的ViT-G模型。

V-JEPA 2.1最核心的创新是发现了一个被忽视的问题及其解决方案：在基于掩码的自监督学习中，如果损失只应用于被遮挡的token，那么未遮挡的上下文token会退化为全局信息聚合器，丧失编码局部空间结构的能力。解决方法是引入「上下文损失」（Context Loss）$\mathcal{L}_{\text{ctx}}$，将预测损失扩展到所有token，包括上下文token。但直接对所有上下文token施加相同的损失会导致全局任务退步，因为模型可能退化到简单的特征复制。因此，关键设计是使用距离加权方案：每个上下文token的损失权重与其到最近遮挡token的距离成反比，即 $\lambda_i = \lambda / \sqrt{d_{\min}(i, \mathcal{M})}$，其中 $d_{\min}$ 是上下文token到最近遮挡token的块数距离。这样，靠近遮挡边界的上下文token获得更强的监督信号，强制模型在遮挡和未遮挡区域之间建立局部连续性，从而产生空间上连贯的特征图。这与DINO等方法的本质区别在于：DINO通过全局对比损失隐式地学习密集特征，而V-JEPA 2.1通过显式地监督每个token的预测来直接确保密集特征质量。

方法步骤详情

V-JEPA 2.1的训练流程如下：首先，输入图像或视频通过模态特定的patch嵌入层处理——图像使用2D卷积（16×16），视频使用3D卷积（16×16×2），然后添加3D旋转位置编码（RoPE）和可学习的模态嵌入token。接着，对输入施加随机遮挡，产生两个视图：包含可见token的「损坏」视图x和完整的「干净」视图y。x视图送入在线编码器Eθ，输出多个中间层的表示；y视图送入EMA目标编码器Eθ'，输出最终层表示作为监督目标。在线编码器的多层输出沿通道维度拼接后通过MLP降维，产生上下文token。这些上下文token与携带时空位置信息的可学习遮挡token拼接，送入预测器Pϕ。预测器对序列中每个token（包括上下文和遮挡token）都产生预测输出。训练使用两个损失：原始的遮挡token L1损失 $\mathcal{L}_{\text{predict}}$ 和距离加权的上下文token L1损失 $\mathcal{L}_{\text{ctx}}$，两者都在编码器的4个等距中间层上施加。上下文损失的权重从epoch 50到100进行warm-up，且使用 $\lambda = 0.5$（视频）和 $\lambda = 0.7$（图像）。最后阶段使用高分辨率cool-down：视频从16帧256×256提升到64帧384×384，图像提升到512×512。

技术新颖性

V-JEPA 2.1的技术新颖性体现在多个层面。第一，在损失设计上，它首次在JEPA框架中对所有token施加预测损失，并引入了基于空间距离的动态加权方案，这与MAE只监督遮挡token、DINO使用全局对比损失的范式都不同。第二，Deep Self-Supervision通过在编码器多个中间层施加损失，实现了「由内到外」的特征质量保证，这不同于以往只在最后一层施加损失的做法。实验表明，不使用Deep Self-Supervision时，仅用最后一层特征做密集任务会比用4层差很多（ADE20K: 34.9 vs 39.1 mIoU），但使用Deep Self-Supervision后差距几乎消失（42.0 vs 43.9），说明中间层特征质量已经很好。第三，多模态tokenizer用2D卷积处理图像、3D卷积处理视频，消除了V-JEPA 2将图像复制为静态视频的低效做法。第四，在数据层面，构建了VisionMix-163M数据集，用142M高质量图像（LVD-142M）替代1M ImageNet图像，并调整视频采样策略向更动态的内容倾斜（SSv2权重从0.056提升到0.170，YT-1B从0.188提升到0.720）。

实验结果

V-JEPA 2.1在密集和全局任务上均取得了令人瞩目的成果。在预测性任务方面，Ego4D短期物体交互预测达到7.71 mAP（相对STAformer的5.67提升35%），在EK100动作预测上达到40.8 Action Recall@5（相对PlausiVL的27.6提升47.9%）。在密集视觉任务方面，NYUv2深度估计RMSE为0.307，超越了7B参数的DINOv3（0.309），是当前最优；ADE20K语义分割达47.9 mIoU，较V-JEPA 2的24.4提升23.5个点；VOC12语义分割达85.0 mIoU，Cityscapes达73.5 mIoU；YouTube-VOS视频目标分割达72.7 J&F-Mean。在全局理解任务方面，SSv2动作识别达77.7%准确率，超越V-JEPA 2的77.3%，是该任务的新SOTA；K400达87.7%，IN1K达85.5%。在机器人任务方面，真实机器人抓取成功率较V-JEPA 2 AC提升20%（60%→80%），导航规划速度提升10倍（103秒→10.6秒）且ATE更优（5.687 vs 5.831）。消融实验系统地验证了各组件的贡献：从V-JEPA 2基线（22.2 mIoU, 72.8 SSv2）开始，加入Context Loss后分割大幅提升（33.8 mIoU）但分类退步（62.5 SSv2），Deep Self-Supervision恢复了分类能力（72.1 SSv2, 38.6 mIoU），VisionMix-163M数据集进一步提升（72.6 SSv2, 40.8 mIoU），模型扩展到2B参数带来显著提升（76.1 SSv2, 47.1 mIoU），高分辨率cool-down达到最终性能（77.7 SSv2, 47.9 mIoU）。蒸馏到ViT-L（300M）和ViT-B（80M）的小模型也展现了优异性能，蒸馏后的ViT-L在SSv2上达76.5%（仅比ViT-G低1.2%），在ADE20K上达46.7 mIoU（仅低1.2个点）。

**Figure 8**: V-JEPA 2 vs V-JEPA 2.1 在真实机器人上的零样本抓取评估

查看结构化数据

任务	指标	本文	基线	提升
Ego4D 短期物体交互预测	mAP All (Top-5)	7.71	STAformer: 5.67	+35% 相对提升
EK100 动作预测	Action Recall@5	40.8	PlausiVL: 27.6	+47.9%
SSv2 动作识别	Top-1 Accuracy	77.7%	V-JEPA 2: 77.3%, DINOv3 7B: 70.1%	+0.4pp vs V-JEPA 2
NYUv2 深度估计	RMSE ↓	0.307	DINOv3 7B: 0.309, V-JEPA 2: 0.642	-52% vs V-JEPA 2
ADE20K 语义分割	mIoU	47.9	V-JEPA 2: 24.4, DINOv3 H+: 54.8	+23.5pp vs V-JEPA 2
VOC12 语义分割	mIoU	85.0	DINOv3 H+: 85.8	竞争力强
YouTube-VOS 视频分割	J&F-Mean	72.7	DINOv3 7B: 74.1, V-JEPA 2: 53.7	+35.4% vs V-JEPA 2
DAVIS 视频分割	J&F-Mean	69.0	DINOv3 H+: 71.1	竞争力强
机器人抓取	Success Rate	80%	V-JEPA 2 AC: 60%	+20pp
机器人导航规划速度	Planning Time	10.6秒	NWM: 103.2秒	10× 加速

局限与改进

尽管V-JEPA 2.1取得了显著进步，仍存在多个局限。首先，在高度杂乱的场景理解上，V-JEPA 2.1与顶级图像编码器仍有差距——在ADE20K（47.9 vs DINOv3的55.9 mIoU）和Cityscapes（73.5 vs DINOv3的81.1 mIoU）上的表现说明，VisionMix数据集中可能缺乏足够多的高度杂乱场景样本。其次，上下文损失虽然提升了密集特征质量，但会在训练初期损害全局理解能力（SSv2从72.8降到62.5），需要Deep Self-Supervision来弥补这一退步，增加了训练的复杂性。第三，计算开销显著——2B参数的ViT-G模型需要大量GPU资源，即使用了蒸馏，ViT-L也有300M参数。第四，评估协议存在公平性问题：V-JEPA 2.1在某些任务上使用了更好的探测头设计（如STA任务的frame-guided temporal pooling），而其他基线方法使用不同协议，直接对比数字可能高估了特征质量本身的差异。第五，作者承认V-JEPA 2.1在VideoQA任务上（如TOMATO和TemporalBench）表现不如V-JEPA 2，这些数据集需要理解运动事件但视频较短，说明密集特征的引入可能在某些需要快速运动理解的场景中引入了额外的表示偏差。

独立分析的弱点

从独立分析角度看，V-JEPA 2.1存在以下几个可改进的弱点。第一，距离加权方案 $\lambda_i = \lambda / \sqrt{d_{\min}(i, \mathcal{M})}$ 是基于启发式设计的，而非从理论推导得出。可以考虑学习自适应的加权策略，例如训练一个轻量级网络根据局部特征相似度动态调整权重，或者用强化学习来优化加权策略。第二，Deep Self-Supervision需要在编码器的4个中间层施加损失，增加了预测器的输出维度和计算量。可以探索更高效的层级选择策略，如根据梯度信号自动确定哪些层最需要监督。第三，VisionMix-163M数据集的构建依赖于DINOv2的聚类检索策略来选择图像，这引入了对现有模型的依赖，且视频采样权重的调整是手动的。可以考虑自动化数据筛选和权重调整流程。第四，高分辨率cool-down阶段只训练了12,000步，作者报告深度估计从0.365提升到0.307 RMSE，提升非常显著，说明分辨率对密集任务很重要。可以考虑更早或更频繁地引入高分辨率训练。第五，在VideoQA等需要运动理解的短视频任务上表现不如前代，说明密集特征和运动特征之间仍存在某种权衡，需要更精细的特征解耦策略。

未来方向

作者提出了三个主要的未来方向，基于论文成果还可以延伸更多。第一，模型和数据规模的进一步扩展：作者观察到从1B到2B参数有正向趋势，DINOv3展示了扩展到7B的收益，这意味着继续扩展可能带来更大的密集特征提升。数据方面，163M的数据集仍然相对有限，更大规模的视频数据（如更大比例的YT-1B）值得探索。第二，世界建模方向：V-JEPA 2展示了在表示之上构建世界模型的潜力，V-JEPA 2.1的密集特征可以进一步用于像素级的世界模型，实现更精细的物理预测和规划。第三，机器人和具身智能应用：V-JEPA 2.1在零样本机器人操作（抓取成功率80%）和导航规划（10倍加速）上展示了前景，但目前仅在简单桌面任务上验证。扩展到更复杂的操作任务（如灵巧手、双臂协作）和非结构化环境导航是重要方向。此外，还可以探索将V-JEPA 2.1的密集特征用于自动驾驶场景理解、医学影像分析、以及作为多模态大模型的视觉编码器替代方案。

复现评估

在复现性方面，V-JEPA 2.1的代码和预训练模型已开源在 https://github.com/facebookresearch/vjepa2，这是复现的良好基础。然而，完整复现训练流程面临重大挑战：首先，数据方面，VisionMix-163M包含LVD-142M（DINOv2的内部数据集，需要从互联网爬取并聚类筛选）和YT-1B（需要下载和处理大规模YouTube视频），数据准备本身就是一项巨大的工程。其次，算力方面，训练ViT-G（2B参数）在163M图像+19M视频上训练135K+12K步，加上高分辨率cool-down，需要大量A100/H100 GPU，估计在数百到数千GPU天的量级。不过，作者提供了蒸馏后的ViT-L（300M）和ViT-B（80M）模型，这些较小模型的推理和微调是可负担的。评估协议也在附录中详细描述，包括线性探测的超参数搜索范围，这有助于公平比较。总体而言，直接训练V-JEPA 2.1需要Meta级别的算力，但使用预训练模型进行下游任务评估和微调是普通研究组可以做到的。

V-JEPA 2.1：解锁视频自监督学习中的密集特征 V-JEPA 2.1: Unlocking Dense Features in Video Self-Supervised Learning