像素级场景理解的单一令牌：视觉状态需要what-is-where组合

通过全局到局部重构学习编码what-is-where场景组成的紧凑视觉状态

前置知识

自监督学习

自监督学习是一种无需人工标注标签，通过设计预训练任务从数据本身学习表示的方法。常见的包括对比学习（如MoCo、SimCLR）和重构方法（如MAE）。模型通过完成特定任务（如重构被遮挡的图像区域）被迫学习有意义的特征表示。例如MAE中，图像被遮挡75%，模型需要从可见的25%像素重构完整图像，这种约束促使模型学习图像的结构和语义信息。

本文的CroBo方法基于重构式自监督学习，需要理解MAE、SiamMAE等基础方法的原理才能掌握其设计思想。

状态表示学习（SRL）

状态表示学习旨在将高维观测压缩成紧凑的状态表示，支持序列决策和预测。在强化学习和机器人领域，状态表示需要既能捕捉环境信息，又能保持足够紧凑以支持快速决策。状态表示通常用于世界模型中作为环境状态的编码，可以用于预测未来状态或选择动作。例如，在机器人抓取任务中，状态表示需要编码物体位置、机器人姿态等关键信息。

本文的核心贡献正是针对机器人学习场景提出更好的状态表示学习方法，理解SRL的挑战和评估方式对理解本文至关重要。

感知直线度

感知直线度是衡量表示轨迹在时间上平滑性的指标。在像素空间中，视频帧的变化是非线性的，但在有效的表示空间中，相关的观测应该沿着平滑的轨迹演化。局部曲率通过计算连续差分向量的夹角来量化，曲率越小表示轨迹越直线，意味着模型能够更一致地跟踪场景变化。

本文使用感知直线度来验证CroBo学习到的表示能够更好地捕捉what-moves-where，理解这个概念有助于理解本文的评估方法。

研究动机

现有的自监督学习方法如MAE、DINO、SiamMAE和ToBo虽然在不同视觉任务上表现良好，但在机器人学习的场景中面临一个根本性问题：它们没有明确回答一个好的视觉状态应该编码什么信息。ToBo通过学习重构被遮挡的后续帧，虽然引入了时间关系，但没有显式考虑帧内的空间结构和场景组成。具体来说，在机器人操作场景中，如Franka Kitchen的微波炉开关任务，机器人需要理解手在哪里以及它如何移动，这需要状态既包含物体的身份信息（what）也包含其精确位置（where）。现有方法主要关注时间对应或补丁级对应，无法保证单一的紧凑令牌能够编码像素级的场景组成信息。

本文的目标是本文的目标是提出一种新的自监督学习框架，使视觉状态表示能够明确编码像素级的what-is-where场景组成。具体而言，要学习一个紧凑的瓶颈令牌，该令牌能够同时捕获场景中存在的语义实体以及它们在整体场景组成中的语义排列。这样的表示应该能够可靠地检测跨观测的细微变化和相互作用，即理解what-moves-where，从而支持动态环境中的序列决策。

与已有工作不同的是，本文的独特切入点在于从像素级场景理解的角度重新思考视觉状态表示学习。与之前的工作专注于时间对应（SiamMAE）或补丁级对应（CropMAE）不同，本文明确指出动态环境下的视觉理解本质上是一种像素级视频理解，表示必须在保持对如何随观测演化的敏感性的同时保留空间语义。为此，本文提出全局到局部的重构目标，这是与ToBo的当前到未来时间关系本质上不同的空间关系，它强制表示在全局尺度上理解场景组成，以便能够重构任意局部视图。

核心方法

CroBo的整体思路是通过一个全局到局部的重构目标来学习编码what-is-where场景组成的紧凑视觉状态。直觉上，如果一个单一的令牌能够作为上下文从稀疏线索中重构任意裁剪的局部视图，那么它必须编码了全局场景的细粒度信息，包括对象的身份、位置和它们的配置关系。技术路线上，给定一个全局源视图x_g和一个从中裁剪的局部目标视图x_l，编码器将源视图映射为单个瓶颈令牌，将高度遮挡（如90%）的目标视图映射为少量可见补丁令牌。解码器使用源瓶颈令牌和可见目标补丁令牌重构被遮挡的目标补丁。由于目标视图只有少量补丁可见，解码器必须依赖瓶颈令牌提供缺失的场景上下文，这鼓励瓶颈令牌捕获细粒度的what-is-where场景组成。

核心创新点在于将视觉状态学习明确地框架化为what-is-where场景组成学习，并通过全局到局部重构来实现。与ToBo的时间关系不同，CroBo的空间关系确保目标视图完全包含在源视图中，使得重构任务定义明确且空间上接地。这种设计迫使瓶颈令牌编码场景中的语义对象以及每个对象的位置信息，而不是仅仅编码时间关系或补丁级对应。另一个关键创新是使用比MAE（75%）更高的遮挡率（90-95%），这防止模型仅从可见令牌重构目标视图，迫使它更充分利用源场景的压缩信息。

方法步骤详情

方法步骤包括：1）输入视图构造：给定视频，采样一帧并构造一对视图——通过全局裁剪获得全局源视图x_g，通过进一步裁剪x_g获得局部目标视图x_l，每个视图被分割为N个非重叠补丁。2）连体编码和遮挡：使用共享权重的连体编码器编码两个视图，源视图x_g不遮挡处理，目标视图x_l以高遮挡率r（如90%）遮挡后编码，得到源CLS令牌和补丁令牌，以及目标CLS令牌和可见补丁令牌。3）解码器重构：通过在被遮挡位置插入可学习掩码令牌和添加位置嵌入来恢复完整目标令牌序列，然后将源CLS令牌与恢复的目标补丁令牌拼接并输入解码器，重构被遮挡的目标补丁。4）目标优化：联合训练编码器和解码器，通过最小化被遮挡目标补丁的均方误差，使用归一化像素目标。

技术新颖性

技术新颖性主要体现在三个方面：1）问题框架的重新定义：首次明确提出机器人学习中的视觉状态应该编码what-is-where场景组成，将动态环境下的场景理解框架化为像素级视频理解问题。2）重构目标的设计创新：全局到局部的重构目标与之前的时间对应或补丁级对应方法本质上不同，它确保目标在空间上完全包含在源中，消除了时间关系带来的歧义。3）遮挡策略的激进设计：使用90-95%的遮挡率远高于MAE的75%，这种极端的遮挡策略迫使模型更依赖全局上下文而不是局部线索，从而学习到更强的场景表示。消融实验显示，遮挡率从75%提升到90%带来了性能的实质性提升，而95%遮挡率进一步提升了性能，验证了这种激进策略的有效性。

**Figure 2**: Learning a visual state that captures pixel-level scene composition.

实验结果

核心发现来自多个实验：在Franka Kitchen基准的五个任务中，CroBo在四个任务上取得最佳表现，其中Micro open任务比前SOTA方法ToBo提升了13.6%，Knob on提升7.2%，Light on提升7.0%。在DeepMind Control Suite的四个任务中，CroBo在reacher/easy任务上比ToBo提升8.3%，walker/stand提升5.0%，walker/walk提升3.1%。缩放行为实验表明，CroBo的性能提升不是来自模型规模，而是更强的表示——即使是最小的ViT-S/16骨干网络达到65.0%的平均成功率，也超过了使用更大ViT-L/16骨干网络的所有基线。重构可视化显示，瓶颈令牌能够从参考视图提供足够信息恢复整体场景结构，包括对象身份、位置和空间关系。例如在CLEVR场景中，两个青色球在遮挡输入中完全不可见，但使用参考瓶颈令牌正确重构了它们的位置。感知直线度实验表明，CroBo在DAVIS视频上的平均局部曲率为75.4度，远低于DINOv2的103.28度，表明CroBo的表示轨迹更加线性，能够更好地捕捉跨帧的what-moves-where。

**Table 1**: Experimental results on vision-based robot policy learning.

**Table 3**: Ablation studies on target view design and masking ratio.

**Figure 5**: Perceptual straightness of representation dynamics in video.

查看结构化数据

任务	指标	本文	基线	提升
Franka Kitchen - Micro open	成功率 (%)	64.8±4.4	ToBo 51.2±6.1	+13.6
Franka Kitchen - Knob on	成功率 (%)	65.6±3.7	ToBo 58.4±5.1	+7.2
Franka Kitchen - Light on	成功率 (%)	87.6±2.2	ToBo 80.6±4.8	+7.0
Franka Kitchen - Sdoor open	成功率 (%)	99.4±1.0	ToBo 98.4±1.1	+1.0
DMC - reacher/easy	归一化分数	95.8±2.1	ToBo 87.5±3.3	+8.3
DMC - walker/stand	归一化分数	92.0±1.4	ToBo 87.0±3.0	+5.0
ViT-B/16 5任务平均 (Franka Kitchen)	平均成功率 (%)	70.5±3.4	ToBo 61.1±5.0	+9.4
ViT-L/16 5任务平均 (Franka Kitchen)	平均成功率 (%)	71.1±3.6	ToBo 63.3±4.2	+7.8

局限与改进

作者在消融研究中讨论了一些局限性。Time + Crop混合构造的性能比单独的Time或Crop都差，表明同时考虑空间定位和时间变化会增加目标歧义并削弱监督，这提示了空间和时间关系的平衡是一个挑战。此外，CroBo目前是从单帧构造两个视图，因此不需要多个视频帧进行预训练，作者在视频数据集上训练只是为了公平比较。本文没有明确讨论在更复杂的真实世界机器人场景中的泛化能力，如严重的遮挡变化、极端的视角变化或长时间的依赖。另一个观察是，在某些任务上（如Ldoor open），CroBo的表现略低于ToBo（41.2% vs 44.2%），这可能表明what-is-where编码对所有任务类型都同样有益。

独立分析的弱点

独立分析的弱点包括：1）虽然CroBo在Franka Kitchen和DMC基准上表现出色，但这些都是在相对受控的仿真环境中，真实世界的复杂性和噪声可能带来更大挑战。例如，真实场景中的光照变化、纹理变化、传感器噪声等因素可能影响what-is-where编码的稳定性。改进方向可以是在更真实的机器人数据集上评估，或引入更强的数据增强来提高鲁棒性。2）当前方法使用单个瓶颈令牌来编码全局场景信息，这在场景非常复杂或包含大量对象时可能面临容量瓶颈。可以考虑层次化的状态表示，其中不同层次的令牌编码不同粒度的信息。3）重构任务使用像素级MSE损失，这可能不是最优的，可以考虑引入语义一致性损失或对比损失来加强语义信息的编码。4）当前方法主要关注空间结构，时间关系的编码较弱，可以考虑设计同时优化空间和时间一致性的目标。

未来方向

作者提出的未来研究方向是将CroBo作为序列世界建模的视觉编码器，因为它能够将what-is-where场景信息编码到紧凑状态中并表现出时间直线度。基于成果可延伸的方向包括：1）将CroBo与next-embedding预测框架结合，在表示空间中进行预测建模，支持长视界决策。2）将CroBo扩展到多模态场景，例如结合语言指令来学习更丰富的场景表示。3）探索将全局到局部重构与其他自监督目标（如对比学习、时间一致性）结合，可能产生更强的表示。4）将CroBo应用于更广泛的动态场景理解任务，如视频对象分割、动作识别、视频问答等，验证what-is-where编码的通用性。5）研究如何从学习到的what-is-where表示中显式提取结构化信息，如对象检测、场景图生成等，以支持更高级的推理。

复现评估

复现评估方面，论文提供了详细的实现细节，包括解码器配置（8层深度，512嵌入维度，16个注意力头，MLP比例4.0）、预训练配置（400 epochs，批量大小1536，余弦衰减学习率调度，初始学习率1.5e-4，AdamW优化器，权重衰减0.05，重复采样2）和数据增强配置（RandomCrop + 同步水平翻转，全局裁剪尺度[0.5, 1.0]，局部裁剪尺度[0.3, 0.6]，调整大小到224x224，双三次插值）。论文提到作者为DINOv2、CropMAE、RSP和ToBo使用公开可用的检查点重新评估，为MAE、DINO和SiamMAE采用RSP报告的结果。这表明至少部分基线检查点是公开的，但作者没有明确说明CroBo的代码和检查点是否会公开。预训练在Kinetics-400数据集上进行400 epochs，这需要相当的计算资源。Franka Kitchen基准使用10次独立运行和两个相机视角来报告结果，DeepMind Control Suite使用10次独立运行和10个随机种子，这提供了可靠的统计评估。总体而言，论文提供了足够的实现细节，复现难度中等，主要挑战是计算资源。

像素级场景理解的单一令牌：视觉状态需要what-is-where组合 Pixel-level Scene Understanding in One Token: Visual States Need What-is-Where Composition