聚光灯聚焦任务相关特征：面向机器人操控更好泛化的物体中心表征 Spotlighting Task-Relevant Features: Object-Centric Representations for Better Generalization in Robotic Manipulation
基于Slot Attention的物体中心表征大幅提升机器人策略的分布外泛化能力
前置知识
视觉运动策略 (Visuomotor Policy)
视觉运动策略是一种将机器人视觉输入（如相机图像）映射到运动动作的策略函数。给定当前观测（包括图像、本体感受状态等），策略输出下一步的运动动作。这类策略通常通过深度学习从专家演示中学习，是现代机器人操控的核心范式。策略的视觉表征质量直接决定了其在新环境中的泛化能力。
本文的核心目标就是提升视觉运动策略在分布变化下的泛化能力，理解这个概念是理解全文研究动机的基础。
Slot Attention (槽注意力)
Slot Attention 是一种可微分的注意力机制，由Locatello等人在2020年提出。它通过迭代的竞争性注意力机制，将输入特征 $F = f_1, \ldots, f_N$ 分解为一组固定数量的潜在槽（slots）$S = s_1, \ldots, s_K$，其中 $N \gg K$。具体来说，注意力权重通过 $A = ext{softmax}\left(?rac{QK^T}{\sqrt{D}} ight)$ 计算，其中查询 $Q$ 是当前槽表示的投影，键 $K$ 和值 $V$ 是特征标记的投影。这种竞争机制鼓励不同的槽专注于输入图像的不同部分，从而实现无监督的物体分解。
Slot Attention 是本文方法 DINOSAUR* 的核心组件，理解其工作原理是理解物体中心表征如何从场景中分解出离散物体实体的关键。
分布偏移 (Distribution Shift)
分布偏移指训练数据和测试数据之间存在分布差异。在机器人操控中，这表现为环境视觉特征的变化，包括：干扰物出现（distractors）、纹理改变（如桌面材质变化）、光照条件变化、背景杂乱程度变化等。分布偏移是导致机器人策略在新环境中失效的主要原因，因为策略可能过拟合到训练数据中的虚假关联（如特定的桌面纹理或光照模式）。
本文的核心贡献就是证明物体中心表征在面对分布偏移时具有更强的鲁棒性，理解分布偏移的各种形式对理解实验设计和结果至关重要。
物体中心表征 (Object-Centric Representation)
物体中心表征是一种将视觉场景分解为离散的、对应于单个物体的潜在实体的表征方式。与全局特征（整个图像压缩为单一向量）或密集特征（保留空间细节的特征网格）不同，物体中心表征通过竞争性注意力将场景分解为一组物体级别的表示。这种方法受到人类感知理论的启发，通过结构化的归纳偏置来促进对低层外观变化的不变性，减少对虚假关联的依赖。
这是本文研究的核心对象，论文系统性地评估了物体中心表征相对于全局和密集表征在机器人操控中的优势和局限。
视觉基础模型 (Vision Foundation Models)
视觉基础模型是在大规模数据上预训练的强大视觉编码器，如DINOv2（在LVD-142M上训练的自监督ViT）、CLIP（对比学习的文本-图像模型）、R3M（在自我中心视频上训练的机器人表征）等。这些模型提取的视觉特征被广泛用于下游任务。DINOv2使用ViT架构，可提取196个密集特征标记或1个全局CLS标记。这些预训练模型为机器人策略提供了强大的视觉先验。
论文将物体中心表征（DINOSAUR*）与多个主流视觉基础模型进行对比，理解这些模型的特点有助于理解实验对比的公平性和全面性。
Slot Merging (槽合并)
槽合并是物体中心表征的一个关键失败模式，当场景中物体数量超过可用槽的数量时发生。在这种情况下，原本应分配给不同物体的槽被迫合并来自多个物体的特征，导致任务相关物体的状态表示被干扰物的视觉噪声污染。例如，在高杂乱场景中，目标物体的槽可能吸收干扰物的特征，使得策略无法准确识别任务相关的物体状态。这种现象在本文中被首次系统性地识别和分析。
槽合并是论文识别的关键瓶颈，理解这一现象对于理解物体中心表征的局限性和后续改进方向至关重要。
研究动机
当前最先进的视觉运动策略依赖于强大的全局或密集视觉特征，但这些表征在分离关键任务信号与背景噪声方面存在根本性缺陷。全局特征通过池化操作或CLS标记将整个图像压缩为单一向量，而密集特征从CNN或ViT的某一层提取特征网格。然而，这两种表征都缺乏显式机制来将任务相关物体与不相关的背景噪声分离。这导致策略常常过拟合到虚假关联，如桌面纹理或光照条件，当这些因素在测试时发生变化时就会导致灾难性失败。例如，论文指出在MetaWorld的纹理变化场景下，DINOv2策略的成功率从域内水平急剧下降到仅0.03，ResNet-50更是降至0.0；在真实世界的干扰物场景下，ResNet-50策略从56%的域内成功率降至仅15%。这些数据清楚地表明，现有视觉表征在面对分布偏移时存在严重的泛化瓶颈。
本文的目标是本文的具体目标是系统性地诊断和验证基于槽的物体中心表征（SOCRs）在机器人操控任务中的潜力。作者提出了一个'结构化瓶颈假说'：将场景显式分解为离散的物体级实体的表征会施加一种归纳偏置，促进对低层外观变化的不变性并减少对虚假关联的依赖。研究目标包括：（1）验证SOCRs是否能在多种环境下改善策略学习效率；（2）测试SOCRs是否能在视觉分布偏移下增强策略泛化能力；（3）识别SOCRs何时以及为何失败，确定影响其性能的关键因素。这些目标通过在模拟（MetaWorld、LIBERO）和真实世界任务上的大规模诊断研究来实现，共包含约1000次真实机器人实验。
与已有工作不同的是，尽管物体中心表征在无监督感知和简化合成控制设置中展示了潜力，但现有研究主要关注多物体推理和物理交互等关系复杂性维度，对感知复杂性的探索严重不足。具体来说，已有工作的关键盲区包括：（1）未评估结构化瓶颈能否扩展到真实世界机器人操控中固有的视觉噪声和干扰物；（2）未量化物体中心表征相对于现代基础模型（如DINOv2、Theia）的鲁棒性增益；（3）未确定在场景复杂度增加时支配其行为的结构性限制。本文的独特切入角度在于超越单纯的性能基准测试，提供首个针对机器人策略学习的SOCRs系统性诊断研究，分析表征结构如何影响泛化，识别由容量约束导致的具体失败模式，并基于这种结构化理解提供改进指导。
核心方法
本文的核心方法是将基于槽的物体中心表征（SOCRs）集成到机器人策略学习框架中。整体思路分为三个层次：首先，利用预训练视觉骨干网络（如DINOv2的ViT）提取图像的密集特征标记 $F = f_1, \ldots, f_N$；然后，通过Slot Attention模块将这些密集特征分解为 $K$ 个物体级槽表示 $S = s_1, \ldots, s_K$，其中 $N \gg K$；最后，将这些槽表示输入到基于Transformer的策略网络中进行动作预测。为了公平比较不同表征类型，所有策略都使用相同的框架结构：一个编码器、一个观测主干（Transformer编码器）和一个策略头（MLP）。关键技术路线是DINOSAUR*模型，它在DINOSAUR基础上进行了两项改进：用更强大的DINOv2替换原始DINO编码器，并将静态Slot Attention扩展到时域，通过在时间步之间加入Transformer层实现递归信息传递。整个系统支持多任务学习，所有预训练视觉编码器在策略训练期间保持冻结，以隔离表征选择的影响。
本文的核心创新在于提出并验证了'结构化瓶颈假说'：将场景显式分解为离散物体级实体的表征会施加一种归纳偏置，促进对低层外观变化的不变性并减少对虚假关联的依赖。与现有方法的本质区别在于：（1）与全局特征（如R3M的单一向量）和密集特征（如DINOv2的196个特征标记）不同，物体中心表征通过竞争性注意力机制强制不同槽专注于场景的不同部分，天然地将任务相关物体与背景噪声分离；（2）与分割驱动的方法（如SAM+DINOv2）不同，SOCRs通过端到端学习实现物体分解，无需监督信号、空间提示或昂贵的分割模型，计算效率更高；（3）DINOSAUR*引入时序一致性机制，通过Transformer层在时间步之间传递槽信息，解决了静态物体中心模型在时序任务中的局限性。这种结构化表征方式使得策略能够过滤掉不相关的背景信息，专注于物体级别的交互状态。
方法步骤详情
方法的具体步骤如下：第一步，图像编码。给定输入图像 $I$，使用预训练的视觉骨干网络（如DINOv2的ViT）将其编码为密集特征标记 $F = f_1, \ldots, f_N$，其中 $N$ 通常为196（对应14×14的patch网格）。第二步，物体中心分解。将密集特征输入Slot Attention模块，该模块通过迭代的交叉注意力和竞争机制提取 $K$ 个物体级槽表示。具体地，注意力权重通过 $A = ext{softmax}\left(?rac{QK^T}{\sqrt{D}} ight)$ 计算，其中 $Q$ 是当前槽表示的投影，$K$ 和 $V$ 是特征标记的投影，$D$ 是投影特征维度。更新后的槽 $S^{(i+1)} = AV$。第三步，时序整合。DINOSAUR*在时间步之间引入Transformer层，槽首先在该层内进行槽内自注意力以聚合上下文，然后作为下一时间步Slot Attention模块的初始化。第四步，策略学习。使用观测主干编码包含视觉特征、本体感受状态和语言嵌入的序列，交替插入可学习的动作标记。策略头（MLP）从动作标记生成下一个动作。整个系统在多任务设置中训练，每个策略可从多个任务的演示中学习。
技术新颖性
本文的技术新颖性体现在多个维度。首先，这是首个系统性诊断研究，超越了单纯的性能基准测试，深入分析了物体中心表征的结构特性如何影响机器人策略的泛化能力。其次，论文首次识别并形式化了'槽合并'这一关键失败模式：当场景中物体数量超过可用槽时，干扰物特征会渗入任务相关槽，污染关键状态信息。第三，论文首次系统性地探索了槽容量（$K$）对策略性能的影响，揭示了一个有趣的权衡关系：低容量（$K < 10$）导致欠分割和性能崩溃，高容量（$K > 10$）改善分布外鲁棒性但降低域内性能。第四，论文证明了物体中心方法可以有效利用大规模预训练，推翻了先前关于物体中心方法无法从大规模预训练中获益的假设。第五，论文引入了DINOSAUR*和DINOSAUR-Rob*两个模型变体，后者专门在机器人视频数据上预训练，展示了领域对齐对下游性能的显著提升。
实验结果
论文通过三个核心问题的系统性实验得出了以下关键发现。针对Q1（物体中心表征能否改善策略学习效率），实验表明DINOSAUR-Rob*在所有环境中达到最高总体性能：在MetaWorld中取得0.76的平均成功率，LIBERO中为0.77，真实世界中为56%。即使没有机器人预训练的DINOSAUR*也极具竞争力，在真实世界达到48%的成功率，比DINOv2策略高出20个百分点。针对Q2（物体中心表征能否增强分布偏移下的泛化能力），SOCRs策略展现出显著更好的鲁棒性。在MetaWorld中，DINOSAUR-Rob*在干扰物、纹理变化和光照变化场景下的总体成功率为0.49，而DINOv2仅为0.18；在真实世界中，DINOSAUR-Rob*在分布偏移下平均成功率为41%，而ResNet-50仅12%、DINOv2仅7%。针对Q3（SOCRs何时失败），论文识别出槽合并是关键失败模式，并通过槽容量消融实验揭示了容量-鲁棒性权衡：$K=10$ 时域内性能最佳（0.76），$K=20$ 时分布外鲁棒性最优（0.60）。这些发现为理解物体中心表征的优势和局限提供了清晰的路线图。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MetaWorld 桌面操控（域内） | 平均成功率 | DINOSAUR-Rob*: 0.76 | DINOv2: 0.65, Theia: 0.60, ResNet-50: 0.75 | 与最佳基线持平或略优 |
| MetaWorld 干扰物泛化 | 干扰物场景成功率 | DINOSAUR-Rob*: 0.46, DINOSAUR*: 0.21 | Theia: 0.65, DINOv2: 0.11, ResNet-50: 0.04 | SOCRs在纹理/光照场景大幅领先 |
| MetaWorld 纹理变化 | 纹理场景成功率 | DINOSAUR*: 0.48, DINOSAUR-Rob*: 0.36 | DINOv2: 0.03, ResNet-50: 0.0, Theia: 0.28 | DINOSAUR*比DINOv2提升15倍 |
| MetaWorld 光照变化 | 光照场景成功率 | DINOSAUR*: 0.71, DINOSAUR-Rob*: 0.65 | DINOv2: 0.39, ResNet-50: 0.22, Theia: 0.48 | DINOSAUR*比DINOv2提升82% |
| LIBERO 多物体推理（域内） | 平均成功率 | DINOSAUR-Rob*: 0.77, DINOSAUR*: 0.75 | Theia: 0.73, DINOv2: 0.73, R3M: 0.61, VC-1: 0.67 | 比最佳基线提升5.5% |
| 真实世界桌面操控（域内） | 平均成功率 | DINOSAUR-Rob*: 56%, DINOSAUR*: 48% | ResNet-50: 56%, DINOv2: 35%, Theia: 33%, R3M: 33% | DINOSAUR-Rob*与ResNet并列最佳 |
| 真实世界干扰物泛化 | 干扰物场景成功率 | DINOSAUR-Rob*: 37%, DINOSAUR*: 27% | ResNet-50: 15%, DINOv2: 6%, Theia: 6% | DINOSAUR-Rob*比ResNet提升147% |
| 真实世界纹理变化 | 纹理场景成功率 | DINOSAUR-Rob*: 44%, DINOSAUR*: 29% | ResNet-50: 10%, DINOv2: 8%, Theia: 8% | DINOSAUR-Rob*比ResNet提升340% |
局限与改进
论文坦诚地指出了物体中心表征的几个关键局限性。首先是槽合并问题：当场景中物体数量超过可用槽的数量时，干扰物的特征会渗入任务相关槽，污染关键状态信息。在MetaWorld的高杂乱场景中，DINOSAUR*的成功率从简单干扰的0.60降至困难干扰的0.10，这种性能下降与槽合并现象直接相关。其次是容量-鲁棒性权衡：增加槽数量可以改善分布外鲁棒性（$K=20$ 时OOD成功率达0.60），但会显著降低域内性能（从 $K=10$ 时的0.76降至约0.61），因为策略网络难以从更多、更嘈杂的槽中过滤出有效信息。第三，分割驱动方法的局限：SAM+DINOv2在仅使用外观特征（不使用空间信息）时完全无法学习有效策略，这与先前工作的结论相反，表明分割驱动方法对空间提示的依赖严重限制了其适用性。第四，计算开销：尽管SO�s比分割方法更高效，但Slot Attention的迭代过程仍比简单的前向传播增加了计算成本。作者自己也观察到，当前的策略架构在处理高维槽输入时效率不足，这是未来需要改进的方向。
独立分析的弱点
论文存在几个值得深入分析的弱点。第一个弱点是槽容量的静态设置：模型在训练时使用固定的 $K=10$ 个槽，推理时虽然可以调整，但缺乏自适应机制来根据场景复杂度动态确定最优槽数量。改进方向是引入自适应槽注意力（如Adaptive Slot Attention），根据场景中物体的实际数量动态调整槽的数量。第二个弱点是缺乏语义对齐：当前的槽仅基于视觉相似性进行分组，不保证与功能类别（如'工具'、'障碍物'）对齐。改进方向是引入语言-视觉对齐损失，使槽能够捕获语义意义而非仅仅是视觉聚类。第三个弱点是时序一致性不足：虽然DINOSAUR*引入了时序Transformer层，但在长序列中槽的身份追踪仍然可能不稳定。改进方向是引入显式的槽身份编码和追踪机制。第四个弱点是策略架构的局限：当前的MLP策略头在处理高维、嘈杂的槽输入时效率不足，导致高容量设置下域内性能下降。改进方向是设计专门的槽选择或注意力机制来过滤冗余槽信息。
未来方向
论文提出了两个明确的未来研究方向。第一个方向是多粒度表征：模型应同时使用细粒度槽来捕获视觉复杂性和粗粒度槽来聚合语义实体，从而将视觉噪声与策略输入解耦。这种分层结构可以同时保留详细的空间信息和高级语义信息。第二个方向是自适应容量与语义：动态槽容量必须与选择机制配对，以区分活跃的新物体和被动的背景噪声。此外，未来工作必须弥合无监督分组和语义理解之间的差距，确保槽与功能类别（如'工具'、'障碍物'）而非仅仅是视觉聚类对齐。基于当前成果还可以延伸以下方向：（1）探索物体中心表征在更复杂的长期任务中的应用，如需要多步规划的装配任务；（2）研究将物体中心表征与大语言模型结合，实现基于物体级别的高层推理和任务规划；（3）开发在线学习机制，使物体中心模型能够适应新环境中的新物体类型；（4）探索物体中心表征在多机器人协作中的应用，利用共享的物体级表示实现更好的协调。
复现评估
论文在复现性方面提供了较好的支持。代码和项目网站（http://spotlight-iros.github.io/）已公开。实验设置详细说明了三个环境：MetaWorld使用与先前工作相同的任务集，LIBERO使用LIBERO-90任务集，真实世界使用4个桌面操控任务各50个演示。论文报告了7个代表性预训练视觉编码器的完整对比，包括详细的参数量和token数量。模拟实验使用3个随机种子、每个任务50次rollout，真实世界实验每个泛化级别12次rollout（总计约1000次）。然而，完整的机器人预训练数据混合（BridgeV2 + Fractal + DROID）需要大量存储和计算资源，可能对资源有限的研究者构成挑战。DINOSAUR*的训练需要先在COCO上训练Slot Attention模块，再在目标任务上演练策略，两阶段训练流程增加了复现复杂度。此外，真实世界的硬件要求（Franka机械臂、多相机设置）限制了该部分实验的直接复现。总体而言，模拟实验部分具有较好的可复现性，但真实世界实验需要专门的硬件和大量计算资源。
论文图表
该表格比较了使用不同机器人数据集预训练的DINOSAUR*模型在三个评估域中的表现。数据包括：BridgeV2（B）、Fractal（F）、DROID（D）以及它们的混合（DINOSAUR-Rob*）。关键发现：混合多样化的机器人数据集不仅优于任何单一数据集，而且在所有评估域中都超越了标准视觉基线（COCO）。DINOSAUR-Rob*（D+B+F）在MetaWorld达到0.76、LIBERO达到0.77、真实世界达到0.56。
这个表格证明了领域对齐预训练的重要性，展示了数据多样性和混合策略对下游性能的显著影响。
该表格详细列出了7个代表性预训练视觉编码器的关键属性：骨干网络（ViT或ResNet-50）、预训练数据集、参数量、特征类型（全局G、密集D、分割SM、槽Slot）和token数量。模型涵盖DINOv2（86M参数，196/1个token）、VC-1（86M，1个token）、Theia（140M，196个token）、R3M（25.6M，1个token）、ResNet-50（25.6M，49/1个token）、SAM+DINOv2（约400M，10个token）和DINOSAUR*/DINOSAUR-Rob*（88M，10个token）。
这个表格提供了实验对比的完整背景，帮助读者理解不同模型的架构差异和计算复杂性，是评估实验公平性的重要参考。
该表格详细报告了各模型在MetaWorld三种分布偏移（干扰物、纹理变化、光照变化）下的成功率。关键数据：DINOSAUR-Rob*在干扰物（0.46）、纹理（0.36）和光照（0.65）场景下均表现优异，总体为0.49；DINOSAUR*在纹理（0.48）和光照（0.71）场景下表现最佳；相比之下，DINOv2在纹理场景仅0.03，ResNet-50在纹理和干扰物场景均为0.0。
这个表格提供了最详细的泛化性能数据，直接支持了论文关于物体中心表征在分布偏移下具有更强鲁棒性的核心论点。
该表格报告了各模型在真实世界两种分布偏移（干扰物和纹理变化）下的成功率。关键数据：DINOSAUR-Rob*在干扰物场景37%、纹理场景44%、总体41%；DINOSAUR*在干扰物27%、纹理29%、总体28%；相比之下，ResNet-50仅15%和10%，DINOv2和Theia均低于10%。这些结果表明物体中心表征在真实世界的视觉扰动下具有显著优势。
这个表格是真实世界实验的核心结果，证明了物体中心表征在实际机器人应用中的实用价值。