STORM：基于槽位的任务感知物体中心表示用于机器人操作 STORM: Slot-based Task-aware Object-centric Representation for robotic Manipulation
两阶段训练的轻量物体中心模块，提升机器人操作的视觉鲁棒性
前置知识
Slot Attention（槽位注意力）
槽位注意力是一种将视觉场景分解为离散潜在表示的机制。它通过一组可学习的槽位（slots）向量，使用修改后的交叉注意力机制（归一化在查询而非键上）来竞争性地聚合图像中的视觉特征。每个槽位最终对应场景中的一个物体或区域，从而实现无监督的物体发现。该机制最初由Locatello等人在NeurIPS 2020提出，已成为物体中心表示学习的核心组件。
STORM的核心架构建立在槽位注意力之上，理解其工作原理是理解本文方法的基础
Visual Foundation Models (VFMs)
视觉基础模型是通过大规模自监督学习训练的通用视觉特征提取器，如DINOv2采用Vision Transformer架构，通过掩码图像建模等目标在海量无标注数据上训练。这些模型能产生丰富、空间结构化的特征表示，具有强大的跨域泛化能力。DINOv2是本文使用的主要视觉骨干网络，提供冻结的patch特征作为下游任务的输入。
本文的核心目标是在不微调这些大型模型的前提下，通过轻量模块适配其特征用于机器人控制
CLIP文本编码器
CLIP（Contrastive Language-Image Pre-training）是一种多模态模型，通过对比学习在图像-文本对上训练，使视觉和语言表示对齐到共享的潜在空间。本文仅使用CLIP的文本编码器（约300M参数）来编码任务指令和物体名称，生成语义嵌入用于条件化槽位生成，避免了使用大型语言模型（如7B参数的LLM2Vec）的计算开销。
STORM用轻量CLIP文本编码器替代了先前方法中的大型语言模型，这是降低计算成本的关键设计
模仿学习（Imitation Learning）
模仿学习是一种通过观察专家演示来学习策略的方法。在机器人操作中，智能体从人类遥操作收集的轨迹数据中学习状态-动作映射。本文采用的行为克隆方式使用均方误差（MSE）损失来优化策略，使预测动作与专家动作之间的差异最小化。策略使用4帧历史观测预测10步未来动作，并采用高斯混合模型（GMM）动作头输出关节命令。
这是STORM第二阶段联合训练中策略学习的基础方法
梯度分离（Gradient Detachment）
梯度分离是一种训练技术，通过在特定位置切断反向传播的梯度流，使不同模块可以独立优化。在STORM的第二阶段，策略损失的梯度不会回传到物体中心模块，物体中心层使用较小学习率独立微调。这种设计使得物体中心表示既能保持第一阶段学到的语义结构，又能适应下游任务的视觉统计特性。
这是STORM两阶段训练策略的核心技术手段，防止策略训练破坏物体中心表示
研究动机
机器人操作需要能够捕获精细空间结构且可被高层任务规范控制的感知表示。当前的视觉基础模型（如DINOv2）虽然能产生强大的密集特征表示并具有跨域泛化能力，但这些表示缺乏显式的物体级结构。这意味着下游策略必须隐式学习关注相关实体，这常常导致脆弱的行为和在视觉变化下的糟糕泛化能力。实验数据清楚地展示了这一问题：在MetaWorld基准上，冻结的DINOv2在分布内（ID）设置下可达73.8%的成功率，但在分布外（OOD）设置（新干扰物、新光照、新纹理）下成功率骤降至39.6%，下降了34.2个百分点。在真实世界实验中问题更为严重，冻结DINOv2仅获得22.0%的ID成功率和近乎为零的0.1% OOD成功率。这些数据表明，密集的通用视觉特征在面对视觉分布偏移时极为脆弱，无法满足机器人操作对鲁棒性的要求。
本文的目标是本文的目标是开发一个轻量级的物体中心适配模块STORM，能够在不微调大型视觉骨干网络的前提下，将冻结的视觉基础模型特征转化为任务感知的、以物体为中心的表示，从而提升机器人操作策略的鲁棒性和可控性。具体而言，STORM旨在：（1）通过槽位机制将密集视觉特征分解为离散的物体表示；（2）利用语言条件使槽位生成与任务语义对齐；（3）通过两阶段训练策略稳定槽位形成过程；（4）在保持计算效率的同时实现对视觉干扰物和分布偏移的强鲁棒性。该模块应具备轻量性（相比使用7B参数LLM的方法大幅降低计算需求）、可解释性（每个槽位对应场景中的实体）和即插即用性（可直接用于下游控制策略）。
与已有工作不同的是，本文的独特切入角度在于弥合了静态语义物体发现与动态闭环控制之间的鸿沟。现有方法面临两难困境：一方面，传统的物体中心表示学习方法（如DINOSAUR、Slot-Attention）仅关注视觉层面的场景分解，其槽位形成过程完全无引导，学到的槽位可能不对应任务相关实体，甚至会合并为不相关的组件；另一方面，试图将语义集成到槽位中的方法（如CTRL-O）依赖大型语言模型进行初始化，计算开销巨大且难以适应实时机器人应用场景。STORM的核心洞察是：通过引入任务指令的语义条件来显式控制槽位形成过程，并采用两阶段学习策略——先稳定语义物体发现，再与下游控制目标对齐——可以同时解决上述两个问题。这种设计用轻量的CLIP文本编码器（约300M参数，相比LLM2Vec的7B参数减少约23倍）替代大型语言模型，同时通过新颖的熵正则化防止槽位崩溃，为机器人操作提供了实用且高效的物体中心感知方案。
核心方法
STORM的整体思路可以这样理解：想象你是一个机器人，需要根据语言指令完成操作任务。传统的做法是直接用预训练视觉模型的原始特征，但这些特征就像一张高分辨率照片——信息丰富但缺乏结构，你不知道哪些像素属于哪个物体。STORM的做法是给这张照片加上物体标签——通过槽位机制将场景分解为离散的物体表示，每个槽位代表一个候选物体。更关键的是，这些标签是任务感知的——它们知道当前任务需要关注哪些物体。技术路线上，STORM采用两阶段策略：第一阶段在大规模图像-文本数据上预训练物体中心模块，学习将视觉场景分解为语义对齐的槽位表示；第二阶段将预训练好的模块与机器人策略联合训练，但通过梯度分离保持物体中心表示的稳定性。这种渐进式的方法避免了端到端训练中常见的槽位退化问题。
STORM的核心创新在于三个相互关联的设计决策，使其与已有方法存在本质区别。首先，与DINOSAUR等纯视觉物体中心方法不同，STORM通过CLIP文本编码器将语言语义注入槽位形成过程，使每个槽位与特定的物体名称关联。这种轻量的语言条件化（仅用约300M参数的CLIP文本编码器）替代了CTRL-O中使用的7B参数LLM2Vec，实现了约23倍的参数量降低。其次，STORM引入了新颖的熵正则化损失 $$\mathcal{L}_{pen} = 1 - \frac{1}{B}\sum_{b=1}^{B} H_b$$，其中 $H_b = -\frac{1}{\log K}\sum_{k=1}^{K} P_{b,k} \log(P_{b,k} + \epsilon)$ 衡量槽位使用的均匀性。当某些槽位被过度使用而其他槽位闲置时，熵值降低，该损失会惩罚这种不平衡，从而防止槽位崩溃（所有注意力集中到单个槽位）。最后，两阶段训练策略通过在第一阶段完全独立于策略梯度训练物体中心模块，以及在第二阶段应用梯度分离，确保物体中心表示在适应下游任务的同时保持语义一致性。
方法步骤详情
STORM的方法分为两个明确的阶段。第一阶段（视觉-语义槽位预训练）：输入图像 $I$ 首先通过冻结的DINOv2骨干网络 $B$ 提取patch特征 $F = \{f_1, ..., f_N\} = B(I)$。同时，使用冻结的CLIP文本编码器将物体名称（从训练数据的文本描述中提取）编码为嵌入向量，用于初始化槽位 $S = \{s_1, ..., s_K\}$。这些条件化的槽位通过Slot-Attention机制与视觉特征 $F$ 进行交叉注意力，产生软掩码 $m_k$。一个共享的MLP解码器 $D$ 从槽位重建DINOv2特征图 $\hat{F}$，优化重建损失 $\mathcal{L}_{recons} = \|F - \hat{F}\|$。同时，一个PatchCLIP分支将局部化的视觉patch投影到与CLIP文本嵌入共享的潜在空间，计算语义对比损失 $\mathcal{L}_{sem}$，以及熵正则化损失 $\mathcal{L}_{pen}$。总损失为 $\mathcal{L}_{Overall} = \mathcal{L}_{recons} + 0.1 \times (\mathcal{L}_{sem} + \mathcal{L}_{pen})$。第二阶段（联合槽位-策略训练）：将预训练的物体中心模块集成到模仿学习管道中。观测产生固定数量的槽位表示，掩码编码器从每个槽位的掩码中提取空间信息（如质心坐标）并拼接到槽位嵌入中。任务指令通过冻结的CLIP文本编码器编码为全局任务嵌入，使用spaCy自然语言处理库自动从指令中解析名词来条件化物体中心模块，并显式添加robot arm确保机器人本体的一致识别。整个token序列（槽位、任务嵌入、本体感知投影、可学习的[ACT] token）由Transformer解码器处理，使用4帧历史预测10步未来动作，最后通过GMM动作头输出相对关节命令。关键的是，策略损失的梯度不会回传到物体中心模块，但物体中心层使用 $1 \times 10^{-5}$ 的小学习率在机器人数据集上微调。
技术新颖性
STORM的技术新颖性体现在多个层面。首先，两阶段训练策略是对现有端到端方法的根本性改进。先前的方法（如直接在机器人数据上训练DINOSAUR）在有限的演示数据上同时学习物体分解和策略控制，常常导致不稳定或退化的槽位分配。STORM通过将语义预训练与策略训练解耦，稳定了优化过程，使得槽位在适应任务的同时保持对物体的有意义绑定。其次，轻量语言条件化设计在保持语义控制能力的同时大幅降低了计算需求。与CTRL-O依赖7B参数LLM2Vec和CLIP不同，STORM仅需约300M参数的CLIP文本编码器，这对于需要实时推理的机器人应用至关重要。第三，熵正则化损失是一种新颖的正则化机制，专门针对去除大型语言模型初始化后可能出现的槽位崩溃问题。该损失通过显式鼓励所有槽位的平衡使用，作为一种关键的稳定器。第四，掩码空间信息的引入（质心编码）是一个简单但有效的技巧，为策略提供了物体位置的显式几何线索，这在先前的物体中心策略工作中未被充分利用。实验表明，这种紧凑的位置表示（相比边界框或完整掩码编码）在策略学习中既充分又更优。
实验结果
STORM在三个层次的实验中展示了全面的优势。在物体发现任务中（Table I），STORM在Pascal VOC数据集上达到45.8的FG-ARI分数，显著超过DINOSAUR的24.6和Slot-Diffusion的17.8，与使用大型语言模型的CTRL-O高度竞争。在COCO数据集上，STORM达到44.1的FG-ARI，超过DINOSAUR的40.3，接近CTRL-O的47.5。这些结果验证了即使去掉大型语言模型，STORM的物体发现性能仍然强劲。在机器人操作任务中（Table II），STORM在所有基准上都取得最佳或接近最佳的结果。在MetaWorld上，STORM达到74.8%的ID成功率和52.3%的OOD成功率，分别比冻结DINOv2基线提高1.0和12.7个百分点。更重要的是在LIBERO基准上，STORM展现出几乎无衰减的泛化能力：ID成功率89.6%，OOD成功率83.1%，仅下降6.5个百分点，而冻结DINOv2从78.9%下降到70.3%（8.6个百分点），DINOSAUR从77.3%下降到73.2%（4.1个百分点）。在真实世界实验中，STORM的优势最为显著，达到55.2%的ID成功率和41.9%的OOD成功率，分别比冻结DINOv2高出33.2和41.8个百分点。消融研究（Table III）证实了两阶段训练的必要性：从头训练任务感知槽位（69.0% ID, 32.5% OOD）显著劣于STORM的完整方法。Table IV表明，在三种掩码表示中，质心编码（center）在MetaWorld上表现最佳（74.8% ID, 52.3% OOD），优于边界框（68.8% ID, 46.2% OOD）和完整掩码编码（69.4% ID, 52.8% OOD）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MetaWorld (10个操作任务, ID) | 成功率 (%) | 74.8% | 73.8% (DINOv2冻结), 73.2% (DINOSAUR) | +1.0% vs DINOv2, +1.6% vs DINOSAUR |
| MetaWorld (10个操作任务, OOD) | 成功率 (%) | 52.3% | 39.6% (DINOv2冻结), 46.0% (DINOSAUR) | +12.7% vs DINOv2, +6.3% vs DINOSAUR |
| LIBERO (90个操作任务, ID) | 成功率 (%) | 89.6% | 78.9% (DINOv2冻结), 77.3% (DINOSAUR) | +10.7% vs DINOv2, +12.3% vs DINOSAUR |
| LIBERO (90个操作任务, OOD) | 成功率 (%) | 83.1% | 70.3% (DINOv2冻结), 73.2% (DINOSAUR) | +12.8% vs DINOv2, +9.9% vs DINOSAUR |
| 真实世界 (4个操作任务, ID) | 成功率 (%) | 55.2% | 22.0% (DINOv2冻结), 40.1% (DINOSAUR) | +33.2% vs DINOv2, +15.1% vs DINOSAUR |
| 真实世界 (4个操作任务, OOD) | 成功率 (%) | 41.9% | 0.1% (DINOv2冻结), 27.2% (DINOSAUR) | +41.8% vs DINOv2, +14.7% vs DINOSAUR |
| Pascal VOC 物体发现 | FG-ARI | 45.8 | 24.6 (DINOSAUR), 17.8 (Slot-Diffusion) | +21.2 vs DINOSAUR, +28.0 vs Slot-Diffusion |
| COCO 物体发现 | FG-ARI | 44.1 | 40.3 (DINOSAUR), 47.5 (CTRL-O) | +3.8 vs DINOSAUR, -3.4 vs CTRL-O |
局限与改进
尽管STORM取得了显著成果，但论文也揭示了一些局限性。首先，在物体发现任务中，STORM在mBO（平均最佳重叠）指标上落后于某些基于扩散的方法（如Slot-Diffusion），这主要是因为STORM故意使用了DINOSAUR的轻量MLP解码器，该解码器已知会产生不够精确的掩码。作者指出集成更强大的解码器（如Transformer或扩散解码器）可以增强掩码锐度，但这会增加计算成本。其次，STORM在MetaWorld上的ID性能提升相对温和（仅+1.0%），这表明在简单的分布内设置中，物体中心表示的优势不如在OOD设置中明显。第三，真实世界实验虽然验证了方法的有效性，但仅在4个任务上进行了评估（每任务15次rollout），样本量相对有限，可能不足以全面评估方法的鲁棒性。第四，当前方法使用固定的槽位数量（7个），这限制了其对不同复杂度场景的适应能力。第五，论文未详细讨论推理延迟，虽然声称是轻量级模块，但在实时机器人控制中的具体延迟数据缺失。最后，两阶段训练策略虽然有效，但增加了训练流程的复杂性，需要分别管理两个阶段的超参数和训练调度。
独立分析的弱点
STORM存在几个值得深入分析的弱点。首先，固定槽位数量是一个根本性限制：无论场景包含3个物体还是10个物体，都使用7个槽位，这可能导致简单的场景中出现冗余槽位，而复杂场景中槽位不足。改进方向是开发自适应槽位数量的机制，如基于注意力权重动态激活或停用槽位。其次，质心编码作为空间表示虽然简单有效，但丢失了物体的形状和朝向信息，这对于需要精细操作的任务（如抓取特定形状的物体）可能不够。可以探索分层的空间编码方案，同时捕获位置和几何特征。第三，spaCy名词解析用于从任务指令中提取物体名称是一个相对粗糙的方法，可能在复杂指令中遗漏关键实体或产生歧义。更先进的语言理解模型或端到端的语义解析可能提供更可靠的实体提取。第四，梯度分离策略虽然保护了物体中心表示，但也阻止了策略反馈对感知模块的潜在优化，可能限制了性能上限。探索选择性梯度流或课程学习策略可能找到更好的平衡点。
未来方向
论文作者提出了几个重要的未来研究方向。首先，将STORM扩展到可变槽位数量是关键的下一步，这将使方法能够适应不同复杂度的场景，从简单的双物体操作到复杂的多物体交互。其次，多尺度部件分解将允许STORM不仅识别物体级别的实体，还能捕获物体的组成部分（如抽屉的把手、柜子的门），这对于需要理解物体内部结构的任务至关重要。第三，将物体中心、语言感知的感知能力部署到真实机器人系统中需要解决实时性、鲁棒性和安全性等工程挑战。基于STORM的成果，还可以延伸到以下方向：（1）将方法扩展到动态场景和连续视频流中的物体追踪；（2）结合强化学习探索，利用物体中心表示作为状态抽象来提高样本效率；（3）多模态任务规划，利用槽位的语义性质实现更自然的人机交互；（4）将两阶段训练策略推广到其他模态组合（如点云、触觉）的物体中心表示学习。
复现评估
从复现角度来看，STORM具有较好的可复现性。论文使用了广泛可用的预训练模型：DINOv2-B/14作为视觉骨干，CLIP文本编码器用于语言条件化，这些模型都有公开的实现和权重。训练细节描述相对完整：预训练阶段使用VG-COCO数据集，AdamW优化器，学习率 $4 \times 10^{-4}$ 余弦衰减，10000步预热，批大小64，单V100 GPU训练300k步。策略训练阶段使用50个演示/任务，150k步联合训练，学习率 $1 \times 10^{-5}$。然而，有几个因素可能影响复现：（1）VG-COCO数据集的预处理细节需要从CTRL-O论文中获取；（2）LIBERO和MetaWorld的具体任务选择和配置需要参考先前工作；（3）真实世界实验的遥操作数据收集过程缺乏详细描述；（4）spaCy名词解析的具体配置和robot arm追加规则需要确认。总体而言，有经验的研究团队应该能够在相似的计算资源（单V100 GPU用于预训练，多GPU用于策略训练）下复现主要结果。
论文图表
该表格报告了在Pascal VOC和COCO数据集上的物体发现性能，包括mBOi（实例级）、mBOc（类别级）和FG-ARI指标。在Pascal VOC上，STORM达到40.6 mBOi、46.5 mBOc和45.8 FG-ARI，FG-ARI大幅超过DINOSAUR（24.6）和Slot-Diffusion（17.8）。在COCO上，STORM达到27.8 mBOi、36.6 mBOc和44.1 FG-ARI，与CTRL-O（47.5 FG-ARI）高度竞争。
验证了STORM的视觉-语义模块在物体发现任务上的有效性，证明去掉大型语言模型后仍保持强劲性能
该表格报告了在MetaWorld、LIBERO和真实世界基准上的操作成功率（%），包括ID和OOD条件。STORM在所有基准上都取得最佳OOD性能：MetaWorld OOD 52.3%（+12.7% vs DINOv2）、LIBERO OOD 83.1%（+12.8% vs DINOv2）、真实世界 OOD 41.9%（+41.8% vs DINOv2）。真实世界的ID提升也最为显著（55.2%, +33.2%）。
这是论文的核心结果表，全面展示了STORM相对于各种基线的优势，特别是在OOD泛化方面的显著改进
该表格报告了MetaWorld上的消融研究结果。从头训练任务感知槽位（69.0% ID, 32.5% OOD）显著劣于STORM（74.8% ID, 52.3% OOD）。DINOSAUR（无任务感知）在OOD上表现尚可（46.0%）但不如STORM。冻结预训练的槽位（74.4% ID, 48.4% OOD）也不如完整方法。
验证了两阶段训练策略和任务感知模块的必要性，是理解方法有效性的关键证据
该表格报告了MetaWorld上不同掩码表示的性能。去除掩码信息导致显著下降（64.4% ID, 45.5% OOD）。质心编码（center）表现最佳（74.8% ID, 52.3% OOD），优于边界框（68.8% ID, 46.2% OOD）和完整掩码编码（69.4% ID, 52.8% OOD）。
展示了空间信息对策略学习的重要性，并确定了质心编码作为最佳的空间表示形式