SIEVE：面向VLA模型模仿学习的结构感知数据选择

基于MDL原理从轨迹挖掘可复用原语，用50%数据超越全量训练

前置知识

Vision-Language-Action（VLA）模型

VLA模型是一类将视觉观测和语言指令映射到机器人动作的生成式策略架构。它以视觉语言模型为骨干，通过自回归动作token化、扩散或流匹配等动作解码方式输出连续的机器人控制量，是当前机器人操控的主流范式。代表模型包括π0、OpenVLA、GR00T N1、Qwen3-VL-4B-GR00T等，通常通过在大规模演示数据集上做模仿学习来获取操控技能。

本文要解决的核心问题就是如何为VLA模型的模仿学习筛选高质量训练数据，理解VLA模型的训练方式（行为克隆）和数据特性是读懂全文的基础。

模仿学习与行为克隆

模仿学习（IL）是让智能体从专家演示中学习策略的方法，其中行为克隆（BC）是最常见的范式：把策略学习视为监督学习，最大化在状态$s$下采取专家动作$a$的对数似然，即损失$\mathcal{L}_{BC}(\theta)=\mathbb{E}_{(s,a)\sim\mathcal{D}}[-\log\pi_\theta(a|s)]$。BC假设训练数据中状态-动作映射越一致，策略越容易拟合，因此筛选稳定、可预测的演示对训练效果至关重要。

SIEVE第三阶段的学习友好型轨迹选择正是基于BC需要稳定监督这一原理，用轨迹在表示空间的中心性作为监督稳定性的代理。

最小描述长度原理（MDL）

最小描述长度原理是奥卡姆剃刀的形式化：最优的模型描述应当最小化编码模型本身和编码数据所需的比特数之和，即$L(x)=\min_{H\in\mathcal{H}}[L(H)-\log P(x|H)]$。当数据中存在重复模式时，把这些模式吸收进模型参数、而非在每个数据实例中冗余编码，能获得更短的总描述长度。这暗示学习者会通过吸收重复结构来压缩数据。

MDL是SIEVE的理论根基。论文据此提出有用数据是富含可提取结构的数据这一核心假设，把演示的实用价值与其暴露的可复用行为子程序挂钩。

数据选择（Data Selection for IL）

机器人演示数据集常包含大量冗余、噪声和覆盖不均，盲目扩大数据并不能带来更好的策略。数据选择旨在从大池中保留对策略学习最有益的紧凑子集。现有方法主要分两个粒度：轨迹级（用表示相似度、可靠性、下游反馈等全局信号，易把长程轨迹塌缩成单一分数）和状态-动作级（用互信息、任务进度等局部信号，过于短视）。本文指出两者之间存在粒度不匹配。

理解数据选择的两个现有粒度及其缺陷，才能体会SIEVE提出的原语组合这一中间粒度为何是关键创新。

V-JEPA2 视频编码器与原语组合

V-JEPA2是自监督视频模型，能为视频片段提取高质量的视觉表示。SIEVE用它对轨迹片段编码（取起始/中间/末尾帧拼接再PCA降到256维）。原语是SIEVE定义的可复用视-动行为单元，把轨迹看作原子原语加转移接口的有序序列（即组合模式$P_i=[c_1^i,\ldots,c_{|P_i|}^i]$），相邻原语之间的衔接$e_j^i=(c_j^i\rightarrow c_{j+1}^i)$即为转移。

原语组合是整篇方法的核心抽象，既是数据选择的中间粒度，也是结构暴露目标中度量可复用结构的基础。

研究动机

VLA模型通常依赖大规模机器人演示做模仿学习，但数据量增长并不自动带来更好的策略。真实数据集普遍存在轨迹冗余、噪声人类演示、次优行为和任务覆盖不均：例如Bridge-V2约含53K条、Fractal约87K条演示，训练在未筛选数据上会反复让模型接触近似重复行为，并传播不一致或低质量监督，造成算力浪费和收益递减。现有IL数据选择方法存在明显的粒度不匹配：轨迹级方法（如SCIZOR、DataMIL、DemInf的反馈式变体）用表示相似度、可靠性或下游任务反馈等全局信号，但会把长程轨迹塌缩成单一分数、掩盖内部哪些阶段真正有用，且反馈式方法还要额外训练模型、代价高昂；状态-动作级方法（如DemInf的互信息估计）虽能捕捉局部可预测性或冗余，却过于短视、难以刻画连贯的长程任务语义，主要服务于局部剪枝。两者都无法捕获构成长程行为的可复用结构。

本文的目标是本文的目标是为VLA模仿学习设计一种结构感知的数据选择方法，从大规模演示池中保留一个对策略学习更有效的紧凑子集。具体而言，作者希望同时回答两个问题：第一，应保留哪些行为结构——即决定保留哪些可复用的原子原语及其转移接口；第二，应保留哪些具体演示——即在同一行为模式下优先选择稳定、可预测、适合行为克隆的现实样本。最终目标是在减少训练数据和训练步数的同时，性能不降反升，甚至超越在完整数据上训练的全量基线。

与已有工作不同的是，SIEVE的独特切入角度是在轨迹级与状态-动作级之间引入原语组合这一中间粒度。它把每条轨迹表示为原子原语序列及其相邻转移接口，从而既比单一轨迹分数更结构化、又比逐状态信号更连贯。更关键的是，作者从最小描述长度原理出发重新定义有用数据：有用数据不是单纯充足或局部可预测，而是富含学习者能内化并复用的可提取结构（可复用行为子程序）。这一视角把数据选择从去冗余或打分提升为最大化可复用结构的暴露，并额外引入表示空间中心性来保证BC所需的稳定监督，填补了现有方法忽视组合结构的空白。

核心方法

SIEVE的整体思路是先把轨迹分解成可复用原语，再按结构暴露分配预算，最后在每个模式桶内挑中心轨迹。直觉上，长程行为由若干反复出现的原子动作原语通过转移接口拼接而成；如果一个学习者在有限参数和算力下要压缩数据，它会把这些重复模式吸收为共享子程序，因此富含这种结构的演示更有价值。技术路线分三阶段串行：阶段一原语发现，先在物理边界处切分轨迹、用V-JEPA2编码片段、PCA降到256维后用Mini-Batch K-Means聚类得到原语词表，聚类数$K$由$(1-J)\log R$最大化自动确定；阶段二结构暴露分配，把每条轨迹表示为有序原语序列（组合模式）并定义转移，用带对数收益递减的结构暴露目标$F(B)$贪婪地为每个组合模式桶分配预算；阶段三学习友好型轨迹选择，在每个桶内按余弦相似度找出medoid中心轨迹并保留距离中心最近的若干条，为BC提供稳定监督。

核心创新点是用原语组合的中间粒度建模轨迹效用，并由MDL原理驱动结构暴露目标。与已有方法的本质区别有三：其一，轨迹级方法把整条轨迹压成单一分数，状态-动作级方法过于短视，而SIEVE在原语序列层面度量，恰好捕捉跨演示共享的可复用行为子程序；其二，结构暴露目标$F(B)=\sum_c w_c\log(1+n_c(B))+\sum_e w_e\log(1+n_e(B))$同时奖励原语和转移的暴露，对数项引入递减收益促使预算铺向更多结构而非反复强化同一个，权重$w_c=q_c/|\mathcal{P}|$、$w_e=q_e/|\mathcal{P}|$让跨更多组合模式复用的原语和转移优先；其三，针对BC的监督稳定性，选择桶内medoid（中心、稳定的现实样本）而非最大化多样性的离群样本，这是学习友好的关键。

方法步骤详情

阶段一原语发现：(1)轨迹切分——对每条轨迹$T_i$用末端执行器（夹爪或灵巧手）状态翻转（抓取或释放）作为物理交互边界得到$L_i$个片段，为抑制抖动，状态变化需连续5帧持续才被接受；(2)片段表示——每片段均匀采样8帧用V-JEPA2编码，取起/中/末三段表示拼接后PCA降到256维得$z_j^i$；(3)聚类——在随机采样的子集上对候选$K$用Mini-Batch K-Means聚类，按轨迹覆盖簇集$C_i$计算判别度$J$（平均成对Jaccard的中位数）和跨轨迹复用度$R$（每簇出现次数的中位数），选$K^*=\arg\max_K(1-J)\log R$，再在全部片段上重聚类，每个簇即一个原语。阶段二结构暴露分配：每条轨迹表示为组合模式$P_i=[c_1^i,\ldots,c_{|P_i|}^i]$，相邻原语构成转移$e_j^i=(c_j^i\rightarrow c_{j+1}^i)$，单原语轨迹引入终止空状态$\emptyset$定义终止转移。设预算向量$B=[b_1,\ldots,b_{|\mathcal{P}|}]$，最大化结构暴露目标$F(B)$，从$B^{(0)}=0$起每轮贪心地把一个样本分给边际增益$\Delta(P^{(\ell)}|B)=F(B+b_\ell)-F(B)$最大的桶，即$\ell^\star=\arg\max_\ell\Delta(P^{(\ell)}|B)$，直到预算用尽，得到每个模式桶应保留的轨迹数。阶段三学习友好型轨迹选择：每条轨迹按原语序列拼接片段表示得$x_i=\text{Concat}(z_1^i;\ldots;z_{|P_i|}^i)$，桶内用余弦相似度算聚合相似度$S_i=\sum_{j\neq i}\cos(x_i,x_j)$，取最大者作medoid$T_{med}$，按$d_i=1-\cos(x_i,x_{med})$排序，保留距离最小的$B[\ell]$条。

技术新颖性

技术新颖性体现在三方面。第一，提出原语组合视角，通过轨迹分段加聚类自动发现可复用原语，并用$(1-J)\log R$这一兼顾跨轨迹复用与轨迹级判别度的准则自动定簇数$K$，避免了手工指定；Figure 4显示该准则在三个数据集上都有清晰峰值，说明可作稳定的启发式。第二，结构暴露目标$F(B)$把MDL的重复结构应进模型而非冗余编码这一思想具象化为对原语和转移暴露的对数递减收益优化，并按组合模式桶贪婪分配预算，Figure 3显示选择后分布从频率主导的单原语模式转向更多元的多原语序列。第三，学习友好型选择用表示空间中心性作为条件动作熵的实用代理，反向验证了中心稳定样本更适合BC——消融表明换成最不相似选择(Most-Dissim)成功率从56.3%暴跌到40.1%。此外，方法与具体VLA架构解耦，在GR00T与OFT两种动作解码器上均有效，体现了通用性。

**Figure 4**: Selection of the number of primitive clusters K

实验结果

核心发现围绕用更少数据加更少步数超越全量训练。表1在Bridge-V2加SimplerEnv-WidowX上用Qwen3-VL-4B-GR00T：仅用50%数据(26.5K)和25K步，SIEVE平均成功率56.3%，超过用全量数据加50K步的Full-Training(51.8%)，且优于同预算下SCIZOR(52.2%)、DemInf(43.2%)、Random(39.6%)；在50%数据加50K步设置下SIEVE达59.4%，70%预算下达62.3%(35K步)或62.5%(50K步)，所有设置均领先。值得注意，SCIZOR虽在放茄子入篮单任务上很高(90.6%)但叠绿方块、放胡萝卜明显掉队，而SIEVE四任务更均衡。表2跨数据集(50%数据加50%步)：Bridge-V2 56.3%、Fractal 76.4%、GR00T-X-Sim 54.8%均为最高，前两者还超过Full-Training(51.8%、75.0%)。表3跨模型：在Qwen3-VL-4B-OFT上SIEVE 56.5%，远超Full-Training 38.8%和Random 26.3%，证明效果不绑定特定架构。表4消融：去掉转移暴露项降到50.8%、去掉原语项降到51.6%，说明两者都关键且转移更重要；桶内选择上Most-Dissim暴跌到40.1%、Random为53.7%、SIEVE 56.3%，验证中心选择的有效性。Figure 3进一步显示选择后组合模式分布更均衡、高频项多为多原语序列。

**Table 1**: Performance comparison with baselines on SimplerEnv-WidowX using Qwen3-VL-4B-GR00T

**Table 2**: Performance across different datasets using Qwen3-VL-4B-GR00T

**Table 3**: Performance across different models on SimplerEnv-WidowX

**Table 4**: Ablation study on SimplerEnv-WidowX using Qwen3-VL-4B-GR00T

**Figure 3**: Distribution of top-50 composition patterns before and after SIEVE selection

查看结构化数据

任务	指标	本文	基线	提升
Bridge-V2 / SimplerEnv-WidowX（50%数据加25K步）	平均成功率%	SIEVE 56.3	Full-Training 51.8 / SCIZOR 52.2 / Random 39.6	比全量训练加2倍步数高4.5个百分点，比SCIZOR高4.1
Bridge-V2 / SimplerEnv-WidowX（70%数据加50K步）	平均成功率%	SIEVE 62.5	Full-Training 51.8 / SCIZOR 58.1 / DemInf 57.1	比全量训练高10.7个百分点
跨数据集 Fractal（50%数据加50%步）	平均成功率%	SIEVE 76.4	Full-Training 75.0 / SCIZOR 71.9	用一半数据和步数仍高出全量1.4
跨模型 Qwen3-VL-4B-OFT	平均成功率%	SIEVE 56.5	Full-Training 38.8 / Random 26.3	比全量训练高17.7个百分点
消融：桶内选择策略	平均成功率%	SIEVE(medoid) 56.3	Most-Dissim 40.1 / Random 53.7	比最不相似选择高16.2

局限与改进

论文自身未单列局限章节，但从叙述可归纳若干。首先，所有实验在仿真基准(SimplerEnv-WidowX、SimplerEnv-GoogleRobot、RoboCasa-GR1)上评估，未在真实机器人上验证，OOD泛化结论依赖仿真器的视觉和环境扰动强度。其次，方法依赖预训练V-JEPA2视频编码器和PCA加聚类的表示质量，若原语发现本身有偏，后续预算分配会放大偏差，而论文未讨论表示选择对原语质量的影响。第三，聚类数$K$在随机10%子集上搜索，对采样种子和搜索范围较敏感，虽Figure 4显示有峰值但缺乏多种子稳定性分析。第四，结构暴露目标的权重仅按组合模式出现频次定义，未纳入任务重要性或难度，可能在高频但低价值模式上仍分配较多预算。

独立分析的弱点

第一个弱点是原语发现依赖末端执行器状态翻转作为切分边界，这对平行夹爪或灵巧手的抓放任务自然，但对无明显离散交互边界的连续接触任务（如打磨、涂抹、柔性操作）可能不适用，改进方向是学习端到端的切分点或基于动力学变化的边界检测。第二个弱点是结构暴露目标假设所有原语和转移的价值仅由跨组合模式的复用度决定，忽略了任务难度和关键性，改进方向是引入任务反馈或成功率加权的$w_c,w_e$。第三个弱点是桶内仅用表示中心性近似监督稳定性，未直接估计条件动作熵，改进方向是用小模型在线估计动作分布熵作为选择信号。第四个弱点是评估局限于仿真且未做真实机器人迁移，改进方向是补充真机实验。第五个弱点是聚类数搜索的计算开销随数据规模增长，可考虑近似或层次化聚类加速。

未来方向

作者在结论中提出的方向是推广到更多数据集、基准和VLA模型，验证可复用结构是高效IL的重要信号。基于成果可延伸的方向包括：把结构暴露目标与主动学习结合，在采集中增量筛选高结构价值的演示；将原语组合用于课程学习，按组合复杂度安排训练顺序；探索把学到的原语作为可组合技能用于分层策略或技能库构建；将MDL驱动的结构暴露思想迁移到多模态指令微调或跨具身数据选择；研究如何让原语发现自适应不同具身（夹爪对灵巧手）和不同模态的观测。

复现评估

复现性总体良好。作者开源了代码（https://github.com/ChangtiWu/SIEVE）。数据集为公开的Open X-Embodiment子集(Bridge-V2约53K、Fractal约87K、GR00T-X-Sim约24K)，评估基准SimplerEnv、RoboCasa-GR1也公开。表5给出训练超参（AdamW，VLM学习率1e-5、动作头1e-4，余弦衰减，warmup 10%，批16，BF16，DeepSpeed ZeRO-2），所有实验在8块H100(80GB)上进行。关键实现细节如切分需连续5帧、每片段采8帧、PCA降到256维、随机采10%子集搜20个候选$K$均有说明，$(1-J)\log R$与$F(B)$的目标式完整给出，可据此复现。主要门槛在于算力（多卡训练两个4B级VLA）和对V-JEPA2、聚类流程的工程实现；论文未提供聚类种子稳定性与超参敏感性的详尽分析，复现数值可能略有波动。

SIEVE：面向VLA模型模仿学习的结构感知数据选择 SIEVE: Structure-Aware Data Selection for Imitation Learning with VLA Models