RoboCurate：利用动作验证的神经轨迹多样性驱动机器人学习 RoboCurate: Harnessing Diversity with Action-Verified Neural Trajectory for Robot Learning
通过仿真回放一致性过滤合成机器人数据，大幅提升策略学习效果
前置知识
神经轨迹（Neural Trajectory）
神经轨迹是指利用视频生成模型（如扩散模型）从初始帧和任务指令生成合成机器人操作视频，再通过逆动力学模型（IDM）为视频帧之间标注动作序列，从而形成「视频-动作」配对的合成训练数据。相比仿真数据，神经轨迹在视觉上更接近真实世界；相比真实数据，它可以大规模自动化生成。典型的流程是：先用图像到视频（I2V）扩散模型生成视频，再用 IDM 逐帧预测中间动作，构成可用于策略训练的轨迹数据。
神经轨迹是本文的核心研究对象。理解其生成流程（视频生成 → IDM 标注）才能理解质量瓶颈的来源，以及 RoboCurate 的过滤策略为何必要。
逆动力学模型（Inverse Dynamics Model, IDM）
IDM 是一种模型，给定当前观测 $x_t$ 和未来观测 $x_{t+H}$，预测中间的动作序列 $a_{t:t+H-1} = \text{IDM}(x_t, x_{t+H})$。它将无动作标注的视频转化为有标注的轨迹数据。本文使用 Diffusion Transformer（DiT）作为 IDM 的架构，采用 Flow Matching 目标训练。在推理时，模型对整个动作序列进行去噪，条件是输入的两帧图像。IDM 的质量直接决定了神经轨迹中动作标签的准确性。
IDM 预测的动作标签可能包含误差，这是神经轨迹质量不稳定的关键原因之一。RoboCurate 的核心贡献就是通过仿真回放来验证 IDM 预测动作的正确性。
视觉-语言-动作模型（Vision-Language-Action Model, VLA）
VLA 是一类将视觉感知、语言理解和动作生成统一到一个模型中的机器人基础模型。给定当前观测 $o_t$、本体感知状态 $q_t$ 和任务指令 $I$，VLA 输出动作序列 $A_t = a_{t:t+H-1}$。本文使用 GR00T N1.5 作为基础 VLA 策略，采用扩散动作头（diffusion-based action head），通过 Flow Matching 目标进行优化：$\mathcal{L}_{IL}(\theta; D) = \mathbb{E}_{t,A_t,\epsilon,\tau} \| v_\theta(A_t^\tau, \tau | o_t, q_t, I) - (\epsilon - A_t) \|^2_2$。
VLA 是下游策略模型，所有数据质量改进的效果都通过 VLA 的任务成功率来衡量。理解 VLA 的训练方式有助于理解为什么数据质量对最终性能至关重要。
Flow Matching 扩散框架
Flow Matching 是一种生成建模框架，定义从数据 $x$ 到高斯噪声 $\epsilon$ 之间的线性概率路径 $x_t = (1-t)x + t\epsilon$，其中 $t \in [0,1]$。扩散模型作为速度预测器 $v_\theta$，学习回归目标速度场 $u_t = \epsilon - x$，通过最小化均方误差目标训练。相比传统的去噪扩散概率模型（DDPM），Flow Matching 提供了更直接的训练信号，在视频生成和动作生成中被广泛采用。本文的视频生成模型和 IDM 都基于此框架。
Flow Matching 是本文视频生成和 IDM 训练的数学基础。理解这一框架有助于理解生成模型的能力边界——为什么生成的视频可能物理上不合理，以及为什么 IDM 的动作预测可能有误。
图像到图像编辑（I2I）与视频到视频迁移（V2V）
I2I 编辑是指在保持场景结构（通过 Canny 边缘图约束）的前提下，对初始图像的视觉元素进行修改，如改变桌面外观、目标物体、光照和背景。本文使用 FLUX.2-dev 作为 I2I 模型。V2V 迁移则是对已生成的视频进行外观变换，保持原始运动动力学不变，仅改变纹理和颜色。本文使用 Cosmos-Transfer2.5-2B 进行 V2V 迁移，以 Canny 边缘视频作为结构约束。两者结合可以大幅扩展合成数据的视觉多样性。
视觉多样性是提升策略泛化能力的关键因素。本文的核心发现之一是，I2I + V2V 流水线生成的视觉多样化数据比仅使用固定场景的数据，在下游任务中带来了显著的性能提升。
研究动机
当前基于视频生成模型的神经轨迹流水线虽然为机器人学习提供了一种可扩展的合成数据方案，但面临着严重的数据质量问题。具体来说，问题来自两个层面：第一，视频生成模型本身可能生成物理上不合理的视频，例如物体重叠、不自然变形、或未正确遵循任务指令，导致生成的视频本身就包含了错误的运动模式。第二，即使视频是准确的，逆动力学模型（IDM）预测的动作标签也可能存在误差——IDM 是一个学习得到的模型而非真实的标注器，其预测的动作与视频中实际的运动之间可能存在不一致。这种不一致的噪声数据最终会降低下游策略的性能。近期的工作尝试使用视觉-语言模型（VLM）来验证视频质量，例如判断视频是否遵循物理规律或是否符合指令要求。然而，VLM 的判断粒度过于粗糙，只能评估视频层面的物理合理性，无法直接评估动作标签本身的正确性。即使视频看起来合理，动作标签仍然可能是错误的。这种评估粒度的不足导致大量低质量的神经轨迹被保留下来，污染了训练数据。
本文的目标是本文的目标是构建一个统一的合成机器人数据生成框架 RoboCurate，同时解决两个问题：（1）通过可控的视频生成流水线扩大合成数据的视觉多样性和任务多样性；（2）通过基于仿真回放一致性的动作级过滤机制，精准识别并剔除包含错误动作标签的低质量样本。最终目标是让合成数据在下游 VLA 预训练中带来更大的性能提升——具体而言，在 GR-1 Tabletop 300 个示范的设置下，相比仅使用真实数据的基线（15.4% 成功率），将成功率提升到 26.2% 以上，超越现有 DreamGen 流水线的表现。
与已有工作不同的是，本文的独特切入角度在于「动作级验证」而非「视频级验证」。已有工作（如 DreamGenBench 和 VideoCon-Physics）通过 VLM 判断生成视频是否违反物理规律来过滤数据，但这种视频级的判断无法捕捉到动作标签与实际运动之间的细微不一致。RoboCurate 的核心洞察是：如果我们把 IDM 预测的动作在仿真器中回放，就能得到一个与该动作严格对应的参考视频（因为仿真器的运动由动作精确决定）。然后，通过比较生成视频和仿真回放视频之间的运动一致性，就能同时验证视频质量和动作标签质量。这种方法将动作验证问题转化为视频对之间的运动匹配问题，比 VLM 的粗粒度判断更精确、更可靠。此外，本文还发现了视觉多样性对策略学习的关键价值——即使任务指令相同，仅改变场景外观就能显著提升泛化能力，这一点在之前的工作中被严重低估。
核心方法
RoboCurate 的方法可以用一个类比来理解：想象你在一个虚拟厨房里录制了一段「切菜」的教学视频，但你不确定视频里的动作标注是否准确。最可靠的方法是拿着这份动作指令，到一个一模一样的厨房里重新执行一遍，然后对比两段视频中的动作是否一致。如果一致，说明动作标注是可信的；如果不一致，就丢弃这个样本。RoboCurate 的技术路线正是如此：第一阶段，通过 I2I 编辑和 V2V 迁移生成多样化的合成操作视频，并用 IDM 标注动作；第二阶段，将 IDM 预测的动作在仿真器中回放得到参考视频，训练一个轻量级的注意力探针（Attentive Probe）来判断生成视频与仿真回放视频的运动是否一致，只保留一致性高的样本。此外，还引入了 Best-of-N 采样策略，在生成阶段直接筛选最佳样本。
RoboCurate 的核心创新是将动作质量验证问题重新表述为两个视频之间的运动一致性匹配问题。具体来说，对于一个神经轨迹样本 $(w_{\text{gen}}, a_{\text{IDM}})$，其中 $w_{\text{gen}}$ 是生成的视频，$a_{\text{IDM}}$ 是 IDM 预测的动作，方法将 $a_{\text{IDM}}$ 在仿真器中回放得到 $w_{\text{sim}}(a_{\text{IDM}})$。由于仿真器的运动由动作精确决定，$w_{\text{sim}}(a_{\text{IDM}})$ 与 $a_{\text{IDM}}$ 之间具有完美的对应关系。因此，只需要判断 $w_{\text{gen}}$ 和 $w_{\text{sim}}(a_{\text{IDM}})$ 的运动是否一致，就能同时验证视频质量和动作标签质量。这与已有方法的本质区别在于：已有方法（DreamGenBench、VideoCon-Physics）使用 VLM 判断单个视频的物理合理性，粒度太粗；而 RoboCurate 通过视频对的运动比较，能够检测到 IDM 预测中的细微误差。另一个关键创新是自动构建正负样本对来训练注意力探针，避免了依赖人工标注的噪声问题。
方法步骤详情
RoboCurate 的完整流程分为三个阶段： **阶段一：多样化合成数据生成。** 首先从真实数据集中提取初始帧，沿四个视觉轴（桌面外观、目标物体身份与外观、光照、背景）使用 I2I 编辑（FLUX.2-dev）生成多样化初始场景，使用 Canny 边缘图保持原始结构。同时，使用 VLM（Gemini 3 Pro）为每个初始帧生成多样化的任务指令，沿行为、目标物体、放置位置、手部类型四个轴扩展。然后将编辑后的初始帧和任务指令输入 I2V 视频生成模型（Cosmos-Predict2-14B）生成合成视频。对已成功生成的视频，进一步通过 V2V 迁移（Cosmos-Transfer2.5-2B）增强外观多样性，同时保持运动动力学不变。最后用 IDM 为每对相邻帧预测动作标签，形成神经轨迹。 **阶段二：动作级过滤。** 对每个神经轨迹样本 $(w_{\text{gen}}, a_{\text{IDM}})$，将 $a_{\text{IDM}}$ 在仿真器中回放得到 $w_{\text{sim}}(a_{\text{IDM}})$。然后使用训练好的注意力探针 $g_\theta$ 判断 $(w_{\text{gen}}, w_{\text{sim}})$ 的运动一致性。注意力探针基于冻结的 V-JEPA2 视频编码器，将两个视频片段分别编码后拼接，通过单层交叉注意力和线性头输出对齐概率 $p = \sigma(g_\theta([z_1, z_2]))$。探针使用从真实数据自动构建的正负样本对训练：正样本是同一动作的视频对，负样本包括时间偏移负样本和跨回合负样本。只保留 $p$ 超过阈值 $c$ 的样本。 **阶段三：Best-of-N 采样。** 在生成阶段（特别是微调设置中），对每个任务生成 $N$ 个候选视频，使用过滤分数（即对齐概率 $p$）作为评价分数，选择得分最高的样本，从而在不丢弃样本的情况下提升数据质量。
技术新颖性
RoboCurate 的技术新颖性体现在三个层面。第一，动作级验证范式：已有工作依赖 VLM 对单个视频进行物理合理性判断（如 DreamGenBench 用固定 prompt 查询 VLM，VideoCon-Physics 用 7B VideoCon 模型预测视频是否遵循物理规律），但这些方法无法评估动作标签本身的正确性。RoboCurate 首次将仿真器引入验证回路，通过仿真回放视频与生成视频的运动比较，实现了对动作标签的直接验证。第二，自动化的探针训练数据构建：不同于依赖人工标注（实验表明人工标注反而不如自动构建的样本有效，因为人对细微动作不一致的判断存在噪声），本文提出了基于真实数据的自动正负样本对构建策略，包括时间偏移负样本和跨回合负样本，提供了稳定的细粒度监督信号。第三，可控视觉多样化流水线：之前的工作（如 DreamGen）的视觉多样性受限于手动收集的初始帧，RoboCurate 通过 I2I 编辑 + V2V 迁移的组合，系统性地在四个视觉维度上扩展多样性，并使用 Canny 边缘图和结构化 prompt 确保编辑后的场景仍然物理合理。
实验结果
RoboCurate 在多个基准和训练设置下展现了显著且一致的性能提升。 **预训练实验（GR-1 Tabletop）：** 使用 300 个真实示范时，仅使用真实数据的基线成功率为 15.4%；加入 DreamGen 神经轨迹（无视觉多样性和无过滤）后提升到 19.5%（+26.6% 相对提升）；加入 RoboCurate 的视觉多样化数据（无过滤）后提升到 22.7%（+47.4%）；再加上动作级过滤后达到 26.2%（+70.1% 相对提升）。这说明视觉多样性和动作级过滤各自都有贡献，且两者叠加效果最好。在 1000 个示范设置下，趋势相同：RoboCurate 达到 37.9%（+25.1% 相对提升），而 DreamGen 仅 32.2%（+6.3%）。 **预训练实验（DexMimicGen）：** 基线 44.6%，DreamGen 46.4%（+4.0%），RoboCurate 无过滤 49.3%（+10.5%），RoboCurate 有过滤 51.8%（+16.1%）。值得注意的是，GR-1 人形机器人上预训练的神经轨迹可以成功迁移到双臂 Panda 机械手（灵巧手）设置，说明神经轨迹的先验知识可以跨具身形态迁移。 **联合微调实验（ALLEX 人形机器人）：** 在真实世界的人形机器人灵巧操作任务中，基线平均成功率 13.9%，DreamGen 27.8%（+100.0%），RoboCurate（Best-of-N 采样）38.9%（+179.9%）。特别值得注意的是，在完全没有真实数据的新行为任务（倒罐头）上，RoboCurate 从 0.0% 提升到 25.0%，而 DreamGen 仅到 12.5%。在新物体任务（拾取放置杯子）上，RoboCurate 也从 16.7% 提升到 43.8%。 **过滤策略对比：** 与 DreamGenBench（35.4%）和 VideoCon-Physics（35.2%）等视频级物理合理性过滤方法相比，RoboCurate 的动作级过滤（38.3%）在 GR-1 Tabletop 1000 示范设置下表现更优，证明了验证动作质量比仅验证视频质量更重要。 **消融实验：** 注意力探针的训练策略至关重要。使用 V-JEPA2 特征和自动构建的正负样本对训练的探针（26.2%）优于仅用余弦相似度阈值的基线（23.8%）和使用人工标注训练的探针（23.5%）。人工标注反而有害，可能是因为人对细微动作不一致的判断存在噪声。视觉多样性方面，任务多样性和视觉多样性都与性能正相关：在固定 10K 数据量下，将任务多样性从 25% 提升到 100% 时，平均成功率从 12.5% 提升到 19.7%；再加上视觉多样化后进一步提升到 23.3%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GR-1 Tabletop (300 demos) | 平均成功率 (%) | 26.2 | 15.4 (Real only) | +70.1% 相对提升 |
| GR-1 Tabletop (1000 demos) | 平均成功率 (%) | 37.9 | 30.3 (Real only) | +25.1% 相对提升 |
| DexMimicGen (100 demos/task) | 平均成功率 (%) | 51.8 | 44.6 (Real only) | +16.1% 相对提升 |
| ALLEX 人形机器人（联合微调） | 平均成功率 (%) | 38.9 | 13.9 (Real only) | +179.9% 相对提升 |
| ALLEX 新物体（拾取放置杯子） | 成功率 (%) | 43.8 | 16.7 (Real only) | +162.3% 相对提升 |
| ALLEX 新行为（倒罐头） | 成功率 (%) | 25.0 | 0.0 (Real only) | 从 0% 到 25%（涌现能力） |
| GR-1 Tabletop (1000 demos) 过滤对比 | 平均成功率 (%) | 38.3 (RoboCurate) | 35.4 (DreamGenBench) | +8.2% 相对提升 |
局限与改进
尽管 RoboCurate 取得了显著的实验结果，仍存在多方面的局限性。首先，动作级过滤依赖于仿真器的可用性，而并非所有机器人形态和任务都有高质量的仿真环境。本文的实验仅在 GR-1 Tabletop、DexMimicGen 和 ALLEX 这三个相对结构化的桌面操作场景中验证，尚未涉及更复杂的非结构化环境（如家庭场景、户外场景）或接触丰富的操作任务（如可变形物体操作、工具使用）。其次，过滤的有效性受限于仿真器的保真度——如果仿真器的物理建模不够精确，仿真回放视频与真实运动之间本身就存在差距，可能导致高质量样本被错误丢弃或低质量样本被错误保留。第三，Best-of-N 采样策略需要生成 $N$ 个候选视频，在微调设置中（数据量较小）可以接受，但在大规模预训练设置中会显著增加计算成本。第四，本文使用的视频生成模型（Cosmos-Predict2-14B）和 I2I 模型（FLUX.2-dev）均为大型模型，推理成本较高，限制了框架的实际可及性。第五，虽然论文展示了跨具身形态迁移的结果（GR-1 预训练 → Panda 微调），但这种迁移的有效性尚未在更异构的形态之间验证（如从轮式机器人到人形机器人的迁移）。
独立分析的弱点
本文存在几个值得深入分析的弱点。第一，过滤阈值 $c$ 的选择缺乏系统性分析：论文提到使用阈值 $c$ 来过滤低质量样本，但未详细讨论不同阈值对过滤率和最终性能的影响。在实际应用中，阈值的选择可能需要针对不同任务和数据分布进行调整，缺乏自适应机制是一个实际部署的障碍。改进方向是引入基于验证集性能的自动阈值搜索，或使用课程学习策略逐步收紧过滤标准。第二，注意力探针的泛化能力存疑：探针在真实数据构建的正负样本对上训练，但推理时应用于生成视频与仿真回放视频的配对。由于生成视频和仿真视频在视觉风格上可能有显著差异（生成视频更接近真实照片，仿真视频有明显的渲染痕迹），探针可能过度依赖外观线索而非运动线索。虽然消融实验表明 V-JEPA2 特征比简单的余弦相似度更好，但未与其他更先进的视频理解模型（如 VideoMAE v2 或 InternVideo2）进行对比。改进方向是引入对抗训练或域适应技术，让探针学习域无关的运动表示。第三，视觉多样性评估不够全面：论文展示了任务多样性和视觉多样性各自的效果，但未分析两者之间的交互效应——是否存在某些视觉变化（如光照变化）对特定任务类型的影响更大？改进方向是进行更细粒度的消融，分别评估四个视觉维度的贡献。第四，缺乏对数据效率的系统分析：论文在固定数据量（10K）下比较不同方法，但未讨论 RoboCurate 的过滤率是多少——如果过滤率过高，可能意味着大量生成的计算资源被浪费。
未来方向
未来研究可以从以下几个方向延伸。首先，将 RoboCurate 的动作验证框架扩展到更复杂的任务领域，如长时程操作任务（需要多步推理）、接触丰富的任务（如布料操作、液体倾倒）和人机协作场景。这些场景对仿真器的物理建模精度提出了更高要求，可能需要引入更先进的物理引擎或混合仿真-真实验证策略。其次，探索自适应过滤策略：根据策略学习的反馈动态调整过滤阈值——当策略在某些任务上表现不佳时，放宽过滤以获取更多训练数据；当策略趋于收敛时，收紧过滤以提高数据质量。第三，将 Best-of-N 采样与视频生成模型的微调相结合：利用过滤信号作为奖励信号，对视频生成模型进行强化学习微调，使其直接生成更高质量的视频，从而从源头减少低质量样本的产生。第四，将动作验证框架与更先进的视频生成模型（如支持更长视频、更复杂物理交互的模型）结合，探索在更大规模和更多样化场景中的效果。第五，研究跨形态迁移的理论基础：本文观察到 GR-1 人形机器人的神经轨迹可以迁移到 Panda 机械手，但缺乏对这种迁移条件的系统分析。理解什么条件下迁移有效、什么条件下无效，将有助于设计更好的跨形态数据共享策略。
复现评估
从复现角度来看，RoboCurate 的复现面临一定挑战。代码方面，论文未提及开源计划，但核心算法（注意力探针、正负样本对构建、过滤逻辑）在论文中有足够详细的描述，可以独立实现。数据方面，论文使用了 ActionNet（开源）、GR00T-GR1-1001（开源）和 ALLEX 人工收集数据（未开源）作为训练数据，其中 ActionNet 使用了 3K 子集。视频生成使用 Cosmos-Predict2-14B（开源），I2I 使用 FLUX.2-dev（BFL 商业 API），V2V 使用 Cosmos-Transfer2.5-2B（开源），IDM 使用开源预训练检查点。算力方面，主要瓶颈在于视频生成——需要生成约 10K 个合成视频（加上 I2I 编辑和 V2V 迁移），每个视频需要运行大规模扩散模型推理。Best-of-N 采样进一步将生成成本放大 $N$ 倍。注意力探针的训练相对轻量，基于冻结的 V-JEPA2-0.3B 编码器，训练超参数已在论文中给出。总体而言，复现的主要挑战在于计算资源（视频生成）和对特定仿真环境（GR-1 Tabletop、DexMimicGen、ALLEX）的访问，而非算法本身的复杂度。
论文图表