ABot-M0：基于动作流形学习的机器人操作视觉-语言-动作基础模型 ABot-M0: VLA Foundation Model for Robotic Manipulation with Action Manifold Learning
整合600万+轨迹构建统一流形学习VLA模型，实现跨具身通用机器人操作
前置知识
Vision-Language-Action (VLA) 模型
VLA模型是一种将视觉感知、语言理解和动作生成统一到单一框架的端到端模型。它接收多视角图像序列和自然语言指令作为输入，直接输出机器人可执行的动作序列。典型的VLA架构包含一个视觉语言模型（VLM）作为感知引擎，以及一个动作专家模块作为决策生成器。VLM负责理解语义意图，动作专家负责生成精确的控制信号。这种架构避免了传统模块化系统中感知-规划-执行各模块之间的信息损失，使得端到端训练成为可能。
ABot-M0就是一个VLA模型，理解这一范式是理解全文方法论的基础。
Flow Matching / 扩散模型
Flow Matching是一种生成模型框架，其核心思想是学习从噪声分布到目标数据分布的连续变换路径。与传统的DDPM扩散模型类似，训练时对数据添加不同程度的噪声（由扩散时间步 $\tau$ 控制），然后训练网络预测某种目标（如噪声 $\epsilon$、速度 $v$ 或干净数据本身）。推理时从纯噪声出发，通过ODE求解器逐步去噪生成目标。Flow Matching的优势在于轨迹平滑、生成稳定，特别适合需要连续、连贯输出的场景。
本文的AML机制正是建立在Flow Matching框架之上，但改变了预测目标——从预测噪声/速度改为直接预测动作，这是核心创新点。
动作流形 (Action Manifold)
流形假设指出，高维空间中的真实数据并非随机分布，而是集中在一个低维、光滑的子流形上。在机器人学中，动作流形指的是：由于物理定律（关节限位、碰撞约束）、任务目标（抓取需要到达物体位置）和环境约束（桌面高度固定），有效的机器人动作序列实际上只占据整个高维动作空间的一个极小子集。这个子集具有连续、光滑的结构特性，这就是动作流形。
动作流形假设是本文的理论基石。正是因为有效动作在低维流形上，直接预测动作（而非高维空间中的噪声）才更高效、更稳定。
Diffusion Transformer (DiT)
DiT是将Transformer架构用作扩散模型骨干网络的设计。相比传统的U-Net结构，DiT使用自注意力和交叉注意力机制处理序列化的噪声输入，并能自然地接收来自其他模态（如VLM特征）的条件注入。在机器人动作生成中，DiT接收VLM的视觉-语言特征、当前机器人状态和带噪声的动作序列，输出去噪后的动作预测。其优势在于长序列建模能力强、参数扩展灵活，适合处理高维动作空间。
ABot-M0选用0.16B参数的DiT作为动作专家，是AML机制的实现载体。
End-Effector (EEF) 坐标系下的Delta动作
Delta动作是相对于当前末端执行器位置的增量位移，而非绝对位置。在EEF坐标系下表示意味着动作描述的是末端执行器移动的方向和距离，而非关节角度的绝对值。这种表示有两个关键优势：一是消除了不同机器人关节构型的差异（不同机械臂即使关节结构不同，末端执行器的移动语义是通用的）；二是将绝对位置转换为相对增量，简化了学习任务。旋转统一用旋转向量（轴角表示）$r = \theta k$ 编码，避免欧拉角的万向锁问题。
这是本文实现跨具身统一的关键技术设计——不同机器人的动作空间通过EEF坐标系对齐，是构建UniACT数据集的基础。
研究动机
当前具身智能领域面临三个根本性障碍。第一，数据规模不足：与视觉语言领域动辄数百万样本不同，机器人操作数据需要精确的动作标签，采集成本极高。现有方法大多依赖单一机器人类型或平台的预训练数据集，这严重限制了通用策略的开发，因为模型缺乏对多样化形态和任务分布的接触。第二，数据质量参差不齐且缺乏标准化：不同数据集的动作表示（关节角度vs末端执行器位移）、坐标系统（世界坐标vs机器人基座坐标）和控制频率（低至5 FPS）各异，模型不得不分配容量去记忆这些数据集特有的特性，而非学习可迁移的技能。例如，OXE数据集中某些子集的动作向量维度含义不明确——不清楚某个分量编码的是平移、旋转还是夹爪控制。第三，现有VLA预训练范式存在失配：大多数VLA模型从VLM出发，其视觉编码器专注于语义识别而非3D结构或物理动力学，但机器人行为需要精细的空间理解和因果推理，这些能力无法仅从2D监督中获得。
本文的目标是本文的核心目标是回答一个实际问题：鉴于机器人数据采集的高成本和硬件依赖性，能否整合全球分散的开源数据集，构建一个统一的VLA基础模型？具体而言，作者要构建一个包含600万+轨迹、覆盖20+种具身体的大规模数据集（UniACT-dataset），并在此基础上训练一个支持单臂和双臂操作的统一VLA模型，在多个基准测试上达到或超越当前SOTA（如 $\pi$0.5、UniVLA），同时不依赖任何私有数据。
与已有工作不同的是，与现有工作相比，本文抓住了一个被忽视的关键视角：具身智能不必从封闭的专有系统中涌现，而可以通过异构数据聚合和增量能力建设来发展。具体来说，已有工作要么聚焦于单一数据源的大规模预训练（如OpenVLA仅用OXE），要么聚焦于高质量但规模有限的数据集（如AgiBot-Beta只有单一具身体）。本文的独特切入是：通过系统化的数据工程（清洗、标准化、平衡采样）将六个分散的开源数据集整合为一个统一的训练基础，并提出动作流形假设来改进动作预测范式——从预测无意义的噪声转向直接预测物理可行的动作，这从根本上改变了生成模型在机器人领域的学习目标。
核心方法
ABot-M0的整体思路可以类比为构建一个能理解多种方言的翻译系统：不同机器人的数据集就像不同方言，它们表达的意思相同（抓取物体、放置物品），但表述方式（动作格式、坐标系、采样率）各异。本文首先构建了一个方言标准化流程——将所有数据转换为统一的末端执行器增量动作格式，然后在这个统一的数据基础上训练翻译模型。技术路线上，模型由两部分组成：一个VLM（Qwen3-VL 4B）作为感知引擎，负责理解视觉场景和语言指令；一个基于DiT的动作专家（0.16B参数）作为决策模块，负责生成动作序列。两者通过双流特征交互机制连接，VLM的深层特征直接注入动作专家作为条件。动作生成采用改进的Flow Matching框架，核心创新是用Action Manifold Learning（AML）替代传统的噪声预测目标，直接预测干净的动作序列。训练分两阶段：第一阶段在UniACT数据集上大规模预训练学习通用操作先验，第二阶段通过SFT注入3D空间感知能力。
本文最核心的创新是Action Manifold Hypothesis及其学习机制AML。传统扩散/流匹配模型在机器人动作生成中，训练目标是预测噪声 $\epsilon$（$\epsilon$-pred）或速度 $v$（$v$-pred）。作者指出，这些预测目标本质上是高维空间中的无结构、无意义信号，甚至包含无效动作（如抖动、不连续）。强迫一个有限容量的网络去回归这些无结构的高维目标是低效的。AML的核心洞察是：有效的机器人动作并不散布在完整的高维空间中，而是位于一个由物理定律和任务约束决定的低维光滑流形上。因此，直接预测干净动作（a-pred）比预测噪声更有意义——它让模型专注于学习动作的内在结构和语义，而非浪费容量去从广阔的噪声空间中过滤信号。具体而言，给定带噪声的动作 $A^\tau_t = \tau A_t + (1-\tau)\epsilon$，网络直接输出对干净动作 $\hat{A}_t$ 的估计，然后在速度空间上计算损失 $\mathcal{L} = \mathbb{E}\|w(\tau)(\hat{A}_t - A_t)\|^2$，其中权重 $w(\tau) = 1/(1-\tau)^2$ 确保低噪声时模型进行精细修正、高噪声时允许大幅度去噪。这种设计在推理时仍保持流模型的平滑轨迹生成能力，但学习目标从拟合噪声转变为投射到可行流形。
方法步骤详情
ABot-M0的方法包含以下关键步骤。第一步，数据整合与清洗：从六个开源数据集（OXE、OXE-AugE、AgiBot-Beta、RoboCoin、RoboMind、Galaxea）收集原始数据，通过多阶段管线清洗——移除空任务字段、过滤乱码指令、翻译非英文内容、修复帧-指令对齐、丢弃视觉异常帧（全黑、运动模糊、严重遮挡）、过滤异常动作序列（异常长度、大连续增量、频率不匹配），最终丢弃约16%的轨迹，保留600万+高质量轨迹。第二步，数据标准化：所有动作转换为末端执行器坐标系下的增量动作，旋转统一为旋转向量（轴角），单臂任务通过零填充统一为双臂格式（pad-to-dual-arm），输出维度为 $[\Delta x, \Delta y, \Delta z, r, \text{gripper}] \in \mathbb{R}^7$ 每臂，双臂共14维。第三步，模型构建：VLM（Qwen3-VL 4B）处理多视角图像序列和语言指令，输出深层特征；可选的3D模块（VGGT、Qwen-Image-Edit）提取几何先验；两者通过单层交叉注意力融合后注入0.16B DiT动作专家。第四步，两阶段训练：Stage 1在UniACT数据集上预训练100K步（batch size 1024，学习率1e-5），使用AML损失进行动作学习，采用任务均匀采样策略平衡数据分布；Stage 2进行SFT注入3D空间先验，同时使用dropout和动作噪声扰动增强鲁棒性。第五步，推理：从纯噪声 $A^0_t \sim \mathcal{N}(0,I)$ 出发，通过ODE求解器（默认4步去噪）迭代生成动作序列，动作块大小默认为16。
技术新颖性
ABot-M0的技术新颖性体现在三个层面。在数据层面，它是非私有领域内最大规模的统一操作数据集构建实践，600万+轨迹、9500+小时、20+具身体的规模前所未有，更重要的是其系统化的数据标准化管线（delta动作+EEF坐标+旋转向量+pad-to-dual-arm）为跨具身学习提供了统一基础。在学习范式层面，AML是对扩散模型在机器人领域应用的根本性反思。已有的VLA模型（如 $\pi$0、GR00T）都采用噪声预测目标，而AML首次将动作流形假设形式化，证明直接预测动作不仅可行而且更优——在动作块大小从8增加到30时，GR00T的性能从69.3%暴跌至45.7%（下降23.6%），而AML仅从71.0%降至62.8%（下降8.2%），这表明AML在高维动作空间中具有本质优势。在感知架构层面，本文发现经过VLA预训练后，VLM的深层特征已经充分对齐动作空间，不需要额外的action query适配模块，这简化了架构设计；同时引入即插即用的3D模块（VGGT提供单图3D特征，Qwen-Image-Edit提供隐式多视角特征），通过交叉注意力融合补充VLM缺失的精确几何感知，三个组件（数据标准化、AML、3D注入）的增益相互正交且可叠加。
实验结果
ABot-M0在四个主流机器人操作基准测试上全面超越了现有SOTA方法。在LIBERO基准上，ABot-M0取得98.6%的平均成功率，超越了此前最优的X-VLA（98.1%）、$\pi$0.5（96.9%）和GR00T-N1.6（97.0%），在四个子任务套件（Spatial/Object/Goal/Long）上分别达到98.8%、99.8%、99.0%和96.6%。在LIBERO-Plus零样本泛化测试中，ABot-M0取得80.5%的总体成功率，大幅领先OpenVLA-OFT（69.6%）、$\pi$0-Fast（61.6%）和UniVLA（42.9%），特别是在Robot扰动（67.9% vs 第二名46.2%）和Camera扰动（60.4% vs 第二名65.1%）维度上优势明显。在RoboCasa GR1桌面任务（24个任务）上，ABot-M0取得58.3%的平均成功率，全面超越GR00T-N1.6（47.6%）和所有Qwen3基线变体，验证了AML在高维动作空间（29维动作、464维动作块）中的优势。在RoboTwin 2.0双臂基准上（50+任务），ABot-M0在干净场景和随机化场景分别取得86.06%和85.08%的成功率，超越 $\pi$0.5（42.98%/43.84%）和X-VLA（72.80%/72.84%）。消融实验进一步证实：AML在极端去噪步数（2步）下仍优于GR00T，且对动作块大小增加具有更强的鲁棒性；VLM深层特征直接使用效果最好（71.0%），添加action query反而降低性能（63.8%）；VGGT 3D特征注入通过交叉注意力取得最佳融合效果（LIBERO上从95.4%提升至97.6%），两个合成视角在Camera扰动子集上带来14个百分点的提升。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO (4个子套件平均) | 成功率(%) | 98.6 | X-VLA 98.1 / pi0.5 96.9 | +0.5% vs X-VLA |
| LIBERO-Plus (零样本泛化) | 成功率(%) | 80.5 | OpenVLA-OFT 69.6 / pi0-Fast 61.6 | +10.9% vs OFT |
| RoboCasa GR1 Tabletop (24任务) | 成功率(%) | 58.3 | GR00T-N1.6 47.6 / Qwen3OFT 48.8 | +10.7% vs GR00T-N1.6 |
| RoboTwin 2.0 Clean (50+任务) | 成功率(%) | 86.06 | X-VLA 72.80 / pi0.5 42.98 | +13.26% vs X-VLA |
| RoboTwin 2.0 Randomized (50+任务) | 成功率(%) | 85.08 | X-VLA 72.84 / pi0.5 43.84 | +12.24% vs X-VLA |
局限与改进
尽管ABot-M0取得了优异成绩，论文和我们的分析都指出了若干局限。首先，实验全部在仿真环境中进行（LIBERO、LIBERO-Plus、RoboCasa、RoboTwin 2.0均为仿真基准），没有真实机器人实验的验证，这使得模型在真实世界中的表现存在不确定性——仿真到真实（sim-to-real）的差距可能显著影响实际部署效果。其次，虽然论文强调跨具身泛化，但UniACT-dataset的数据分布存在严重不平衡：OXE-AugE占据了67%的总量，双臂数据集合计仅约17.2%，这意味着模型对双臂操作的覆盖可能仍然不足。第三，RoboCasa上的58.3%成功率虽然超越基线，但距离实用水平仍有较大差距，说明在复杂家务场景（需要精细铰接物体操作）中AML的优势还不够显著。第四，论文没有提供真实世界的计算开销分析——AML在推理时需要4步去噪迭代，每步都需要运行完整的VLM+DiT前向传播，实时性是否满足机器人控制频率（通常50-100Hz）存疑。最后，VGGT和Qwen-Image-Edit作为额外3D模块引入了额外的计算和延迟，论文未分析这些模块对推理速度的影响。
独立分析的弱点
从独立分析角度看，ABot-M0存在几个值得关注的弱点。第一，pad-to-dual-arm策略将所有单臂任务统一视为右臂执行，这在语义上是合理的，但在需要左手操作的任务中可能引入隐性偏差——模型从未在预训练阶段见过真正的左臂单臂操作数据，这可能限制了对某些任务的泛化。改进方向是引入镜像增强（mirror augmentation），通过对称翻转生成左手操作数据。第二，任务均匀采样策略虽然比轨迹均匀和具身均匀更好，但论文未探索自适应采样策略——例如根据模型在各任务上的实时表现动态调整采样权重，类似课程学习的思路。第三，AML的权重函数 $w(\tau) = 1/(1-\tau)^2$ 在 $\tau$ 接近1时趋向无穷大，这在理论上确保精细修正，但在实践中可能导致数值不稳定或梯度爆炸，论文未讨论这一点。第四，虽然论文声称三个组件（标准化、AML、3D注入）的增益正交可叠加，但未提供它们在不同任务类型上的交互分析——例如3D注入在RoboCasa铰接物体任务上是否比AML更重要。
未来方向
论文在Future Work章节提出了几个重要方向。第一，扩大数据规模——结合人类演示和UMI采集的轨迹，逼近数据容量极限，同时开发自进化数据引擎形成执行-失败分析-增强-模型更新的闭环。第二，统一多模态感知——将力觉、触觉、温度等传感模态纳入统一动作空间，实现端到端感知-决策-动作。第三，3D表示学习从后验注入转变为内在建模——通过自监督深度和姿态估计在预训练阶段就学习几何先验，而非依赖外部3D模块。第四，泛化到更多具身体——包括足式机器人、无人机和人形机器人，通过抽象硬件细节、学习通用物理原理来实现真正的跨形态通用智能。基于本文成果，我们还可以延伸：探索AML在长时序任务（需要更大动作块）中的优势是否更加显著；研究跨任务迁移（如在一个任务上SFT后是否能零样本迁移到类似任务）；以及将AML思想应用到其他结构化序列生成任务中。
复现评估
论文承诺开源所有代码和流程管线（GitHub仓库amap-cvlab/ABot-Manipulation已建立，项目页面已上线），这是复现的最大利好。训练数据方面，UniACT-dataset整合的六个数据集均为公开数据集（OXE、OXE-AugE、AgiBot-Beta、RoboCoin、RoboMind、Galaxea），理论上可以复现数据管线。算力需求方面，预训练使用batch size 1024、100K步，模型规模为Qwen3-VL 4B + DiT 0.16B，粗估需要数十张A100/H100 GPU训练数天，这对一般实验室门槛较高但并非不可达。不过存在几个复现难点：数据清洗管线涉及大量数据集特定的处理逻辑，论文的文字描述可能不够详细；VGGT和Qwen-Image-Edit的微调细节（如训练数据量、超参数）描述较简略；整体管线较长（数据清洗、标准化、预训练、SFT），端到端复现周期可能较长。总体而言，复现难度中等偏高，但开源承诺和详尽的消融实验为逐步复现提供了良好基础。
论文图表
该图以饼图和示意图展示了UniACT-dataset的组成。中心面板用饼图展示各数据集的规模占比（OXE-AugE占67%，OXE次之，双臂数据集合计约17.2%）。左右两侧展示不同数据集在机器人形态、场景、任务、相机视角和视觉风格上的异质性。底部展示了代表性具身体，包括xArm 7、UR5、Franka、Kuka iiwa等单臂机械臂和AgibotG1、GalaxeaR1 Lite等双臂机器人。
这张图直观展示了数据集的多样性和规模，帮助读者理解为什么需要跨具身学习以及本文数据覆盖的广度。