揭开机器人操作策略动作空间设计的神秘面纱

首个大规模系统实证研究：delta 动作配关节空间是标准模仿学习的最优解，任务空间则在跨本体迁移中胜出

前置知识

动作分块 (Action Chunking)

动作分块是当前机器人模仿学习的核心技术，由 ACT (Action Chunking Transformer) 提出。策略不再只预测单个时间步的动作 $a_t$，而是同时预测未来一个长度为 $c$ 的动作序列 $\{a_t, a_{t+1}, ..., a_{t+c-1}\}$，并用 Transformer 解码器一次性输出。该技术能显著提升时序一致性和执行稳定性，已成为 DP、ACT、$\pi_0$ 等主流架构的默认组件。

本文的所有分析都建立在动作分块的基础上，并发现分块与 delta 动作的参考系选择（chunk-wise vs. step-wise）会产生 $O(k)$ vs. $O(1)$ 的本质误差累积差异，是核心新颖点之一。

逆向运动学 (IK) 与任务空间/关节空间

任务空间（也称末端执行器空间，EEF）以 6 维位姿 $(x, y, z, roll, pitch, yaw)$ 描述抓手的目标位置姿态；关节空间以 6 维（对 6-DoF 机械臂）关节角度 $\mathbf{q}$ 描述。两者的桥梁是前向运动学 $FK$ 和逆向运动学 $IK$。IK 求解过程中会遇到奇异点、伪逆雅可比矩阵数值不稳定等问题，且需要将视觉观测映射到高度非线性的关节构型流形上。

本文核心拆解的就是这两种空间在策略学习中的不同归纳偏置——任务空间几何意义直观但 IK 数值不稳定，关节空间数值稳定但学习难度大。

扩散策略 (Diffusion Policy) 与流匹配 (Flow Matching)

扩散策略将动作生成建模为去噪过程：先从高斯噪声 $\epsilon$ 出发，逐步去噪得到专家动作 $a$。流匹配是一种更一般的连续归一化流，通过学习速度场 $v_\theta(a_\tau, o, t)$ 将噪声沿概率路径 $\tau \in [0,1]$ 平滑地变换到目标动作 $a$，其中 $a_\tau = (1-\tau)\epsilon + \tau a$。流匹配在表达复杂多模态分布上通常优于简单的 L2 回归损失。

本文发现关节空间在扩散/流匹配这种强生成式建模下才能发挥其理论优势，简单回归模型（ACT）难以捕捉关节构型流形，这是理解空间轴结论的关键。

研究动机

近年来机器人操作策略学习飞速发展，从简单抓放拓展到灵巧精细任务（接触密集、长时序、双臂协调），但社区的研究重心几乎全部放在扩大训练数据和模型容量上。位于神经网络预测与物理硬件之间最关键的动作空间接口却被严重忽视：研究人员通常沿用老代码库的旧配置，或者根据临时直觉选择绝对/相对、关节/任务空间。这种随意性导致两个严重后果——（1）所谓的'SOTA'结果往往绑定着未被记录的特定控制选择，极大损害了可复现性；（2）阻碍了跨本体基础模型的发展，因为不同硬件的动作接口碎片化，无法形成统一的迁移基线。已有工作如 Chi 等（2023）和 Eßer 等（2024）只提供过零星洞察，缺乏跨平台、跨规模、跨学习范式的大规模系统比较。

本文的目标是本文的目标是给出第一份大规模、系统化的实证研究报告，定量揭示动作空间设计对机器人模仿学习的影响。作者把动作设计空间沿两条正交轴拆解——空间轴（关节空间 vs. 任务空间/末端执行器空间）与时间轴（绝对位置 vs. 增量位置以及动作分块策略），并在 AgiLeX PiPER（单臂/双臂）、AIRBOT、RoboTwin-2.0 仿真四个平台上，用 13,000+ 真实世界回合、500+ 训练模型、2,000+ 演示数据，导出一套可落地的动作空间选择准则。

与已有工作不同的是，本文的独特切入角度是'正交分解 + 控制论视角'。作者把动作空间设计从经验调参问题转化为对优化景观和数值稳定性的分析问题，通过 Proposition 4.1 严格证明步进式 delta 积分会引入 $O(k)$ 的误差放大，而块式 delta 和绝对动作都保持 $O(1)$ 的误差界，从而把工程经验上升为可推导的理论结论。这种'先形式化、再大规模实验验证、最后给出可操作准则'的三段式研究范式，是本文区别于既有经验性对照实验的关键。

核心方法

本文的整体思路是：先把动作空间这个模糊概念形式化为两条正交设计轴（空间轴 + 时间轴），再通过严格受控的大规模实验扫描每条轴上的关键决策，最后用 13000+ 真实世界回合的数据归纳出可操作的设计准则。技术路线上，作者以模仿学习 $\pi_\theta(o_t) \to a_t$ 为统一框架，在统一硬件与评估协议下对比四种动作接口——绝对末端位姿（abs-ee）、增量末端位姿（delta-ee）、绝对关节角（abs-joint）、增量关节角（delta-joint），并交叉两种主流学习范式（ACT 风格回归 + L2 损失，以及 Diffusion Policy 风格的流匹配）。为消除单点实验的不确定性，作者设计了 6×6 网格化空间覆盖的初始化协议，并构建了 4 个难度递进的真实任务（Touch Cube → Pick Up Cup → Pick and Place Cup → Bimanual Transfer）以及 10 个 RoboTwin-2.0 仿真任务。

本文最核心的创新是把'动作空间选择'从一个工程调参问题转化为可被线性代数和概率论分析的问题。作者发现步进式 delta 积分（每步都基于上一步预测再做增量）对应的线性算子 $M_{step} = L_k$（下三角累积和矩阵）的谱范数 $\|M_{step}\|_2 \approx (2k+1)/\pi \sim O(k)$，会随分块长度 $k$ 线性放大预测噪声；而块式 delta 和绝对动作对应的 $M = I_k$ 保持 $O(1)$ 误差界。这是首次在理论上严格解释了为什么 step-wise delta 在长视野下不稳定。基于此，本文还引入了'时间-空间联合稳定性'的线性近似 $T_{total} \approx (I_k \otimes S_t) M_{time}$，证明两个轴的稳定性贡献是相乘的，因此最优设计必须联合考虑而不是孤立选择。

方法步骤详情

完整研究流程包括四个阶段：（1）**形式化定义**：把动作 $\tilde{a}_{t+k}$ 拆为两步生成，先经过时间算子 $M_{time}$ 做时间解码（绝对/增量参数化、块式 vs. 步进式参考系），再经过空间算子 $T_{space}$（关节空间直接使用，任务空间通过 $IK$ 伪逆映射）投影到可执行关节命令。（2）**实现细节消融（RQ1）**：在单臂 AgiLeX 上对比 chunk-wise delta 与 step-wise delta，发现前者在三个基础任务上平均领先 10% 以上；同时扫描执行视野 $k \in \{15, 30, 45, 60\}$，发现 delta 配短视野（$k=30$）最优、绝对配长视野（$k=60$）最优，由此确认了**视野-抽象耦合**现象。（3）**跨范式系统扫描（RQ2）**：固定 RQ1 的最佳实现后，在 14 个任务、3 个平台上、2 种学习范式下进行 4×2 网格的完整对比（500+ 模型），并通过 6×6 网格化初始位置保证统计显著性。（4）**稳健性验证（RQ3）**：分别在数据规模 $\{100, 250, 500\}$、训练轮数 $\{300, 600, 900, 1200\}$、多任务学习、跨本体迁移（AgiLeX ↔ AIRBOT）、基础模型 $\pi_0$ 的 LoRA 微调等多维设置下重跑关键对比，确认结论的泛化性。所有真实实验共计 13,000+ 回合，每点数据为 12 次独立验证 × 10 回合 = 120 个真实 rollout 的平均。

技术新颖性

本文的技术新颖性体现在三方面：（1）**首次提供统一框架下的对照实证**：相比 Chi 等 2023 年 Diffusion Policy 的零散报告，本文是首篇用统一协议量化比较四种动作接口在 14 个任务、4 个平台上性能差异的工作，提供了 500+ 模型、13000+ rollout 的统计量级。（2）**严格的线性代数稳定性分析**：Proposition 4.1 给出 step-wise delta 谱范数 $\|L_k\|_2 = 1/\sigma_{min}(D_k) \approx (2k+1)/\pi$ 的完整推导（利用离散 Laplacian 特征值 $2 - 2\cos((2i-1)\pi/(2k+1))$），这是该领域首次把动作分块的稳定性差异落到严谨数学上。（3）**时间-空间耦合视角**：通过 $T_{total} \approx S_{space} M_{time}$ 的线性近似，把'绝对好还是相对好、关节好还是任务好'的孤立讨论升级为二维联合设计问题，由此自然得出'delta+joint 在标准 IL 中互补、task-space 在跨本体中互补'的差异化建议。

**Figure 2**: Hierarchy of the action space for robotic manipulation policies and its abstraction taxonomy

**Figure 3**: Chunk-wise vs step-wise delta and horizon grid search

**Figure 7**: Overview of Model architecture

**Figure 8**: Overview of hardware setup for real world experiments

**Figure 12**: Problem reformulation: 动作解码的两阶段流程

实验结果

核心发现分四块。**第一块（RQ1：实现细节决定成败）**：在 Touch Cube、Pick Up Cup、Pick and Place 三个基础任务上，chunk-wise delta 平均比 step-wise delta 高 10%+（如表 1 与图 3a），理论解释正是 Proposition 4.1 的 $O(k)$ vs. $O(1)$ 误差放大比。图 3b 的执行视野扫描显示 delta 在 $k=30$ 达到峰值后开始下降，而绝对动作随 $k$ 增大到 60 仍能受益，证实'短视野配 delta、长视野配绝对'的最优配对。**第二块（RQ2：跨范式一致性）**：表 1 的主实验中，最优组合是 **joint+delta+flow matching**，在单臂 AgiLeX 上三个任务平均 95.9%（DP 模型），对应单任务 Pick Up Cup 100% 成功率、Bimanual Transfer 74.6%。最差的 abs-ee+ACT 仅 69.0%，差距达 26.9 个百分点，凸显动作空间选择对最终性能的决定性影响。**第三块（RQ2 空间轴）**：在多数标准设置下 joint 优于 task，但 task 在 RoboTwin 2.0 仿真下对 abs 的贡献更明显（abs-joint 40.0% vs abs-ee 26.7%）。流匹配模型比回归模型在 joint 空间上的扩展性更强——DP-joint 整体平均 88.0% 显著高于 DP-ee 的 82.9%，而 ACT-joint 79.7% 与 ACT-ee 78.4% 差距很小，说明**关节构型流形的高复杂度需要强生成模型才能有效拟合**。**第四块（RQ3：缩放与迁移）**：图 5 显示随着数据量从 100 增到 500、训练轮数从 300 增到 1200，delta-joint 始终保持领先，且与 abs-joint 的差距逐渐拉大（如 DP 模型在 100 演示下 delta-joint 77.17% vs abs-joint 64.40%，500 演示下扩大到 93.48% vs 84.18%）。然而在图 6 的跨本体与 $\pi_0$ 迁移场景中，**任务空间反超关节空间**——task 抽象剥离了本体特定运动学，在新硬件或预训练基座上更利于知识迁移。

**Table 1**: Quantitative comparison of progress scores and standard errors across embodiments and tasks

**Table 2**: Hyperparameters for model training

**Table 3**: Task Curriculum, Complexity Progression, and Success Criteria

**Table 4**: Task success rates under different data regimes

**Table 5**: Task success rates under different training epochs

**Table 6**: Task performance of ACT and DP averaged over three independent trials on RoboTwin 2.0

**Figure 4**: Normalized Score Comparison (radar plot)

**Figure 5**: Consistency of Action Space Superiority under Scaling

**Figure 6**: Comparison across different action space on advanced learning settings

**Figure 9**: Cross-validation with a flow-matching backbone (Chunk-wise vs Step-wise delta)

**Figure 10**: Results on RoboTwin 2.0 cross-validate the scaling laws of action abstractions

**Figure 11**: Scaling experiments on multi-task learning

查看结构化数据

任务	指标	本文	基线	提升
Single-Arm AgiLeX Touch Cube	Progress Score (%)	Joint + Delta + DP: 96.7 ± 1.8	EEF + Absolute + ACT: 77.1 ± 3.8	+19.6 个百分点
Single-Arm AgiLeX Pick Up Cup	Progress Score (%)	Joint + Delta + DP: 97.6 ± 2.4	EEF + Absolute + ACT: 63.1 ± 3.7	+34.5 个百分点
Single-Arm AgiLeX Pick and Place Cup	Progress Score (%)	Joint + Delta + DP: 93.5 ± 0.3	EEF + Absolute + ACT: 66.8 ± 6.5	+26.7 个百分点
Bimanual Cube Transfer	Progress Score (%)	Joint + Delta + ACT: 69.6 ± 5.5；Joint + Delta + DP: 74.6 ± 5.2	EEF + Absolute + ACT: 63.7 ± 8.3	约 +5.9 到 +10.9 个百分点
RoboTwin 2.0（10 任务平均）	Success Rate (%)	Joint + Delta + DP: 48.0 ± 4.4	EEF + Absolute + ACT: 26.7 ± 3.3	+21.3 个百分点
整体平均（所有平台）	Normalized Score (%)	Joint + Delta + DP: 88.0 ± 2.3	EEF + Absolute + ACT: 63.4 ± 2.7	+24.6 个百分点

局限与改进

作者在论文 Limitations 与 Future Work 中明确承认了几点：（1）研究局限在固定分类内（严格的绝对/增量、关节/任务），未探索混合或自适应表示；（2）实验平台限于 6-DoF 工业臂，未覆盖高自由度仿人机器人或多指灵巧手；（3）跨本体只验证了一对硬件（AgiLeX ↔ AIRBOT），更广的形态迁移尚未证实；（4）基础模型迁移只测了 $\pi_0$，未覆盖不同预训练范式的影响；（5）chunking 视野选择仍是启发式的，缺乏理论指导。本人观察到的额外局限：仿真部分用 RoboTwin 2.0 的 hard 模式，10 个任务的难度跨度大且部分任务（如 Lift Pot）所有方法都低于 25%，可能掩盖某些细微差异；论文未报告推理延迟和吞吐量，delta 动作需要在线累积积分，在 30 Hz 控制下对串行计算提出额外要求；评测只在 6×6 网格的受限初始位姿下进行，对极端边界情况和长程失败的诊断可能不足；统一使用 position-based 低层控制器，没有把更高阶的力/阻抗控制纳入对比。

独立分析的弱点

通过独立审视结果可以识别以下弱点。**弱点一：长程 horizon 训练的开销与不稳定性**：作者报告绝对动作在 $k=60$ 长视野下仍能受益，但 Table 5 显示 1200 轮训练下 abs-ee 也只到 80% 水平，比 rel-ee 的 95.65% 还低 15 个百分点，说明绝对动作需要更复杂的数据增强或两阶段训练才能释放潜力。**改进方向**：可以借鉴 latent action 预训练（如 LAPO）做高层规划+底层执行的分层结构，或者引入对比学习目标增强观测到全局坐标的对齐能力。**弱点二：delta 在双臂等协调任务中可能因累积误差导致同步失败**：Bimanual Transfer 任务上 delta 增量虽然仍优于绝对，但优势（69.6% vs 63.7%）远小于单臂任务（Pick Cup 上 97.6% vs 63.1%），可能因为两个臂的 delta 累积是独立过程，长视野下更难保证同步精度。**改进方向**：可在双臂共享统一参考点、引入显式的 inter-arm 相对动作建模，或者用 ACT 的 temporal ensemble 平滑预测序列。**弱点三：delta-joint 组合需要昂贵的流匹配训练**：表 1 中 DP-joint-delta 虽达 88% 平均但训练量是 ACT 的数倍，对资源受限场景不够友好。**改进方向**：可以探索更轻量的条件生成模型（如 consistency model）来近似流匹配的多模态拟合能力。**弱点四：跨本体结论的统计基础薄弱**：图 6 跨本体只对比了 AgiLeX 与 AIRBOT 两个本体，未给出置信区间或多次硬件配对结果。**改进方向**：应在更多形态（如 7-DoF Franka、5 指 Allegro 手）上系统重复该实验。

未来方向

作者在 Appendix B 明确提出三个方向。**方向一：超越固定分类的混合/自适应表示**：例如策略在 reaching 阶段用 task-space delta 借助几何直观，接触阶段切换到 joint-space absolute 获得稳定性；用元学习或上下文向量让策略端到端选择表征模态。**方向二：扩展到高 DoF 形态与动态/灵巧任务**：当前结论（delta + joint 优势）是否在 23-DoF 仿人机器人、9-DoF 多指手上仍成立？乒乓球、布料折叠等动态域对动作延迟和视野耦合有更严苛的约束，是天然试金石。**方向三：统一动作空间以服务泛化与迁移**：在跨本体和 $\pi_0$ 微调中任务空间胜出，作者提出一个反直觉但重要的开放问题——能否把预训练监督直接对齐到 joint space 从而'反败为胜'，挑战当前基础模型对任务空间表征的依赖。**基于成果可延伸的方向**包括：（a）把 Proposition 4.1 的线性分析推广到流匹配/扩散的非线性多步去噪过程，分析不同去噪步数下误差传播的等效谱性质；（b）联合优化 $M_{time}$ 的结构与对应训练损失，比如对 chunk-wise delta 加 temporal decay 正则；（c）把视野-抽象耦合做成课程学习信号——训练前期用绝对长视野建立全局意识，后期切到增量短视野做精修。

复现评估

作者在 Ethics & Reproducibility 声明中明确：**代码和数据集将在发表时全部开源**；所有真实数据用作者自研硬件平台按论文协议采集，仿真数据用开源 RoboTwin 2.0 生成，无个人信息或隐私风险。**复现所需资源**：8 张 NVIDIA A100 GPU 训练，总算力超过 16,000 GPU-hour；硬件包括 AgiLeX PiPER（单/双臂）、AIRBOT 等 3 套真实平台；训练超参明确（AdamW, lr=1e-4, batch=512, 600 epochs, 250 演示/任务），$\pi_0$ 迁移的 LoRA 设置（30,000 步，batch 32）也详细列出。**复现难度评估**：中等偏低偏中等——超参与协议都已公开，但真实实验环节涉及硬件维护、6×6 网格初始化的手工操作、200+ 演示数据采集，单独实验室复现全部 13000+ rollout 成本较高；建议优先复现 RoboTwin 2.0 仿真部分（10 任务、48% DP 成功率等关键数字可作为 sanity check），再选择性复现单臂 AgiLeX 三个任务；流匹配与 ACT 模型的实现细节在 Appendix D 都给了公式，理论上任何熟悉 PyTorch+Transformer 的研究组都能在 1-2 周内复现核心数字。

揭开机器人操作策略动作空间设计的神秘面纱 Demystifying Action Space Design for Robotic Manipulation Policies