χ₀：通过驯服分布不一致性实现资源感知的鲁棒操作 χ_{0}: Resource-Aware Robust Manipulation via Taming Distributional Inconsistencies
用20小时数据和8个A100 GPU，通过解决三个分布不一致性问题，将机器人操作成功率提升250%
前置知识
模仿学习 (Imitation Learning)
模仿学习是一种机器学习范式，通过观察专家演示来学习策略，而不是通过试错探索。在机器人操作中，人类操作员通过遥操作机器人完成任务，记录状态-动作对作为训练数据。策略网络学习从视觉观察到动作的映射，本质上是监督学习。常见的实现方式包括行为克隆（直接回归动作）和逆强化学习（学习奖励函数再优化策略）。
本文的χ₀框架建立在模仿学习基础上，通过解决模仿学习中的分布不一致性问题来提升性能，理解模仿学习的基本原理是理解本文动机的前提。
分布不一致性 (Distributional Inconsistency)
在机器人学习中，存在三个关键分布：训练分布 P_train（专家演示数据）、模型分布 Q_model（策略网络学习到的归纳偏置）、测试分布 P_test（实际部署时的执行轨迹）。这三个分布之间存在系统性不一致：训练数据稀疏导致模型偏置、推理-执行延迟导致时间错位、缺乏恢复行为导致失败级联。这种不一致是机器人操作鲁棒性的主要瓶颈。
本文的核心贡献就是系统性地解决这三个分布不一致性问题，理解这个概念是理解整篇论文技术路线的关键。
权重空间合并 (Weight-space Merging)
模型合并是一种将多个神经网络的知识整合到单一模型中的技术。在权重空间合并中，直接对多个模型的参数进行加权平均：θ_merged = Σ α_i θ_i，其中 α_i 是权重系数。这种方法不需要重新训练，计算效率高。常见的合并策略包括均匀加权、逆损失加权、梯度下降优化等。在大型语言模型和视觉模型中已被证明能提升泛化性和鲁棒性。
本文提出的Model Arithmetic (MA) 是权重空间合并在机器人操作中的创新应用，通过合并不同数据子集训练的策略来扩展策略覆盖范围。
优势估计 (Advantage Estimation)
在强化学习中，优势函数 A(s,a) = Q(s,a) - V(s) 表示在状态s下执行动作a相对于平均动作的价值差。正优势表示动作优于平均，负优势表示劣于平均。优势加权回归（AWR）利用优势值对训练样本进行加权，让策略更倾向于学习高回报动作。传统方法通过值函数差分计算优势，但容易产生噪声和高方差。
本文提出的Stage Advantage (SA) 改进了优势估计方法，通过阶段感知和直接预测来提供更稳定的训练信号，这是提升长时程任务性能的关键技术。
DAgger (Dataset Aggregation)
DAgger是一种交互式模仿学习算法，通过在线策略执行收集纠正数据来扩展训练分布。标准DAgger需要人类在策略执行时实时监督，当策略失败时提供纠正动作。这种方法能有效收集恢复行为数据，但需要实时人类参与，成本较高。DAgger数据对于提升策略在失败状态下的恢复能力至关重要。
本文提出了Heuristic DAgger变体，通过启发式方式收集恢复数据，是Train-Deploy-Alignment (TDA) 的重要组成部分，解决了标准DAgger成本高的问题。
研究动机
在机器人操作领域，特别是服装操作等接触丰富、变形动态的任务中，现有方法面临严重的鲁棒性问题。具体而言，当使用有限专家演示训练策略时，训练分布 P_train 相对于真实任务流形是稀疏的，导致学习到的策略 Q_model 严重偏向于有限的训练支持。例如，在服装折叠任务中，演示数据可能只覆盖了部分初始状态和布料配置，策略在遇到未见过的状态时无法有效恢复。此外，推理-执行延迟导致时间错位：策略输出的动作在物理执行时已经滞后，特别是在长时程任务中，这种延迟会累积导致任务失败。更严重的是，静态演示数据缺乏恢复行为，当策略在部署中遇到小扰动时，会导致灾难性失败级联，无法自我纠正。这些问题在现有方法中没有得到系统性解决，导致机器人操作的可靠性远未达到生产级要求。
本文的目标是本文的目标是提出一个资源高效的框架χ₀，系统性地解决机器人学习中的三个分布不一致性问题，实现生产级鲁棒性的机器人操作。具体目标包括：在仅使用20小时专家演示和8个A100 GPU的资源限制下，将机器人操作的成功率比现有最优方法提升至少200%；实现24小时连续不间断的自主操作；在服装操作任务上实现高可靠性，包括T恤折叠、条件检索排序和服装悬挂等复杂长时程任务。这些目标体现了资源感知的设计理念，在有限的计算和数据资源下追求最大化性能。
与已有工作不同的是，本文的独特切入角度在于将机器人学习的整个流程形式化为三个分布（P_train、Q_model、P_test），并系统性地分析它们之间的不一致性。与现有工作主要关注单个阶段（如数据增强、模型架构优化或推理优化）不同，本文认识到鲁棒性的关键不在于资源规模本身，而在于这三个分布之间的系统性错位。现有方法如数据集缩放、启发式增强和自适应学习虽然有一定效果，但受限于领域特定约束：数据收集成本高昂、增强方法缺乏针对性、自适应学习计算负担重。本文通过三个专门设计的模块（Model Arithmetic、Stage Advantage、Train-Deploy-Alignment）分别针对每个不一致性进行针对性解决，这种系统性的方法在现有文献中尚属首次。
核心方法
χ₀框架的设计理念可以类比为'三支柱桥梁'：第一个支柱Model Arithmetic（MA）扩展策略覆盖范围，解决训练数据稀疏问题；第二个支柱Stage Advantage（SA）提供稳定的进度信号，解决长时程任务中的时间错位；第三个支柱Train-Deploy-Alignment（TDA）通过数据增强和闭环优化，缩小训练与部署之间的分布差距。整体技术路线是：首先通过MA合并多个在不同数据子集上训练的策略，创建一个覆盖更广的统一策略；然后使用SA提供阶段感知的优势估计，指导策略学习高质量动作；最后通过TDA结合启发式DAgger和时空增强，确保策略在真实部署中的鲁棒性。这三个模块协同工作，分别针对训练分布、模型分布和测试分布的不一致性，形成一个完整的解决方案。
本文的核心创新点在于将机器人学习的形式化框架从单一分布优化转变为三个分布之间的系统性对齐。与现有方法的本质区别体现在三个方面：首先，Model Arithmetic不是简单地增加数据量，而是通过权重空间合并不同数据子集训练的策略，让模型'吸收'多样化的训练分布，这种方法计算效率高且不需要额外数据收集。其次，Stage Advantage直接建模优势函数而不是通过值函数差分，避免了误差累积和数值不稳定性，同时引入阶段感知机制解决多阶段任务中的多值歧义。第三，Train-Deploy-Alignment不是被动地应对分布偏移，而是主动通过启发式DAgger和时空增强扩展训练分布向测试分布靠拢。这种'主动对齐'而非'被动适应'的思路是现有文献中较少见的。
方法步骤详情
χ₀框架的执行分为三个主要步骤：第一步，Model Arithmetic (MA)：将训练数据集D随机划分为n个不重叠的子集{D₁, D₂, ..., D_n}，在每个子集上独立训练策略{θ₁, θ₂, ..., θ_n}。然后通过加权插值合并这些策略：θ_merged = Σ α_i θ_i，其中权重系数α_i通过最小化验证集损失来优化。验证集使用DAgger收集的分布外数据，确保合并策略能泛化到未见状态。第二步，Stage Advantage (SA)：将长时程任务分解为语义阶段，每个阶段对应一个子目标。训练一个基于视觉语言模型（VLM）的优势估计器，输入成对图像，直接预测相对进度A_stage(s, a, g) = f_θ(s, s'|g)，其中g是阶段标签。将连续优势预测阈值化为二元最优指标I = 1[A_stage > ε]，用于优势加权策略学习。第三步，Train-Deploy-Alignment (TDA)：使用启发式DAgger在策略失败状态收集恢复演示，扩展P_train；应用时空增强（水平翻转、帧跳跃）增加数据多样性；实现时间块平滑算法，在推理时维护动作缓冲区，通过加权插值确保动作执行的连续性。
技术新颖性
χ₀的技术新颖性体现在多个层面：首先，Model Arithmetic在机器人操作领域的应用是创新的，它不是简单地增加数据量，而是通过权重空间合并来扩展策略覆盖范围，这种方法在计算机视觉和自然语言处理中已有应用，但在机器人操作中尚属首次系统性应用。其次，Stage Advantage直接建模优势函数而不是通过值函数差分，避免了传统方法的数值不稳定性，同时引入阶段感知机制解决多阶段任务中的多值歧义，这在现有优势估计方法中是独特的。第三，Train-Deploy-Alignment中的启发式DAgger通过直接初始化失败状态来收集恢复数据，避免了标准DAgger需要实时人类监督的缺点，这种方法在效率和效果上都有显著提升。此外，时间块平滑算法通过维护动作缓冲区和加权插值，解决了推理-执行延迟导致的时间错位问题，这种方法在现有控制优化方法中具有创新性。
实验结果
实验结果验证了χ₀框架的有效性，在多个维度上展示了显著性能提升。首先，系统效能分析显示，随着模块逐步添加，性能单调递增：单独使用MA、SA或TDA都能带来性能提升，但只有三者结合才能实现最佳性能。在Task A（T恤折叠）上，完整χ₀系统相比基线π0.5实现了约250%的成功率提升。具体数据表明，MA在所有指标上都优于单个最佳候选和全数据基线，验证了权重空间合并的有效性。SA在数值稳定性方面表现突出，通过平滑帧比率（SFR）和均方时间差（MSTD）指标，SA比π∗0.6风格的基线更稳定，这种稳定性转化为更好的策略性能。TDA中的启发式DAgger显著提升了失败恢复能力，虽然增加了重试成本，但大幅提高了任务完成率。在24小时连续压力测试中，χ₀系统展示了高可靠性自主操作能力，能够从任意初始状态连续运行24小时不停机。这些结果表明，分布对齐是提升机器人操作鲁棒性的关键，而不是单纯的数据规模扩展。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| T恤折叠 (Task A) | 成功率 (SR) | χ₀完整系统 | π0.5基线 | 提升约250% |
| 条件检索排序 (Task B) | 吞吐量 (TP) | χ₀ + MA | 单个最佳候选 | 显著提升，重试成本降低 |
| 服装悬挂 (Task C) | 平均分数 | χ₀ + SA | π∗0.6风格基线 | 数值稳定性提升，性能更好 |
局限与改进
尽管χ₀取得了显著成果，但仍存在几个重要局限性。首先，可扩展性问题：本文没有评估预训练先验在训练后过程中的保留情况，这限制了方法向更广泛任务的泛化能力。实验仅在服装操作任务上验证，对于刚体操作等其他领域的适用性尚不清楚。其次，数据估值问题：数据质量对性能影响巨大，在相同设置下成功率波动可达20%到60%，但目前缺乏高效的数据质量评估方法，需要完整的训练循环或缓慢的回放检查。第三，阶段优势在非阶段任务上的效果有限：在Task C（服装悬挂）上，虽然数值稳定性指标改善，但性能提升不明显，这可能源于π0.5预训练分布缺乏悬挂特定先验。第四，模型合并的验证损失选择与OOD数据质量相关，当OOD数据分布不能充分近似P_test时，验证损失可能不是可靠的候选选择指标。
独立分析的弱点
基于独立分析，χ₀存在几个可以改进的弱点。首先，Model Arithmetic目前仅合并同一任务不同数据子集训练的策略，未来可以探索合并不同任务训练的策略，实现跨任务知识迁移，这对于通用机器人学习具有重要意义。其次，Stage Advantage依赖手动标注的阶段标签，这限制了方法的自动化程度，未来可以研究无监督的阶段发现方法，从演示数据中自动识别语义阶段。第三，启发式DAgger虽然比标准DAgger高效，但仍需要人类在失败状态提供纠正，未来可以探索自动化的恢复策略生成，例如使用强化学习训练恢复策略。第四，时间块平滑算法中的超参数（如丢弃阈值d_min和最小重叠长度m_min）需要针对不同任务调整，未来可以研究自适应的参数调整方法。第五，当前方法对数据质量高度敏感，但缺乏预测性数据质量指标，未来可以开发基于元学习的数据估值方法，在训练前预测数据效用。
未来方向
作者提出了几个重要的未来研究方向：首先，评估预训练先验的保留情况，这对于机器人基础模型的泛化能力至关重要，未来需要开发新的评估指标来衡量基础模型的内在表示质量，而不是仅仅依赖简单环境中的成功率。其次，探索Model Arithmetic整合不同任务策略的能力，而不仅仅是数据子集，这可以推进通用机器人学习。第三，研究高效的数据质量预测指标，避免昂贵的完整训练循环或缓慢的回放检查。基于本文成果，还可以延伸以下方向：将χ₀框架扩展到其他机器人任务领域，如刚体操作、灵巧操作等；探索在线学习版本的χ₀，能够在部署过程中持续改进；研究多机器人协作场景下的分布式χ₀框架；开发自动化的阶段发现和优势估计方法，减少人工标注需求。
复现评估
χ₀在复现性方面表现良好：作者承诺将发布代码、数据和模型权重，这为社区复现提供了基础。数据方面，使用约20小时专家演示，数据集规模适中（Task A: 2668 episodes, Task B: 3519 episodes, Task C: 2988 episodes），数据收集遵循标准操作协议（SOP）确保质量一致性。算力需求方面，训练需要8个A100 GPU，推理使用RTX 4090，这对于研究机构是可接受的，但对于个人研究者可能较高。硬件设置包括两种双臂机器人系统（Agilex Piper和ARX X5），配备三个Intel RealSense D435i相机，这种配置在机器人实验室中相对常见。复现难度中等：方法实现相对直接，但需要机器人硬件和遥操作设备；数据收集需要熟练的操作员；超参数调整可能需要针对特定任务进行优化。总体而言，对于具备机器人硬件和计算资源的研究团队，χ₀是可复现的。
论文图表
