EgoPush: 基于第一人称视角的端到端移动机器人多物体重排学习 EgoPush: Learning End-to-End Egocentric Multi-Object Rearrangement for Mobile Robots
通过教师-学生蒸馏框架，让移动机器人仅凭自我视角完成多物体长期推放任务
前置知识
特权强化学习教师-视觉学生蒸馏
这是一种跨模态知识迁移策略：在仿真环境中训练一个拥有完整状态信息的'特权教师'，然后将其行为能力迁移到仅依赖视觉输入的'学生'策略。教师可以看到真实机器人无法获取的全局状态（如物体精确位姿），通过在线模仿学习或DAgger算法将教师的决策能力转移到学生网络。这种方法的优势是教师提供了稳定的监督信号，避免了直接从原始图像学习时面临的高方差信用分配问题。在本文中，这一框架被创新性地限制为'受限教师'，强制教师仅使用学生可观察的信息，从而产生可复现的行为。
本文的核心创新正是对这一经典框架的改进。传统特权教师在全局状态下优化，可能导致在学生视角下不可复现的轨迹（如教师倒退推进而无需转身观察），本文通过约束教师观测空间解决了这一关键问题。
物体中心潜在表示
将场景中的多个物体按照任务语义分为三组：当前操作物体（active）、目标参考物体（anchor）、障碍物（obstacle），使用共享权重的PointNet编码器将每组稀疏关键点编码为固定维度的潜在向量。这种设计将高维视觉观测压缩为低维的语义化表示，捕捉物体间的相对空间关系而非绝对位姿，使策略能推理组间潜在嵌入的关系。权重共享将不同组的几何特征对齐到同一嵌入空间，使得策略能推理组间潜在嵌入的关系而非孤立地建模每个物体。
这种表示学习是连接教师和学生的接口层，使得策略推理基于相对空间关系而非绝对坐标，这对于仅依赖自我视角的机器人完成长期任务至关重要。
阶段对齐的时间衰减奖励
针对长期多阶段任务设计的奖励塑形方法：将复杂的重排任务分解为多个阶段（到达、放置），为每个阶段设置独立的时间衰减因子 $\eta_t = \frac{T_s - \tau_t}{T_s + \epsilon_0}$，其中 $T_s$ 是阶段预算步数，$\tau_t$ 是阶段内已用步数。这确保每个阶段都有可比的时间压力，避免稀疏奖励导致的信用分配困难。实验表明，这种设计比全局时间衰减更稳定，使策略在45k步内收敛到98.63%成功率，而基线需要90k步仅达到16%。
长期任务中的信用分配是强化学习的核心挑战。本文的奖励设计通过阶段分解和时间衰减，将稀疏的终端奖励转化为密集的、可比较的阶段奖励，显著加速了策略学习。
受限教师观测空间
为了确保教师行为可从学生视角复现，本文设计了两种约束机制：（1）虚拟自我视角遮蔽：定义基于机器人位姿的视锥体，遮蔽视锥外和超距的点，模拟相机可见视野；（2）中心门控可见性：仅当锚点物体在虚拟视野内且位于视图中心区域时，才显示参考目标关键点。这两种约束确保教师不会利用学生无法获取的信息，从而产生可复现的行为轨迹。
这是解决教师-学生蒸馏中观测不匹配问题的关键创新。传统全局教师可能产生学生无法复现的轨迹（如教师倒退推进而无需转身观察），本文的约束机制确保教师行为与学生视角一致。
研究动机
现有非抓取移动操作方法在仅依赖自我视角时面临严重挑战：（1）基于模型的方法（如SLAM、视觉里程计）在纹理稀疏场景中难以维持一致的定位，且接触丰富的交互违反静态世界假设，导致映射规划失效；（2）端到端强化学习直接从自我视角学习，但样本效率低下且对部分可观测性脆弱，当关键物体离开视野时策略会失去连贯性；（3）传统特权教师蒸馏中，全知教师可能产生学生无法复现的轨迹，如教师倒退推进而无需转身观察，导致学生接收不一致的监督信号。实验表明，即使提供完美的语义分割（RGBD-Sem基线），端到端方法的成功率仍低于1%，而空间意图映射（SIM）基线由于里程计漂移导致地图不一致，成功率仅为19.26%。
本文的目标是本文旨在开发一种能仅凭自我视角完成长期多物体非抓取重排任务的策略学习框架。具体目标包括：（1）在纹理稀疏场景中实现多物体精确重排到预定义配置（如十字形、线形）；（2）处理多样几何形状的物体（立方体、圆柱体、三棱柱）；（3）实现零样本仿真到真实世界迁移，在TurtleBot平台上验证可行性；（4）通过结构化监督和奖励设计提高样本效率和策略鲁棒性。
与已有工作不同的是，本文的独特切入角度是将'受限教师'概念引入特权强化学习蒸馏框架。与传统方法让教师在全局状态下优化不同，本文约束教师仅使用学生可观察的信息，从而产生可复现的行为轨迹。这种方法解决了教师-学生蒸馏中的观测不匹配问题，同时诱导出可学习的主动感知行为。此外，通过物体中心潜在表示编码相对空间关系而非绝对位姿，使策略能推理物体间的语义关系，而非依赖易漂移的全局坐标系。
核心方法
EgoPush采用两阶段学习框架：第一阶段训练受限特权教师，第二阶段蒸馏为视觉学生。整体思路是先通过物体中心表示将场景抽象为任务相关的角色（当前操作物体、锚点、障碍物），然后通过约束教师的观测空间确保其行为可从学生视角复现，最后通过在线DAgger风格蒸馏将教师能力转移到视觉学生。技术路线包括：（1）稀疏关键点作为教师观测，降低维度同时保留接触决策信息；（2）虚拟视锥遮蔽和中心门控可见性约束教师；（3）阶段对齐的时间衰减奖励解决长期信用分配；（4）关系蒸馏损失对齐教师和学生的潜在空间结构。
核心创新是'受限教师'设计。传统特权教师在全局状态下优化，可能产生学生无法复现的轨迹（如教师倒退推进而无需转身观察）。本文通过两种约束机制解决这一问题：（1）虚拟自我视角遮蔽：定义基于机器人位姿的视锥体，遮蔽视锥外和超距的点；（2）中心门控可见性：仅当锚点物体在虚拟视野内且位于视图中心区域时，才显示参考目标关键点。这种设计确保教师行为依赖于学生可观察的任务相关信息，从而产生可复现的行为轨迹。实验表明，这种约束使学生成功率从0%（全局教师）提升到70.70%，而移除中心门控可见性后学生成功率仅为21.09%。
方法步骤详情
方法分为两个主要阶段： 第一阶段（受限教师强化学习）： 1. 观测空间：教师接收稀疏关键点 $\{P_t^{act}, P_t^{anc}, P_t^{obs}, P_t^{ref}\}$ 和上一动作 $a_{t-1}$，其中关键点分为四组语义角色。 2. 约束机制：应用虚拟视锥遮蔽（公式17-18）和中心门控可见性（公式20-21），确保教师仅使用学生可观察的信息。 3. 状态编码：使用PointNet将每组关键点编码为固定维度潜在向量 $Z_t^k \in \mathbb{R}^d$，然后通过MLP生成动作 $a_t = MLP(a_{t-1}, Z_t^{act}, Z_t^{anc}, Z_t^{obs}, Z_t^{ref})$。 4. 奖励设计：包括阶段对齐的完成奖励（公式1-3）、进展塑形（公式4）、平滑惩罚和目标附近减速奖励。 5. 训练：使用PPO算法在8192个并行环境中训练，应用物理参数随机化。 第二阶段（视觉学生蒸馏）： 1. 观测空间：学生接收自我视角RGB-D图像，RGB仅用于实例分割，策略网络仅处理深度信息。 2. 语义分组：通过实例分割将物体分为三组（active/anchor/obstacle），生成组内深度层 $\tilde{d}_t^k$。 3. 状态编码：使用CNN编码每组深度层为潜在向量 $\hat{Z}_t^k = CNN_\phi(\tilde{d}_t^k)$。 4. 蒸馏损失：在线DAgger风格训练，同时应用关系蒸馏损失 $L_{rel} = \|S_t^{tea} - \hat{S}_t^{stu}\|_F^2$ 对齐教师和学生的潜在空间结构。 5. 部署：应用Navier-Stokes修复算法处理深度噪声，实现零样本仿真到真实世界迁移。
技术新颖性
本文的技术新颖性体现在四个方面： 1. 受限教师观测空间：这是对传统特权教师蒸馏框架的根本性改进。通过约束教师仅使用学生可观察的信息，解决了教师-学生蒸馏中的观测不匹配问题，这是长期接触丰富任务中的关键挑战。 2. 物体中心潜在表示：将场景抽象为语义角色而非孤立物体，通过共享权重编码器捕捉组间相对空间关系，使策略推理基于相对关系而非绝对位姿，这对于仅依赖自我视角的机器人至关重要。 3. 阶段对齐的时间衰减奖励：针对长期多阶段任务的信用分配问题，设计了阶段级时间衰减机制，确保每个阶段都有可比的时间压力，显著加速策略学习。 4. 关系蒸馏损失：提出基于余弦相似度矩阵的潜在空间对齐方法，解决了教师和学生观测空间维度不匹配的问题，使学生能继承教师的空间推理能力。
实验结果
本文通过大量实验验证了EgoPush框架的有效性： 1. 消融实验（表I）：在十字形重排任务中，完整方法的教师成功率为99.31%，学生成功率为70.70%。移除中心门控可见性后，教师成功率保持98.34%，但学生成功率骤降至21.09%；移除视锥遮蔽后，教师成功率99.22%，但学生成功率为0%。这表明约束教师观测空间对产生可复现行为至关重要。 2. 信用分配消融（表II）：从稀疏基线（16.02%）开始，添加阶段奖励后提升至87.50%，再添加时间衰减后达97.95%，最后使用阶段计时器达98.63%。阶段对齐的时间衰减使策略在45k步内收敛，而基线需要90k步仅达到16%。 3. 基线比较（表III）：在简化的两物体任务中，EgoPush达到100%成功率，而最佳基线SIM仅为19.26%，端到端RGB-D方法低于0.3%。即使提供完美语义分割（RGBD-Sem），成功率仍仅为0.10%，表明物体识别不足以解决长期空间推理问题。 4. 真实世界实验：在3m×3m场地中，TurtleBot在2分钟内完成十字形重排任务（5个箱子），达到80%成功率（宽松评估）。零样本迁移成功归功于显式建模深度噪声和Navier-Stokes修复算法。 5. 不同几何形状（表VII）：学生策略在圆柱体上达到67.48%成功率，在三棱柱上达54.30%，表明接触动力学的几何依赖性导致性能下降。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 十字形重排（完整任务） | 成功率 (SR) | 70.70% | 21.09% (w/o C-GV), 0% (全局教师) | 相对提升235%（对比w/o C-GV） |
| 两物体简化任务 | 成功率 (SR) | 100.00% | 19.26% (SIM), 0.78% (E2E-Curriculum) | 绝对提升80.74个百分点 |
| 信用分配消融 | 成功率 (SR) | 98.63% | 16.02% (稀疏基线) | 绝对提升82.61个百分点 |
| 真实世界十字形重排 | 成功率 (SR) | 80% (宽松评估) | 无直接对比 | 首个零样本迁移验证 |
局限与改进
本文存在以下局限性： 1. 学生策略本质是反应式的：仅基于当前自我视角观测和短时动作历史，没有维护暂时离开视野物体的显式信念状态。在连续障碍物场景中，面对目标（锚点）可能遮挡可行通道，而转向检查通道可能丢失目标线索，导致策略陷入振荡或死锁模式。 2. 几何泛化能力有限：学生策略在圆柱体和三棱柱上的成功率分别降至67.48%和54.30%，表明接触动力学的几何依赖性导致性能下降。这在长程任务中尤为明显，小误差会累积放大。 3. 深度传感限制：真实世界中RealSense D435i的深度噪声和近距死区需要额外的硬件设计（前推器）和软件处理（Navier-Stokes修复），增加了系统复杂性。 4. 任务复杂度受限：实验仅验证了最多5个物体的重排，且物体尺寸相对简单（15cm立方体），对于更密集、更多样的物体配置，方法的有效性尚待验证。 5. 实时性要求：虽然策略推理本身高效，但依赖服务器端计算（通过WebSocket传输），在通信延迟或带宽受限场景中可能影响实时性。
独立分析的弱点
基于独立分析，本文存在以下弱点及改进方向： 1. 缺乏记忆机制：学生策略没有维护物体暂时离开视野时的信念状态，导致在连续障碍物场景中可能陷入振荡。改进方向：将物体中心潜在表示与循环序列模型（如GRU/LSTM）结合，学习跨遮挡的空间记忆，使智能体能维持对可行通道和目标线索的持久信念。 2. 几何泛化能力不足：策略对训练时未见的几何形状泛化能力有限。改进方向：引入几何感知的表示学习，如学习物体的几何基元或使用图神经网络建模接触动力学，使策略能泛化到更广泛的物体形状。 3. 深度处理流水线复杂：需要专门的硬件设计（前推器）和软件处理（Navier-Stokes修复）来应对深度传感限制。改进方向：探索端到端的深度去噪网络，或使用多模态融合（如RGB+触觉）减少对深度传感器的依赖。 4. 任务规模受限：实验仅验证了最多5个物体的重排。改进方向：研究分层策略架构，将大规模重排分解为子任务序列，或使用课程学习逐步增加物体数量和配置复杂度。 5. 通信依赖：当前系统依赖服务器端计算，可能影响实时性。改进方向：优化网络架构和推理效率，实现边缘设备上的实时推理，或开发分布式计算方案。
未来方向
作者提出和基于成果可延伸的未来研究方向包括： 1. 集成记忆机制：作者明确指出，将物体中心潜在表示与循环序列模型结合是缓解记忆缺失问题的有前途方向。由于潜在特征围绕任务角色构建且编码相对关系，它们为跨遮挡的时间聚合提供了自然基础。 2. 扩展到更复杂场景：当前方法在纹理稀疏、物体数量有限的场景中验证，未来可探索更密集、更多样的物体配置，以及包含动态障碍物的环境。 3. 多机器人协作：当前方法仅针对单机器人场景，未来可扩展到多机器人协作重排，研究如何分配任务和协调动作。 4. 更复杂的接触模式：当前方法主要处理推推动作，未来可探索更复杂的非抓取操作模式，如滑动、翻转等。 5. 真实世界部署优化：当前方法依赖服务器端计算，未来可优化网络架构和推理效率，实现边缘设备上的实时推理，或开发分布式计算方案。 6. 语义级理解：当前方法基于几何和空间关系，未来可引入语义级理解，使机器人能理解物体的功能和用途，从而进行更智能的重排决策。
复现评估
本文提供了良好的复现条件： 1. 开源情况：作者在项目网站（https://ai4ce.github.io/EgoPush/）提供了代码和视频，但未明确说明是否开源完整代码库。 2. 数据和环境：实验在NVIDIA Isaac Lab仿真环境中进行，使用标准的TurtleBot3 Burger平台和Intel RealSense D435i相机。仿真环境参数（物理时间步、动作控制频率、相机分辨率等）在论文中详细说明。 3. 算力要求：训练使用AMD EPYC Turin 9355 CPU和NVIDIA RTX A6000 Ada GPU，部署使用Intel Ultra 9 275HX CPU和NVIDIA RTX 5080 GPU。强化学习阶段使用8192个并行环境，蒸馏阶段使用512个并行环境。 4. 训练时间：论文未明确说明总训练时间，但从训练步数（约45k步）和并行环境数量来看，训练可能需要数小时到数天。 5. 难度评估：中等偏高。虽然仿真环境和机器人平台相对标准，但需要理解特权教师蒸馏框架、物体中心表示学习、阶段对齐奖励设计等概念，且真实世界部署需要硬件组装和调试。
论文图表
展示了有无关系蒸馏损失的训练曲线对比。左侧为动作损失曲线，右侧为成功率曲线。在十字形任务上，两种变体的性能相当；但在线形任务上，移除关系蒸馏损失后，收敛的动作损失明显更大，最终性能完全失败（SR < 0.01）。这表明关系蒸馏损失对对称性较低的任务配置至关重要。
这张图展示了关系蒸馏损失在不同任务复杂度下的重要性。虽然在对称的十字形任务上两种变体性能相当，但在非对称的线形任务上，关系蒸馏损失对维持学生性能至关重要。这表明关系蒸馏损失帮助学生继承教师的空间推理能力，特别是在任务配置对称性较低时。
比较了三种教师观测设置（完整方法、移除中心门控可见性、移除视锥遮蔽）下的教师和学生性能。指标包括成功率（SR）、执行时间（ExecTime）和轨迹长度（TrajLen）。完整方法的教师成功率为99.31%，学生成功率为70.70%；移除中心门控可见性后，教师成功率保持98.34%，但学生成功率骤降至21.09%；移除视锥遮蔽后，教师成功率99.22%，但学生成功率为0%。
这是验证受限教师设计有效性的核心实验结果。表格清晰展示了约束教师观测空间对产生可复现行为的关键作用，特别是中心门控可见性对学生性能的巨大影响（从70.70%降至21.09%），验证了本文的核心创新。
比较了四种奖励设计变体（稀疏基线、阶段奖励、阶段奖励+时间衰减、完整方法）在十字形重排任务上的性能。指标包括成功率（SR）、执行时间（ExecTime）和轨迹长度（TrajLen）。完整方法达到98.63%成功率，而稀疏基线仅为16.02%，阶段奖励为87.50%，阶段奖励+时间衰减为97.95%。
这是验证阶段对齐的时间衰减奖励设计有效性的核心实验结果。表格清晰展示了奖励设计对策略学习的关键作用，特别是从稀疏基线（16.02%）到完整方法（98.63%）的巨大提升，验证了阶段级时间衰减机制对长期任务信用分配的重要性。
比较了EgoPush与传统映射规划基线（SIM）和多种端到端视觉RL基线在简化两物体任务上的性能。指标包括到达率（Reach）、成功率（SR）和轨迹长度（Traj）。EgoPush达到100%成功率，而最佳基线SIM仅为19.26%，端到端RGB-D方法低于0.3%，即使提供完美语义分割（RGBD-Sem）也仅为0.10%。
这是验证EgoPush相对于现有方法优势的核心实验结果。表格清晰展示了EgoPush在长期接触丰富任务中的显著优势，特别是与最佳基线SIM的80个百分点提升，以及端到端方法的彻底失败，验证了物体中心表示学习和受限教师蒸馏框架的有效性。
详细列出了所有基线方法共享的环境参数（物理时间步、动作控制频率、 episode限制、场地边界等）、传感器设置（相机视野、分辨率、频率等）、动作空间、奖励函数、PPO训练参数（算法、总步数、 rollout长度、 epoch数等）和评估设置。
这是确保实验公平性和可复现性的关键表格，详细列出了所有方法共享的设置，排除了因环境差异导致的性能差异。特别是，所有方法使用相同的PPO训练预算（150k步）和相同的奖励定义，确保比较的公平性。
详细列出了每种方法的观测空间布局、策略骨干网络和动作参数化。SIM使用机器人中心语义地图和卷积网络；E2E-RGB使用自我视角RGB图像和卷积网络；E2E-RGBD使用自我视角RGB-D图像；RGBD-Sem使用三个语义RGB-D补丁；RGBD-RNN额外使用GRU头部。所有方法输出差速驱动命令（v, ω）。
这是理解不同方法架构差异的关键表格，解释了为什么端到端方法在长期任务中失败：它们直接从原始像素回归动作，缺乏物体中心表示和结构化监督，导致在部分可观测性下学习困难。
详细列出了五种颜色盒子（红、绿、蓝、紫、棕）的HSV阈值范围，用于颜色分割。红色使用环绕边界（H ∈ [179, 179] ∪ [0, 7]），其他颜色使用标准HSV范围。饱和度和亮度使用S, V ∈ [0, 255]。
这是真实世界实验的实现细节，解释了如何通过颜色分割实现物体检测。虽然本文使用简单的HSV阈值分割，但作者指出零样本分割模型（如SAM 2）的进步表明这种分割在真实场景中是可靠的。
比较了学生策略在圆柱体和三棱柱上的性能。指标包括成功率（SR）、到达率（Reach）、执行时间（ExecTime）和轨迹长度（TrajLen）。圆柱体达到67.48%成功率，三棱柱为54.30%，而到达率接近100%，表明大多数失败发生在交互阶段。
这是验证策略几何泛化能力的关键实验结果。表格清晰展示了策略在训练时未见的几何形状上的性能下降，特别是三棱柱的成功率（54.30%）明显低于圆柱体（67.48%），表明接触动力学的几何依赖性导致性能下降，为未来改进指明了方向。