基于强化学习引导检索和软融合的缺失模态下鲁棒多模态模仿学习 Reinforcement Learning-Guided Retrieval with Soft Fusion for Robust Multimodal Imitation Learning under Missing Modalities

方法步骤分为五个主要阶段。第一步是邻居集构建：对查询观测o，用模态公平距离找到训练集中k个最近的演示C_kNN(o)。第二步是BFS扩展：在训练k-NN图上从源点s运行Dijkstra算法，深度限制为D，得到BFS候选集B(s)及其图距离，oracle是其中标签匹配且图距离最小的n*(s)。第三步是RL策略训练：策略用注意力风格的打分头对每个候选v打分score(v) = MLP_theta[h_s; h_v; h_s ⊙ h_v]，通过softmax得到概率pi_theta。奖励是r(s, a) = -L(y_va, y_s) + L(y_n*(s), y_s)，对于分类任务用0/1损失，奖励范围为[-1, 0]。策略用PPO训练，使用截断代理目标。第四步是软融合：推理时对策略打分的top-K个候选，用交叉注意力软融合。查询嵌入和候选嵌入用独立线性层投影到共享的df维空间，通过H头缩放点积注意力得到权重，计算软attend标签，两层MLP用attention加权上下文向量细化得到最终预测。第五步是缺失模态填补：当模态m在推理时丢失，用专门的per-modality RL策略从模态m可用的训练样本中选出donor。部分查询嵌入由剩余的模态形成，在donor索引上构建BFS候选集，填补oracle是使模态m嵌入到ground truth嵌入的平方l2距离最小的donor。策略用PPO训练，用排序奖励。软填补通过交叉注意力聚合top-K个RL排序的donor，得到软attend嵌入，两层MLP用attention加权key上下文细化，得到最终填补块。软填补头用监督MSE目标训练，填补RL策略在整个过程中冻结。

RL4IL的技术新颖性体现在多个方面。首先，它是首个将强化学习应用于模仿学习中最近邻选择的方法。传统的检索增强模仿学习假设完整观测，用启发式距离加权聚合或硬argmax选择。RL4IL用PPO训练的策略学习排序候选，替换启发式为学习的选择策略，这是检索增强模仿学习中的首次尝试。其次，RL4IL引入了软交叉注意力融合机制，不是只选择单个演示而是聚合top-K个候选的动作信号。这在噪声检索条件下更可靠，因为单个演示可能不完美，聚合多个候选可以补偿检索噪声。第三，RL4IL实现了零样本推理时处理缺失模态而无需任何重新训练。当摄像头失效时，专门的per-modality RL检索策略识别donor演示，软填补头通过交叉注意力重建缺失嵌入，所有其他管道组件保持不变。这在实际部署中至关重要，因为现有的鲁棒性方法如DisDP需要完全的策略重新训练，且在完全摄像头丢失时性能崩溃。第四，RL4IL引入了模态公平归一化，对每个模态的嵌入块做z-score归一化，定义模态公平距离，确保每个模态无论其嵌入维度如何都能贡献相等的权重。这消除了大维度模态主导距离度量的偏差，使方法行为在传感器失效时更可预测。最后，RL4IL即使在只有一个训练epoch的情况下也能保持有竞争力的性能，在所有三个LIBERO套件中都超越了所有基线。这表明方法不仅有效而且高效，适合快速部署和迭代。

独立分析的弱点包括：首先，方法在LIBERO-Spatial上的成功率相对较低，特别是在No Cam1条件下仅为0.441，表明空间推理任务对缺失模态更敏感。改进方向可以是在填补时引入更多的几何约束或先验知识，比如物体关系图、空间布局推理模块，而不仅仅是soft attention聚合donor嵌入。其次，方法使用零向量冷启动填补RL策略的推理，如果零向量与真实缺失嵌入分布差异很大，donor选择可能不够准确。改进方向可以是用更智能的冷启动初始化，比如用可用模态的条件分布估计缺失模态的先验均值，或者用自监督学习学习缺失模态的嵌入分布。第三，方法假设单个模态丢失，但在真实世界中可能多个模态同时丢失（比如两个摄像头都失效），或者模态部分丢失（比如摄像头部分被遮挡）。改进方向是扩展到多模态丢失场景，训练联合的per-modality策略或分层策略，处理更复杂的缺失模式。第四，方法使用开环重放检索到的动作序列，没有闭环修正。如果检索的演示不完美或环境状态变化，执行可能失败。改进方向是引入反馈机制，在执行过程中根据实际观测调整动作，或者使用在线检索更新候选演示。第五，模态公平归一化假设所有模态同等重要，但在某些任务中某些模态可能更重要。改进方向是学习模态特定的权重或重要性，根据任务类型或当前状态动态调整模态贡献。第六，方法的超参数较多（邻居大小k、BFS深度D、融合候选数量K、填补候选数量等），需要针对不同任务调整。改进方向是开发自动超参数选择机制，比如基于验证集性能的搜索或元学习方法。最后，方法只在LIBERO基准上评估，LIBERO的50个演示每任务可能足够丰富，但在真实世界中演示可能更稀疏或更多样化。改进方向是在更多样化的基准上评估，包括真实机器人数据、不同模态配置的任务，以验证方法的泛化性。

作者提出的未来工作方向包括：将RL4IL扩展到在线设置，在执行过程中根据实际观测动态更新候选演示和检索结果。这可以通过增量式k-NN图更新或在线donor选择实现。融入更丰富的时间上下文到检索查询中，不仅使用初始观测，还考虑历史观测或动作序列，以提高检索的相关性。扩展演示库到更大和更多样的任务分布，包括跨任务、跨环境的泛化。我自己的延伸研究方向包括：将RL4IL与其他模仿学习方法结合，比如用检索到的演示作为条件，训练端到端策略网络，结合检索的优势和学习的灵活性。探索更复杂的填补机制，比如使用生成模型（扩散模型、VAE）生成缺失模态的嵌入，而不是仅聚合donor嵌入。研究模态交互和依赖关系，比如在填补时考虑模态间的条件关系，用图神经网络建模模态间的依赖。开发自适应模态权重机制，根据任务类型、当前状态或检索质量动态调整模态贡献，而不是固定的等权重。探索closed-loop执行中的在线学习和适应，在执行过程中收集反馈并更新演示库或检索策略。将方法扩展到其他模态配置和传感器类型，比如深度相机、力觉传感器、语音指令等，验证方法的多模态泛化性。研究方法的计算效率，特别是大规模演示库下的检索速度和内存占用，探索近似最近邻或分层检索策略。最后，将方法应用于真实机器人系统，验证在真实硬件、真实传感器噪声、真实环境变化下的鲁棒性，并与人类操作者交互收集反馈。

论文提供了详细的开源实现，代码可在GitHub（https://github.com/h-ismkhan/Reinforcement-Learning-via-kNN-for-Robotic-Learning-with-Missing-Camera）获取。实验基于LIBERO基准测试套件，这是一个广泛使用的机器人操控基准，包含50个专家演示每任务，记录通过遥操作。作者确认在Bournemouth大学的GPU资源上进行实验，没有利益冲突。论文详细描述了方法的所有组件，包括模态公平归一化的具体公式、BFS候选集构建、RL策略架构、奖励函数、PPO训练目标、软融合机制、缺失模态填补管道等。消融研究提供了超参数影响分析，包括训练epochs、top-K融合候选数量等。性能报告包含均值和标准差，基于3个随机种子每个任务25个rollout。然而，论文没有明确报告具体的超参数值（如邻居大小k、BFS深度D、融合候选数量K、填补候选数量、PPO的epsilon、entropy系数等），需要查看代码或联系作者获取。论文没有提供具体的硬件配置和训练时间，但提到使用GPU资源。复现难度中等到较高，需要理解强化学习、模仿学习、检索方法、交叉注意力机制等多个概念，以及熟练使用PyTorch等深度学习框架。但开源代码和详细描述有助于复现，特别是对于熟悉机器人学习和深度学习的研究者。建议未来的复现工作可以提供更详细的超参数设置、训练曲线和计算资源需求，以进一步提高可复现性。