Foresight：基于动作条件世界模型潜在表示的长视野机器人操作故障检测 Foresight: Failure Detection for Long-Horizon Robotic Manipulation with Action-Conditioned World Model Latents
利用动作条件世界模型潜在表示实现长视野机器人任务的实时故障监控
前置知识
世界模型（World Model）
世界模型是一种学习环境动力学表示的模型，能够预测给定动作后环境的未来状态。在机器人领域，世界模型通常通过观察历史轨迹来学习物理规律和对象交互模式，为预测未来场景变化提供基础。V-JEPA 2-AC使用联合嵌入预测架构在潜在空间进行预测，而不是重建像素，这使得它能够专注于学习可预测的物理动态表示。
本文核心依赖世界模型提取动作条件下的潜在状态特征，理解世界模型的工作原理对于把握Foresight如何识别故障模式至关重要。动作条件世界模型能够判断观测轨迹是否与策略的预期行为一致，这是本文区别于其他故障检测方法的关键。
动作条件预测（Action-Conditioned Prediction）
动作条件预测是指模型在预测未来状态时显式考虑当前动作输入。给定当前观测上下文 $c_t$ 和策略预测的动作块 $A_t$，模型预测在相应动作干预后的环境状态潜在表示 $z_t^p = \text{Pool}(g_\psi(z_t^h, A_t))$，而不是仅基于历史观测进行外推。这种设计使模型能够编码策略意图与环境响应之间的关系。
这是Foresight区别于其他故障检测方法的关键创新。许多机器人故障在孤立视觉上并非异常，而是意图动作与观测状态转换之间的不匹配。动作条件使模型能够判断观测轨迹是否与策略的预期行为一致，而非仅检测视觉异常。
保角预测（Conformal Prediction）
保角预测是一种统计框架，用于为机器学习模型提供预测区间的有限样本保证。功能保角预测构建单边时变上界阈值 $\delta_t = \mu_t + \hat{h}_t$，其中 $\mu_t$ 是从成功校准轨迹估计的时间变均值分数轨迹，$\hat{h}_t = \hat{q}\sigma_t$ 是校准带宽项。给定校集非保角分数 $\{R_i\}_{i=1}^n$，$\hat{q}$ 是其 $(1-\alpha)$-分位数，$\sigma_t$ 捕捉分数在时间上的偏离模式。
Foresight使用功能保角预测构建时变检测阈值，能够在控制误报率的同时实现可靠的故障报警。在温和的可交换性假设下，这保证误报率即在任何执行点将真正成功的轨迹标记为失败的概率被控制在水平 $\alpha$。这是该方法实用性的重要保证。
因果序列模型（Causal Sequence Model）
因果序列模型是一种特殊的序列处理模型，在自注意力机制中使用因果掩码，确保时刻t的输出只依赖于t时刻及之前的信息，不能访问未来信息。对于潜在令牌序列 $U_{\leq t} = \{u_1, u_2, \ldots, u_t\}$，因果Transformer通过因果自注意力计算每步故障评分 $s_t = D_\theta(U_{\leq t}) \in [0, 1]$。模型使用2层预范数Transformer编码器，4个注意力头，前馈维度1024。
Foresight使用因果Transformer作为故障检测器，确保检测器只使用当前可用的信息进行实时故障判断，符合实际部署场景的要求。因果掩码防止模型通过偷看未来信息作弊，保证检测的真实性和实时性。
研究动机
现有的机器人故障检测方法主要针对短视野场景，难以有效应对实际部署中常见的长视野任务。长视野故障检测具有独特挑战性：相同视觉状态在不同任务阶段可能有不同含义——例如桌子上的物体在抓取前是预期的，抓取后提升未成功则是错误，放置后又可能是正确的。在LIBERO-Long中任务平均需要253步，ManiSkill-Long需要1,484步，而BEHAVIOR-1K任务平均长达8,557步。在这样的多阶段任务中，小偏差会逐渐积累，经过数百或数千步后才变得不可逆转。传统方法如FAIL-Detect、SAFE、RND和Gauge主要关注短视野设置、孤立视觉异常或策略特定置信信号，在长视野机器人任务上的表现受限。例如在BEHAVIOR-1K上，最佳非Foresight基线仅达到0.72 ± 0.02 ROC-AUC和0.64 ± 0.05平衡准确率。
本文的目标是本文的目标是开发一个与策略接口无关的长视野机器人故障检测框架，能够在执行过程中实时识别潜在的或正在发生的故障。该框架应该能够在仅有轨迹级成功/失败标签的弱监督条件下学习，不需要精确的故障时间戳标注。它需要能够跨不同策略泛化，为策略无关的运行时监控提供统一解决方案。具体而言，给定当前观测上下文 $c_t$ 和策略预测的动作块 $A_t$，目标是学习评分函数 $D_\theta: \{(c_i, A_i)\}_{i=1}^t \mapsto s_t$，其中 $s_t \in [0, 1]$ 是时刻t的预测故障分数，当分数超过时变决策阈值 $\delta_t$ 时触发故障警报。
与已有工作不同的是，与依赖策略内部表示（如SAFE）或特定不确定性信号（如FAIL-Detect）的现有方法不同，本文从动作条件世界模型的潜在表示出发，关注执行层面的故障线索而非策略特定的人工制品。这种方法鼓励检测器捕获跨策略通用的失败模式，而不是学习策略特定的行为特征。例如，SAFE需要在策略内部表示上训练轻量检测器，而Foresight使用冻结的世界模型骨干，仅使用策略提供的视觉观测和预测动作块。与Gauge相比，Gauge使用压缩视频世界模型潜在表示，但Foresight使用动作条件预测潜在，显式建模策略动作与环境响应之间的关系。这种设计使Foresight能够实现更好的跨策略泛化，如表4所示在π0.5上训练的检测器迁移到ACT达到0.94 ± 0.02 ROC-AUC。
核心方法
Foresight采用三阶段流水线设计。阶段1微调动作条件世界模型（WM-AC），冻结预训练的V-JEPA 2-AC视觉编码器，仅从头训练动作预测器。阶段2训练故障评分函数，世界模型将观测上下文编码为隐表示 $z_t^h = \text{Pool}(f_\phi(c_t))$，动作预测器基于 $z_t^h$ 和策略预测的动作块 $A_t$ 预测未来隐 $z_t^p = \text{Pool}(g_\psi(z_t^h, A_t))$。使用预测潜在构建时间步令牌 $u_t = W z_t^p + p_t$，其中 $p_t \in \mathbb{R}^d$ 是固定正弦位置编码。给定到时刻t的所有令牌序列 $U_{\leq t}$，因果Transformer通过因果自注意力计算每步故障评分 $s_t = D_\theta(U_{\leq t}) \in [0, 1]$。阶段3使用保角预测在成功校准轨迹上构建时变阈值 $\delta_t = \mu_t + \hat{h}_t$，部署时当评分超过阈值即触发故障警报 $\hat{y}_t = \mathbb{1}[s_t \geq \delta_t]$。整个框架只需要策略提供的视觉观测和预测动作块，不访问策略内部状态、隐藏状态、token概率或不确定性头。
核心创新在于使用动作条件世界模型的预测潜在表示 $z_t^p$ 而非观测隐表示 $z_t^h$ 作为故障检测的信号。传统方法通常使用观测状态的隐表示，而Foresight使用给定动作块后世界模型期望的预测状态。这种设计使检测器能够判断观测轨迹是否与策略的预期行为一致。消融实验（表13）验证了这一设计选择的重要性：在LIBERO-Long上使用预测隐的Transformer达到0.89 ± 0.02 ROC-AUC，而使用观测隐仅达到0.85 ± 0.02。在ManiSkill-Long上，预测隐达到0.83 ± 0.02，观测隐达到0.81 ± 0.02。这种差异说明许多机器人故障在孤立视觉上并非异常，而是意图动作与观测状态转换之间的不匹配。通过比较世界模型的预测（给定策略动作应该发生什么）与实际观测，Foresight能够早期识别执行偏差。
方法步骤详情
特征提取阶段使用V-JEPA 2-AC作为世界模型骨干，初始化自预训练的vjepa2-ac-vitg.pt检查点（ViT-Giant编码器）。视觉编码器在整个过程中保持冻结，仅动作预测器在相应基准的机器人轨迹上从头训练。图像调整为256×256并用ImageNet统计归一化。编码器使用16×16补丁大小和tubelet大小2，每帧产生256空间补丁token。在每个重新规划步骤，模型接收8帧滑动窗口作为观测上下文，以及策略预测的动作块，动作维度依赖于基准和机器人载体：LIBERO和真实世界ACT/π0.5策略为7D，ManiSkill-Long为8D，真实世界Franka设置为10D，BEHAVIOR-1K R1Pro机器人为23D。预测器有24个transformer层，嵌入维度1024和16个注意力头，输出补丁token在所有256个空间补丁上平均池化产生每帧1408维潜在向量。动作条件预测器训练使用教师强制和自回归rollout目标的组合，遵循V-JEPA 2-AC训练程序，在每次迭代预测器以教师强制模式（使用真实目标编码器特征作为上下文）和自回归rollout模式（n=2步）运行，LayerNorm归一化表示上的L1损失求和。故障检测器架构评估三种：MLP、LSTM和因果Transformer。三者共享相同超参数：输入维度1408（世界模型潜在），2层，隐藏维度256，学习率10^-4（Adam），l2正则化λ=10^-2，dropout 0.1，300训练周期，批量大小512在单个H200 GPU上。MLP通过两个线性层（Linear→ReLU→Linear→Sigmoid）处理每个时间步独立。LSTM是2层LSTM隐藏维度256，后接Linear→Sigmoid输出头。因果Transformer应用学习线性投影到维度256，添加正弦位置编码，然后通过2层预范数TransformerEncoder层，4个注意力头，前馈维度1024（=4×256），dropout 0.1。因果注意力掩码确保时间步t的分数仅依赖于t及之前的特征。
技术新颖性
Foresight的技术新颖性体现在多个方面。首先，首次将动作条件世界模型应用于长视野机器人故障检测，证明动作条件预测潜在表示能够有效编码任务相关状态线索，包括空间关系、运动模式、交互动态和动作条件场景变化。其次，提出了一个仅需最终成功/失败标签的弱监督训练框架，避免了密集时间标注的依赖，这对实际部署非常重要因为精确的故障时间戳通常不可用。再次，集成因果Transformer和功能保角预测，在提供实时检测的同时保证统计可靠性，能够在温和可交换性假设下控制误报率在水平$\alpha$。最后，通过跨策略和跨载体实验验证了方法的泛化能力，展示了动作条件世界模型作为策略无关监控接口的潜力。与依赖策略内部表示的SAFE不同，Foresight使用冻结的世界模型骨干，与策略架构解耦。与使用视频潜在表示的Gauge不同，Foresight使用动作条件预测潜在，显式建模策略意图与环境响应之间的关系。消融实验还比较了不同世界模型骨干，发现V-JEPA 2-AC（Transformer检测器0.89 ± 0.02 ROC-AUC）优于Cosmos-Predict2.5-2B AC（0.84 ± 0.02），说明V-JEPA风格的潜在预测为故障检测提供了比基于扩散的视频生成更强的特征，因为故障检测不需要像素级细节而是可预测场景方面的表示。
实验结果
在三个模拟基准上的实验结果表明，Foresight-Transformer在所有数据集上都取得了最佳校准平衡准确率：LIBERO-Long上达到0.94 ± 0.06，显著优于SAFE-LSTM的0.88 ± 0.02；ManiSkill-Long上达到0.80 ± 0.10，优于SAFE-LSTM的0.74 ± 0.01；BEHAVIOR-1K上达到0.78 ± 0.02，大幅优于SAFE-LSTM的0.64 ± 0.05。在两个更长视野的基准上，Foresight-Transformer也取得了最佳阈值无关ROC-AUC：ManiSkill-Long上达到0.84 ± 0.03，BEHAVIOR-1K上达到0.76 ± 0.02。BEHAVIOR-1K是最长且最具挑战性的基准，平均轨迹长度8,557步，约是LIBERO-Long的34倍，ManiSkill-Long的5.8倍。在这个需要扩展执行而非短rollout的设置中，最佳非Foresight基线（SAFE-LSTM）达到0.72 ± 0.02 ROC-AUC和0.64 ± 0.05平衡准确率，而Foresight-Transformer达到0.76 ± 0.02 ROC-AUC和0.78 ± 0.02平衡准确率，分别提升0.04和0.14。这0.14平衡准确率和0.04 ROC-AUC提升表明动作条件世界模型特征在长轨迹上特别有用。真实机器人实验显示Foresight能够跨策略和载体泛化，在四个设置中的三个取得最佳ROC-AUC：ReactorX / ACT (0.93 ± 0.01)、ReactorX / π0.5 (0.87 ± 0.03)和Franka / GR00T N1.5 (0.89 ± 0.10)。跨设置中Foresight-LSTM也持续强劲，而Foresight-MLP接近机会水平（0.50-0.59），这表明动作条件世界模型特征对真实世界故障检测有用，但鲁棒rollout监控需要序列级检测器而非独立帧级分类。跨策略泛化实验（表4）表明在π0-FAST上训练的检测器能够成功迁移到OpenVLA（ROC-AUC 0.64 ± 0.02，平衡准确率0.90 ± 0.01）。真实世界中π0.5到ACT的迁移ROC-AUC达到0.94 ± 0.02，平衡准确率0.82 ± 0.08。但迁移并非对称，ACT到π0.5的迁移表现较差（ROC-AUC 0.56 ± 0.07，平衡准确率0.52 ± 0.03）。作者解释这是因为π0.5 rollouts包含更广泛行为，包括恢复轨迹。例如在应先捡起狮子再捡香蕉的顺序任务中，ACT或SmolVLA可能在错过狮子后失败，而π0.5可能通过先捡香蕉再返回捡狮子来恢复。仅在ACT风格rollouts上训练的检测器可能看不到这种恢复行为并将其误分类为失败。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO-Long | Balanced Accuracy | 0.94 ± 0.06 (α=0.02) | SAFE-LSTM: 0.88 ± 0.02 | +0.06 |
| ManiSkill-Long | ROC-AUC | 0.84 ± 0.03 | SAFE-LSTM: 0.82 ± 0.01 | +0.02 |
| BEHAVIOR-1K | Balanced Accuracy | 0.78 ± 0.02 (α=0.20) | SAFE-LSTM: 0.64 ± 0.05 | +0.14 |
| Real-world ReactorX/ACT | ROC-AUC | 0.93 ± 0.01 | SAFE-MLP: 0.89 ± 0.05 | +0.04 |
| Real-world ReactorX/π0.5 | ROC-AUC | 0.87 ± 0.03 | RND: 0.78 ± 0.06 | +0.09 |
| Real-world Franka/GR00T N1.5 | ROC-AUC | 0.89 ± 0.10 | FAIL-Detect: 0.88 ± 0.05 | +0.01 |
局限与改进
作者指出的主要限制是预训练世界模型的计算成本和延迟。世界模型骨干（V-JEPA 2-AC）占用超过99%的推理时间，特征提取需要182.73 ± 0.11ms，其中世界模型编码器122.54 ± 0.08ms，动作条件预测器60.19 ± 0.07ms。这使设备端部署具有挑战性，可能限制在需要快速闭环控制的高反应性或敏捷任务中的应用。尽管Foresight的绝对延迟≈183ms仍在一个replan间隔预算内（对于π0-FAST在重新规划前执行16步动作块），但对于需要更快控制频率的场景可能成为瓶颈。此外，虽然保角校准有助于在保持成功轨迹上控制误报，但其保证依赖于校准分布与部署条件的匹配。如果部署环境与校准环境有显著分布偏移，统计保证可能失效。除此之外，我们观察到Foresight的性能依赖于训练策略的行为覆盖度，当测试策略包含训练策略未见过的恢复行为时，跨策略迁移性能会下降，如ACT到π0.5的迁移ROC-AUC仅0.56 ± 0.07。另外，当前方法仅检测故障而不提供修复建议，在实际部署中可能需要进一步扩展以支持恢复策略生成或主动干预。Foresight-MLP在真实世界实验中表现接近机会水平（0.50-0.59），说明独立帧级分类不足以进行鲁棒rollout监控，必须使用序列级检测器如LSTM或Transformer。
独立分析的弱点
首先，世界模型骨干的计算开销是主要瓶颈。世界模型编码器（ViT-G/16，8帧）有1,012M参数，动作条件预测器有305M参数，特征提取总计1,317M参数需要182.73ms。虽然在replan间隔内可接受，但在需要更快控制频率的场景中可能限制应用。可以通过模型蒸馏、知识蒸馏、开发更高效的世界模型架构、或使用模型量化技术来改善。例如，将ViT-Giant蒸馏到更小的架构如ViT-Base或ViT-Small，或开发专门为故障检测优化的轻量级世界模型。其次，当前方法仅使用最终成功/失败标签，无法学习精细的故障类型或定位故障发生的具体子任务。引入更细粒度的监督信号（如子任务级失败标签或故障类型标签）可能提升检测的准确性和可解释性，特别是在需要理解故障根本原因的场景中。第三，保角预测的统计保证依赖于校准分布与部署分布的匹配。在实际部署中，环境变化（如光照变化、对象外观变化）或任务变化可能导致分布偏移，从而破坏保证。需要开发自适应校准机制、在线更新校准集、或结合分布偏移检测方法来维持统计保证。第四，Foresight的性能依赖于训练策略覆盖测试策略的行为和失败模式。当测试策略包含恢复行为而训练策略缺乏时，跨策略迁移性能下降。可以通过在训练数据中故意引入多样性行为、使用多个策略的混合数据训练、或开发元学习方法来提升泛化能力。最后，当前框架仅处理固定载体和任务设置，跨载体和跨任务泛化能力有待进一步探索，这限制了方法在需要适应不同机器人硬件和任务场景的实际部署中的应用。
未来方向
作者提出的主要方向是降低世界模型的计算开销以支持边缘部署，包括开发轻量级世界模型、优化推理管线或利用模型压缩技术如剪枝、量化和知识蒸馏。基于本文成果可以延伸的研究方向包括：将Foresight扩展到多模态输入（如触觉、力觉、深度）以提升故障检测的鲁棒性，特别是在视觉模糊或遮挡的场景中；开发分层检测框架，同时检测任务级失败和子任务级失败，提供更细粒度的故障定位和理解；结合故障预测与恢复策略学习，形成完整的故障处理闭环，不仅检测故障还提供恢复建议；探索在线学习和自适应机制，使检测器能够随着部署经验的积累持续改进，特别是在开放世界环境中；将方法应用于更多领域如自动驾驶、无人机控制、服务机器人等长视野任务验证其泛化能力；研究Foresight在联邦学习设置中的应用，使多个机器人能够协作训练故障检测器而不共享原始轨迹数据；开发可解释的故障检测方法，提供故障原因的自然语言解释，帮助人类操作员理解和干预；探索将Foresight与主动学习结合，选择最具信息性的轨迹进行标注以提升检测器的样本效率。
复现评估
论文提供了详细的实现细节和超参数设置，包括数据划分协议、校准程序和基线实现细节。世界模型使用公开的V-JEPA 2-AC检查点初始化，视觉编码器保持冻结，仅训练动作预测器。实验使用NVIDIA H200 GPU，训练LIBERO需要单个H200 GPU批量大小256，峰值学习率2×10^-4（从2.5×10^-5预热）；BEHAVIOR-1K和ManiSkill-Long使用2个H200 GPU有效批量大小512；真实世界基准使用2个H200 GPU有效批量大小32（每GPU 16），峰值学习率5×10^-5（从5×10^-6预热）。训练使用AdamW优化器（β1=0.9，β2=0.999），权重衰减0.04，10周期的线性学习率预热和到0的余弦退火，总共200周期。数据划分使用标准3折交叉验证协议，每次rollouts随机洗牌并分成三个等大小折。在每轮中，一折保持为测试集，其余两折用于模型开发，进一步按6:1:1比例分割为训练集、验证集和校准集。论文提到了项目页面Foresight.github.io，但未明确说明代码和数据的开源状态。从实现复杂度看，复现需要访问V-JEPA 2-AC预训练模型、相应基准环境（LIBERO-Long、ManiSkill-Long、BEHAVIOR-1K）以及大规模计算资源（多个H200 GPU）。真实机器人实验需要特定硬件（ReactorX-200机械臂、Franka机械臂、RealSense D435相机）。中等复现难度，主要挑战是计算资源获取和环境配置。
论文图表
