WALL-WM：在事件节点处雕刻世界动作建模 WALL-WM: Carving World Action Modeling at the Event Joints

方法包含四个主要步骤：多视图视频事件建模：视频塔继承 Wan 单视图 DiT 并扩展到多视图、多具身视频生成。在每个 DiT 块中添加跨视图分支，输出投影器初始化为零。引入 Camera RoPE 给每个相机一个可学习的、无需校准的身份。训练时使用跨视图几何遮挡来强化跨视图几何一致性。使用 Wan 风格的 v-prediction flow matching 目标。事件中心动作动力学建模：动作塔是动作 DiT，与视频塔深度相同。每层动作 token 通过跨注意力读取匹配的 DiT 层的视频特征。使用相对姿态动作流：所有非锚点 token 编码相对于观测姿态的末端执行器位移。在非对称 1-to-Nd 映射下，冻结视频流在锚点 s=45（50 步去噪调度），每个动作步骤都从这个单一锚定视频前向中读取交叉注意力键/值。语言引导推理：使用 Qwen3.5-9B 主干和 Staircase 潜在解码。Staircase 解码在继电器深度 Nr 处划分 Transformer，下层编码共享的视觉-语言接地特征，上层渐进专业化为不同的推理步骤。通过冻结的潜在到文本重构目标监督。训练配方：视频预训练、动作预训练、VLM 文本条件适配、Staircase 蒸馏、可选的下一块适应。

WALL-WM 的技术新颖性体现在多个层面：架构层面：首次系统性地提出事件-中心的世界-动作建模范式，将语言、视频、动作在语义事件粒度上对齐。层耦合的视频-动作去噪器设计，动作塔单向交叉注意力读取视频特征，保持视频先验不被破坏。训练层面：事件级配对的训练目标，而非固定长度块。非对称 1-to-Nd 时间步映射，在训练时用单一锚定视频前向支持所有动作去噪步骤，提高吞吐量。推理层面：Staircase 潜在解码，通过继电器深度划分实现推理步骤的并行生成，避免传统自回归解码的串行瓶颈。支持事件模式和统一模式两种互补的推理路径，共享同一事件预训练主干。数据层面：构建包含网络视频、自中心视频、机器人自由 UMI 风格录制、异构遥操作数据的数据生态系统，四层层次化标注，视觉-语言聚类和动作聚类的平衡采样，接触富集随机初始化的恢复数据。基础设施层面：DMuon（分布式 Muon 优化器）解决牛顿-舒尔茨迭代的分布式开销；定制核库将可融合模式合并到复合核中；多事件序列打包将多个事件打包到单个长序列中训练，避免每步加载完整片段；分布匹配蒸馏减少去噪步数，FP8 量化降低每步计算成本，将推理延迟降低到 10Hz 满足实时控制需求。

独立分析的弱点包括：标注依赖性：当前方法需要密集的四层层次化标注，这在大规模数据收集时成为瓶颈。虽然论文提到正在探索自监督预训练以减少标注负担，但当前实现仍依赖手动标注。改进方向：开发自监督事件发现算法，通过视觉-动作流或语言-视觉对齐自动检测事件边界，减少对人工标注的依赖。事件模式推理的可靠性：事件模式需要一个可靠的下一事件描述来源（VLM、人类或代理）。在复杂的、未见过的场景中，VLM 可能生成不准确或不合理的下一事件描述，导致执行失败。改进方向：增强事件描述的验证机制，允许在执行过程中基于实时观测调整事件描述；开发多层次事件规划，既有高层事件目标，也有低层执行监控。跨视图泛化：虽然训练时使用了多视图数据和跨视图注意力，但如果测试时的相机配置（视角数量、相机类型、位置关系）与训练分布差异较大，性能可能下降。改进方向：增加训练数据的相机配置多样性，包括更多异构多视图设置；开发领域自适应技术，在少量目标平台数据上快速适应新的相机配置。接触敏感任务的性能：Dexterous Manipulation 套件上的绝对分数仍然较低（32.00 分），表明模型在精细接触控制方面仍有不足。改进方向：增加接触富集的恢复数据，特别是在接触事件附近的局部覆盖；开发专门的接触预测头，显式建模接触状态和力信息；使用触觉或力传感器数据（如果可用）来增强接触感知。长视距任务的累积误差：在需要长时间、多阶段执行的任务中，小误差可能累积导致最终失败。改进方向：引入中间检查点和错误恢复机制；在训练中加入更多的失败恢复和非标称轨迹数据，增强鲁棒性。

作者提出的未来方向包括：自监督预训练：当前数据构建配方仍然依赖大规模时间接地和细粒度标注来暴露事件结构。中心方向是视觉、语言和动作上的自监督预训练，其中事件边界不作为密集标注提供，而是由训练目标本身捕获。这将部分减少学习显式标注的难度，将注释负担转移到可扩展的训练计算中。蒸馏和压缩：通过分布匹配蒸馏减少去噪步数，通过 FP8 量化降低每步计算成本。进一步优化包括更高效的蒸馏算法、更激进的量化策略（如 4-bit 量化）、以及推理时的投机执行或流式执行。下一代 WAM 预训练范式：将自回归单元从固定 token 或块重新定义为事件级潜在原语，可能支持下一代 WAM 预训练范式。结合更深层次的基础设施优化，目标是使预训练更高效，减少对手工时间标签的依赖，同时保持物理接地。更高效的评估协议：探索更高效的预训练规模迭代评估协议，包括更细粒度的每事件评分、密集进展度量、评估期间的人类修正和重新标注，以及从生成的视频、动作轨迹和中间状态预测机器人性能的通用评估模型。这种评估器不需要完美替代真实硬件，只需要与下游机器人性能保持可靠的正相关，以便在最有希望的候选者上在真实机器人上验证之前筛选模型和数据决策。事件级指令泛化作为代理接口：将每事件文本泛化视为具身控制与更广泛代理智能之间的桥梁。高层任务推理由通用代理完成，而具身模型专注于全域动作-文本指令泛化，在语义事件上进行。这解决了是否高频操作模型应该在高层任务推理上与前沿多模态模型竞争的边界问题。系统级优化：继续优化基础设施，包括更高效的 DMuon 实现、更广泛的核融合模式、动态批处理策略等，以支持更大规模的预训练。

复现评估：开源情况：论文提供了代码链接，但截至评估时不确定代码的完整性和可用性。数据：论文描述了大规模数据生态系统，包括网络视频（1.2M-clip OpenVID 切片）、自中心人类动作视频（如 Ego4D、EPIC-KITCHENS）、机器人自由 UMI 风格录制（XRZero-GO）、异构机器人数据集和自收集遥操作数据。然而，这些数据的公开访问可能受限，特别是自收集的数据和内部开发的具身平台数据。算力：模型大小从低于 10B 参数到数十亿参数级别。训练使用 DMuon 优化器、多事件序列打包、定制核库等基础设施优化，需要大规模 GPU 集群。具体算力需求论文未详细说明，但基于模型规模和数据量，推测需要数百到数千 GPU 小时。难度：中等偏难。论文提供了详细的训练配方、架构设计、训练超参数（如去噪调度、锚点选择、损失权重等），但大规模数据和算力需求是主要障碍。基础设施优化（DMuon、定制核库等）的实现细节可能需要额外工程努力。评估协议：论文提供了详细的任务定义、多视图观察流、语言指令、场景随机化协议和 Task Progress 评分标准，这有助于公平比较和复现。然而，真实机器人评估需要特定的硬件平台（内部开发的高性能桌面双臂机器人），这在其他实验室中可能不可用，限制了直接复现。总的来说，虽然论文提供了相当多的技术细节，但大规模数据和算力需求，以及专用硬件平台的要求，使得完全复现实验具有挑战性。部分组件（如事件中心训练范式、架构设计）可以在较小规模数据上验证概念，但完整复现可能需要大量资源。