ABot-PhysWorld：基于物理对齐的机器人操作交互式世界基础模型 ABot-PhysWorld: Interactive World Foundation Model for Robotic Manipulation with Physics Alignment
提出14B参数物理对齐世界模型，生成符合物理定律的机器人操作视频
前置知识
世界模型
世界模型是一种能够预测环境未来状态的模型，在机器人领域通常指基于视觉观测和动作指令预测未来视频帧的系统。它通过学习物理世界的动力学规律，为路径规划、策略学习和仿真提供核心基础设施。世界模型接收当前观测和历史动作作为输入，输出对未来状态的概率分布预测，在强化学习中作为环境模拟器使用，可以大幅降低真实交互成本。
本文的核心就是构建一个能够生成符合物理定律的机器人操作视频的世界模型，理解世界模型的概念是理解整篇论文的基础。
Diffusion Transformer
Diffusion Transformer 是结合了扩散模型和 Transformer 架构的生成模型。它通过逐步去噪过程生成数据，使用 Transformer 作为核心网络来建模复杂的时空依赖关系。在视频生成中，DiT 处理视频帧的潜在表示，通过预测每一步的噪声来实现高质量生成。DiT 的优势在于能够有效捕捉长程依赖，适合处理视频这类高维序列数据。
本文使用的 14B Wan2.1-I2V-14B 模型就是基于 DiT 架构的，理解 DiT 是理解方法实现细节的关键。
DPO
Direct Preference Optimization 是一种直接从偏好数据学习的对齐方法，无需训练奖励模型。给定提示词 x 和偏好对，其中是偏好输出，是非偏好输出，DPO 通过直接优化策略模型来最大化偏好对的概率差异，同时保持与参考模型的 KL 散度约束。DPO 的损失函数使用对数sigmoid形式，其中 beta 控制分布散度。
本文提出的 Diffusion-DPO 是方法的核心创新之一，理解 DPO 原理对于理解物理偏好对齐机制至关重要。
LoRA
Low-Rank Adaptation 是一种参数高效的微调方法，通过在预训练模型的权重矩阵旁添加低秩分解矩阵来实现适配。对于权重矩阵，LoRA 学习 A 和 B，其中，使得前向计算变为 W + BA。这种方法大幅减少了可训练参数量，同时保持了与全量微调相近的性能。在推理时，可以将 BA 直接合并到 W 中，不引入额外计算开销。
本文使用 rank-64 的 LoRA 适配器来实现 14B DiT 的 DPO 训练，这是解决显存瓶颈的关键技术。
研究动机
现有的最先进视频生成模型（如 Veo 3.1 和 Sora v2 Pro）在机器人操作场景下经常产生违反物理定律的视频，例如物体穿透、接触less运动和物体的非自然变形。这些问题不是简单的渲染瑕疵，而是物理推理的根本性失败，严重限制了它们在下游机器人应用中的可靠性。这个问题的根源在于两个核心限制：首先，模型在通用视觉数据上训练，缺乏丰富的具身交互信号，无法学习到摩擦力、碰撞响应和质量分布等细粒度的物理动力学；其次，微调过程中使用标准的最大似然目标，平等对待所有预测错误，无法区分物理有效和无效的状态转换。例如，在 BridgeData V2、AgiBot 和 Open X-Embodiment 等真实机器人数据集上，现有模型在密集接触场景中经常出现末端执行器或物体几何形状完全扭曲的生成崩溃现象。
本文的目标是本文的目标是构建一个物理合理且动作可控的世界模型 ABot-PhysWorld，能够生成视觉真实、物理合理、高度可控的机器人操作视频。具体来说，模型需要同时满足三个关键要求：视觉质量、物理合理性和动作可控性。视觉质量要求生成的视频具有高分辨率、清晰的细节和流畅的帧间过渡；物理合理性要求所有操作序列都严格遵守物理定律，包括重力、碰撞、摩擦和物体支撑关系；动作可控性要求模型能够根据指定的动作轨迹（末端执行器位置、朝向和夹爪状态）精确地生成对应的视频。为实现这些目标，作者整合了精心设计的数据筛选管道、物理感知的 DPO 后训练框架以及并行空间动作注入机制。
与已有工作不同的是，本文的独特切入角度是从物理推理和动作控制的视角重新审视具身视频生成问题，而不是单纯追求视觉质量。与现有工作不同，作者明确地将物理合理性作为核心优化目标，通过设计专门的物理感知训练框架来抑制非物理行为。同时，作者提出了解耦的双模型评估协议来分别评估物理真实性和动作对齐，这种细粒度的诊断方法能够帮助更准确地识别模型的行为模式。此外，作者还关注跨具身泛化问题，通过设计 EZSbench 零样本基准测试来评估模型在未见过的机器人、任务和场景组合下的表现，这是现有工作很少涉及的维度。
核心方法
ABot-PhysWorld 的整体思路是一个三阶段流水线：数据筛选、物理对齐和动作条件生成。首先，从五个公开的具身数据集（AgiBot、RoboCoin、RoboMind、Galaxea 和 OXE）中整合近三百万个真实世界操作视频片段，通过视频质量过滤、光流运动过滤、CLIP 时序连贯性检查和视觉-动作对齐验证等多阶段筛选，确保数据的质量和物理一致性。然后，使用 Wan2.1-I2V-14B 作为骨干网络进行完全微调，学习从观测和指令预测未来帧的能力。接着，提出物理感知的 DPO 后训练框架，通过解耦的 VLM 判别器识别物理违规行为，使用 Diffusion-DPO 在潜在空间直接优化视频扩散模型，抑制物体穿透、反重力运动等非物理行为。最后，设计并行上下文块架构来实现动作条件视频生成，将离散的动作命令转换为空间结构化的动作图，通过残差注入到主 DiT 中，支持精确的跨具身控制。
本文的核心创新点是提出了一个物理感知的 DPO 后训练框架，通过解耦的 VLM 判别器和 Diffusion-DPO 来优化视频生成的物理合理性。与现有方法不同，作者不是简单地使用最大似然目标训练模型，而是显式地构建物理偏好对，让模型学习区分物理正确和物理错误的预测。判别器采用双角色设计：Qwen3-VL 32B Thinking 模型作为提案者，根据初始帧和文本指令动态生成任务特定的物理检查清单；Gemini 3 Pro 模型作为评分者，使用显式的思维链推理来评估 N 个候选视频，采用多轮锦标赛采样策略以 O(N) 复杂度识别最优样本和最差样本。这种解耦设计避免了自我评估的幻觉问题。Diffusion-DPO 损失函数在潜在空间直接优化视频扩散模型，其中是策略模型和参考模型的去噪误差，是物理合规和物理违规视频的潜在表示，beta 控制分布散度（实验中设置为 5000）。通过这个目标函数，模型在每个时间步主动减少对物理合规视频的预测误差，同时增加对物理违规视频的预测误差。
方法步骤详情
方法的完整步骤包括三个主要阶段。阶段一：SFT 训练。使用 Wan2.1-I2V-14B-480P 作为初始化模型，输入尺寸裁剪为 480 乘以 832，均匀采样 81 帧。在 128 个 Nvidia H20 GPU 上训练 6000 步，全局批量大小为 128，学习率为 1 乘以 10 的负 5 次方，目标是从观测和指令预测未来帧。阶段二：DPO 物理对齐。对冻结的 DiT 主干网络注入 rank-64 的 LoRA 适配器到自注意力层（query、key、value、output）和前馈层，使用 AdamW 优化器，学习率为 1 乘以 10 的负 6 次方，10 步预热。采用 BF16 混合精度训练、梯度检查点、每设备批量大小为 1，每个 epoch 500 步，共训练 100 个 epoch。对于每个输入，生成 N 个候选视频，通过解耦的 VLM 判别器评分，构建训练三元组。阶段三：A2V 动作条件生成。采用 VACE 框架，选择性复制特定的 Diffusion Transformer 层（0、5、10、15、20、25、30、35）作为可训练的上下文分支，保持主干网络冻结。动作图通过相机内外参将 7D 动作向量（3D 位置、3D 朝向、夹爪开度）投影到 2D 图像平面，渲染为彩色箭头和圆形掩码。训练批量大小为 16，学习率为 5 乘以 10 的负 5 次方，训练 20000 步，使用随机帧采样和数据增强。
技术新颖性
本文的技术新颖性体现在三个方面。首先，提出了物理感知的 DPO 框架，这是首次将 DPO 方法应用于视频生成的物理对齐任务。与传统的最大似然训练不同，DPO 框架能够显式地利用偏好信号来优化模型的物理推理能力，通过解耦的双模型设计避免了自我评估的幻觉问题。其次，设计了并行上下文块架构来实现动作条件生成，这是对现有 AdaLN 方法的重要改进。现有方法要么使用 MLP 编码的动作通过 AdaLN 注入，要么直接将动作图与噪声潜在拼接进行全量微调，前者限制了跨具身泛化，后者导致预训练物理先验的灾难性遗忘。本文的选择性复制设计结合零初始化卷积层，在训练开始时上下文分支不贡献任何信号，保持主干权重不受干扰，同时逐渐学习动作可控性。最后，提出了 EZSbench 零样本基准测试，这是第一个用于具身视频生成的训练独立基准测试，结合了真实和合成场景中未见过的机器人-任务-场景组合。解耦的双模型评估协议分别评分物理真实性和动作对齐，实现了细粒度的模型行为诊断。
实验结果
本文在 PBench 和 EZSbench 两个主要基准测试上取得了最先进的结果。在 PBench 机器人域子集（包含来自 BridgeData V2、AgiBot 和 Open X-Embodiment 的 174 个复杂操作视频）上，DPO 增强模型达到了最高平均分 0.8491，创造了新的最先进 Domain Score 0.9306，超越了基础模型（0.8785）和所有基线。值得注意的是，现有方法在视觉质量和物理保真度之间存在权衡：Veo 3.1 和 Sora v2 Pro 由于强大的成像和美学效果达到了高质量分数（0.7740、0.7679），但在 Domain Score 上落后（0.8350、0.7626），倾向于感知而非物理。基础模型也显示出强大的时空稳定性（I2VB: 0.9777；MS: 0.9916）。在分布外的 EZSbench 上，模型达到了最高总体平均分（0.8030），建立了 Quality Score（0.7694）和 Domain Score（0.8366）的最先进结果，确认了物理保真度改进能够泛化到训练分布之外。在动作条件生成上，我们的方法在视觉质量和动作保真度方面一致性地大幅超越基线。定性分析显示，基线在复杂交互中违反物理定律：Sora v2 Pro 和 Veo 3.1 在密集接触期间显示夹爪或物体扭曲；GigaWorld-0 和 Cosmos 显示抓取穿透；WoW 产生非接触抓取和几何扭曲；UnifoLM 和 Wan 2.5 错误识别目标（例如 spatula 而不是 rag）。我们的方法正确识别目标，保持时空连贯性，避免变形和穿透。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| PBench 机器人域子集 | Domain Score | 0.9306 | Veo 3.1: 0.8350, Sora v2 Pro: 0.7626 | 相比 Veo 3.1 提升 11.5%，相比 Sora v2 Pro 提升 22.1% |
| PBench 机器人域子集 | 平均总分 | 0.8491 | Veo 3.1: 0.8045, Sora v2 Pro: 0.7652 | 相比 Veo 3.1 提升 5.5%，相比 Sora v2 Pro 提升 11.0% |
| EZSbench 零样本评估 | 平均总分 | 0.8030 | WoW-wan 14B: 0.7780, GigaWorld-0: 0.7549, Cosmos-Predict 2.5: 0.7394 | 相比 WoW-wan 14B 提升 3.2%，相比 GigaWorld-0 提升 6.4%，相比 Cosmos-Predict 2.5 提升 8.6% |
| 动作条件生成 | PSNR | 21.09 | Enerverse-AC: 20.42, Gen-Sim: 18.05 | 相比 Enerverse-AC 提升 3.3%，相比 Gen-Sim 提升 16.8% |
| 动作条件生成 | SSIM | 0.8126 | Enerverse-AC: 0.7542, Gen-Sim: 0.7413 | 相比 Enerverse-AC 提升 7.7%，相比 Gen-Sim 提升 9.6% |
| 动作条件生成 | 轨迹一致性 | 0.8522 | Enerverse-AC: 0.8157, Gen-Sim: 0.6195 | 相比 Enerverse-AC 提升 4.5%，相比 Gen-Sim 提升 37.6% |
局限与改进
作者承认了模型的几个局限性：首先，模型目前依赖固定视点数据，缺乏多视角生成能力，这在需要从不同角度观察操作场景的应用中是一个限制。其次，缺乏闭环评估，无法评估模型在真实机器人系统中的实际部署效果，这限制了对其实用性的全面评估。此外，从我的观察来看，虽然模型在物理合理性方面取得了显著改进，但在处理极端场景（如物体之间的复杂多体接触、流体动力学、软体拓扑变化）时仍然存在挑战。这些场景需要更高精度的物理建模，当前的基于视频学习的方法可能难以完全捕获。另外，计算资源需求也是一个实际问题，训练过程需要在 128 个 Nvidia H20 GPU 的集群上进行，这对于大多数研究机构来说是不太可行的，限制了方法的可访问性和可复现性。最后，虽然 EZSbench 提供了零样本评估，但测试集的规模和多样性可能仍然不足以全面评估模型的泛化能力，特别是在处理完全未见过的机器人形态和操作场景时。
独立分析的弱点
从独立分析的角度来看，本文存在几个可以改进的弱点。首先，物理检查清单的生成和评分过程依赖于大语言模型的推理能力，这可能引入模型自身的偏见和幻觉风险。例如，Qwen3-VL 提案者可能会生成一些模糊或误导性的检查问题，导致评分不准确。改进方向可以是引入基于物理引擎的形式化验证方法，或者使用多个独立的 VLM 进行集成判断来提高可靠性。其次，DPO 框架中的 beta 参数需要手动调整（设置为 5000），这个超参数的选择对训练稳定性有重要影响。改进方向可以是开发自适应的 beta 调度策略，或者从数据中学习合适的分布散度控制。第三，动作条件生成中的动作图投影假设了准确的相机内外参，但在实际应用中这些参数可能存在标定误差。改进方向可以是引入动作图和视频特征之间的对齐损失，或者学习端到端的动作表示而不依赖显式投影。第四，零样本评估 EZSbench 的构建过程虽然精心设计，但仍然依赖于文本到图像模型和视觉语言模型的能力，这些模型本身的局限性可能会影响基准测试的质量。改进方向可以是引入更多真实世界的数据，或者开发物理引擎生成的合成场景作为补充。
未来方向
作者提出的未来工作方向包括探索多视角生成和真实世界部署，这些是基于当前成果的自然延伸。从更广泛的角度来看，有多个值得探索的研究方向。首先，可以研究如何将 ABot-PhysWorld 与强化学习策略学习相结合，让世界模型作为环境模拟器为策略训练提供高保真的反馈，这将大幅提高机器人在真实环境中的学习效率。其次，可以探索如何将物理对齐框架扩展到其他生成任务，如 3D 物体生成、场景布局生成和动态交互预测，这有助于推动物理感知生成在更广泛领域的应用。第三，可以研究如何将物理定律显式地编码到模型架构中，而不是仅通过数据学习，例如引入可微物理引擎作为先验，或者在损失函数中加入物理一致性约束。第四，可以探索如何降低计算资源需求，例如通过模型蒸馏、知识压缩或更高效的训练算法，使方法能够被更广泛的研究社区访问和使用。最后，可以研究如何开发更全面的评估基准，包括更多样化的机器人形态、更复杂的操作任务和更严格的物理验证标准，这将有助于推动整个领域的发展。
复现评估
从复现性的角度来看，本文的复现难度较高。开源方面，作者承诺将释放代码仓库（https://github.com/amap-cvlab/ABot-PhysWorld）和 EZSbench 基准测试，这将有助于社区验证和扩展工作。数据方面，使用的五个公开数据集（AgiBot、RoboCoin、RoboMind、Galaxea 和 OXE）都是可获取的，但数据筛选管道的细节和物理感知标注的实现可能需要额外的文档说明。算力方面，训练过程需要在 128 个 Nvidia H20 GPU 的集群上进行，这对于大多数研究机构来说是不太可行的，这是复现的主要障碍。不过，作者提供了详细的实现细节，包括网络架构、训练超参数和评估协议，这些信息对于理论理解和部分复现是有帮助的。综合来看，完全复现的难度较高，但方法的核心理念和部分组件可以在较小规模的数据上进行验证。
论文图表
