Cosmos 3：面向物理 AI 的全模态世界模型 Cosmos 3: Omnimodal World Models for Physical AI

完整方法可拆为五步。(1) 编码：图像/视频理解走 ViT(16×16 patch、2×2 token 合并、DeepStack 多层特征)，生成走 Wan2.2 视频 VAE(时间 4×、空间 32×32)，音频走专用 VAE(48kHz、hop 1920、25 token/s)，动作按统一公式转为潜向量；每个非语言模态再加一个可学习的模态嵌入以资区分。(2) 排列 token：按‘AR 在前、DM 在后；DM 内清洁条件在前、带噪目标在后；模态内顺序为视觉→音频→动作’统一打包，可表达 T2I ($S_{T2I}=[S_{AR},\tilde v_1]$)、T2V+音频 ($[S_{AR},\tilde v_{1:N},\tilde s]$)、I2V/V2V ($[S_{AR},v_{1:P},\tilde v_{P+1:N}]$)、视频迁移($[S_{AR},v^{ctrl}_{1:N},\tilde v_{1:N}]$)以及动作的 FD/ID/Policy 三模式。(3) 位置编码：3D MRoPE 给语言 $t=h=w$、给视频 $(t,h,w)$ 三轴独立、给音频/动作只设 $t$；并引入绝对时间调制 $\delta_t=\text{TPS}_{base}/\text{TPS}$（$\text{TPS}_{base}=24/4=6$）让不同 FPS 对齐；AR 与 DM 间插 15000 的时间 gap 以避免过饱和和棋盘伪影。(4) 训练：Reasoner 用 22M 预训练+2.2M SFT 样本(OCR 占 42.9%、视频在 SFT 占 50%)，next-token prediction；Generator 预训练用 767M 图+348M 视频(Nano 31.05T token/1024 GB200、Super 17.86T/2048 GB200)，多分辨率(256/480/720p)混合 1:1:2:1，rectified flow 匹配；中训练引入 8.4M 集动作集(61.3K 小时)与视频迁移(Nano 2.4T、Super 1.9T token)；后训练再专精出 T2I/Image2Video/Policy 三个变体。(5) 推理：语言走自回归解码，其他模态迭代去噪(通常 50 步，policy 仅 4 步)，配合 full-range CFG 和负 prompt；T2I guidance=4/shift=3，音视频 guidance=6/shift=10，迁移用双权重 CFG(文本 3、控制 1.5)。

技术新颖性体现在四处。第一，双塔共享注意力的 MoT 把‘自回归理解’和‘扩散生成’在层内耦合却又不互相污染，这是比 Janus 类‘前后拼接两套独立模型’更彻底的统一，且两塔都从同一 VLM 初始化以继承语义先验(附录 E.1 证明用 Cosmos Reasoner 替换 Qwen3-VL 能让生成器在机器人域 PAIBench 得分从 66.5 升到 71.3)。第二，把动作提升为与图/视频/音频并列的一等模态，并用统一几何表征(SE(3) 相对变换 + 6D 旋转 + 抓取状态)让一个主干跨本体泛化，从而自然支持 FD/ID/Policy 三种推理方向——以往的 VLA 模型几乎都只支持单一方向。第三，绝对时间调制 + 模态偏移的 3D MRoPE 让不同 FPS/采样率的视频/音频/动作真正对齐到物理时间轴，这是同步生成音视频和精确控制动作时序的前提。第四，数据与基础设施层面的统一：SILA 用单一 Lance 列式存储替代了‘每流水线一张表’的旧架构，让去重、AI-judge 质量过滤、向量检索、可视化全部在同一表上完成，把作业启动延迟从 30–60 分钟降到 5 分钟、吞吐提升约 10×。

第一个弱点是‘单一动作后训练’的覆盖太窄：当前只发布了 Cosmos3-Nano-Policy-DROID 一个策略变体，且只在 Franka Panda 这一形态上验证。改进方向是把统一动作表征扩展到双臂、人形、移动底盘等更多本体，发布对应策略 checkpoint，并构建跨本体的统一评测协议。第二个弱点是长时序与复杂任务的失败率仍高——RoboLab Complex 任务成功率不足 30%，HWB 上 Wan 系等老模型只有 25–33 分说明这一任务普遍困难。改进方向是引入更长预测 horizon 的训练、层次化策略(高层规划+低层控制)以及强化学习闭环微调，而非纯模仿学习。第三个弱点是音频保真度落后闭源：PQ 6.3 vs 7.06。改进方向是引入更高码率的神经音频编解码器、专项音频后训练和对抗性偏好优化。第四个弱点是评测基准多为自建，社区可比性弱——HUE、SoundBench、AVBench-C、HWB 都是 NVIDIA 自有，容易陷入‘自评自奖’嫌疑。改进方向是把这些基准的标注协议、问题集完全开源并交第三方复现，或参与更多中立的公共榜。第五个弱点是工程门槛极高：要 1024–2048 张 GB200 才能复现预训练，普通研究组几乎不可能；改进方向是发布更小的 distill 模型、高质量 LoRA 适配方案和云端微调 API，让社区能在小算力下做下游专精。

作者明确提出的未来方向是把 Cosmos 3 作为 Physical AI 的‘环境生成器’：长期目标是让它产出高质量、复杂的训练环境(可交互的仿真世界)，而不只是合成数据或策略，形成‘模型生成环境→环境训练代理→代理反哺模型’的闭环。在中短期，他们指出三个发力点：(i) 合成数据生成(已发布 SDG-PhyxSim/RobotSim/DriveSim/SynHuman/Warehouse 五个合成数据集)；(ii) 任务与本体专精(展示 DROID 策略、T2I、I2V 三个后训练变体)；(iii) 作为强中训练起点加速下游适配(用 LIBERO-10 实验 MT-init 比 PT-init 快得多来佐证)。基于这些成果我自己看到的可延伸方向包括：把统一动作表征扩展到腿式机器人、软体机器人和多代理协作；用 Cosmos 3 做‘世界模型+MPC’的可微规划器替代纯策略回归；把 Reasoner 作为 Policy 的在线评判与重排序器(类似 WMReward+BoN 在视频上的用法)以提升策略鲁棒性；以及在音频-触觉、音频-力觉等更多模态上扩展全模态统一，真正逼近通用物理 AI backbone。

复现友好度在同级大模型里属于相当高的一档。代码、模型权重、合成数据集和评测基准全部以 Linux Foundation 的 OpenMDW-1.1 协议开源(github.com/nvidia/cosmos、huggingface.co/collections/nvidia/cosmos)，发布了 Cosmos3-Super、Cosmos3-Nano、Cosmos3-Super-Text2Image、Cosmos3-Super-Image2Video、Cosmos3-Nano-Policy-DROID 五个可下载 checkpoint，以及 SDG 五个合成数据集和 Cosmos-HUE 评测。论文给出了非常详尽的训练配方：学习率(Reasoner LM $5\times10^{-5}$、ViT $5\times10^{-6}$；Generator $10^{-4}$)、loss 权重、batch、token 数(Nano 31.05T、Super 17.86T 预训练)、多分辨率混合比(1:1:2:1)、74K 上下文、shift 值($s=1/3/5$ 预训练、$3/5/10$ 中训练)、推理超参(steps/guidance/shift/CFG 全列在 Table 21)、负 prompt 模板(附录 B)。然而真正的‘从零复现’对绝大多数研究组不可行——仅预训练就需要 1024(Nano)到 2048(Super)张 NVIDIA GB200，Super 单次迭代 19.5 秒、MFU 0.30；中训练还要再耗 1.9–2.4T token。因此现实路径是‘拿权重做后训练/微调’：附录 D 给出了 Edge(2B)从 scratch 训练的细节、E.1–E.5 给出多个小规模 ablation 复现方案，社区可在 128–256 GPU 上复现关键消融结论。策略后训练(Cosmos3-Nano-Policy-DROID)的推理甚至能在 2 张 RTX Pro 6000 上部署，对机器人实验室比较友好。