Cosmos Policy：微调视频模型实现视觉运动控制与规划 Cosmos Policy: Fine-Tuning Video Models for Visuomotor Control and Planning
将预训练视频模型单阶段微调为机器人策略，无需架构修改即可实现SOTA操控性能
前置知识
潜在扩散模型（Latent Diffusion Model）
潜在扩散模型是一种在压缩的潜在空间而非原始像素空间进行去噪的生成模型。它首先使用 VAE 编码器将高维输入（如图像或视频帧）压缩到低维潜在空间，然后在该空间中进行扩散和去噪过程。这种方法大幅降低了计算成本，同时保持生成质量。Cosmos-Predict2 使用 Wan2.1 时空 VAE 将 (1+T)×H×W×3 的视频压缩为 (1+T/4)×(H/8)×(W/8)×16 的潜在序列。训练目标是去噪损失：$\mathcal{L} = \mathbb{E}_{x_0, c, n} \left[\|D_\theta(x_0 + n; \sigma, c) - x_0\|_2^2\right]$，其中 $n \sim \mathcal{N}(0, \sigma^2 I)$。
Cosmos Policy 的核心创新就是将机器人模态注入到这个潜在序列中，而不是修改模型架构。理解潜在空间的工作原理是理解「潜在帧注入」机制的前提。
去噪扩散隐式模型（EDM Denoising Score Matching）
EDM 是 Karras 等人（2022）提出的扩散模型训练框架。它使用对数正态分布采样噪声水平 $\sigma$：$\ln(\sigma) \sim \mathcal{N}(P_{\text{mean}}, P_{\text{std}}^2)$。推理时从纯噪声（$\sigma_{\max}=80$）开始，逐步去噪到接近零噪声（$\sigma_{\min} \approx 0$）。每一步网络预测当前噪声水平下的噪声，用于恢复干净样本。Cosmos Policy 针对机器人控制修改了噪声分布，采用混合对数正态-均匀分布，增加高噪声水平的权重。
Cosmos Policy 的一个重要技术贡献是对噪声分布的调整——因为原始视频生成的噪声分布不适合需要精确控制的机器人任务。理解 EDM 框架才能理解为什么需要这个修改。
动作块（Action Chunk）
动作块是一种预测未来多步动作的范式。传统方法每一步预测一个动作然后执行，而动作块方法一次预测 K 步动作的序列，然后执行整个序列。这提高了动作的平滑性和成功率。例如在 ALOHA 机器人上，Cosmos Policy 预测 50 步动作块（2秒，25Hz 控制频率）。Cosmos Policy 将动作块编码为潜在帧：首先归一化到 $[-1, +1]$，然后展平为 $(K \times d_{\text{act}})$ 向量，重复填充到 $(H' \times W' \times C')$ 的潜在体积中。
动作块是 Cosmos Policy 将动作嵌入潜在序列的关键技术——它不是在潜在空间中生成图像，而是直接生成机器人动作序列。理解动作块才能理解整个「潜在帧注入」机制。
价值函数与世界模型（Value Function & World Model）
在强化学习中，价值函数 $V^\pi(s) = \mathbb{E}_{\tau \sim \pi}\left[\sum_{k=t}^H \gamma^{k-t} R(s_k, a_k) \mid s_t = s\right]$ 表示从状态 $s$ 出发遵循策略 $\pi$ 的期望累积回报。世界模型 $\hat{T}: S \times A \to \Pi(S)$ 学习预测给定状态和动作的下一状态。Cosmos Policy 将这两者都编码为潜在帧，在单一架构中同时训练策略、世界模型和价值函数。在稀疏奖励设置下，价值函数简化为 $V^\pi(s) = \mathbb{E}_{\tau \sim \pi}[\gamma^{H-t} R(s_H, a_H) \mid s_t = s]$。
Cosmos Policy 的规划能力完全依赖于世界模型和价值函数的预测质量。理解这两个概念才能理解 best-of-N 规划的工作原理和为什么需要从策略展开数据中学习。
Best-of-N 采样规划（Best-of-N Sampling）
Best-of-N 采样是一种简单但有效的模型规划方法。具体流程是：(1) 从策略中采样 N 个动作提议；(2) 用世界模型预测每个提议的未来状态；(3) 用价值函数评估每个未来状态的价值；(4) 选择价值最高的动作执行。Cosmos Policy 使用集成预测增强鲁棒性：每个动作查询世界模型 3 次、价值函数 5 次，共 15 个价值预测。聚合采用「多数均值」方法——先判断多数预测是成功还是失败，再在多数组内取均值。这种方法比简单均值更抗异常值。
这是 Cosmos Policy 从「直接策略」升级到「规划策略」的核心机制。理解这个流程才能理解为什么需要收集策略展开数据、为什么需要分别训练「策略模型」和「规划模型」。
研究动机
现有的视频模型适配机器人操控方法存在两个核心问题。第一类方法（如 Video Policy、UVA、FlowVLA 等）需要多阶段训练：先在机器人数据上微调视频模型，再单独训练动作模块（如逆动力学模型或独立的动作扩散器）。这种分阶段方式不仅增加了训练复杂度，还引入了额外的架构组件，使得整个系统难以端到端优化。第二类方法（如 UWM）训练统一的视频-动作模型，但因为定制化设计无法利用预训练视频模型的时空先验。此外，现有的视觉-语言-动作（VLA）模型（如 π0.5、OpenVLA-OFT）虽然在语义泛化方面表现出色，但其预训练骨干（视觉-语言模型）是从静态图像-文本对学习的，缺乏对时间因果性和隐式物理规律的建模。这导致在需要精确时序控制和多模态动作分布的任务上（如 ALOHA 机器人的「把糖果放进碗里」和「把糖果放进密封袋」任务），VLA 模型经常失败：π0.5 在密封袋任务上频繁丢失滑块抓握，OpenVLA-OFT+ 则在两个糖果之间「折中」伸手，无法正确建模高度多模态的动作分布。
本文的目标是本文的目标是提出一种简单、统一的方法，将预训练视频模型（具体是 NVIDIA 的 Cosmos-Predict2-2B）单阶段微调为高效的机器人策略，无需任何架构修改。具体目标包括：(1) 通过潜在帧注入机制，将机器人本体感知、动作块和状态价值等新模态直接编码为视频模型潜在扩散序列中的帧；(2) 在单一架构中同时训练策略、世界模型和价值函数；(3) 利用世界模型和价值函数进行基于模型的规划，进一步提升在挑战性任务上的成功率；(4) 在 LIBERO 和 RoboCasa 仿真基准以及真实 ALOHA 机器人上达到或超越现有 SOTA 性能。
与已有工作不同的是，本文的独特切入角度在于「最小化架构修改」哲学。与先前工作精心设计独立的动作模块、逆动力学模型或价值网络不同，Cosmos Policy 发现视频模型本身的学习机制（扩散去噪）已经非常适合建模复杂的多模态分布——包括动作分布。因此，它直接将动作、本体感知和价值编码为额外的潜在帧，让模型用同样的去噪过程来学习生成这些模态。这种设计不仅简化了训练流程（单阶段），还让所有模态共享同一个预训练骨干的时空先验。另一个被忽视的点是：先前的视频策略方法只使用视频模型作为「视觉表示提取器」，而 Cosmos Policy 则充分利用了视频模型的生成能力——它可以生成未来状态图像，这为世界模型提供了自然的实现方式。
核心方法
Cosmos Policy 的核心思想可以用一个类比理解：想象一个已经会「画连续动画」的画家（预训练视频模型），现在你想让它不仅画动画，还能同时告诉你「机器人该怎么动」、「未来会是什么样」、「这个动作能得多少分」。最直接的方式不是给画家增加新工具（架构修改），而是直接在画布上预留一些空间，让画家用同样的画笔来填充这些信息（潜在帧注入）。技术路线是：首先，将 Cosmos-Predict2-2B 视频模型的潜在扩散序列从「纯视频帧」扩展为「视频帧 + 机器人模态帧」的混合序列；然后，在机器人演示数据上进行单阶段微调，训练模型同时去噪所有类型的帧；最后，利用生成的未来状态和价值预测进行 best-of-N 规划。整个过程不改变原始模型的任何架构组件——不添加新的动作头、不引入逆动力学模型、不使用单独的价值网络。
Cosmos Policy 的核心创新是「潜在帧注入」（Latent Frame Injection）机制。具体来说，原始 Cosmos-Predict2 模型接受一张起始图像和文本描述，生成后续视频帧。这些帧在潜在空间中是一个 $(1+T') \times H' \times W' \times 16$ 的序列。Cosmos Policy 的关键洞察是：既然这个序列中的每个潜在帧就是一个 $H' \times W' \times 16$ 的张量，我们完全可以用同样的方式注入机器人本体感知（如关节角度）、动作块（未来 K 步动作）和状态价值（标量）——只需要将这些低维向量归一化到 $[-1, +1]$，然后重复填充到整个潜在体积中。对于一个有两个第三人称相机和一个腕部相机的机器人平台，潜在序列包含 11 个帧：(1) 空白占位符（因 VAE 的时间压缩方案需要）、(2) 当前本体感知、(3) 腕部相机图像、(4) 第一第三人称相机图像、(5) 第二第三人称相机图像、(6) 动作块、(7) 未来本体感知、(8) 未来腕部图像、(9) 未来第一第三人称图像、(10) 未来第二第三人称图像、(11) 未来状态价值。这种设计的本质区别在于：它不试图「从视频中提取动作」，而是让视频模型的扩散过程直接「生成动作」——动作和图像在同一个去噪过程中被联合建模。
方法步骤详情
Cosmos Policy 的完整流程分为三个阶段。**阶段一：潜在帧注入与联合训练**。给定训练样本 $(s, a, s', V(s'))$，首先将当前观察 $s$（本体感知 + 多相机图像）和未来观察 $s'$（未来本体感知 + 未来图像）、动作块 $a$ 和价值 $V(s')$ 编码为 11 个潜在帧的序列。然后随机选择序列的一部分作为条件（保持干净），另一部分作为目标（添加高斯噪声），训练模型去噪。通过调整条件掩码，同一个模型可以训练三个不同的函数：策略 $p(a, s', V(s')|s)$（以 $s$ 为条件生成其余）、世界模型 $p(s', V(s')|s, a)$（以 $s, a$ 为条件生成其余）、价值函数 $p(V(s')|s, a, s')$（以 $s, a, s'$ 为条件生成价值）。每个训练批次按 50/25/25 的比例采样策略、世界模型和价值函数的训练样本。**阶段二：策略展开与世界模型精炼**。在目标环境部署基础 Cosmos Policy，收集成功和失败的轨迹。在这些展开数据上微调基础检查点，得到「规划模型」——侧重于更准确的世界模型和价值函数预测（90% 样本用于世界模型和价值函数，10% 用于策略）。**阶段三：基于模型的规划**。部署时使用两个模型：原始基础检查点作为「策略模型」生成动作提议，精炼后的检查点作为「规划模型」评估每个提议。具体流程：从策略模型采样 $N$ 个动作提议，对每个提议用规划模型预测未来状态（集成 3 次）和价值（每个未来状态集成 5 次），共 15 个价值预测。使用「多数均值」聚合——先判断多数预测是成功还是失败（通过固定阈值），再在多数组内取均值。选择价值最高的动作执行。
技术新颖性
Cosmos Policy 的技术新颖性体现在三个层面。**第一，潜在帧注入的简洁性**。先前的视频策略方法（如 Video Policy）需要设计独立的动作模块和两阶段训练流程；UVA 训练统一的视频-动作模型但从头训练，无法利用预训练先验。Cosmos Policy 通过简单的帧注入实现了「零架构修改」的适配，将动作视为视频序列中的另一种「帧」——这是一种概念上的范式转变。**第二，单一架构的多功能性**。先前工作通常使用独立的模块分别处理策略、世界模型和价值函数（如 SAILOR 使用单独的世界模型和奖励模型，Latent Policy Steering 预训练世界模型后单独训练价值函数）。Cosmos Policy 在单一架构中同时实现这三个功能，通过条件掩码切换，参数完全共享。**第三，噪声分布的领域适配**。原始 Cosmos-Predict2 使用对数正态噪声分布 $\ln(\sigma) \sim \mathcal{N}(1.39, 1.2^2)$，低噪声水平权重过高，导致高噪声阶段（生成开始时）信号不足。Cosmos Policy 改用混合对数正态-均匀分布：70% 概率采样原始分布，30% 概率从 $[1.0, 85.0]$ 均匀采样。推理时设置 $\sigma_{\min}=4$（而非原始的 0.002），避免极低噪声水平的不准确预测。这些修改对动作精度至关重要——视频生成中的微小误差可以容忍，但机器人控制中的微小误差可能导致灾难性失败。
实验结果
Cosmos Policy 在三个评估领域均达到 SOTA 性能，全面超越了从头训练的扩散策略、视频策略和微调后的 VLA 模型。**LIBERO 仿真基准**：平均成功率 98.5%，比此前 SOTA 的 CogVLA（97.4%）高出 1.1 个百分点，在所有四个子任务（Spatial 98.1%、Object 100.0%、Goal 98.2%、Long 97.6%）上均表现优异，特别是在最具挑战性的长时程任务上比 π0.5 高出 5.2 个百分点。**RoboCasa 仿真基准**：平均成功率 67.1%，超越此前 SOTA 的 FLARE（66.4%），但值得注意的是 Cosmos Policy 仅使用每任务 50 个人类遥操作演示进行训练，而 FLARE、Video Policy 等方法使用 300 个演示，DP-VLA 甚至使用 3000 个演示——这体现了显著的数据效率优势。**真实世界 ALOHA 机器人**：在四个挑战性双臂操控任务上获得最高平均得分 93.6%，超越 π0.5（88.6%）和 OpenVLA-OFT+（62.0%）。特别是在「把糖果放进密封袋」任务上（需要毫米级精度操控），Cosmos Policy 得分 85.4%，而 π0.5 仅为 61.5%。消融实验证明：(1) 去除辅助损失（策略只预测 $p(a|s)$ 而非 $p(a, s', V(s')|s)$）导致 1.5% 性能下降；(2) 从头训练（不使用预训练视频模型）导致 3.9% 性能下降，在 ALOHA 折叠衬衫任务上更是下降 18.7 分，且产生抖动动作可能损坏机器人。**基于模型的规划**：在两个挑战性真实任务上，规划带来了平均 12.5 分的得分提升。在仅使用 648 条策略展开数据微调世界模型和价值函数后，规划模型能更准确地预测未来状态（如正确预测密封袋滑块抓握丢失），从而避免基础策略的常见错误。1 步去噪推理仅需 0.16 秒（RoboCasa 成功率 66.4%，仅下降 0.5%），展示了实时部署的潜力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO-Spatial | 成功率 (%) | 98.1 | CogVLA 98.6 | -0.5 |
| LIBERO-Object | 成功率 (%) | 100.0 | CogVLA 98.8 | +1.2 |
| LIBERO-Goal | 成功率 (%) | 98.2 | CogVLA 96.6 | +1.6 |
| LIBERO-Long | 成功率 (%) | 97.6 | CogVLA 95.4 | +2.2 |
| LIBERO 平均 | 成功率 (%) | 98.5 | CogVLA 97.4 | +1.1 |
| RoboCasa 平均 | 成功率 (%) | 67.1 | FLARE 66.4 | +0.7 |
| ALOHA 真实世界平均 | 得分 | 93.6 | π0.5 88.6 | +5.0 |
| ALOHA put candy in ziploc | 得分 | 85.4 | π0.5 61.5 | +23.9 |
| ALOHA 规划提升（两任务平均） | 得分增量 | +12.5 | 无规划基础策略 | 显著 |
局限与改进
作者在论文中坦诚指出了三个主要局限。**第一，推理延迟问题**。使用模型规划时，生成一个动作块需要约 5 秒（在 8 块 H100 GPU 上并行推理 N=8），这可能限制其在动态任务（如接住抛来的物体）中的应用。即使用作直接策略（无规划），10 步去噪也需要 0.95 秒。**第二，数据需求**。有效的规划需要大量的策略展开数据来准确预测演示分布之外的状态。在 ALOHA 实验中，仅「把糖果放进密封袋」任务就额外收集了 143 条展开轨迹，因为该任务的世界模型特别难训练（相机自遮挡、环境动力学高度随机）。**第三，规划深度限制**。当前仅使用单层 best-of-N 搜索，未扩展世界模型的预测时域进行多步规划。从我个人的观察来看，还有几个未被充分讨论的局限：(1) 潜在帧注入的可扩展性存疑——当机器人配置变得复杂（如更多相机、更高维动作空间），注入的帧数量可能快速增长，与原始视频帧的比例失衡；(2) 对 Cosmos-Predict2 基础模型的强依赖——论文未讨论该方法在其他视频模型（如 Sora、Wan2.1）上的泛化性；(3) 「多数均值」聚合方法对阈值选择的敏感性未被分析。
独立分析的弱点
基于论文的实验结果和技术细节，我识别出以下几个值得改进的方向。**第一，噪声分布调整的启发式性质**。Cosmos Policy 将噪声分布从原始对数正态改为 70/30 的混合分布，并将推理时的 $\sigma_{\min}$ 从 0.002 提高到 4。这些参数是经验选择的（论文明确说「这些概率值没有被调优」），缺乏理论指导。改进方向：可以引入自适应噪声调度，根据动作预测的置信度动态调整噪声水平，或者通过元学习让模型自动发现最优的噪声分布。**第二，潜在帧注入的信息瓶颈**。将 $(K \times d_{\text{act}})$ 维的动作向量通过重复填充压缩到 $(H' \times W' \times 16)$ 的潜在体积中，信息冗余度高，且平均提取时可能丢失精度。改进方向：可以设计更高效的编码方式，如使用可学习的线性投影将动作映射到潜在空间，或使用专门的 tokenizer 而非简单重复填充。**第三，世界模型的泛化性**。从 648 条展开轨迹微调的世界模型只能覆盖有限的状态-动作分布。在部署中遇到分布外状态时，预测可能不可靠。改进方向：可以引入不确定性估计（如贝叶斯深度学习），当世界模型预测不确定性高时自动回退到直接策略模式。**第四，价值函数的二值化问题**。当前价值函数基于稀疏奖励（成功/失败），无法区分「几乎成功」和「完全失败」。在 ALOHA 实验中通过人工定义的评分规则缓解了这个问题，但这需要为每个任务定制。改进方向：可以引入基于视觉相似度的自动奖励塑形，或使用大语言模型进行任务进度评估。
未来方向
作者在讨论部分提出了三个未来方向。**第一，加速推理**。当前规划需要 5 秒，限制了动态任务的应用。可以通过蒸馏（将多步去噪压缩为 1-2 步）、缓存机制（重用之前步骤的计算）或并行化优化来加速。**第二，减少展开数据需求**。当前需要数百条展开轨迹来训练有效的世界模型。可以通过数据增强（利用视频模型生成合成展开）、迁移学习（跨任务共享世界模型）或主动学习（智能选择最有信息量的展开）来降低需求。**第三，扩展规划深度**。当前仅使用单层 best-of-N 搜索。可以将世界模型的预测时域扩展到多步，实现树搜索或蒙特卡洛树搜索（MCTS），但需要解决长时程预测的累积误差问题。基于论文成果，我还建议以下延伸方向：(1) 将 Cosmos Policy 应用于移动操控（mobile manipulation），利用视频模型的场景理解能力处理导航+操控的联合任务；(2) 探索少样本任务适配——利用预训练视频模型的泛化能力，仅需少量新任务演示即可快速适配；(3) 将价值函数预测与人类偏好对齐（RLHF），让模型不仅追求任务成功率，还能优化动作的自然性和安全性。
复现评估
Cosmos Policy 的复现条件相对友好。**开源情况**：作者承诺在项目网站（https://research.nvidia.com/labs/dir/cosmos-policy/）发布代码、模型检查点和训练数据，这是复现的重要保障。**数据集**：LIBERO 和 RoboCasa 是公开的仿真基准，每个任务分别提供 500 和 50 个演示。真实 ALOHA 数据使用 185 个演示（4 个任务），数据量不大。**算力需求**：这是复现的主要瓶颈。LIBERO 训练使用 64 块 H100 GPU 训练 48 小时；RoboCasa 使用 32 块 H100 GPU 训练 48 小时；ALOHA 使用 8 块 H100 GPU 训练 48 小时。对于没有大规模 GPU 集群的研究者，可以尝试使用更小的批量大小和更少的梯度步数，但可能需要牺牲一些性能。推理方面，单块 H100 GPU 即可运行直接策略（5 步去噪 0.61 秒），但规划需要 8 块 GPU 并行（N=8）。**复现难度**：中等。核心创新（潜在帧注入）实现相对简单，但需要理解 Cosmos-Predict2 的代码库和 VAE tokenizer 的细节。噪声分布调整和训练超参数需要仔细匹配论文描述。总体而言，只要有足够的 GPU 资源和基本的扩散模型训练经验，复现应该是可行的。
论文图表
比较了 Cosmos Policy 与 GR00T-N1、UVA、DP-VLA、DreamGen、π0、Video Policy、FLARE、GR00T-N1.5+HAMLET 等方法在 24 个厨房操控任务上的平均成功率。Cosmos Policy 以 67.1% 的平均成功率排名第一，且仅使用每任务 50 个演示（其他方法通常使用 300-3000 个演示）。
这个结果特别重要，因为它展示了 Cosmos Policy 的数据效率优势——用更少的训练数据达到更高的性能。