DreamX：视频扩散模型即通用潜在动作学习器 DreamX: Video Diffusion Model is a Universal Latent Action Learner

训练与使用全流程如下。（1）预处理：视频经 Cosmos 的因果视频自编码器压缩为 $N$ 个潜在帧 $V=(V_0,\dots,V_{N-1})$，patch 化后每个潜在帧约对应 1,200 个 token；训练片段为 5–29 帧（对应 2–8 个潜在帧），分辨率 480$\times$640。（2）编码：为每个潜在帧分配 $K=4$ 个可学习查询 token，与视频 token 拼接后通过骨干，语言指令 $\ell$ 经骨干原有的交叉注意力注入；第 $g$ 组查询只 attend $V_{0:g}$、查询间无限制，一次前向即得全部组 $Q = E_\phi(q; V, \ell)$。（3）解码：以同一预训练骨干初始化的解码器 $D_\theta$ 接收 $Q_{0:N-1}$（沿时间维与视频 token 拼接）、$V_0$ 与本体状态 $p_0$，输出 $\hat V, \hat A = D_\theta(Q_{0:N-1}, V_0, p_0)$；掩码保证视频帧 $V_t$ 只读查询前缀 $Q_{0:t}$、动作块 $A_m$ 只读 $Q_{0:m}$。（4）优化：$\mathcal{L}=\mathcal{L}_{video}+\lambda\mathcal{L}_{action}$（无动作标签的数据 $\lambda=0$），编码器与解码器各用独立的秩 16 LoRA、骨干权重冻结，共训练 78,000 步，LoRA 与查询学习率 $10^{-4}$、其余可训练参数 $5\times10^{-5}$。（5）迁移使用：给定源视频，用冻结编码器提取 $Q^{src}=E_\phi(q; V^{src}, \ell^{src})$；视频迁移为 $\hat V^{tgt}=D_\theta(Q^{src}, V_0^{tgt})$，动作迁移为 $\hat A^{tgt}=D_\theta(Q^{src}, p_0^{tgt})$，后者开环执行。（6）策略学习：先在冻结表示上训练变分瓶颈（重参数化采样 $Z=\mu_\psi+\sigma_\psi\odot\epsilon$，KL 权重 $\beta=0.01$，5 万步），把每个 2,048 维 token 压成 32 维码 $Z=\mu_\psi(Q)$；再微调骨干（秩 128 LoRA，10 万步）从当前帧与指令预测 $Z$，独立 DiT 动作头以潜在动作特征为条件预测低层动作，损失 $\mathcal{L}_{policy}=\mathcal{L}_{latent}+\lambda\mathcal{L}_{action}$。

技术新颖性可从四方面评估。其一，“骨干内读取”范式：这是让潜在动作直接从视频扩散 Transformer 内部时空表征中读出的框架，此前 VPP、AdaWorld、VideoWorld2 中视频模型只充当生成先验或像素供应商，动作编码器仍是外部模块；该设计让动作表示直接继承预训练时空知识，也免去为每个本体单独训练编码器。其二，生成式监督替代像素监督：把“初始帧给外观、潜在动作给演化”的职责划分显式编码进注意力掩码——查询在解码器中纯条件化、视频流与动作流互不接触——从信息流层面而非损失权重层面强制解耦，比 CoMo、DiLA 等显式解耦模块更简洁。其三，一套权重服务三种用途：同一骨干经 LoRA 适配后既是编码器（读出潜在动作）又是解码器（重建视频与动作），下游还能转生成为潜在动作生成器（策略），最大化预训练投资。其四，紧凑码作为策略预测目标：每个潜在动作 token 保持骨干全宽 2,048 维会使扩散动作头维度爆炸，作者用 FAE 式变分瓶颈压到 32 维并保持 token 布局，使策略推理无需生成视频（较 Mimic-Video 快 19.1 倍）。消融显示仅 RGB 监督即可达到接近完整监督的表示质量（回归 MSE 0.24 对 0.23），进一步印证解耦来自架构本身而非动作标签。

以下弱点均附改进方向。（1）开环动作迁移无纠错机制：潜在动作一次性解码整段动作后开环执行，长序列中模型误差与机器人动力学偏差会持续累积；改进方向是滑动窗口重提取——每执行 $k$ 步就用机器人当前观测重新编码剩余运动，形成视觉伺服式闭环。（2）策略评估单薄：真实世界只有关抽屉一个任务、45 条轨迹，无法说明方法在接触丰富、高灵巧任务上的表现；应在多任务真机套件上系统评估并报告长时程成功率。（3）潜在动作长度固定：每潜在帧固定 4 个 token，静止片段浪费容量、高速运动可能欠表达；可引入按运动幅度自适应的 token 数或门控机制。（4）压缩瓶颈事后训练：FAE 瓶颈在冻结表示上单独训练 5 万步，压缩中丢失的信息无法反馈回编码器；端到端联合训练或在骨干内直接做低维投影可能更优。（5）语言通道未验证：指令对 $Q$ 的影响没有消融，未来应量化 $\ell$ 扰动对潜在动作的改变，并测试无指令视频下的鲁棒性。（6）评估偏桌面操纵：LARYBench 与抽屉任务均为桌面场景，对导航、全身移动等领域的适用性未知，论文的 DAVIS 通用视频示例也只是定性展示。（7）可解释性有限：注意力指向手/夹爪、方向质心可分只是间接证据，4 个 token 各自承载什么语义尚不清楚，可加线性探针或与语言嵌入对齐来解释每个通道。

作者方向上强调把预训练视频模型作为可复用动作表示的基础，具体可延伸：其一，规模化——用更大的视频骨干（如 14B 级 Cosmos）与更多样的数据（含第三人称、非操纵视频）预训练，检验表示质量随规模与数据构成的缩放规律；其二，与世界模型规划结合——DreamX 解码器本身可在“目标初始帧+潜在动作”下想象未来，可将其作为潜空间模拟器做 MPC 或树搜索式规划，实现零样本试错；其三，闭环迁移——把开环动作迁移升级为滚动时域控制，用视觉重编码校正累积误差；其四，语言接地——指令经交叉注意力注入，可研究用文本对潜在动作空间做分区检索，实现“以语言查询视频中的动作片段”；其五，作为 VLA 预训练目标——把紧凑码 $Z$ 作为大规模人类视频上的预训练目标、再用少量机器人数据微调动作头，可能优于现有 VLA 的隐式预训练；其六，扩展本体与模态——从双臂操纵延伸到人形全身、四足等本体，并纳入触觉或音频条件；其七，理论刻画——为什么生成式监督能把外观信息从动作表示中挤出，可从信息瓶颈视角给出定量分析。

复现条件总体透明但算力门槛较高。有利因素：骨干 Cosmos-Predict2.5 2B 开源；全部训练与评测数据集公开（人类：EgoDex 350.5 小时、EgoVerse 59.0 小时；机器人：AgiBot 818.2 小时、MolmoAct2 502.3 小时、DROID 410.1 小时、Bridge 47.9 小时，合计 2.19k 小时）；评测基准 LARYBench、HumanAndRobot、CALVIN、RoboCOIN 均公开，且附录给出探针结构（768 维投影+注意力池化）与特征提取协议；超参文档完备（LoRA 秩、学习率、步数、$\beta=0.01$、分辨率 480$\times$640、片段 5–29 帧等），有可复现性声明与补充视频；项目页 cvlab-kaist.github.io/DreamX 汇总资源。不利因素：预训练 78,000 步 + 瓶颈 50,000 步 + 策略 100,000 步（2 块 H200、全局批次 60），意味着需要 H100/H200 级多卡集群与 2k 小时级视频的存储预处理流水线；真机部分需要双臂 YAM 机器人与 RealSense D405 的特定顶视配置，普通实验室难以复刻，但可按文中协议在其他平台复现视频迁移部分；论文未明确承诺代码开源，仅凭论文细节复现的工程难度为中高。建议路径：先在论文消融所用子集（MolmoAct2+EgoVerse+EgoDex）上小规模复现表示学习并用 LARYBench 探针验证，再决定是否全量训练。