ViVa：用于机器人强化学习的视频生成式价值模型 ViVa: A Video-Generative Value Model for Robot Reinforcement Learning

方法分四步。第一步是模态编码：图像经预训练时空 VAE 压成 latent frame $z^o_t\in\mathbb{R}^{H'\times W'\times C'}$；14 维本体 $q_t$ 先归一化到 $[-1,1]$，再 repeat-padding 到 $H'\times W'\times C'$ 维度 reshape 成 $z^q_t$；标量价值 $v_t$ 同样归一化后 broadcast 填充 latent frame 得到 $z^v_t$。第二步是 latent 序列组装：训练时序列为 $[z_{blank}, z^q_t, z^{o1}_t, z^{o2}_t, z^{o3}_t, z^q_{t+K}, z^v_t]$，前 5 帧为 clean conditioning，后 2 帧按随机 $\sigma$ 加噪；推理时只编码前 5 帧，序列尾部填占位，再跑 1 步 DDIM 反向扩散。第三步是 flow matching 训练：分别对 $z^q_0$ 和 $z^v_0$ 构造噪声路径 $z_\tau=(1-\tau)z_0+\tau z_1,\ z_1\sim\mathcal{N}(0,I)$，DiT 预测 $v_\theta(z_\tau;\tau,c)\approx z_1-z_0$，整体损失 $\mathcal{L}=\lambda_{prop}\|v_\theta(z^q_\tau)-(z_1-z^q_0)\|^2+\lambda_{val}\|v_\theta(z^v_\tau)-(z_1-z^v_0)\|^2$，作者选 $\lambda_{prop}=0.5$、$\lambda_{val}=1.0$、$K=50$；价值监督信号用 $G_t=\frac{T-t}{T}$ (成功) / $\frac{T-t}{T}+1$ (失败) 编码'进度+结果'，保证成功与失败之间恒定 1.0 间隔。第四步是解码：$z^v_t$ 取均值并 rescale 回 $[0,1]$ 得到 $\hat{v}_t$；$z^q_{t+K}$ flatten 后按 14 维切片求平均再 rescale 回原范围得到 $\hat{q}_{t+K}$。

技术新颖性体现在四个层次。第一是范式创新：'把视频生成器当价值函数'这一视角在机器人 RL 文献中尚属首次，作者把 value learning 重新解读为 future prediction，让'视频生成'与'价值估计'第一次共享同一套网络权重。第二是 latent injection 工程：提出 repeat-padding（把低维向量填成 latent frame）和 broadcast（标量填满 latent frame）两种注入方式，无需修改 DiT 主干即可扩展模态，相对于 adapter-based 方案侵入性更小。第三是 reward 设计：把 0-1 标量 success 编码为带 1.0 间隔的 return $G_t\in[0,2)$，比传统稀疏奖励更稠密、又能保留成功/失败的明确分界。第四是 1 步 DDIM 推理：flow matching 训练 + 1 步去噪的组合让单帧推理只要 0.18s，比 π*0.6 的 0.32s 快近一倍，同时训练也只要 4 GPU·days（VLM 基线 6 天）。整体看，作者论证了'对静态 VLM 改 backbone 换成 video DiT' 是一条比'对静态 VLM 调训练目标'更有效的路线。

独立分析四点可改进之处。(i) 14 维本体的 repeat-padding 注入是粗暴的：它把 14 维复制 $H'W'C'/14$ 次后 reshape 成 latent frame，相邻 patch 携带相同值，浪费 video DiT 容量且让模型对本体维度的排列不变性缺失；改进方向是用一个小 MLP 把它映射到 latent frame 维度，或者用傅里叶特征编码保留频率信息。(ii) Box packaging 上 π*0.6 的全局相关性更强 (Pearson 0.946 vs 0.868)，说明 video-generative 表征并非对所有任务都更优：刚体几何关系强的任务用分类式 VLM 反而稳定；改进方向是在 value head 之外加一个几何敏感度分支，或者按任务结构自适应切换 backbone。(iii) 作者报告 1 步 DDIM 推理，但未公开采样方差和确定性策略。diffusion 在 1 步下对初始噪声敏感，价值预测的置信区间未量化，下游 RECAP 在 advantage 估计时无法做 uncertainty-aware reweighting；改进方向是用多步 DDIM + score-based variance 估计，或者用一致性模型（Consistency Model）替代 flow matching。(iv) 错误标注依赖人工 milestone/error frame (图 4)，50 episode × 3 task 的人工标注成本可观但无法扩展；改进方向是用 trained error detector 自动发现失败时刻，形成 self-supervised 数据飞轮。

作者在文末明确提出'未做大规模价值模型预训练'，相信这会带来更强跨任务泛化。围绕这一点可以延伸出几条线。(a) 跨 embodiment 预训练：把不同机器人本体（14 维 vs 7 维、bimanual vs single-arm）的 proprioception 用通用 encoder 映射到同一 latent frame 空间，做一个机器人版的'foundation value model'，下游 RECAP 直接用 zero-shot 或 few-shot。(b) 与世界模型联合训练：目前 RECAP 在 rollout 阶段要靠真实机器人收集轨迹，昂贵且不安全；可以让 ViVa 充当 world model 的一部分，在 latent 中做 trajectory tree search + counterfactual rollout 估计 advantage，实现 sim-free RL。(c) 视觉潜在也作为监督：作者尝试过联合预测未来视觉 latent 但发现会降低 value 准确度，未来可以设计 curriculum：先训 value + proprio，固定后再加视觉解码头做多任务。(d) 把'failure-aware rollout' 写进 RECAP：当前 RECAP 在第二/三轮 rollout 仍随机探索，可用 ViVa 的 ErrDR 作为 intrinsic reward 触发 'failure-driven exploration'，主动走到 ViVa 判断为失败的区域。

复现门槛较高但具体可执行。Wan2.2 backbone 完全公开（开源可下载），本文未发布 ViVa 训练代码和数据，但描述了关键超参：$\lambda_{prop}=0.5$、$\lambda_{val}=1.0$、$K=50$、batch size 192、1 epoch、1 step DDIM、$w$ 帧滑动窗口用于 ERS。所有实验在 8×NVIDIA A800 上跑，价值模型训练 4 GPU·days，RECAP 整体流程 2 轮 rollout（每轮 150 成功 + 50 失败 + 100 成功 + 50 失败 episode）。数据集是 GigaAI 内部真实机器人 3 task × 50 held-out episode，每 episode 人工标注 milestone 和 error 帧。三个任务超时分别 300s/300s/240s。预训练 Wan2.2 完全冻结，价值模型只训 latent injection 模块，估计可学习参数只占总参数的 <1%。复现难点：(1) 三类任务（shirt folding, box packaging, paper roll）的实物设备和操作流程需自建；(2) RECAP 的两轮 rollout 涉及物理 robot 50+ episode 收集，单一实验室成本约数千到上万美元；(3) 流匹配训练 + 1 步 DDIM 推理在 8×A800 上需要稳定的分布式训练栈。建议先用 box packaging 一个任务做 ablation 复现，单卡 A800 预计 1-2 天可完成价值模型部分。