DreamTraj：从视频扩散模型未渲染潜变量中生成6自由度物体轨迹 DreamTraj: Generating 6-DoF Object Trajectories by Reading Unrendered Video Diffusion Latents

①输入：单张RGB帧 $I_0$ 和语言指令 $\ell$。②物体接地：用GroundingDINO+SAM2在 $I_0$ 上检测分割物体一次，得query patch。③骨干想象：将 $I_0$、$\ell$ 送入冻结Wan2.2-I2V-A14B，按FlowUniPCMultistep、guidance 3.5、shift 5.0、seed 0去噪；采用stride-2流缓存（算一步复用一步）约减半前向；在第16步（共40步，$t\approx882$）停止，不继续后续24步、不做VAE解码。④读出运动信号：从固定(block 28, head 32)注意力单元读出物体4个标量通道——质心方位 $(\delta u_t,\delta v_t)$、对数散布比 $\log(\sigma_0/\sigma_f)$ 作深度线索、由2×2互协方差极分解得的面内旋转角；同时从blocks 0/19/39隐状态在4×4 anchor网格均值池化、经PCA降到128维，组成13×132序列作Reader上下文。⑤Reader解码：7.1M参数流匹配DiT（4层8头宽256）将带噪13×9位姿token联合去噪，AdaLN-Zero注入 $\tau$、768-D SigLIP2指令嵌入、2-D域标志；推理积分20个Euler步；训练用条件流匹配，固帧0锚、加端点项(0.1)、SO(3)弦距离项(0.1)、平滑项(0.05)。⑥米制锚定：将13个尺度无关token重采样到49帧，用 $I_0$ 物体深度 $z_0$（传感器或Depth Anything V2单目估计）恢复绝对尺度，内参 $K$ 恢复米制位置——深度仅在输出端进入。

技术新颖性体现在三处。第一，'读潜变量而非生成像素'是范式级创新：据作者所知，这是首个直接从冻结视频扩散中间表示解码6-DoF物体轨迹（而非生成像素再提取）的方法，回答了'运动计划何时在扩散潜空间中可解码'这一未解问题，并用置换控制的边距 $m=\rho(a_i,g_i)-\mathbb{E}_{j\neq i}\rho(a_i,g_j)$ 严谨证明信号是per-sample的而非共享群体先验（裸相关0.43也会假阳性）。第二，读出步骤的'断点'发现：margin在 $k=14$ 到 $k=16$ 跃升48%（配对 $t=12.6$，955 clips）后立即饱和，恰好落在Wan2.2双专家MoE的高/低噪声专家切换点（$t=900$），说明运动可解码性与专家激活强相关，这是对视频扩散可解释性的实证贡献。第三，跨域训练设计：部署时特征来自生成视频，但可信6-DoF监督只在录制视频；用单一共享权重集+域标志 $d$ 吸收差异，在B域（生成）上预热40 epoch后再混入60% A域（录制），同时下加权B域噪声更大的通道——把'师生域鸿沟'显式建模的工程创新。第四是数据集创新：Move是首个5,038条人工核验+细粒度指令的egocentric 6-DoF语料，填补了语言到运动监督的空白。

弱点1：实时性不足。76s/49帧约1.5s等效每帧吞吐，无法支撑闭环控制。改进方向：进一步压缩去噪步数（已用stride-2缓存），探索CFG蒸馏、一致性模型或更激进步数压缩；用更小蒸馏骨干或激活量化。弱点2：长程旋转误差大。整动作块Rot-final达20-41°。改进方向：引入旋转SO(3)流匹配专用参数化、多尺度时间注意力、在Reader中显式加入角动量/物理约束、或对长程采用层级化预测。弱点3：语义覆盖窄（14类11动词）。改进方向：扩展数据源到Ego-Exo4D等更多egocentric语料、引入开放词汇物体检测、用LLM合成更丰富指令模板。弱点4：深度依赖单目估计且correlation仅0.640，是端点误差主要来源。改进方向：联合训练深度头、在骨干内读取已有几何先验、测试时深度细化或采用立体/主动深度。弱点5：域鸿沟用单一2-D域标志吸收偏简陋。改进方向：引入对抗域对齐、特征归一化适配器、或更细粒度域混合策略（如按生成质量加权）。弱点6：仅评估离线预测，未验证闭环机器人执行。改进方向：在真机上集成运动控制器做grasp/place闭环验证，量化任务成功率而非轨迹误差。

作者明确提出的：在真实机械臂上从预测轨迹驱动操作（'Driving a real manipulator from the predicted trajectory is the natural next step'）。基于成果可延伸的方向：①把'读潜变量'范式推广到其他运动接口——人体姿态、手部动作、场景流、关节式物体；②将该洞察用于视频扩散模型自身的可解释性研究（哪些注意力单元编码何种运动、专家切换如何影响可解码性）；③结合大语言模型做任务分解后的多步轨迹规划；④扩展到非刚性物体和双臂协同操作；⑤探索在线闭环控制，将Reader轻量化到实时；⑥将Move数据集扩展到更多物体类别和动词，引入开放词汇设置；⑦研究骨干选择对效果的影响（不同I2V模型的运动可解码性差异、是否更大骨干margin更高）；⑧把readout步骤选择做成可学习或自适应，而非固定k=16。

复现评估较好但仍有限制。开源情况：论文声称fold分配文件随代码补充发布，项目页 https://whathappen0.github.io/DreamTraj/ ，但v1版本时具体代码与checkpoint发布状态需关注。数据：Move数据集基于6个公开语料（HOI4D/TACO/HOT3D/OakInk2/H2O/FPHA）构建，需各自许可；标注管线（GroundingDINO+SAM2/FoundationPose/SpatialTracker v2/DA3/SAM 3D Objects）论文给出每步细节，且明确指出对生成视频必须用DA3度量深度（而非相对深度）和SAM 3D Objects网格（而非CAD）这两个关键改动。算力：所有实验在单张RTX PRO 6000上完成，5折Reader训练仅16分钟，骨干前向预处理是一次性成本不在推理预算内。难度：中等偏高——骨干是14B参数的Wan2.2-I2V-A14B，需足够显存做推理；置换控制、专家切换点定位等关键超参需仔细复现。附录给出完整配置（Table 5-11，含采样器FlowUniPCMultistep、guidance 3.5、seed 0、q·k cell为block 28/head 32等），理论上可复现。基线重训需修复多个bug（附录C详述EgoScaler归一化泄漏、自回归解码KV缓存缺失、ObjectForesight锚对齐问题），提示第三方严格复现存在坑。