CausalAlign:面向一致相机自运动的视频生成模型因果对齐 CausalAlign: Causal Alignment of Video Generation Models for Consistent Ego-Motion
诊断扩散视频模型的几何状态遗忘,并用 delta-token 对齐修复相机运动一致性
前置知识
扩散视频生成模型(VGM)与去噪过程
扩散模型通过逐步加噪训练、逆向去噪生成。视频扩散模型(如 Wan2.2)把单图去噪扩展到时空联合生成:推理时从纯噪声出发迭代多步,本文用重索引坐标 $s$ 表示去噪进度($s$ 越大越接近最终结果),每一步由一组 Transformer 层处理含噪视频 latent。隐藏态在不同时间步承担不同任务:早期确定布局与运动,后期补充纹理细节。
论文的核心发现'几何状态遗忘'正是沿'层 × 去噪时间步'两个维度测量的。必须理解去噪是分步进行、每步内部又分层处理的计算过程,才能理解诊断对象与对齐位置的坐标 $(\ell, s)$ 含义。
线性探针(linear probing)
冻结模型,在其内部隐藏态上训练一个线性读出头去预测某个目标属性。若线性头能预测得准,说明该信息以线性可读的形式存在于表示中。本文用探针从相邻帧转移特征 $u_{t,\ell,s}$ 回归相对相机位姿 $\xi_t$,得到'可解码性'分数 $D_{\ell,s}$,分数越高表示该位置的 ego-motion 信息越丰富。
可解码性是因果诊断的第一个信号,但探针只能证明信息'存在'(相关性),不能证明模型在生成时真的'使用'它——这正是论文随后引入因果干预的原因,两个信号缺一不可。
因果干预(causal intervention)
在固定提示、初始噪声和随机种子的前提下,直接篡改模型内部隐藏态并观察输出的变化。本文使用四种干预:Mask(删除时序状态)、Shuffle(打乱时序顺序)、Replace(换成另一条轨迹的状态)、Inject(插入位姿匹配的供体状态),并用范数匹配的随机对照扣除'扰动幅度本身'的影响,得到净因果效应 $C_{\ell,s}$。
因果干预证明了中间层的 ego-motion 状态确实被生成过程'使用'(而非仅仅可解码),并据此挑选对齐位置。理解它才能理解'几何状态遗忘'这一核心论断的证据强度。
相机自运动与 SE(3) 相对位姿
ego-motion 指相机在场景中的自我运动,即相邻帧之间视点的旋转加平移变化,数学上用特殊欧氏群 SE(3) 中的相对变换表示:$\xi_t = \mathrm{Log}(T_t^{-1} T_{t+1})$,其中 Log 映射把相对位姿变为 6 维运动向量(3 维旋转 + 3 维平移)。它决定了跨帧几何对应关系与轨迹的连续性。
这是全文要建模、诊断、对齐和评价的目标量:线性探针回归它、教师相机解码器监督它、评估指标(重投影/对极/平滑度)从生成视频中恢复它。
前馈 3D 基础模型
指 DUSt3R、VGGT、CUT3R、LingBot-Map 这类模型:输入图像或视频流,一次前馈即可输出相机位姿、深度与 3D 结构,无需逐场景优化。流式版本(CUT3R、LingBot-Map)还能以循环方式维护带时序状态的场景表示,轨迹与位姿精度优于 VGGT。
本文用冻结的 LingBot-Map 作为教师:其相邻帧几何状态的变化就是 delta-token 的学习目标。没有这类模型,就没有高质量且廉价的几何监督来源。
LoRA(低秩适配)
参数高效微调方法:冻结原权重 $W$,只训练低秩增量 $\Delta W = BA$(秩 $r$ 远小于矩阵维度),大幅降低可训练参数量与显存占用,同时较好地保留原模型能力。常用于大模型的领域适配。
Stage 3 只在因果诊断选中的层挂 LoRA,实现'最小侵入'的几何强化;其余参数全部冻结,推理时无任何额外组件、零额外开销。
Delta token(增量标记)
源自高效世界模型的设计思想:不直接编码当前帧的全部状态,而是编码相邻状态之间的差量(变化量)。它天然压缩了静态场景内容、突出了运动信息,用很低的维度即可携带运动语义。本文将其改造为对齐媒介:VGM 相邻帧特征之差被投影到教师 delta-token 空间中。
delta-token 是本文对齐监督的载体,让几何监督聚焦于 ego-motion 动态而非场景外观;消融显示 128 维 delta 空间优于 8192 维原始 3D 特征。
世界动作模型(WAM)
以视频生成骨干驱动的机器人策略:视频专家预测未来观测、动作专家(ActionDiT)预测动作,二者共享表征并以流匹配目标联合训练(如 Fast-WAM)。推理时只输出动作、不生成视频。相机自运动的一致性直接影响移动操作中观测预测的质量。
RoboCasa365 上的下游实验(Table 3)检验'更一致的自运动是否能帮助具身任务',是本文价值主张的关键一环:平均成功率从 43.5% 提升到 54.2%。
研究动机
以 Wan2.2 和 Cosmos 为代表的扩散式视频生成模型(VGM)在互联网规模的 2D 视频上训练,可以合成视觉上可信的视频,但它们本质上建模的是 2D 外观与局部运动统计,难以刻画跨帧的 3D 视点变化,即相机自运动(ego-motion)。具体表现为:直接用 Wan2.2 生成视频时相机轨迹会抖动与漂移——重投影误差高达 8.4 像素、深度-光流一致性误差 6.9 像素、对极误差 2.9 像素、轨迹平滑度仅 0.71、jerk(急动度)高达 0.182,相机完成环绕后无法回到起点。已有三类方法试图修复但都未根治:GEN3C、Voyager 等外部 3D 缓存方法需要显式轨迹与点云记忆,且会传播缓存误差;VideoGPA、Epipolar-DPO 等偏好对齐只在输出视频层面施加偏好或对极约束,不触及内部几何状态;JOG3R、Geometry Forcing、FantasyWorld 等直接特征对齐则在随意挑选的层注入 3D 特征,不区分有效的时间步与层位置。更严重的是,当 VGM 被用作世界动作模型(WAM)的骨干执行机器人移动操作时,视觉上可信但几何不一致的未来预测会给下游动作预测带来系统性误差——Fast-WAM 在 RoboCasa365 移动操作基准上的平均成功率仅 43.5%。
本文的目标是本文没有急于提出又一种几何增强技巧,而是先回答一个更基础的问题:精确的 ego-motion 在 VGM 内部究竟是如何被表示、被使用、被保留的?基于答案,作者设定了三层目标:(1)用可解释性工具系统刻画 ego-motion 信息在去噪时间步与 Transformer 层两个维度上的分布——用线性探针测'可解码性'、用因果干预测'因果效应'——找出信息在哪些位置流失;(2)在诊断出的位置做针对性对齐,把预训练 3D 基础模型 LingBot-Map 的几何知识以 delta-token 形式蒸馏进 VGM,修复流失,且不牺牲视觉质量、不增加推理开销(推理时教师与投影器全部丢弃,生成流程与原版 Wan2.2 完全相同);(3)验证修复后的 VGM 能否让下游具身任务受益,即在 RoboCasa365 移动操作任务上提升 WAM 的成功率。最终目标是让扩散 VGM 生成几何一致的相机轨迹,使其可以充当可靠的世界模型。
与已有工作不同的是,本文的独特切入是把'可解释性诊断'放在'对齐'之前,并让诊断结果直接决定对齐的位置与权重。作者通过线性探针与因果干预发现:Wan2.2 内部其实已经学会并使用 ego-motion——其可解码性与因果效应在中间层、中间去噪步达到峰值,但在后期时间步与最后几层持续衰减。作者将这一'先升后降'模式命名为'几何状态遗忘'(geometric state forgetting)。这一发现解释了为何从外部注入 3D 特征或做输出层偏好优化收效有限:真正的瓶颈是后期的保留失败,而不是前期缺少几何知识。针对这一诊断,CausalAlign 只在因果效应开始衰减的位置(第 10/12/14/20 层、去噪进度 s=398/799)施加对齐,损失权重按各位置的下降率 $\omega_{\ell,s}$ 分配。此外,不同于直接对齐原始 3D 特征,作者借用世界模型中的 delta-token 思想,构造一个专门编码相邻帧间变化的紧凑表示空间(128 维),使监督天然聚焦运动而非静态内容。'因果定位 + 增量空间蒸馏'的组合是本文独有的切入点。
核心方法
直觉上,既然模型内部已经形成了 ego-motion 状态、只是后期没有保留,那么最经济的做法不是从零注入几何知识,而是在遗忘发生的位置'提醒'模型把它留住。CausalAlign 由因果诊断与 delta-token 对齐两部分组成。诊断部分:在冻结的 Wan2.2 上,对每个(层 $\ell$,去噪进度 $s$)位置,用线性探针从相邻帧转移特征 $u_{t,\ell,s} = \Gamma(h^{s_t}_\ell, h^{s_t}_{\ell})$ 预测相对位姿 $\xi_t = \mathrm{Log}(T_t^{-1} T_{t+1})$,得到可解码性 $D_{\ell,s}$;同时施加 Mask/Shuffle/Replace/Inject 四种干预、经范数匹配随机对照校正后得到因果效应 $C_{\ell,s}$;两者分别沿互补轴平均、min-max 归一化后取平均得到轮廓 $J_{\mathcal{A}} = \frac{1}{2}(\mathcal{N}(D_{\mathcal{A}}) + \mathcal{N}(C_{\mathcal{A}}))$,选取正下降率最大的位置为目标:层 $\{10, 12, 14, 20\}$(层 14 为主目标)与去噪进度 $s \in \{398, 799\}$。对齐部分分三阶段:Stage 1 从冻结的 LingBot-Map 学习 128 维 teacher delta-token(64D 自运动 + 40D 几何 + 24D 视觉);Stage 2 训练逐层投影器把 VGM 特征映射进该空间后冻结;Stage 3 只在目标层用 LoRA 微调,损失 $\mathcal{L}_{CausalAlign} = \mathcal{L}_{pose} + \lambda_\Delta \mathcal{L}_\Delta$($\lambda_\Delta = 0.2$)。推理时教师、投影器全部丢弃,与原版 Wan2.2 完全同流程。
核心创新有两点。第一,'几何状态遗忘'的发现与因果验证。仅用线性探针只能说明信息'可解码'(相关性),不能说明模型'在使用'。作者用四种干预配合范数匹配随机对照,证明中间层状态确实因果地决定生成轨迹;再用三个补充实验排除替代解释——MLP 非线性探针同样呈先升后降(排除'非线性重编码'假说)、运动特异性干预的效应远大于内容对照即 $C_{motion} \gg C_{content}$(排除一般性扰动假说)、几何承诺分数 $K(s)$ 在去噪早期即升高并保持高位(排除'几何早已写入 latent、后期衰减无关紧要'假说)。因此后期衰减被确证为'保留失败'而非'形成失败'。第二,delta-token 对齐。与直接对齐 8192 维原始 3D 特征不同,作者学习一个 128 维紧凑增量空间 $\delta^T_t = E_\Delta(z^T_t, z^T_{t+1})$,用转移重建、时序预测、相对位姿解码三个辅助任务迫使 token 专注帧间变化,自然滤除静态场景内容;语义分区(ego/geometry/visual)使各区域各司其职。这与以往'随机层特征注入'有本质区别:监督对象是'运动增量'而非'场景内容',监督位置是'因果遗忘点'而非任意层。
方法步骤详情
完整流程分五步。(0)诊断与选点:预留约 10% 数据作诊断集,在按调度器加噪的真实视频上提取 Wan2.2 各层各时间步的隐藏态,线性探针给出 $D_{\ell,s} = 1 - \hat{e}_{\ell,s} / (\hat{e}_{chance} + \epsilon)$($\hat{e}$ 为 held-out 位姿误差);再以固定提示/初始噪声/种子自由生成并施加四种干预,轨迹误差 $E_{traj}(Y; d)$ 经范数匹配随机对照校正、符号对齐($\eta_a = +1$ 破坏性干预、$-1$ 注入)后平均得 $C_{\ell,s}$,bootstrap 估计 95% 置信区间;据此选出 $L_{tar} = \{10, 12, 14, 20\}$、$S_{tar} = \{398, 799\}$,权重 $\omega_{\ell,s}$ 正比于时间维正下降率。(1)Stage 1(30% 训练数据):冻结 LingBot-Map 提取几何状态 $z^T_t = \Phi^T(x_{1:t})$,训练编码器 $E_\Delta$ 与辅助模块(转移解码器、时序预测器、相机解码器 $D_{cam}$),损失含转移重建、权重 $\lambda_{temp} = 0.1$ 的时序预测与 $\lambda^{T}_{pose} = 0.2$ 的位姿项(测地旋转距离 + 归一化 SmoothL1 平移),共 40000 步;完成后全部冻结。(2)Stage 2(10% 训练数据):冻结 VGM 与教师,训练逐层投影器 $Q_\ell$ 最小化 $\mathcal{L}_{map} = \sum_{\ell \in L_{tar}} \sum_{s \in S_{tar}} \omega_{\ell,s} \| \delta^V_{t,\ell,s} - \delta^T_t \|_2^2$,之后冻结。(3)Stage 3(100% 训练数据):只更新目标层的 LoRA,梯度经冻结的投影器与相机解码器回传,总损失 $\mathcal{L}_{pose} + 0.2 \mathcal{L}_\Delta$。(4)推理:与原版 Wan2.2 完全相同,教师、投影器、几何缓存均不需要,零额外开销。(5)WAM 应用:用适配后的 Wan2.2 初始化 Fast-WAM 视频专家,按原流匹配目标 $\mathcal{L}_{WAM} = \mathcal{L}_{vFM} + \mathcal{L}_{aFM}$ 训练。
技术新颖性
与三类已有方法的本质区别:(1)对比外部 3D 缓存(GEN3C/Voyager):它们需在推理时维护点云/世界记忆且可能传播缓存误差,CausalAlign 把几何知识永久烘焙进权重,推理时零额外组件;(2)对比偏好对齐(VideoGPA/Epipolar-DPO):它们在输出视频层面用偏好模型或对极几何反馈,梯度信号间接且不区分时间步与层,CausalAlign 直接监督内部表示、只在因果诊断出的'遗忘点'施压,权重按下降率分配;(3)对比直接特征对齐(JOG3R/Geometry Forcing/FantasyWorld):它们对齐原始 3D 特征且不选择位置,CausalAlign 的 delta 空间是专门为'帧间变化'学习的紧凑表示——消融证明 128 维 delta 优于 8192D/4096D 原始特征(旋转误差 2.530° 对 3.243°/4.276°),语义分区在 12 组配对比较中全部获胜。此外,把可解释性领域的'线性探针 + 因果干预 + 随机对照'范式系统用于诊断扩散视频模型的几何状态、并让诊断直接指导训练配置,本身就有方法论上的新颖性:Table 9 显示因果选出的层组合增益 +3.109%(95% CI [+0.808, +5.373]),而随意选层如 {20,22,24,30} 增益为 -2.194%,证明'位置选择'不是装饰,而是方法生效的关键。
实验结果
主实验在 Wan2.2-14B-I2V 上进行,训练于 DL3DV 与 RealEstate10K(各按 90%/10% 划分训练与评估)。(1)自运动一致性(Table 1):相对 Wan2.2 基座,CausalAlign 在全部 7 项指标上提升,并在 6/7 项领先所有对比方法:平均平移接近度 0.68→0.79、平均旋转接近度 0.70→0.89、重投影误差 8.4→6.5 px(-22.6%)、对极误差 2.9→2.1 px、平滑度 0.71→0.88(+23.9%)、jerk 0.182→0.151;仅深度-光流误差以 5.5 px 微弱落后 FantasyWorld 的 5.4 px,且 CausalAlign 无需相机轨迹条件。(2)视觉质量(Table 2):VBench quality 0.805→0.806、I2V 分数持平 0.958、平滑度 0.983→0.985、FVD 182.4→182.7、SSIM/CLIP 略升、LPIPS 持平——几何监督几乎不伤画质。(3)状态保留(Figure 3):对齐后探针可解码性与因果效应从'先升后降'变为'先升后保持',验证遗忘被修复。(4)T2V 迁移(Table 5/6):同一套超参适配 Wan2.2-14B-T2V,7 项自运动指标全面改善(旋转接近度 0.68→0.90、对极误差 5.4→3.4 px),FVD 反而略降 183.6→183.4,但 CLIP/SSIM 略降。(5)轨迹条件生成(Table 7):在 Wan2.2-Fun-Control-Camera 上 RRE 3.82°→3.21°、ATE 0.214→0.167 m、漂移 13.6%→10.2%,6/7 指标最优(RTE 6.80% 略逊 FantasyWorld 的 6.60%)。(6)下游 WAM(Table 3):CausalAlign+Fast-WAM 平均成功率 43.5%→54.2%(+10.7 点),Atomic Seen 59.1%→78.1%(+19.0 点,703/900 rollout 成功),Composite Unseen 33.2%→40.6%。(7)消融(Table 4/8/9/10):结构化 delta 分区优于不分区编码器,128 维 delta 优于原始高维特征;因果选层增益 +3.109% 显著优于其他层组合;局部 RPE 监督的轨迹增益最大(+3.525%)但多目标组合会稀释增益(降至 +1.299%),揭示精度-保持的权衡。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 图像到视频生成的相机自运动一致性(DL3DV+RealEstate10K) | Reproj. 重投影误差 (px)↓ | 6.5 | 8.4(Wan2.2 基座) | -22.6% |
| 图像到视频生成的相机自运动一致性 | Smoothness 轨迹平滑度 ↑ | 0.88 | 0.71(Wan2.2) | +23.9% |
| 图像到视频生成的相机自运动一致性 | Mean Angular Prox. 旋转幅度接近度 ↑ | 0.89 | 0.70(Wan2.2) | +27.1% |
| 图像到视频生成的相机自运动一致性 | Jerk 急动度 ↓ | 0.151 | 0.182(Wan2.2) | -17.0% |
| RoboCasa365 Target100 移动操作(WAM 三组任务平均) | Success Rate (%) | 54.2(CausalAlign+Fast-WAM) | 43.5(Fast-WAM) | +10.7 个百分点 |
| RoboCasa365 Atomic Seen(18 任务 × 50 rollout) | Success Rate (%) | 78.1 | 59.1(Fast-WAM) | +19.0 个百分点 |
| 相机轨迹条件生成(Wan2.2-Fun-Control-Camera) | RRE 相对旋转误差 (°)↓ | 3.21 | 3.82(原生模型) | -16.0% |
| 相机轨迹条件生成 | Drift 漂移 (%)↓ | 10.2 | 13.6(原生模型) | -25.0% |
| 文本到视频生成 | Mean Angular Prox. ↑ | 0.90 | 0.68(Wan2.2-14B-T2V) | +32.4% |
| 图像到视频生成 | VBench-I2V Quality ↑ | 0.806 | 0.805(Wan2.2) | 持平(视觉质量无损) |
局限与改进
作者承认的局限:(1)主 I2V 协议只给首帧和文本提示,未来轨迹本质上一对多,无法直接与单一真值轨迹对齐,只能测内在一致性,直接的轨迹精度实验被拆到附录的轨迹条件协议中;(2)时间步调制策略(动态 vs 静态/时间平均/集成)的置信区间全部包含零,说明该设计尚未带来可确认的收益;(3)Depth-Flow 指标以 5.5 px 输给 FantasyWorld 的 5.4 px,轨迹条件协议中 RTE 也以 6.80% 略逊于 FantasyWorld 的 6.60%;(4)T2V 中 CLIP(0.331→0.320)与 SSIM(0.728→0.726)略降,说明文本-画面语义对齐有轻微损失;(5)诊断在加噪真实视频上进行,与自由生成的自回归分布存在差异。我自己的观察:(1)目标层 {10,12,14,20} 与时间步 {398,799} 是从 Wan2.2-14B 诊断出来的,换基座模型、分辨率或噪声调度器很可能需要重新诊断,方法向其他架构的可迁移性未验证;(2)教师 LingBot-Map 与训练数据(DL3DV/RealEstate10K 以室内、房产漫游场景为主)限制了场景多样性,户外、动态物体密集场景未测;(3)全部评估依赖单一冻结估计器(VGGT 类)恢复位姿/深度/光流,估计器自身误差会系统性影响模型间比较;(4)WAM 提升只做了间接归因(自运动更好→动作更好),没有控制实验分离'几何改善'与'其他训练效应'的贡献;(5)论文描述了遗忘现象并验证其存在,但对'为何去噪后期会丢弃 ego-motion 状态'缺乏机理解释。
独立分析的弱点
(1)诊断-适配流水线较重:需预留 10% 数据、对每个层×时间步位置跑线性探针与四种干预的自由生成,换一个基座模型就要全部重来。改进方向:训练一个轻量'元诊断器',或用代理指标(如注意力熵)在线估计遗忘位置。(2)目标位置静态固定:所有输入共用同一组层/时间步与权重 $\omega_{\ell,s}$,忽略不同场景运动复杂度的差异;且附录显示动态调制未带来显著收益(CI 含零)。改进方向:以诊断信号为条件设计超网络驱动的逐样本调制,而非简单的 timestep-conditioned LoRA。(3)监督重心在 ego-motion,几何区域(深度/法线变化)只通过转移重建间接约束;而 Table 10 显示简单地加运动学目标会把轨迹增益从 3.525% 稀释到 1.299%。改进方向:分阶段退火的多目标调度,或对几何/视觉区域使用更弱但稳定的对齐权重。(4)教师瓶颈:delta 空间的上限由 LingBot-Map 决定,教师在动态场景、长视频上的漂移会传导给学生。改进方向:多教师集成,或对有真值位姿的数据直接监督 token 的位姿分量。(5)评估协议依赖单一冻结估计器。改进方向:多估计器交叉验证,并在有真值位姿的合成数据上校准评估偏差。(6)长时序未测:实验视频长度有限,数百帧长程生成中漂移与 jerk 的表现未知。改进方向:增加长视频基准与滑动窗口式诊断,验证'rise-and-maintain'在长程是否维持。
未来方向
作者提出的方向:一是继续研究如何保留生成视频模型的几何状态,二是用更强的 VGM 增强具身模型。基于本文成果可延伸:(1)把因果诊断框架推广到其他能力维度——物理常识、物体永久性、动力学一致性——检验是否存在类似的'状态遗忘'并定位之,形成生成模型可解释性的一般方法论;(2)机理解释:为何去噪后期会丢弃 ego-motion 状态?可能与文本/外观主导的去噪目标有关,可研究损失重加权或架构级方案(如持久几何记忆 token、状态保持门控)从源头防止遗忘,而非事后对齐;(3)与动作条件生成结合:本文已在相机控制模型上验证(Table 7),下一步可做动作条件的世界模型(action-conditioned video predication),服务 Sim2Real 与策略评估;(4)在线/自适应诊断:让模型在推理时自我监测几何状态衰减并动态强化(test-time alignment);(5)扩展到长视频与流式生成,检查 delta-token 在数百帧上的累积误差与记忆机制;(6)更大规模 WAM 实验:Composite Unseen 从 33.2%→40.6% 的泛化提升提示几何表示有助于未见任务,值得在真实机器人与更多具身基准上验证;(7)理论化:把 rise-and-fall 模式与扩散模型的谱结构、特征学习理论联系起来,给出'何时何地遗忘'的可预测理论。
复现评估
开源情况:代码发布于 github.com/PKU-VaLuE-Lab/CausalAlign,项目主页为 pku-value-lab.github.io/CausalAlign-homepage/。基座 Wan2.2-14B-I2V/T2V 是公开权重;训练数据 DL3DV 与 RealEstate10K 均公开可下载;教师模型 LingBot-Map 为 2026 年论文(开源情况需确认);下游 Fast-WAM 与 RoboCasa365 仿真环境需另行获取,且 RoboCasa365 评估用 CPU llvmpipe 渲染,速度较慢。训练细节披露充分:三阶段的数据比例(30%/10%/100%)、全部损失权重($\lambda_{temp}=0.1$、$\lambda^{T}_{pose}=0.2$、$\lambda_\Delta=0.2$)、目标层与时间步、诊断目标选择公式(正下降率、min-max 归一化)、bootstrap 置信区间方法、教师编码器的 40000 步训练与探针协议(两层 256 宽、3 种学习率、3 种子)以及 5B 模型上 27 个配置的完整消融表(Table 11/12),WAM 协议也完整给出(Human300 预训练 + 每任务 500 演示、60k+50k 步、batch 128、lr 3e-5、预测 32 动作执行 8 步、20 Hz 重规划)。算力方面论文未报告 GPU 数量与训练时长:14B DiT 的 LoRA 微调虽只更新少量参数,但前向反向仍需 14B 模型驻留显存,估计需要 8×A100/H100 级多卡、数天时间;诊断阶段的逐位置干预生成开销也不小;WAM 训练(110k 步、batch 128)规模更大。综合评估:复现主结果(Table 1/2)难度中等偏上,需多卡 GPU 与较强工程能力;复现 WAM 结果(Table 3)难度更高。论文细节完备度在同类工作中属于优秀水平。
论文图表
三联总览图。左:三类已有方法示意——外部 3D 缓存(点云记忆)、偏好对齐(偏好模型)、直接特征对齐(随机选层的 3D 特征空间)。中:本文方法——先经因果诊断确定目标层(Layer i),再通过 delta-token 空间与 3D 基础模型做因果对齐。右:性能对比条形图——CausalAlign 的平均平移接近度 0.79、旋转接近度 0.89、重投影 6.5、平滑度 0.88、jerk 0.151 均优于 Wan2.2 与其他方法;RoboCasa365 上成功率从 59.1 升至 78.1(Atomic Seen)。
一图看懂论文的问题定位、方法结构与方法对比,是理解全文叙事的入口;右侧数据也预演了主要实验结论。
主结果表:在 DL3DV 与 RealEstate10K 评估集上比较 8 个方法的 7 项自运动指标(运动幅度接近度×2、重投影、深度-光流、对极、平滑度、jerk),分五组:基座 Wan2.2、外部 3D 缓存(GEN3C/Voyager)、偏好对齐(VideoGPA/Epipolar-DPO)、直接特征对齐(JOG3R/Geometry Forcing/FantasyWorld)与 CausalAlign。CausalAlign 全面超越基座(如重投影 8.4→6.5、平滑度 0.71→0.88),并在 7 项中的 6 项领先所有方法,仅 Depth-Flow(5.5 对 FantasyWorld 5.4)居次;且无需相机轨迹条件。
论文最重要的定量证据,直接支撑'因果 delta-token 对齐优于三类已有方案'的核心主张。
轨迹条件生成表:在 Wan2.2-Fun-Control-Camera 上以相同轨迹/首帧/提示比较原生模型、FantasyWorld 与 CausalAlign 的 7 项轨迹精度指标。CausalAlign 在 6/7 项最优:RRE 3.21°、ATE 0.167 m、FDE 0.201 m、漂移 10.2%、平滑度 0.85、jerk 0.155;FantasyWorld 的 RTE 最低(6.60% 对 6.80%)。
在'可直接对齐真值轨迹'的严格协议下验证精度增益,补足了主协议只能测内在一致性的缺口。
WAM 实验配置表:Human300 预训练(每任务 100 演示)+ Target100 微调(每任务 500 演示)、预训练/微调 60k/50k 步、全局 batch 128、AdamW(weight decay 0.01)、学习率 3e-5(3000 步 warmup + 余弦衰减)、动作/状态维度 12/16、3 路相机输入、预测 32 动作执行 8 步、10 步去噪、18 个 Atomic-Seen 任务各 50 rollout、评估种子 10000-10049、CPU llvmpipe 渲染。
下游实验的完整协议披露,是复现 Table 3 结果的必要信息。