← 返回 2026-07-31

ShadowDancer：从视频及其影子中学习统一动力学表征，教会视频世界模型任意动作 ShadowDancer: Teaching Video World Models Any Action by Learning Unified Dynamics Representations from a Video and Its Shadow

Jin Cao, Zian Meng, Kaipeng Zhang 📅 2026-07-30 👍 20 2026-08-05 19:06
动作迁移 可识别性理论 潜在动作模型 自监督表征学习 视频世界模型 视频扩散模型
arXiv HuggingFace PDF

用同一动力学的两次重渲染构造影子对，让世界模型实现任意动作的帧级控制

前置知识

潜在动作模型 (Latent Action Model, LAM)

从未标注视频中反推控制信号的一类模型。典型做法是用一个逆动力学编码器 $q_\phi(z_t \mid x_t, x_{t+1})$ 把每一帧过渡 $(x_t, x_{t+1})$ 压成一个连续潜在动作 $z_t$，再用前向解码器 $p_\theta$ 做下一帧预测，整体训练为 $\beta$-VAE。代表工作包括 Genie、AdaWorld、Olaf-World 等。

ShadowDancer 的核心就是在 LAM 框架内改造训练目标——把'读同一段视频、预测同一段视频'换成'读源视频、预测影子视频'，因此理解 LAM 的标准结构是理解本文创新的前提。

世界模型与交互式视频生成 (Interactive Video World Model)

能预测未来观测、支持实时交互的生成系统，如 Oasis、Yume-1.5、LingBot-World 等。它们用视频扩散骨干合成可探索的持久虚拟世界，用户通过键盘鼠标状态、文本提示或结构化运动信号下达指令，模型逐帧或逐块生成。

本文的目标应用场景就是交互式世界模型，需要理解'探索 vs 指挥'的差别，才能体会作者为什么要追求'任意动作、帧级'的控制接口。

$\beta$-VAE 与信息瓶颈

$\beta$-VAE 在重构损失上加上 $\beta\,\mathrm{KL}(q_\phi \| p(z))$ 项，用 $p(z)=\mathcal{N}(0,I)$ 的先验和权重 $\beta$ 压缩潜在空间容量，迫使它只编码最关键的信息。本文取 $\beta=0.01$、$d_z=32$，故意把瓶颈做小，让它'装不下'外观、只能装动力学。

瓶颈容量是本文设计的关键——它既是把表征逼向动力学的机制，也是为什么要单独引入 source assets 通道来补高频细节的原因。

Block-causal 自回归视频生成

把视频扩散骨干（原本双向、定长）改造成只向前生成的形式：潜在帧分成若干 block，注意力在 block 之间是因果的，去噪条件为之前 block 的干净历史；推理时逐块滚动并用 KV-cache。代表实现有 Long-context AR、Self-Forcing 等。

交互式世界模型必须长时序向前滚动，本文用这种转换把 SkyReels-V2 DiT 变成可流式输出的生成器，理解它才能看懂 long rollout 实验和资产组合机制。

表征可识别性 (Identifiability)

指能否从观测中唯一恢复出潜在因子（至多差一个可逆重参数化）。多视角非线性 ICA、Locatello 的反例等都说明：单视角自重构的潜在动作不可识别——同一动力学在不同外观下可能映射到完全不同的 $z$，这正是 LAM 失控的根因。

本文的卖点之一就是用影子对'按构造'解决不可识别性，并在附录 C 给出定理 C.2 证明最小充分统计量恰好是共享动力学。看懂这一概念才能理解'不变性靠构造而非靠惩罚'的份量。

Flow Matching 视频扩散

一种用直线路径（rectified flow）训练连续归一化流的生成框架，本文用它微调 SkyReels-V2-1.3B 的 DiT 骨干，推理时用 30 步去噪、classifier-free guidance 5.0。

这是世界模型骨干的实际训练算法，理解它有助于把方法和工程实现联系起来，也解释了 480×720、544×960 等分辨率设置。

研究动机

交互式视频世界模型已经能合成高质量、长时序的可探索虚拟世界，但在'如何指挥其中的动作'上一直存在精度与通用性之间的顽固权衡。符号指令（如 Oasis、GameFactory 用的键盘鼠标状态）从一个有限词表中命名一个事件、却把轨迹留给生成器去即兴发挥——按住一个键更久只是重复动作，几乎无法重塑它。自由文本（Yume-1.5、Incantation）去掉了词表却没去掉歧义，因为语言只是'描述'动力学而非'提供'动力学。结构化运动输入（3D 人体运动、点轨迹、相机位姿）虽然能做到帧级精度，但每一种格式只服务一个动作家族、需要各自的条件注入机制，还要依赖专门但常常脆弱的估计器，实践中很难稳定获取。最被看好的潜在动作模型（Genie、AdaWorld、Olaf-World）虽然把参考片段的过渡蒸馏成连续潜在动作 $z$，但它们被训练去'重构自己读的那段视频'——重构只要求 $z$ 解释已观测的外观，而控制要求 $z$ 把底层动力学迁移到新外观，二者在监督层面就直接冲突。在从未见过同一动力学以两种外观出现的训练数据里，潜在表征根本分不清哪些特征属于动作、哪些只是和动作一起出现的陪衬，于是它会无差别地把'怎么动'和'长什么样'纠缠在一起；缩小瓶颈或对齐语义特征都只是在同一份监督下加正则，不变性只能作为惩罚被鼓励，而未被选择的残差随时可能在生成时冒出来变成虚假运动。

本文的目标是本文要攻克的叫 any-action、frame-level control：精度上，一条指令要逐帧指定一个动作如何展开（时序、幅度、风格都从演示继承）；通用性上，同一个接口要能扩展到任意动力学家族（人体、相机、物体、机器人、游戏角色……），不需要为每个家族重新设计词表或采集标签。更进一步，作者希望任何一段被演示过的视频片段都能变成一个可复用的'动作资产'：在新环境中重放，无需动作标签、无需运动估计器、无需微调，并且多个资产可以沿时间轴拼接成任意长的指令流。

与已有工作不同的是，作者的独特切入角度是'把同一个动力学观察两次'。他们注意到 LAM 的失败本质上是数据问题而非算法问题——只要训练数据里从未出现'同一动力学、两种外观'，任何正则都只能在惩罚层面挠痒。于是他们把自监督学习里'配对决定表征'的经典配方（对比学习丢裁剪和颜色、CLIP 保留语言能表达的语义、VideoMAE 推广到时空）移植到动力学上。难点在于动力学几乎无法用像素空间的增强来处理：对一个现成视频做事后变换，几乎不可能在保持逐帧运动的同时重采样它的外观。于是他们把增强搬进渲染器——'重放动力学轨迹、重采样其余一切'，这就是影子对。这样不变性就成了数据的固有属性而非外加惩罚，目标函数只需要把它'读出来'。这彻底绕开了前人靠信息瓶颈、量化或语义对齐来缓解纠缠的思路，把问题从'在单视角数据上强加不变性'转成了'在双视角数据上利用不变性'。

核心方法

整体直觉是：把一段视频看成它背后动力学轨迹 $d$ 的一次渲染 $x=R(d,c)$，其中 $c$ 是角色、场景、材质、光照等'外观'因子。单看 $x$ 时 $d$ 与 $c$ 是纠缠的。ShadowDancer 的解法是让渲染器把同一个 $d$ 再渲染一次得到影子 $\tilde{x}=R(d,\tilde{c})$，$\tilde{c}\sim p(c)$ 独立重采样，两段视频逐帧同步（第 $t$ 帧共享同一 $d_t$）。技术路线分三步（见图 2）：第一步用 Shadow Library 协议大规模构造影子对；第二步用跨影子预测把动力学蒸馏成统一的潜在表征 $z_{1:T-1}$；第三步把预训练视频扩散骨干在 $z$ 和源资产 $s$ 条件下微调成 block-causal 交互式世界模型。三个对象贯穿始终：LAM 提取对配对所重采样的一切（外观）不变的 $z$；冻结的 3D-VAE 把源视频编码成对齐的细节流 $s$；二者拼成可复用动作资产 $a=(z,s)$。统一的含义是一个编码器、一个潜在空间、一个接口服务所有动力学家族。

核心创新是跨影子预测（cross-shadow prediction）。标准 LAM 让编码器读源过渡 $q_\phi(z_t\mid x_t,x_{t+1})$，解码器预测同一段视频的下一帧；ShadowDancer 的决定性差别是让解码器去预测另一段影子 $\tilde{x}_{t+1}$，且只给它的'自己的上一帧' $\tilde{x}_t$ 和源派生的动作 $z_t$：$p_\theta(\tilde{x}_{t+1}\mid \tilde{x}_t, z_t)$。训练最小化 $\beta$-VAE 目标 $\mathcal{L}_{\mathrm{CSP}}=\frac{1}{T-1}\sum_t\big[-\mathbb{E}_{q_\phi}\log p_\theta(\tilde{x}_{t+1}\mid\tilde{x}_t,z_t)+\beta\,\mathrm{KL}(q_\phi(z_t\mid x_t,x_{t+1})\|p(z_t))\big]$，$p(z_t)=\mathcal{N}(0,I)$。关键洞察是：既然 $\tilde{x}$ 的外观由它自己的上下文 $\tilde{x}_t$ 提供、且与 $c$ 独立重采样，那么 $z_t$ 里任何超出推断 $d$ 所需的源上下文信息都无法改善对 $\tilde{x}$ 的总体预测；KL 项压力下的瓶颈只能保留真正有帮助的东西——也就是共享动力学。于是不变性成了监督本身的属性而非外加惩罚。与特征对齐正则（Olaf-World 的做法）不同，是预测性监督本身提供了跨上下文约束。

方法步骤详情

第一步：构造影子对。Shadow Library 是一套'源无关'的配对协议而非单一引擎：动画套件（SMPL-X 序列在 Blender 里跨角色/场景/光照/相机重渲染，约 1k×3≈3.1k 序列）、机器人模拟器（ManiSkill，分别保留机械臂轨迹、相机或二者，约 3.5k 序列）、开放世界游戏（GTA 风格城市驾驶与射击、Cyberpunk 风格夜景、UE 近战与施法、Monster Hunter 风格动作）、相机轨迹源（DL3DV 静态场景自配对）；真实视频（MiraData、OpenX 多个机器人语料）以退化的自配对 $\tilde{x}=x$ 进入，约占采样混合的 1/3，贡献视觉多样性而非识别信号。第二步：训练 LAM。逆动力学编码器是带因果时间注意力的时空 Transformer，在第 $t+1$ 帧读出 $z_t$（实现上后验条件于完整因果前缀 $q_\phi(z_t\mid x_{1:t+1})$）；$d_z=32$、$\beta=0.01$、半分辨率（240×360）。因子选择性读出：三个可学习 prompt token（cam、dyn、full）各自带一个变分读出头，配对协议用每样本掩码 $(m_{\mathrm{cam}},m_{\mathrm{dyn}})$ 路由监督——只保留相机的对监督 cam 头、只保留场景动力学的对监督 dyn 头、都保留的对监督 full 头，三者共享同一编码器与潜在空间 $\mathcal{Z}$。第三步：训练世界模型。在 SkyReels-V2-1.3B I2V DiT 上用 flow matching 微调，冻结 LAM 输出的 $z$ 通过两条路注入：组平均动作 $\bar{z}_f$ 融入每潜在帧时间步嵌入 $e_f=\psi(\tau)\oplus\alpha_z W_z\bar{z}_f$ 驱动 AdaLN（$W_o$ 零初始化、$\alpha_z$ 正常数初始化），以及一条零初始化的专用交叉注意力臂；源视频经 3D-VAE（时间压缩 $r=4$）编码成 $s$，在输入卷积处通道拼接 $[u;s;m]$ 并作为额外交叉注意力上下文。第四步：转 block-causal。3 个潜在帧一块、跨块因果注意力、以之前块的干净历史为条件去噪，推理用 KV-cache 逐块滚动、30 步去噪、CFG=5.0。第五步：部署。给定首帧 $I_0$ 和演示，冻结编码器一次性读出逐帧 $z$ 存为资产，沿条件流拼接多段资产，block-causal 生成器滚动出视频；训练时以一定概率把连续源换成固定资产库里典型动作块的拼接，使推理时的'指令=库查找'与训练分布一致。

技术新颖性

新颖性体现在五个层面。其一，把'不变性靠构造而非靠惩罚'从图像自监督移植到动力学：把增强搬进渲染器，解决动力学无法用像素空间增强的根本难题。其二，any-action 的范式意义——配对协议本身决定任务变量：在人体运动上重放动作、重采样相机就得到相机无关控制；在相机轨迹上重放、跨场景重采样就得到纯相机控制；任何动力学家族只要能构造影子对就可控，无需设计词表也无需采集标签。其三，因子选择性读出在一个潜在空间里分离 ego（相机）与 scene 动力学，同一参考视频可被读成纯相机动作、纯场景动作或二者联合。其四，正式的可识别性保证（附录 C 定理 C.2）：在独立上下文重采样、源可观测、目标重叠与分离三条件下，预测一个影子所需的最小充分统计量恰是共享动力学（至多差一个可逆重参数化）；推论 C.3 证明跨影子似然的最优编码必然包含 $D$，推论 C.6 给出零重构误差情形。其五，把 source assets 作为独立通道补高频细节——因为不变性约束的瓶颈 $d_z=32$ 故意太小、装不下精确的肢体铰接与接触时序，所以让源视频本身作为外观与细节载体，与 $z$ 解耦。

Overview of ShadowDancer pipeline (taking human motion as the running example).
Figure 2: Overview of ShadowDancer pipeline (taking human motion as the running example).

实验结果

实验从三个层面验证主张。动作迁移（表 1）测的是'一个模型、一个接口、跨家族在新环境复现同一动力学'：与 SOTA 自重构 LAM Olaf-World（同数据、同骨干、同注入路径，仅保留其单头 z-only 设计）相比，ShadowDancer 在五个家族上全面领先——人体运动 PSNR 18.2→22.4、LPIPS 0.288→0.184；第一人称战斗 PSNR 13.0→17.0、LPIPS 0.532→0.354；第三人称动作 PSNR 12.6→17.4、LPIPS 0.506→0.309；相机控制 ATE 0.072→0.005、RPE 0.021→0.003（误差下降一个数量级）；机器人操作 PSNR 14.0→22.6、LPIPS 0.478→0.116。图 3 可见 Olaf-World 经常产生扭曲、旋转的主体和虚假相机运动，因为它纠缠的潜在无法干净提取目标动力学。潜在层面的探针（表 5）佐证了这一点：跨影子潜在线性探针在角色内容上达 0.450（11 倍于随机 0.04）却泄露更少场景身份（0.433 vs 0.650），而自重构潜在在内容上几乎随机却泄露更多外观——正则化无法替代配对。分布层面（表 6）ShadowDancer 在第一人称战斗、第三人称动作、人体运动上把 FVD 大致减半（555.8→318.3、842.0→422.2、511.6→253.9），说明迁移优势不是靠模糊换来的。长时序滚动（表 2）在 16 条指令流上由 VLM（Fable 5）做盲评 2AFC，ShadowDancer 对 Olaf-World 的偏好评率为动作控制 94%、动作保真 95%、长时序一致 94%；对 Yume-1.5 为 88%/86%/91%；对 LingBot-World 2.0 为 78%/83%/64%，平均盲评胜率约 86%。消融（表 3）显示配对是基石：z-only 12.44/0.555 → 加配对 14.75/0.448 → 完整 ShadowDancer 16.35/0.376；关键对照是 (a′) 资产+非配对 z（14.92）vs (d) 完整模型（16.35），二者共享潜在与资产、只差是否配对训练，PSNR 差 1.4，而非配对潜在相对'仅资产'（15.07）毫无增益——证明顶线增益来自跨影子配对而非资产或任意潜在条件。资产携带实验（表 7）显示在五个家族中四个上替换或打乱 $z$ 使 PSNR 大幅下降而降采样 $s$ 几乎不动，确认命令动作活在潜在里、资产只供外观与高频细节。未见动作迁移（图 5）用游戏 mod 引入训练后新角色与双手剑，记录走、转、攻击后在新地图重放，模型从未见过的步态与挥剑被忠实复现，证明编码器读的是动力学而非记忆的动作类别。形式化保证在附录 C 给出，并讨论了'任意动力学'声明的边界（分离失败时只能识别等价类 $[D]$，源不可观测时只能识别条件律统计量）。

Quantitative comparison of action transfer across dynamics families.
Table 1: Quantitative comparison of action transfer across dynamics families.
Long action rollout blinded 2AFC favor rate of ShadowDancer over each baseline.
Table 2: Long action rollout blinded 2AFC favor rate of ShadowDancer over each baseline.
Impact of key components: from z-only latent (Olaf-World) to ShadowDancer.
Table 3: Impact of key components: from z-only latent (Olaf-World) to ShadowDancer.
Composition of the Shadow Library.
Table 4: Composition of the Shadow Library.
LAM representation probes on held-out shadow pairs and UE clips.
Table 5: LAM representation probes on held-out shadow pairs and UE clips.
Distribution-level quality (FVD↓) on the same generations as Table 1.
Table 6: Distribution-level quality (FVD↓) on the same generations as Table 1.
Qualitative action transfer against Olaf-World.
Figure 3: Qualitative action transfer against Olaf-World.
Qualitative long action rollouts.
Figure 4: Qualitative long action rollouts.
Transferring unseen actions: assets recorded from a modded, unseen character drive generation in a new environment.
Figure 5: Transferring unseen actions: assets recorded from a modded, unseen character drive generation in a new environment.
查看结构化数据
任务指标本文基线提升
人体运动动作迁移（PSNR↑） PSNR 22.4 Olaf-World: 18.2 +4.2 dB（约 +23%）
人体运动动作迁移（LPIPS↓） LPIPS 0.184 Olaf-World: 0.288 −0.104（约 −36%）
第一人称战斗动作迁移（PSNR↑） PSNR 17.0 Olaf-World: 13.0 +4.0 dB（约 +31%）
第三人称动作迁移（PSNR↑） PSNR 17.4 Olaf-World: 12.6 +4.8 dB（约 +38%）
相机控制轨迹误差（ATE↓） ATE 0.005 Olaf-World: 0.072 下降约 14 倍（−93%）
相机控制轨迹误差（RPE↓） RPE 0.003 Olaf-World: 0.021 下降 7 倍（−86%）
机器人操作动作迁移（PSNR↑） PSNR 22.6 Olaf-World: 14.0 +8.6 dB（约 +61%）
分布级视频质量（FVD↓，人体运动） FVD 253.9 Olaf-World: 511.6 减半（−50%）
长时序滚动盲评（对 Olaf-World，三轴平均偏好评率） 2AFC favor rate 94% Olaf-World +44 个百分点（>50% 即偏好本文）
长时序滚动盲评（对 LingBot-World 2.0，三轴平均） 2AFC favor rate 75%（78/83/64） LingBot-World 2.0 +25 个百分点

局限与改进

作者在附录 A 明确承认两个前提条件构成限制。其一，动作资产必须预先准备——部署时模型消费参考片段或存储资产，所以对没有演示的动力学必须先采集或创作；其二，影子对在游戏和模拟器里很容易构造（可按需重放），但在真实世界里这种'重跑'几乎不可能，因此真实视频只能以自配对进入训练，贡献视觉真实感而非识别信号。形式化保证（附录 C.4）也对'任意动力学'声明划了边界：识别只在每个家族内部成立（家族 $F$ 本身可从源片段观测到，所以条件化于 $F$ 不损失信息），跨家族的'一个编码器、一个潜在空间'是工程选择而非定理推论；如果分离条件 $K_d=K_{d'}\Rightarrow d=d'$ 失败，只能识别等价类 $[D]$；如果源可观测性失败，连确定性表征都不可能，只能识别条件律统计量。我自己的观察补充几点：表 2 的盲评由单个 VLM（Fable 5）做主判、仅 20% 人工抽审，存在评判偏置风险；表 1 的相机误差用 VGGT 估位姿再做 Sim(3) 对齐，单目尺度歧义可能影响绝对数值但应不影响相对比较；表 7 在人体运动家族上资产本身就能克隆动作（源渲染已完整描绘运动），探针无法分离两通道，这是探针在该家族上的固有局限；机器人操作的迁移 PSNR 高达 22.6 但相比游戏家族更可能得益于 ManiSkill 的低复杂度场景而非方法本身。

独立分析的弱点

第一个弱点是对合成数据的强依赖。整个识别信号来自游戏与模拟器的影子对，真实世界几乎无法贡献，这把方法的覆盖范围天然限制在'可重放的动力学'上——而真实世界恰恰是机器人、自动驾驶最关心的场景。改进方向是作者自己点出的'用视频编辑模型给真实素材造影子'，即训练一个能改外观保运动的编辑器作为影子工厂。第二个弱点是资产必须预先录制且需跨片段严格一致（同一角色、同一初始状态、只差动作），现有生成模型各自独立生成、做不到这种跨片段一致性，作者建议专门设计一个'资产生成视频模型'。第三个弱点是评判的主观性：长滚动实验无 ground truth，全靠 Fable 5 单一 VLM 盲评，且 16 条指令流的样本量有限；可引入多人评分、更多 judge 模型或物理合理性度量（如运动学一致性、接触合理性）来加固。第四个弱点是因子选择性读出依赖每个家族手写配对协议与掩码，新家族接入要写新的 shadow 脚本，'any-action' 仍受限于能写脚本的人；可探索自动从原始视频里发现可重放子结构的元学习。第五个弱点是 $d_z=32$ 的瓶颈靠 source assets 补细节，但 assets 通道本身可能成为外观泄漏的后门——表 3 中'仅资产'(c) 的 PSNR 已达 15.07，逼近完整模型，说明 assets 是极强载体，若资产与目标外观不匹配可能引入新伪影，论文未充分讨论 assets 失配时的鲁棒性。

未来方向

作者明确提出两条生成式补救路线：一是资产生成——利用现成视频生成模型（Veo、Wan）批量造资产，但需设计具备跨片段一致性的专用模型，让动作库随生成生态而非引擎覆盖扩展；二是真实视频影子——利用能改外观保运动的视频编辑模型，把识别监督从合成世界延伸到真实域，这是把方法推向真实机器人与自动驾驶的关键。基于本文成果可延伸的方向还包括：把因子选择性读出从手动协议推向自动发现可重放子结构的元学习；把 block-causal 滚动与记忆机制（如 WorldMem、RELIC 的长程记忆）结合，缓解超长滚动漂移；把统一接口用于跨本体策略学习（UniVLA、UniSkill 路线），让人体演示直接驱动机器人；以及把可识别性保证从 pair 推广到多视角或时序增强的更一般配对形式，扩展附录 C 的定理范围。

复现评估

项目主页 https://ShadowDancer-1.github.io 提供视频结果，但论文未明确承诺开源代码与权重。骨干用公开的 SkyReels-V2-1.3B I2V DiT，配 flow matching；LAM 用 $d_z=32$、$\beta=0.01$、半分辨率、固定先验 $\mathcal{N}(0,I)$；block-causal 用 3 潜在帧/块、KV-cache、30 步去噪、CFG 5.0；长滚动模型在 8×H200 GPU 上以 FSDP 微调 10k 步，分辨率 544×960（LAM 272×480），算力门槛较高。数据方面，公开语料（SMPL-X、ManiSkill、DL3DV、MiraData、OpenX）易获取，但 GTA/Cyberpunk/UE/Monster Hunter 风格的游戏影子对依赖自研配对脚本与可能涉及版权的素材，这部分对第三方复现构成实质障碍——表 4 给出了详细的源、配对方式、$(m_{\mathrm{cam}},m_{\mathrm{dyn}})$、序列数、帧数与混合比例，是很好的复现指引。评测协议披露较充分：动作迁移用 81 帧片段、每家族 45–50 对 held-out 对，相机轨迹用 VGGT 估位姿再 Sim(3) 对齐算 ATE/RPE；长滚动用 16 条指令流、切成 240 帧段约 64 对比较、VLM 盲评加 20% 人工抽审。整体而言，方法描述与超参足够细致，理论与消融完整，但游戏影子对与计算资源是复现的主要门槛，估计中等偏难。

论文图表

ShadowDancer learns any action from a video and its shadow.
Figure 1: ShadowDancer learns any action from a video and its shadow.

顶部展示三类异构来源（人体运动、机器人操作、UE5 游戏画面）的影子对 $(x,\tilde{x})$，它们在独立重采样外观的前提下重放同一动力学，并蒸馏成统一动力学表征 $z_{1:T-1}$；底部展示同一个潜在接口驱动的多种受控动作——第一/第三人称战斗、驾驶、运动、机器人操作。直观呈现'一个接口、任意动作'的核心承诺。

这张图是全文的电梯演讲，一图说清影子对的构造逻辑和统一表征的覆盖范围，是理解动机和方法的总览。

Table 7: What the action latent carries: PSNR against target A under each intervention.

对每个家族取两对来自不同源的影子对 A、B，对基础输入 $(z_A,s_A)$ 做四种干预：换潜在 $(z_B,s_A)$、沿时间打乱 $z$、换资产 $(z_A,s_B)$、资产降采样到 1/4。报告对目标 A 的 PSNR。在五个家族中四个上，换/打乱 $z$ 使 PSNR 大幅下降（如第三人称 −3.01/−0.33 但相机 −1.92/−2.09），而降采样 $s$ 几乎不动。

这张表回答了'命令动作到底活在 $z$ 还是 assets 里'，确认潜在携带动作、资产只供外观与高频细节，是双通道设计的实证依据。