视频扩散模型为何违反物理规律：注意力机制的缺陷解析 Why Do Video Diffusion Models Violate Physics? Unveiling the Flaws in Attention Mechanisms
首次解析文生视频模型运动规划机制，发现RoPE空间衰减缺陷并以轻量频率缩放修复。
前置知识
Flow Matching / Rectified Flow
扩散模型的一种连续时间生成框架：给定数据 latent $x_1$ 和噪声 $x_0\sim N(0,I)$，中间状态由线性插值 $x_t=(1-t)x_0+tx_1$ 定义，真值速度为 $v_t=dx_t/dt=x_1-x_0$。网络 $u(x_t,t,c;\theta)$ 用 MSE 损失学习预测该速度场，推理时用 ODE 求解器（如 FlowUniPC）沿速度场积分完成去噪。
Wan2.1-T2V 就是流匹配模型，论文的输出是速度而非噪声；理解这一点才能读懂作者为何把因果干预的 patching 度量设计成条件速度与语义增量的内积。
DiT 与视频 latent
Diffusion Transformer 把 VAE 压缩的视频 latent 经 3D patch 化展开为 token 序列（Wan2.1-1.3B 为 21×30×52 共 32760 个 token，$D=1536$、30 层、每层 12 个注意力头），骨干是双向自注意力 + 交叉注意力 + FFN，并用 timestep 自适应的 shift/scale/gate 调制每个子层。
论文所有分析都在 Wan2.1-T2V-1.3B 的 DiT 内部进行，层/头编号（如 L15H2）、token 网格尺寸等结论都以该架构为参照系。
交叉注意力（Cross-Attention）
query 来自视频 token、key/value 来自文本嵌入的注意力模块，是视频语义的唯一入口：它决定文本中“basketball”这类物体词的语义被写入视频 latent 的哪些空间位置。其注意力图 $A^{CA}\in R^{L\times S}$ 可直接可视化为一帧内各位置的语义响应热图。
作者把交叉注意力图当作观察“运动规划”的窗口：物体在每帧的候选位置就体现在对物体 token 的注意力高亮区域上。
自注意力（Self-Attention）
视频 token 之间互相注意的模块，是帧间信息交流的唯一通道。每个 token 同时携带帧、高、宽三维位置信息，通过 3D RoPE 编码；其注意力图 $A^{SA}\in R^{L\times L}$ 揭示某一区域的语义如何传播到其他帧的哪些位置。
自注意力是本文的核心反派：正是它在不同帧之间协调物体位置，其被 RoPE 衰减扭曲的选择行为直接导致物理违背。
RoPE（旋转位置编码）
把 query/key 按位置 $p$ 旋转角度 $p\theta$ 的位置编码：$f(q,p)=[q_f e^{ip_f\theta}, q_h e^{ip_h\theta}, q_w e^{ip_w\theta}]$，使点积只依赖相对位移 $\Delta p$：$\text{Re}[\sum_a q_a k_a^* e^{i\Delta p_a\theta}]$。由于各频率分量的余弦叠加随 $\Delta p$ 增大而衰减（long-range decay），注意力天然偏向空间上邻近的位置。
本文把物理失败归因于 RoPE 在高度/宽度维的这种衰减过快（“空间锚定效应”），修复方法也就是给频率乘一个 $\lambda<1$ 的缩放因子。
归因修补（Attribution Patching）与消融
因果干预技术：标准 activation patching 把某节点替换为损坏值并度量输出变化，复杂度 $O(|V|)$；归因修补用一阶泰勒展开 $c(n)\approx[n(x_{noise})-n(x_{clean})]^\top\nabla_n \mathcal{L}_m$ 近似，一次前向反向即可给所有节点打分。零消融则直接把注意力头写入残差流的输出置零，观察生成结果变化。
论文用它定义交叉注意力头的“贡献”，是区分“看见轨迹模式”与“真正驱动运动”这两类头的关键工具。
VideoPhy 基准与 SA/PC 指标
评估视频生成物理常识的基准，含 343 个测试样本，覆盖 solid-solid、solid-fluid、fluid-fluid 三类材质交互。指标为二值的 Semantic Adherence（SA，指令遵循）与 Physical Commonsense（PC，运动是否符合物理）。作者发现自动 VLM 裁判幻觉严重，因此全部改用人工盲评。
所有定量结论（如 PC 从 29.45 提升到 62.68）都建立在该基准和这套人工评测协议上，理解其含义才能正确解读 Table 1。
研究动机
尽管最先进的视频生成模型在美感、运动稳定性和指令遵循上表现优异，被冠以“世界模拟器”之名，它们仍然频繁生成违反真实物理规律的内容。论文用 Wan2.1-T2V-1.3B 在 A800 上以种子 26、20、8、29 生成“篮球从空中自由下落并在木地板上反弹”的视频：除种子 26 外，其余种子都出现空中反弹、反重力悬浮或突然冻结等明显违背力学的现象（Figure 1）。系统评测更严峻：Wan2.1-T2V-1.3B 在 VideoPhy 上的人工评估物理常识得分 PC 仅 29.45%、语义遵循 SA 仅 53.64%，而且作者发现更大的 14B 模型在物理表现上并不更好。已有对策要么把物理模拟器作为条件引导或训练约束（泛化性与可扩展性差），要么用 LLM 改写提示词、用物理现象丰富的数据微调、或外接基础模型做对齐，它们都停留在“外部补丁”层面，无法回答一个根本问题：模型内部到底是哪个环节、因为什么机制产生了非物理的运动。
本文的目标是本文的目标是开展首个针对文生视频扩散模型“运动规划”（motion planning）过程的机制可解释性研究，并据此从架构层面修复物理缺陷。作者将运动规划定义为两个子过程的合称：把文本条件语义注入视频 latent，以及把语义分配到各帧以确定物体在每帧的位置、同时尽量保持帧间运动连贯。围绕它提出三个问题：(1) 运动规划发生在哪里（哪些模块、哪些注意力头负责）；(2) 这一过程如何展开（每帧多个候选位置如何竞争与收敛为确定位置）；(3) 能否从机制中获得更好的架构设计或算法优化灵感。最终落点是定位导致物理违背的具体架构缺陷，并给出训练无关（training-free）与基于训练（LoRA 微调）两种轻量修复方案，使自由落体、弹性碰撞、抛物运动等固体动力学轨迹更符合物理常识。
与已有工作不同的是，已有经验性研究发现扩散模型去噪遵循“先形状后细节”规律：空间布局在极早期步骤内定型（Tinaz et al. 2025、Yi et al. 2024；几乎同时期的 Wang et al. 2026c 提出 Chain-of-Steps，观察到 I2V 任务早期并行涌现多条合理路径），但这些工作都止步于现象描述，“形状”在架构层面如何形成、由谁决定仍不清楚。物理感知生成方向上，显式方法以物理模拟器为条件或约束，隐式方法依赖策展数据（如 WISA）、LLM 提示改写（PhyT2V）或外部基础模型对齐（VideoREPA），均未触及架构根因，且专用结构（物理专家、记忆模块）带来额外开销、妨碍规模化。本文的独特切入是：以交叉注意力——语义注入的唯一入口——为窗口追踪轨迹形成；用因果干预在头粒度上区分“可见的轨迹模式”与“真正驱动运动规划”；再用自注意力与 RoPE 衰减的数学分析把失败模式统一归因于位置编码的空间衰减过快，从而把可解释性结论直接转化为只需两个标量的 RoPE 频率缩放修复，不引入任何外部模块。
核心方法
直觉上，生成一段有物体运动的视频，模型要先回答“物体长什么样”和“每一帧物体在哪”：前者由交叉注意力从文本注入语义，后者由自注意力在视频 token 间协调。论文在 Wan2.1-T2V-1.3B（30 层 DiT、每层 12 头、默认 50 步去噪、CFG 尺度 5.0、生成 81×480×832 视频、FlowUniPC 采样器）上以“篮球自由落体反弹”为主案例展开。技术路线分四步：第一步，逐层逐步可视化视频 latent 对物体 token 的交叉注意力图，用注意力熵和轨迹支撑质量（support quality）量化轨迹形成，发现前 5 步内每帧从随机噪声演化为沿轨迹分布的多个候选区域、再收敛为确定位置；第二步，设计收敛速度与头贡献两个指标（归因修补打分 + 头输出置零的零消融验证），把交叉注意力头分为四类，锁定真正驱动运动规划的少数头；第三步，从交叉注意力提取每帧候选区域，用相互一致性（mutual consistency）度量自注意力对各候选的信心，揭示 RoPE 空间衰减造成的“空间锚定效应”如何压制物理上更合理的候选；第四步，把结论转化为对 RoPE 在高度、宽度维频率乘以 $\lambda<1$ 的缩放，仅在前 5 个去噪步生效，分别给出 training-free 与 LoRA 微调两种方案，并在 VideoPhy 343 个样本上以人工评估的 SA/PC 验证有效性。
核心创新有二。其一是机制层面：首次证明交叉注意力中“可见的轨迹模式”既不是运动规划职责的充分条件、贡献大小也不等于对轨迹的真实影响——只有收敛速度 $>0.1$ 且贡献 $>1.0$ 的第三类头（如 L15H2）才真正把运动语义写入残差流，消融它们会使轨迹坍缩；而第四类头虽有清晰轨迹模式、消融后轨迹不变，说明其轨迹图案更多是第三类头写入运动语义后的副产品。其二是架构层面：把大多数物理违背失败模式归因于 RoPE 在空间维的过度注意力衰减（“空间锚定效应”）。由于 RoPE 点积含 $e^{i\Delta p\theta}$ 因子且存在长程衰减，注意力天然偏向同帧内空间邻近区域，使部分自注意力头在所有帧上都聚焦相同位置；一旦个别帧在早期把物体位置锁定在一个物理上不合理的点（种子 20 案例中第 10 帧以 0.63 的高信心早早稳定），相邻帧中位置更合理但相对距离更远的候选就会被衰减压制，物体于是“冻结”在空中。与依赖外部先验或数据的既有路线本质不同，本文直接修改位置编码本身：$f^h(q,p)=q^h e^{ip_h\lambda_h\theta}$、$f^w(q,p)=q^w e^{ip_w\lambda_w\theta}$（$\lambda_h,\lambda_w<1$），减缓空间衰减，让模型在运动规划窗口内探索更多候选位置——这是一行式的架构级修复，而非外挂模块。
方法步骤详情
分析阶段：(1) 输入文本与视频 latent，逐步提取各层各头对物体 token 的交叉注意力图并做视频级归一化 $P^{vid}$，计算注意力熵 $H^{vid}/\log(fhw)$ 与支撑质量 $Q^{vid}$（注意力质量落在 Algorithm 1 构建的参考轨迹圆形支撑掩码内的比例，掩码经 winsorization 0.995、despiking 0.98 等清理），观察到两项指标在第 5 步附近同步出现拐点（Figure 3），即轨迹模式显现。(2) 计算每头的收敛速度（前 10 步支撑质量均值）与头贡献：以归因修补近似消融效应，patching 度量 $\mathcal{L}_m=\sum_{p\in V} M^{obj}(p)[u^t_{cond}(p)^\top\cdot\text{stopgrad}(\Delta u^t_{clean}(p))]$，其中 $\Delta u^t_{clean}$ 是干预前条件分支与无条件分支的预测速度之差、只保留语义增量；再用把头输出置零的零消融在完整 50 步生成上验证（Figure 4、5），得到四类头分类及“第三类头负责运动”的结论。(3) 用 Algorithm 2 从各层各步的头平均交叉注意力中提取每帧候选区域 $\{\Omega_{i,k}\}$，以第 49 步第 27 层的单区域为锚点计算锚距 $d_k$；定义归一化自注意力强度与相互一致性 MC，验证 MC 与锚距的相关随去噪推进而增强（Figure 18），并追踪种子 20 失败案例中候选胜负反转的完整动态（Figure 8、9、19），确认空间锚定压制机制。修复阶段：(4) 推理时仅在前 5 步对高度、宽度维 RoPE 施加频率缩放（training-free 逐案例手调 $\lambda$）。(5) 训练方案：LoRA（rank 64、α 32、批 32、学习率 1e-4、Adam、1500 步 1 epoch、4×A800 80G、800 步 checkpoint 最优），配合自定义时间步采样器以 $p_{early}=0.9$ 采样前 10% 时间步，$\lambda$ 从 0 缓升至 0.75，数据为 WISA 数据集（8 万条、17 种物理定律）严格过滤后的约 4.8 万条视频。(6) 在 VideoPhy 343 个测试样本上以人工盲评的 SA/PC 双指标评测，并检查美学是否退化。
技术新颖性
技术新颖性体现在四个方面。第一，研究对象新：这是首个针对文生视频扩散模型运动规划过程的可解释性研究，并提供了可复用的分析框架与工具（参考轨迹掩码构建 Algorithm 1、候选区域提取 Algorithm 2、相互一致性度量等）。第二，方法学新：把语言模型中的归因修补移植到流匹配模型，设计了面向运动规划的 patching 度量——以参考区域内条件速度与语义增量 $\Delta u_{clean}$ 的内积为目标，规避了视频缺乏显式语义 token 的困难；并首次在视频扩散中用“模式可见性”与“因果贡献”两个正交维度给注意力头分类。第三，机制发现新：定量刻画了候选区域早期的高敏感竞争（胜负差距在前几步围绕 0 震荡，Figure 19），并把失败模式统一归因到 RoPE 空间衰减这一此前被忽视的架构缺陷，而非数据分布或条件注入问题。第四，修复方式新：不改训练目标、不引外部模块，仅用两个标量 $\lambda$ 在去噪前 5 步缩放 RoPE 频率即可提升物理一致性，且与提示改写（PR）、LoRA、VideoREPA 正交可叠加；作者还发现可学习的逐头 $\lambda$（$\lambda^a_{\ell,k}(\tau)=\exp(\mu^a_{\ell,k}+g_\psi(e_\tau))$）训练后会有一半头 $\lambda>1$、无显著收益，反向印证了流匹配损失对运动信息不敏感这一深层结论，进一步支撑了“强制探索”式固定缩放的合理性。
实验结果
按实验顺序的核心发现：(1) 轨迹在前 5 步形成——第 27 层头平均交叉注意力显示 T1 随机噪声→T3 沿轨迹分布的多个高亮候选→T5 收敛→T7 呈现清晰轨迹（Figure 2）；第 15 层各头的注意力熵与支撑质量在第 5 步同时出现拐点（Figure 3）。(2) 头分类实验（Figure 5 散点图分为四区）：第一类（收敛速度<0.1、贡献<0.5）多为第 0、1 层浅层头，全部消融导致物体无位移，但剔除浅层头后再次消融对形状轨迹无影响；第二类（低速度、贡献>0.5）消融后仅物体尺寸略变，主要影响物体外观与背景等静态内容；第三类（速度>0.1、贡献>1.0）数量最少但消融后轨迹明显坍缩（Figure 4e）；第四类（有轨迹图案但贡献极低）消融后仅初始位置轻微偏移、整体轨迹不变（Figure 4d）。该分类在其他案例与种子上绝对多数成立。(3) 自注意力动态：种子 20 失败案例中，第 14 帧 K1 在第 2 步占优、第 3 步被 K3 反超（0.21 vs 0.33）；第 10 帧 K1 以 0.63 信心早早锁定，借助空间锚定效应把第 14 帧拉向与其一致的位置，篮球悬停空中（Figure 8、9）；各层胜负差距在前 25 步内围绕 0 震荡（Figure 19），印证早期竞争的高度不稳定。(4) VideoPhy 人工评测（Table 1）：基线 SA 53.64/PC 29.45；training-free 的 modified RoPE 达 57.43/39.94（PC +10.49）；LoRA+modified RoPE 达 64.72/41.98，超过 LoRA 单独（55.69/35.57）与 VideoREPA（56.56/37.90）；再叠加提示改写后最佳达 87.46/62.68。提升集中在大幅运动的固体子集：Solid-Solid PC 24.52→50.61、Solid-Fluid 31.41→72.81，而 Fluid-Fluid 上 modified RoPE 单独使用 SA 反而略降（63.74→61.87）。(5) 附加发现：固定种子 42 训练的模型能改善其他种子的轨迹（Figure 23），泛化性良好；只微调注意力模块优于同时微调 FFN——后者不提升运动反损害外观（Figure 20 瓶塞形变），佐证物理缺陷源于注意力；training-free 方案需逐案例手调 λ 且物体恒存性不稳（Figure 22）；在 14B 模型上定性验证同样有效（Figure 33-37）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VideoPhy 文生视频物理常识（Overall，人工评估） | Semantic Adherence SA (%) | 87.46（Wan2.1-1.3B-LoRA+modified RoPE+PR） | 53.64（Wan2.1-T2V-1.3B 原始模型） | +33.82 |
| VideoPhy 文生视频物理常识（Overall，人工评估） | Physical Commonsense PC (%) | 62.68（LoRA+modified RoPE+PR）；纯 LoRA+modified RoPE 为 41.98 | 29.45（原始模型）；训练类基线 VideoREPA 为 37.90、LoRA 为 35.57 | +33.23（对比原始模型）；+4.08（对比最强训练基线 VideoREPA） |
| VideoPhy 训练无关设定（Overall） | PC (%) | 39.94（modified RoPE，仅前 5 步缩放频率） | 29.45（原始模型）；提示改写 PR 为 44.31 | +10.49，且与 PR 正交（叠加后达 58.89） |
| VideoPhy Solid-Solid 子集 | PC (%) | 50.61（LoRA+modified RoPE+PR） | 24.52（原始模型） | +26.09（约 2.06 倍） |
| VideoPhy Solid-Fluid 子集 | PC (%) | 72.81（LoRA+modified RoPE+PR） | 31.41（原始模型） | +41.40 |
| VideoPhy Fluid-Fluid 子集 | PC (%) | 72.81（LoRA+modified RoPE+PR）；modified RoPE 单独为 43.74 | 36.55（原始模型） | +36.26（组合方案）；单独 RoPE 修改仅 +7.19 且 SA 略降 |
局限与改进
作者承认的局限：研究聚焦固体动力学（轨迹易追踪），未覆盖光学、热学与流体等更广物理范畴；实验限于 T2V，I2V 与少步自回归扩散架构留待未来工作；training-free 方案需要为每个案例手动调 λ（在 [0.50,0.90] 搜索 8 个值），且常伴随运动轨迹与物体恒存性不稳定（Figure 22）；测试时 λ=0.70 与训练值 0.75 不一致，说明方案对超参敏感。我的补充观察：机制结论主要来自 Wan2.1-T2V-1.3B 一个模型、以篮球自由落体一个主案例展开（其他案例与种子仅做定性验证），对其他 DiT 架构（HunyuanVideo、CogVideoX 等）的普适性没有量化证据；14B 验证只有定性对比（Figure 33-37）而无数字；VideoPhy 人工评测未报告评估者人数与评分者间一致性，二值 SA/PC 指标也较粗糙；可学习 λ 的失败暴露出更深层问题——流匹配损失对运动信息不敏感——本文选择绕过（固定强制缩放）而非解决；此外 Fluid-Fluid 子集上纯 RoPE 修改的 SA 反而略降（63.74→61.87），提示减弱空间衰减可能损害某些依赖空间局部性的生成内容，但论文未系统刻画这一负作用的边界。
独立分析的弱点
独立分析的弱点：(1) 分析链条以交叉注意力候选区域为核心代理，但交叉注意力模式本身是自注意力结果的上游反映（论文自己承认 cross-attention patterns reflect self-attention outcomes），用它反推自注意力机制存在间接性风险，可用稀疏自编码器或对 latent 运动场的直接探测做交叉验证；(2) 方法学上以单模型、单案例（篮球自由落体）优先，其他提示仅作验证，可能遗漏头功能在不同提示分布下的漂移，建议在多个提示族上做头分类的统计稳定性检验后再下普适结论；(3) 修复方案把同一个 λ 统一施加到所有层所有头，粒度过粗——可学习逐头版本失败后作者直接放弃自适应路线，更好的方向是先设计对运动敏感的训练信号（如按帧差或光流幅值加权的流匹配损失），再放开逐头 λ 的学习；(4) 推理时只修改前 5 步且绑定默认 50 步、shift 5.0 的调度，对少步蒸馏模型、不同采样器（如 DPM-Solver）或不同分辨率 token 网格的适配性未知；(5) 评测仅依赖 VideoPhy 二值人工指标，缺少 Physics-IQ 等更细粒度物理基准，美学影响也只有“评估者标记明显退化”式的粗检查；(6) 空间衰减减弱后对需要强空间局部性的内容（纹理对齐、细节保真）的潜在伤害仅在 Fluid-Fluid SA 上初现端倪，缺乏系统研究。每个弱点都指向一个可操作的改进：交叉验证工具、多案例统计、运动感知损失、调度自适应、扩展基准、负作用边界分析。
未来方向
作者明确提出：把分析扩展到更广场景（如 I2V）与其他模型架构（如少步自回归扩散模型）。基于本文成果还可延伸：(1) 运动感知的训练目标——既然流匹配损失对帧间微小位移不敏感（可学习 λ 失败的根因），可按帧差或光流重加权损失，让物理信号真正进入优化目标，这也能让逐头自适应 λ 重新变得可行；(2) 推理时定向干预——相互一致性度量可用于在线监测候选竞争，在第 3-5 步检测到不合理早期锁定时动态施加 RoPE 修正或候选重置，实现无需训练的定向修复；(3) 与表征对齐（VideoREPA）、物理模拟器条件形成“架构修正+表征对齐+外部先验”的多层互补方案，本文已证明 RoPE 修改与它们正交可叠加；(4) 把头分类与锚定分析框架移植到流体、光学、热力学现象，寻找各自的功能头与对应的位置编码缺陷；(5) 利用候选区域竞争机制做可控轨迹编辑——在早期去噪步骤人工提升指定候选的相互一致性即可注入自定义物体轨迹；(6) 检验空间锚定效应是否随模型规模（1.3B→14B→更大）变化，为“世界模拟器”路线提供架构层面的改进依据。
复现评估
复现条件较好。代码完整开源（https://github.com/Siriuslala/physics），覆盖可解释性分析与 RoPE 架构修改两部分；基座模型 Wan2.1-T2V-1.3B/14B 在 HuggingFace 官方开源；训练数据 WISA 公开（8 万条、17 种物理定律，作者按时长>2s、运动分数 0.10–6.50 等规则过滤后约 4.8 万条，规则在附录 H.2 详列）；附录 B/F/H 给出完整架构参数（30 层、12 头、$D=1536$、token 网格 21×30×52）、RoPE 数学推导与全部超参（LoRA rank 64/α 32、批 32、学习率 1e-4、Adam $\beta_1=0.9/\beta_2=0.999$、1500 步取 800 步 checkpoint、$p_{early}=0.9$、λ 训练 0.75/测试 0.70）。算力方面：推理只需单张 A800；LoRA 训练需 4×A800 80G、1 epoch，属中等规模，学术实验室可承受。主要门槛有三：(1) 可解释性分析需在 50 步去噪中缓存各层各头注意力图并运行归因修补，显存与工程开销不小；(2) VideoPhy 自动裁判存在幻觉偏差，作者改用人工盲评，复现者需自行组织评估者并控制盲评协议；(3) λ 与 $p_{early}$ 的选择依赖案例级人工调整（附录给出搜索范围与默认值），迁移到新模型仍需重调。总体难度中等：仅复现推理侧 RoPE 修改非常容易（改几行频率配置），完整复现训练与人工评测需要多卡算力和评估人力。
论文图表
四行分别是种子 26、20、8、29 生成的“篮球自由落体反弹”视频帧序列：种子 26 基本符合物理，其余三个种子分别出现空中反弹、反重力悬浮和突然冻结等违背力学常识的现象。
这是全文要解释的问题实例：同一提示仅换随机种子就产生截然不同的物理合理性，说明失败不是提示或数据问题而是模型内部机制问题，为后续机制分析提供了具体靶子。
可学习逐头 λ（公式 26）训练过程中的最小/最大/平均值：min 持续下降、max 持续上升，均值稳定在 1.0 附近，约一半头的 λ>1，最终物理常识无显著提升。
记录了一次“失败的尝试”，揭示流匹配损失对运动信息不敏感这一深层问题，解释了为何必须采用固定强制缩放而非自适应方案。