揭秘视频推理：扩散模型中的推理机制 Demystifing Video Reasoning
视频扩散模型的推理沿去噪步骤展开，而非跨帧进行
前置知识
扩散模型（Diffusion Model）
扩散模型是一类通过逐步向数据添加高斯噪声（前向过程），再学习逆过程（去噪）来生成数据的深度生成模型。在视频生成中，模型从纯随机噪声出发，经过数十个去噪步骤逐步恢复出结构化视频内容。每个去噪步骤 $s$ 对应一个噪声水平 $\sigma_s$，模型预测速度场 $v_\theta(x_s, s, c)$ 来指导从噪声到数据的连续传输路径。
本文的核心发现是推理发生在扩散去噪步骤中，理解扩散模型的基本工作原理是理解全文的基础
流匹配（Flow Matching）
流匹配是一种训练扩散模型的框架，它定义了从噪声 $x_1 \sim \mathcal{N}(0, I)$ 到干净数据 $x_0$ 的连续传输路径。中间状态通过线性插值获得：$x_s = (1-s)x_0 + sx_1$，其中 $s \in [0,1]$ 是时间步。模型学习的速度场 $v_\theta$ 描述了沿该路径的运动方向，与传统的 DDPM 噪声预测不同，流匹配直接学习速度，使生成过程更加直观和高效。
本文使用基于流匹配的模型进行分析，理解这一框架有助于理解中间状态 $x_s$ 的物理含义和去噪过程的连续性
扩散 Transformer（DiT）
DiT 是将 Transformer 架构应用于扩散模型的骨干网络，用自注意力机制替代传统的 U-Net 结构。在视频生成中，DiT 将视频帧编码为 token 序列，通过多层 Transformer 块进行处理。每个块包含自注意力和前馈网络，层间逐步从低层感知特征（如背景结构）向高层语义推理（如对象交互）过渡。论文使用的 Wan2.2-I2V-A14B 模型包含 40 层 DiT 块，嵌入维度 $D=5120$。
论文的重要发现之一是 DiT 内部存在自发的功能分层，理解 DiT 架构是理解层分析实验的关键
Chain-of-Frames（CoF）假设
CoF 是先前工作提出的视频推理机制假说，认为扩散视频模型的推理是沿时间维度（即跨帧）顺序展开的：后续帧在生成时逐步推理前一帧的内容，形成类似链式推理的过程。这一假设暗示推理主要发生在帧与帧之间的因果关系上，类似于语言模型中的 Chain-of-Thought。
本文的核心贡献是反驳 CoF 假设，提出新的 Chain-of-Steps 机制，理解 CoF 是理解本文创新点的前提
CKA 相似度
Centered Kernel Alignment（CKA）是一种用于比较两个神经网络层表示相似度的指标。在本文中，CKA 消融度衡量注入噪声后的表示与原始表示的差异，值域为 $[0,1]$：0 表示无影响，1 表示完全破坏。通过计算不同去噪步骤注入噪声后的 CKA 消融度，可以量化信息在去噪过程中的传播和丢失情况。
论文使用 CKA 消融度实验来证明推理关键步骤，这是验证 Chain-of-Steps 机制的重要实验证据
CFG（Classifier-Free Guidance）
Classifier-Free Guidance 是扩散模型中常用的引导技术，在推理时同时执行有条件和无条件前向传播，通过两者的线性组合增强生成内容与文本提示的一致性。本文在层分析中专门捕获 CFG 正向传播（positive pass）的隐藏状态，以隔离模型的主要推理轨迹，避免条件/无条件混合带来的混淆。
论文在分析 DiT 内部表示时使用了 CFG 正向传播，理解这一技术细节有助于理解实验方法的严谨性
研究动机
近期研究发现基于扩散的视频生成模型展现出令人意外的推理能力——能够解决迷宫导航、井字棋、物体运动等复杂任务。先前工作将此归因于 Chain-of-Frames（CoF）机制，假设推理沿着视频帧的时间维度顺序展开，即后续帧逐步在前序帧的基础上构建推理结论。然而，这一机制假说从未被系统验证过。具体而言，CoF 假设推理主要发生在帧与帧之间的因果关系上，类似于语言模型中的 Chain-of-Thought 在 token 序列上的展开。但视频扩散模型使用的双向注意力机制（bidirectional attention）使得所有帧在每个去噪步骤中都能同时观测到整个序列，这与 CoF 的顺序推理假设存在根本矛盾。此外，现有研究缺乏对视频推理内部机制的细粒度分析，包括推理在哪个维度（时间 vs. 去噪步骤）展开、模型内部是否存在类似 LLM 的涌现推理行为、以及 DiT 各层的功能分工等关键问题均未得到解答。
本文的目标是本文的目标是首次对视频推理机制进行系统性的解剖研究，揭示扩散视频模型内部推理过程的真实运作方式。具体目标包括三个层次：第一，通过定性分析和针对性扰动实验，确定推理主要沿哪个维度（帧时间轴 vs. 去噪步骤）展开；第二，识别和刻画视频推理中涌现的关键推理行为，如工作记忆、自我纠错、先感知后行动等，这些行为在 LLM 研究中已被发现但在视频生成中从未被系统研究；第三，对 DiT 骨干网络进行逐层的机制分析，揭示不同层在推理过程中的功能分工。最终目标是基于这些洞察提出改进视频推理的实用策略。
与已有工作不同的是，本文的独特切入角度在于从根本上质疑了先前的 CoF 假设，提出了一种全新的推理机制理解框架。与以往从外部（如使用多模态 LLM 引导视频生成）或从输出端（如评估最终生成质量）研究视频推理不同，本文首次深入模型内部，从中间去噪状态、信息传播动态、逐层表示三个维度进行细粒度分析。这一视角的转换——将推理轴从时间维度（帧）转向去噪维度（步骤）——不仅揭示了视频推理的真实机制，还暗示了扩散模型可能正在做类似生物大脑的多路径并行规划（如大鼠海马体中的路径探索），为视频推理作为下一代机器智能的新基底提供了理论基础。
核心方法
本文的方法论可分为三个递进层次：首先是机制发现，通过解码每个去噪步骤的中间状态 $\hat{x}_0$ 来可视化模型的推理动态。具体来说，在基于流匹配的扩散模型中，中间状态通过公式 $\hat{x}_0 = x_s - \sigma_s \cdot v_\theta(x_s, s, c)$ 估计，这允许我们在每个去噪步骤观察模型的'想法'。其次是验证实验，通过在帧级别和去噪步骤级别分别注入噪声扰动，比较两种扰动对最终推理结果的影响，从而确定推理的主要发生维度。第三是层分析，通过逐层 token 激活可视化和层间潜在表示交换实验，揭示 DiT 内部的功能分层。最后，基于这些机制洞察，提出了一种无需训练的集成策略，在早期去噪步骤的不同随机种子运行之间聚合潜在表示，从而提升推理性能。
本文的核心创新是提出 Chain-of-Steps（CoS）机制，彻底颠覆了先前的 Chain-of-Frames（CoF）假设。CoS 认为视频推理主要沿扩散去噪步骤展开，而非跨帧进行。这一发现的关键证据在于：（1）通过解码中间去噪状态，发现模型在早期步骤同时探索多个候选解路径，中期逐步剪枝，最终收敛到正确答案；（2）噪声扰动实验表明，在特定去噪步骤注入噪声导致性能从 0.685 崩溃至 0.3 以下，而注入到特定帧的噪声影响微乎其微；（3）信息传播分析显示关键推理结论在去噪中期（步骤 20-30）基本固化。这一机制与 CoF 的本质区别在于：CoF 假设推理是帧间顺序因果的，而 CoS 认为推理是每一步全局并行的，双向注意力使得所有帧在同一去噪步骤内同时参与推理，中间假设逐步精炼。
方法步骤详情
本文的方法分为五个主要实验步骤。第一步是中间状态可视化：在每个去噪步骤 $s$，使用公式 $\hat{x}_0 = x_s - \sigma_s \cdot v_\theta(x_s, s, c)$ 估计干净潜在表示，解码后可视化模型在该步骤的推理状态，观察从噪声到结构化视频的逐步推理过程。第二步是噪声扰动对比实验：设计两种噪声注入方案——'Noise at Step'（在特定去噪步骤对所有帧注入高斯噪声）和'Noise at Frame'（在所有去噪步骤对特定帧注入高斯噪声），比较两种方案对最终性能的影响差异。第三步是信息传播分析：在不同去噪步骤 $s_t$ 注入噪声后，计算 CKA 消融度衡量信息传播和丢失模式，确定推理关键窗口。第四步是 DiT 层分析：（a）在 40 层 DiT 块上注册前向钩子，捕获隐藏状态，计算每个 token 的 L2 范数作为激活能量，可视化不同层的注意力分布；（b）执行层间潜在交换实验，将原始配置的第 $k$ 层表示替换为替代配置的表示，观察最终推理结果的变化，因果性地评估各层的贡献。第五步是训练自由集成：执行三次独立前向传播（不同随机种子），在去噪步骤 $s=0$ 的第 20-29 层（推理活跃窗口）进行时空平均聚合，融合多条推理轨迹。
技术新颖性
本文的技术新颖性体现在多个层面。首先，CoS 机制的发现本身具有范式转换意义——它从根本上重新定义了视频推理的理解框架，将研究焦点从时间维度转向去噪维度。其次，方法论上的创新在于首次将 $\hat{x}_0$ 估计技术系统性地用于推理分析，而非仅仅用于生成质量评估。第三，层间潜在交换实验设计巧妙，通过因果干预（而非仅相关性分析）揭示了 DiT 中间层（约第 20 层）是推理的关键瓶颈层——交换该层表示可完全翻转推理结果。第四，发现 DiT 内部自发形成了功能分层（感知-推理-整合），这一发现与视觉语言模型中发现的视觉功能层高度一致，但从未在视频扩散模型中被报道。最后，训练自由集成策略虽简单但原理深刻：它利用了 CoS 机制中模型天然进行多路径探索的特性，在推理活跃窗口融合多条路径，本质上是在潜在空间中执行'专家投票'。
实验结果
本文的核心发现可归纳为四大类。第一，Chain-of-Steps 机制的实验证据：通过可视化 $\hat{x}_0$ 中间状态，发现模型在早期去噪步骤同时探索多条候选路径（如迷宫中的上下两条路线、井字棋中的多个候选位置），中期逐步剪枝，后期收敛到单一答案。两种探索模式被识别：多路径探索（BFS 式搜索）和叠加态探索（同时表示多个互斥逻辑状态）。第二，噪声扰动实验的定量结果：在去噪步骤级别注入噪声导致 VBVR-Bench 分数从基线 0.685 崩溃至 0.3 以下（跌幅超过 56%），而帧级别注入噪声的影响显著更小，强有力地证明推理主要发生在去噪步骤维度。CKA 信息传播分析进一步显示，步骤 20-30 是对扰动最敏感的窗口，对应推理结论固化的关键期。第三，涌现推理行为：工作记忆（模型在去噪过程中保持对象初始位置，支持物体恒常性任务）、自我纠错（模型在中期步骤修正早期错误假设，如弹球轨迹从不完整逐步完善）、先感知后行动（早期步骤先定位目标对象，后期步骤进行运动规划和交互推理）。第四，DiT 功能分层：早期层（0-9）关注全局结构和背景，中间层（约 20 层）执行核心推理，后期层整合潜在表示。层交换实验显示，交换第 20 层表示可完全翻转推理结果，证明该层编码了语义决定性信息。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VBVR-Bench 视频推理基准（域内综合） | Overall In-Domain Score | 0.716（训练自由集成） | 0.685（VBVR-Wan2.2 基线） | +0.031（+4.5% 相对提升） |
| VBVR-Bench 域内-抽象推理 | In-Domain Abstraction Score | 0.760 | 0.724 | +0.036（+5.0%） |
| VBVR-Bench 域内-转换推理 | In-Domain Transformation Score | 0.858 | 0.833 | +0.025（+3.0%） |
| VBVR-Bench 域外综合 | Overall Out-of-Domain Score | 0.650 | 0.610 | +0.040（+6.6%） |
| VBVR-Bench 域外-知识推理 | OOD Knowledge Score | 0.705 | 0.572 | +0.133（+23.3%） |
| 噪声扰动实验 | 步骤级噪声注入后分数 | 低于 0.3 | 0.685（无噪声） | 跌幅超过 56%，证明步骤维度是推理关键 |
局限与改进
本文存在多个层面的局限性。首先，分析主要基于单一模型家族（Wan2.2-I2V-A14B），虽然该模型是当前最先进的视频推理模型之一，但 CoS 机制是否在其他架构（如基于 U-Net 的扩散模型）中同样成立尚不清楚。其次，训练自由集成策略的提升幅度相对有限（约 2% 绝对提升），且需要三倍的推理计算开销，在实际部署中可能不具备性价比。第三，蒸馏模型（4步模型）上的实验表明，当去噪步骤被大幅压缩时（从 50 步到 4 步），推理能力显著下降（从 0.685 降至 0.605），这揭示了 CoS 机制与推理速度之间的根本张力——高效推理需要足够的去噪步骤来展开多路径探索和逐步收敛。第四，论文对'推理'的定义主要基于特定的视频生成任务（迷宫、井字棋、物体运动等），这些任务的推理性质相对明确，但对于更开放的视频生成任务（如创意内容生成），CoS 机制的适用性有待验证。最后，层交换实验仅在第一去噪步骤执行，推理关键层是否随去噪步骤变化尚未探索。
独立分析的弱点
独立分析本文存在以下弱点：（1）单一模型依赖——所有实验均基于 VBVR-Wan2.2（从 Wan2.2-I2V-A14B 微调而来），缺乏在不同模型规模（如 3B、7B）和不同架构（如非 Transformer 骨干）上的验证，CoS 机制的普适性存疑。改进方向：在更多模型家族上重复关键实验（特别是噪声扰动和 $\hat{x}_0$ 可视化）。（2）定性分析为主——涌现推理行为（工作记忆、自我纠错、先感知后行动）主要通过视觉示例展示，缺乏大规模定量统计。改进方向：设计自动化评估指标，如通过目标检测量化多路径探索的候选数量、通过时序一致性指标量化自我纠错的频率和效果。（3）集成策略效率低——三倍推理成本对实时应用不现实。改进方向：探索单次推理内的潜在空间扰动或自适应噪声调度，在不增加推理次数的前提下保留多路径探索收益。（4）帧数量影响未充分分析——虽然附录显示帧数从 100 降至 17 时性能下降不显著，但未分析帧数与 CoS 机制的交互关系，如帧数过少是否会影响多路径探索的表达能力。（5）缺乏与 CoF 假设的直接对比实验——虽然噪声扰动实验间接反驳了 CoF，但未设计实验直接测试帧间因果推理的存在性。
未来方向
基于本文的发现，未来研究可沿多个方向展开。作者提出的方向包括：利用 CoS 机制设计更有效的推理增强策略（如自适应去噪步数分配——在推理关键窗口增加步骤、在非关键步骤减少步骤），以及探索视频推理作为机器智能新基底的可能性。基于本文成果可延伸的方向包括：（1）推理感知的蒸馏策略——当前蒸馏模型性能大幅下降的根本原因是压缩了推理步骤，未来可设计在保留推理关键窗口的前提下进行高效蒸馏的算法；（2）跨模态推理统一——CoS 机制与 LLM 的 Chain-of-Thought 存在深层类比，可探索统一的推理框架连接文本推理和视觉推理；（3）层感知的微调策略——基于 DiT 功能分层的发现，可设计针对性的微调方法，仅更新推理关键层（如 20-29 层）以提高训练效率；（4）推理可解释性工具——将 $\hat{x}_0$ 可视化和层分析方法发展为标准化的视频推理诊断工具，用于模型开发和调试；（5）生物启发的架构设计——CoS 机制与大鼠海马体路径规划的类比暗示了生物启发架构设计的潜力。
复现评估
本文的复现条件较为理想。首先，核心模型 VBVR-Wan2.2 和基础模型 Wan2.2-I2V-A14B 均为开源模型，降低了复现门槛。其次，训练自由集成策略本身无需额外训练，仅需在推理阶段执行多次前向传播和潜在聚合，实现相对简单。第三，论文使用了公开的视频推理基准 VBVR-Bench 进行评估，结果可直接对比。然而，复现的主要挑战在于计算资源：Wan2.2-I2V-A14B 是 14B 参数的大模型，单次推理需要大量 GPU 显存和计算时间，训练自由集成需要三倍推理开销，层分析需要在 40 层 DiT 块上注册钩子并存储中间激活。此外，$\hat{x}_0$ 可视化需要对每个去噪步骤解码潜在表示，计算量可观。噪声扰动和层交换实验相对容易实现，适合验证核心发现。总体而言，验证 CoS 机制的核心实验（$\hat{x}_0$ 可视化、噪声扰动）复现难度中等，而完整的层分析和集成策略需要较多计算资源。
论文图表