帧中思考：视觉上下文与测试时缩放如何赋能视频推理 Thinking in Frames: How Visual Context and Test-Time Scaling Empower Video Reasoning
视频生成模型不仅是媒体工具，更是可扩展、可泛化的视觉推理范式
前置知识
视频生成模型 (Video Generation Models)
以Wan 2.2 TI2V为代表的大规模文本到视频扩散模型，通过学习海量视频数据中的时空动态，能够根据文本指令生成连贯的视频序列。这类模型通常采用扩散去噪架构，将噪声逐步还原为视频帧序列。Wan 2.2 TI2V 5B是一个50亿参数的模型，预训练于81帧序列的视频数据上，具备建模复杂视觉动态的潜力。其核心能力在于学习了帧与帧之间的隐式因果关系和物理约束，这使得它在理论上可以用于模拟规划过程。
本文将视频生成模型重新定义为视觉规划器，理解其工作原理是把握本文创新视角的基础。
多模态大语言模型 (MLLMs)
如Qwen-VL、GPT-5系列等模型，能够同时处理文本和图像输入，并通过文本输出进行推理。这类模型通常通过视觉编码器将图像转换为token，与文本token一起输入Transformer架构。然而，其推理过程本质上是文本化的，即通过自然语言描述来表达空间关系和动作序列。这种文本中介的推理方式在处理精细几何操作时存在带宽瓶颈。
本文通过对比MLLMs和视频生成模型在视觉推理任务上的表现，揭示了文本推理的根本局限性。
测试时缩放 (Test-Time Scaling)
在推理阶段增加计算量以提升模型性能的技术。对于大语言模型，这通常表现为生成更长的推理链（Chain-of-Thought）或进行多次采样聚合。其核心思想是让模型在得出答案前进行更深入的思考，类似于人类的System 2慢思考模式。在视觉领域，这一概念尚未被系统性地探索，本文首次将其引入视频生成模型的视觉规划任务中。
本文的核心发现之一是视频生成模型存在视觉测试时缩放定律，这是论文最重要的理论贡献。
分布外泛化 (Out-of-Distribution Generalization)
模型在训练时未见过的数据分布上表现的能力。在视觉规划场景中，这包括更大的迷宫尺寸（空间OOD）、更长的路径长度（时间OOD）以及未见过的视觉外观（如不同的代理图标）。传统的视觉代理往往过度拟合特定的视觉资产，泛化能力有限。零样本OOD泛化能力是衡量模型是否真正理解任务底层逻辑而非记忆像素模式的关键指标。
本文通过多维度的OOD测试证明视频生成模型具备真正的泛化能力，而非简单的模式记忆。
七巧板拼图 (Tangram Puzzle)
一种经典的几何空间推理任务，要求将7个离散的几何形状（2个大三角形、1个中三角形、2个小三角形、1个正方形、1个平行四边形）精确放置到目标轮廓中，不能重叠或变形。与迷宫导航不同，七巧板任务要求在整个画布上维持高频的几何一致性，涉及连续的旋转和平移操作。本文将其创新性地转化为序列化任务，要求模型逐步放置每个棋子。
七巧板任务代表了高视觉变化的连续操作场景，是测试模型几何约束保持能力的理想基准。
研究动机
现有多模态大语言模型在视觉推理任务上存在根本性瓶颈。具体而言，MLLMs通过文本描述进行推理，这种方式在捕捉精细几何上下文和物理动态时效率低下且不精确。例如，在描述七巧板棋子的精确连续旋转和放置位置时，或者在规划迷宫中的无碰撞轨迹时，文本描述难以高效表达这些空间信息。实验数据表明，即使是GPT-5.2这样的先进模型，在迷宫导航任务上的精确匹配率也仅为12.5%，在七巧板任务中几乎无法完成。更关键的是，现有研究主要集中在网格迷宫导航这类视觉变化小的离散动作空间任务上，且局限于分布内评估，未能充分探索生成式视觉推理器在连续操作和高视觉变化场景下的可控性和保真度挑战。
本文的目标是本文旨在系统性地探索视频生成模型作为视觉规划器的潜力，回答三个核心问题：第一，视频生成模型能否在多样化的视觉推理场景下支持规划，特别是面对分布外挑战时？第二，视觉上下文能否作为有效的控制信号，增强模型的几何一致性和泛化能力？第三，是否存在视觉领域的测试时缩放定律，即增加生成帧数能否提升长时序规划能力？具体目标包括：在两个对比性的推理体制（低视觉变化的迷宫导航和高视觉变化的七巧板拼图）上进行全面评估；证明模型能够泛化到未见过的空间尺度、时间复杂度和视觉外观；揭示视觉推理中的新兴缩放现象。
与已有工作不同的是，本文的独特切入角度在于将视频生成模型从单纯的媒体创作工具重新定义为可扩展、可泛化的视觉推理范式。与已有工作相比，本文抓住了三个被忽视的关键点：第一，已有视觉推理研究局限于简单的网格世界和分布内设置，本文引入了七巧板任务这一高视觉变化的连续操作场景，并进行了全面的分布外评估；第二，已有工作未充分探索视觉上下文作为控制信号的潜力，本文证明了显式视觉条件比文本指令更能引导模型的规划行为；第三，视觉领域的测试时缩放现象尚未被系统性研究，本文首次发现增加推理帧预算类似于LLMs中增加推理链长度，能够解锁模型在复杂任务上的新兴能力。
核心方法
本文的方法核心思想可以类比为：如果大语言模型通过生成文本来思考，那么视频生成模型可以通过生成帧序列来思考。这种视觉思考提供了更高带宽的时空表示，能够自然地编码空间关系和物理动态。技术路线如下：给定初始状态图像 $s_{start}$、目标规格 $g$（如目标图像或轮廓）和潜在物理约束 $c$（如碰撞避免、物体恒常性），目标是生成视频序列 $V = \{v_0, v_1, \ldots, v_T\}$，其中 $v_0 = s_{start}$。一个有效的解决方案轨迹必须从 $s_{start}$ 过渡到满足目标条件 $g$ 的最终状态 $v_T$，同时保持时间一致性并遵守约束 $c$。在这个框架中，生成模型 $P_ heta(V|s_{start}, g)$ 充当规划策略，帧的时间演化 $v_t \rightarrow v_{t+1}$ 对应于规划的执行。与输出离散动作 $a_t$ 的符号规划器不同，视频模型输出连续的高维密集转换，需要隐式学习潜在规则和因果动态。
本文的核心创新点在于两个发现的结合：视觉上下文作为控制（Visual Context as Control）和视觉测试时缩放（Visual Test-Time Scaling）。第一个发现表明，通过在生成过程中注入特定的视觉上下文（如代理图标或拼图形状），模型能够维持高视觉一致性并稳健地适应未见过的模式，无需微调。这与依赖文本指令然后映射到视觉模式的方法形成本质区别——视觉上下文直接作为几何参考锚定推理过程。第二个发现揭示了视觉领域的缩放定律：增加生成视频的长度（视觉推理预算）能够提升模型在空间和时间上复杂路径的零样本泛化能力。这类似于LLMs中通过更长推理链实现的System 2思考，模型利用额外的帧来思考更长时间以找到解决方案。更令人兴奋的是，在高帧预算下观察到了新兴的自我纠正行为——模型在生成过程中能够检测到错误方向并进行回溯修正。
方法步骤详情
方法的具体步骤如下：首先，构建两个对比性的推理任务数据集。迷宫导航任务包含从3x3到6x6的网格迷宫，使用40种不同的视觉图标，训练集包含4000个实例。七巧板任务包含692个数据项，每个包含7个彩色几何棋子和目标轮廓。其次，采用Wan 2.2 TI2V 5B作为主干模型，使用LoRA进行参数高效微调，训练20个周期。对于迷宫导航，使用81帧序列；对于七巧板旋转设置，扩展到201帧以避免运动模糊。第三，设计三种七巧板变体来测试视觉上下文的影响：Fade-In（棋子逐渐出现在目标位置，无几何先验）、Rotation（棋子以随机方向出现在左侧，需要旋转和平移）、Translation（棋子以正确方向出现在左侧，仅需平移）。第四，引入视觉测试时缩放机制，通过调整总帧数（61-141帧）和每步缩放因子 $\kappa \in \{5, 7, 9, 11\}$ 来分配不同的推理预算。最后，设计确定性、基于规则的视觉评估器，通过像素级分割和几何基元来严格评估生成结果的几何保真度。
技术新颖性
本文的技术新颖性体现在三个层面。第一，在问题定义上，本文首次引入七巧板任务作为视觉规划的压力测试，将空间推理从静态、离散规划扩展到能够处理高视觉变化的连续动态过程。与迷宫导航不同，七巧板任务要求在整个画布上维持几何一致性，这对生成模型提出了全新挑战。第二，在方法论上，本文提出了视觉上下文作为控制约束的新范式。实验表明，视觉条件比文本指令更有效地引导模型的规划行为，模型能够学习条件策略 $P(\text{Trajectory}|\text{Icon}, \text{Layout})$，将视觉实体与规划算法解耦。第三，在理论发现上，本文首次识别出视觉领域的测试时缩放定律，证明增加帧预算能够解锁模型在分布外复杂任务上的新兴能力。这一发现具有深远意义，暗示视觉生成模型可能具备类似LLMs的可扩展推理潜力。
实验结果
本文的实验结果揭示了三个关键发现。第一，稳健的零样本泛化能力：在迷宫导航任务中，视频模型在分布内设置下达到96.0%的精确匹配率（EM），在未见过的7x7网格上保持92.0%，在8x8网格上为78.0%，呈现优雅下降而非灾难性失败。在未见过的视觉图标测试中，3x3迷宫的准确率从94.00%仅微降至92.00%，5x5迷宫保持94.00%，表明模型已将规划算法与视觉实体解耦。在七巧板任务的Translation设置下，未见过轮廓的准确率（60.8%）与见过轮廓（68.0%）相当。第二，视觉上下文的关键作用：在七巧板任务中，视觉上下文的存在与否导致性能显著差异。Fade-In设置（无几何先验）的严格目标完成率仅为0.8%，Rotation设置（需要几何变换）为22.4%，而Translation设置（提供完整视觉参考）达到68.0%。这一严格性能层级确认了视觉上下文作为几何控制信号的重要性。第三，视觉测试时缩放定律：在迷宫导航中，增加帧数（从81到121帧）持续提升分布外性能，每步缩放因子 $\kappa=9$ 时达到峰值。更令人兴奋的是，在高帧预算下观察到了新兴的自我纠正行为，模型能够生成回溯轨迹来修正错误方向。然而，七巧板任务中未观察到类似趋势，揭示了几何一致性保持与逻辑推理之间的不同瓶颈。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 迷宫导航（分布内） | 精确匹配率 (EM) | 96.0% | VPRL-7B: 73.5%, GPT-5.2: 12.5% | 相对VPRL提升30.6% |
| 迷宫导航（OOD 7x7网格） | 精确匹配率 (EM) | 92.0% | VPRL-7B: 14.0%, Qwen3-VL-8B: 20.0% | 相对VPRL提升557% |
| 迷宫导航（OOD 8x8网格） | 精确匹配率 (EM) | 78.0% | VPRL-7B: 4.0%, Qwen3-VL-8B: 19.2% | 相对VPRL提升1850% |
| 七巧板（Translation设置，见过轮廓） | 严格目标完成率 | 68.0% | Qwen-VL: 28.0%, Qwen-Image-Edit: 85.7% | 相对Qwen-VL提升143% |
| 七巧板（Translation设置，未见过轮廓） | 严格目标完成率 | 60.8% | Qwen-VL: 1.6%, Qwen-Image-Edit: 76.0% | 相对Qwen-VL提升3700% |
| 七巧板（Rotation设置，见过轮廓） | 边界遵循度 (IoU) | 98.1% | Qwen-VL: 89.5% | 提升9.6% |
局限与改进
本文的局限性主要体现在以下几个方面。首先，几何一致性保持仍是瓶颈：在七巧板的Fade-In和Rotation设置中，视频模型的性能明显低于图像编辑模型。在Fade-In设置下，严格目标完成率仅为0.8%，远低于Qwen-Image-Edit的31.0%。作者将此归因于视频生成模型需要建模整个序列的联合概率 $P(v_0, \ldots, v_T)$，而图像编辑模型仅需优化条件边际 $P(s_{goal}|s_{start})$。其次，测试时缩放存在天花板效应：在迷宫导航中，当帧数增加到141帧时，时间OOD任务的性能反而下降，这归因于模型位置编码的架构限制，难以外推到显著偏离训练分布的序列长度。第三，任务依赖的缩放效应：视觉测试时缩放定律在迷宫导航中成立，但在七巧板任务中不成立。分析表明，七巧板任务中几何一致性指标与任务成功的相关性 $\rho \geq 0.6$，揭示了不同任务类型的本质瓶颈差异。第四，评估范围有限：本文仅在两个任务上进行评估，未探索更复杂的视觉推理场景。
独立分析的弱点
基于独立分析，本文存在以下弱点及改进方向。第一，视频生成模型的优化密度问题：当前模型需要建模整个序列的联合概率，导致在高视觉变化场景下几何保真度受损。改进方向包括设计分层生成架构，先生成关键帧再插值，或引入显式的几何约束损失来强制形状保持。第二，位置编码的外推限制：当前模型在帧数显著偏离训练长度时性能下降。可探索旋转位置编码（RoPE）的外推技术或相对位置编码来支持更灵活的序列长度。第三，缺乏显式的物理约束编码：当前模型隐式学习物理规则，可能导致在复杂约束下违反物理定律。改进方向包括在训练中引入显式的碰撞检测损失或物体恒常性约束。第四，评估器的局限性：当前的像素级评估器依赖颜色分割，对生成伪影敏感。可探索基于神经网络的语义评估器来更好地捕捉高层语义一致性。
未来方向
作者提出了几个重要的未来研究方向。首先，探索更复杂的视觉推理任务，如不规则迷宫导航。实验显示模型在不规则迷宫上展现出一定的零样本适应能力，能够生成对角线轨迹，但成功率较低，需要进一步研究。其次，改进几何一致性的维持机制，特别是在长时间序列的高视觉变化场景下。第三，研究更高效的视觉测试时缩放方法，突破当前的位置编码限制。基于本文成果可延伸的方向包括：将视觉推理范式扩展到机器人操作、自动驾驶等实际应用场景；探索视觉-文本混合推理的协同效应；研究视觉推理中的组合泛化能力，如将多个简单规划技能组合解决复杂任务。此外，视觉测试时缩放定律的理论基础值得深入研究，以理解为什么增加帧数能够解锁新兴推理能力。
复现评估
本文的可复现性较好。主干模型Wan 2.2 TI2V 5B是开源的，基于DiffSynth-Studio框架训练，该框架也是开源的。微调采用LoRA技术，仅需调整少量参数（rank=32），计算成本相对较低。迷宫导航数据集基于公开的配置库构建，七巧板数据集源自公开的Kilogram数据集。详细的超参数配置在论文附录中提供，包括学习率（1e-4）、训练批量大小（1）、训练周期（20）等。然而，完整复现仍面临一些挑战：需要1个GPU进行训练（具体型号未明确）；七巧板数据集需要从Kilogram数据集重新构建；评估器需要自行实现像素级分割逻辑。总体而言，有经验的研究者应该能够在合理时间内复现主要结果。
论文图表
