超大规模视频推理套件 A Very Big Video Reasoning Suite
首个百万级视频推理数据集VBVR，含200任务与可验证评测框架
前置知识
视频生成模型
基于扩散模型（Diffusion Models）和Transformer架构的深度学习模型，能够从文本提示或首帧图像生成连续的视频序列。典型代表包括Sora、Veo、Wan等闭源/开源模型。这些模型通过去噪过程逐步生成视频帧，但传统上主要优化视觉质量而非推理正确性。本文研究的Wan2.2-I2V-A14B是一个140亿参数的开源图像到视频模型，采用DiT（Diffusion Transformer）骨干网络。
本文的核心研究对象是视频生成模型的推理能力，理解这些模型的基本架构和工作原理是把握本文贡献的前提
认知架构（Cognitive Architecture）
源自亚里士多德和康德哲学的认知能力分类框架，将人类心智能力组织为层级结构。本文具体采用五大学院分类：感知（Perception）是从感官输入提取结构化表征；转换（Transformation）是心理表征的操纵与合成；空间性（Spatiality）是空间位置及其几何关系的表征；抽象（Abstraction）是从具体经验中蒸馏可泛化知识；知识（Knowledge）是命题性真理陈述的积累。每个学院被实现为参数化任务生成器族。
整个VBVR数据集的200个任务设计都基于这个五大学院框架，理解它才能理解任务分类和能力评估的逻辑
参数化任务生成器
一种确定性程序，通过可配置参数（如网格大小、物体数量、空间布局、难度等级等）自动生成大量训练/测试样本。每个生成器输出四元组：首帧图像、文本提示、目标帧图像、完整解答轨迹视频。通过分层采样确保参数空间的均衡覆盖，使用固定随机种子保证可复现性。本文的生成器架构支持云端分布式执行，通过Lambda函数和S3存储实现大规模并行生成。
参数化生成器是VBVR实现百万级数据规模的技术基础，也是确保数据质量和多样性的关键设计
In-Domain与Out-of-Domain评估
本文采用双分割评估策略：In-Domain（ID）测试包含50个与训练类别重叠但参数配置不同的任务，测试分布内泛化能力；Out-of-Domain（OOD）测试包含50个完全新颖的任务，测试是否能解决未经类似结构训练的推理挑战。这种设计区分了记忆特定模式与获取可迁移推理原语的能力。
ID与OOD之间的性能差距（约15%）是本文的核心发现之一，揭示了当前模型的根本局限
LoRA微调
Low-Rank Adaptation是一种参数高效微调方法，通过在预训练模型的权重矩阵中注入低秩分解矩阵来实现任务适配。本文对Wan2.2的DiT骨干网络的q、k、v、o、ffn.0、ffn.2模块应用LoRA，秩为32。这种方法只需训练少量额外参数（相比全参数微调），即可在不破坏基础模型生成能力的前提下注入推理能力。
本文使用LoRA微调作为数据规模实验的技术手段，使得在固定架构下研究scaling行为成为可能
Spearman相关系数
一种非参数统计量，用于衡量两个变量之间的单调关系强度，取值范围[-1, 1]。计算公式基于排序后的数据而非原始值，对异常值更鲁棒。本文用它验证VBVR-Bench自动评分与人类偏好判断之间的一致性，ρ > 0.9表示极强的正相关。相比Pearson相关系数，Spearman不要求线性关系假设，更适合评估排序一致性。
该指标是验证VBVR评测框架可靠性的核心证据，表明自动评分能忠实反映人类判断
研究动机
当前视频生成模型的发展严重偏向视觉质量，推理能力被严重忽视。虽然LLM在编程、数学、科学发现等文本推理任务上已展现出强大泛化能力，但这种能力主要局限于文本场景。视频模型有潜力支持一种新的推理范式——基于时空一致的视觉环境进行推理，其中空间结构、物理动力学和长程因果关系被自然编码。然而，社区仍缺乏系统推进视频推理研究的三个关键组件：（1）大规模多样化数据集以支持有意义的scaling和泛化研究；（2）基于可验证和可复现原则构建的评测工具包；（3）检验涌现能力的初步scaling研究。现有视频推理基准如Video-Zero-Shot（69任务，2,128样本）、V-ReasonBench（13任务，326样本）等规模极小，大多不提供训练数据，成为研究scaling行为的主要瓶颈。
本文的目标是本文的目标是构建VBVR套件，包含三个核心组件：VBVR-Dataset——一个前所未有的大规模视频推理训练数据集，包含200个策划推理任务和超过100万视频片段，比现有数据集大约1000倍；VBVR-Bench——一个可验证的评测框架，通过基于规则的评分器替代模型判断，实现可复现和可解释的视频推理能力诊断；以及基于该套件的首次大规模视频推理scaling研究，检验新兴泛化能力的早期迹象。最终目标是为下一代可泛化视频推理研究奠定基础设施。
与已有工作不同的是，本文的独特切入角度体现在三个层面。首先，在任务设计层面，不同于现有基准的即兴式任务收集，VBVR基于两千年的哲学探究（亚里士多德的认知能力和康德的先验直觉）和现代认知神经科学，建立了一个原则性的任务分类学，将核心视觉推理能力组织为五大支柱。其次，在数据规模层面，通过将任务设计与参数化生成器解耦——任务语义由社区自由设计，统一模板作为输入输出包装器——实现了创造力与一致性的平衡，支持自动化扩展。最后，在评测方法层面，明确拒绝VLM-as-a-judge范式，强制使用可验证的基于规则评分器，确保评测结果的确定性和可复现性，这在视频生成评测中是罕见的坚持。
核心方法
VBVR的方法论遵循一个清晰的三阶段流程：认知架构设计→分布式数据生成→可验证评测。直觉上，如果我们要系统地研究视频模型的推理能力，首先需要一个理论框架来定义什么是'推理'——这通过认知架构的五大支柱实现。然后需要将这些抽象认知能力实例化为可执行、可验证的视频推理任务——这通过参数化生成器实现。最后需要一个可靠的尺子来测量模型表现——这通过基于规则的评分器实现。技术路线上，每个任务被实现为一个参数化生成器，确定性地输出四元组：首帧图像、文本提示、目标帧图像、完整解答轨迹。这些生成器通过云分布式架构（Lambda函数+消息队列+S3存储）大规模执行，质量控制完全自动化。评测框架采用双分割策略（50个ID任务+50个OOD任务），每个任务5个测试样本，每个任务配对专用评分规则，从空间准确性、轨迹正确性、时间一致性、逻辑有效性等多个维度加权评分。
本文的核心创新在于将认知科学的任务设计原则与工程化的数据生成管道深度整合。与现有视频推理基准的本质区别体现在：（1）任务设计的理论基础——基于亚里士多德的dunameis和康德的Einbildungskraft建立五大学院分类，而非ad-hoc的任务集合；（2）数据生成的可扩展性——任务设计与生成器实现解耦，统一模板确保一致性，参数化设计支持每任务生成超过10,000个非平凡实例；（3）评测的可验证性——明确拒绝VLM-as-a-judge，使用基于规则的评分器，通过人类偏好对齐实验验证（Spearman ρ > 0.9）。这种设计使得VBVR不仅是测试基准，更是支持训练的大规模数据集，这是现有基准普遍缺失的——大多数现有基准只提供几百到几千的测试样本，没有训练数据。
方法步骤详情
VBVR的方法包含三个主要阶段。第一阶段是任务设计与审批：每个任务提案必须满足六项标准——信息充分性（所有推理线索在首帧和提示中存在）、确定可解性（唯一可验证的成功标准）、视频依赖性（不能从单张静态图像解决）、视觉清晰度（所有视觉元素可区分）、参数多样性（支持至少10,000个非平凡实例）、技术可行性。提案经过设计评审流程，从500多个初始提案中筛选出200多个获批任务。第二阶段是任务特定生成器实现：每个获批设计被实现为参数化生成器，使用标准化模板定义接口、输出格式和验证钩子。生成器输出四元组：(1) first_frame.png（初始状态），(2) prompt.txt（任务指令），(3) final_frame.png（目标状态），(4) ground_truth.mp4（完整解答轨迹）。参数通过分层采样覆盖不同维度（物体数量、空间配置、结构复杂度、难度等级）。所有生成器经过代码审查才投入大规模生产。第三阶段是大规模分布式生成与质量控制：100个训练任务各生成10,000个样本（共100万），150个测试任务各生成50个样本（共7,500个）。训练/测试分割使用不相交的随机种子范围防止数据泄露。每个样本自动验证解答存在性、视觉合规性和边界约束，失败触发自动重试。
技术新颖性
VBVR的技术新颖性体现在多个维度。首先，这是首个为视频推理提供大规模训练数据的工作——现有基准普遍只有评测数据，无法支持scaling研究。200个任务、200万图像、100万视频片段的规模比现有最大基准大约1000倍。其次，认知架构与工程管道的深度整合是独特的：抽象的认知能力（如'抽象'、'空间性'）被操作化为可执行、可验证的视频推理任务，这种从哲学理论到可计算任务的映射路径在视频推理领域是首创。第三，生成器模板设计实现了任务创造力与输出一致性的平衡——贡献者有完全自由设计核心任务语义和推理过程，而统一的输入输出包装器确保自动化扩展的一致性。第四，评测框架通过多维度加权评分（如Key-Door Matching任务的四个维度：目标识别准确性30%、路径有效性30%、路径效率20%、动画质量20%）提供了细粒度的能力诊断，而非单一分数。最后，VBVR-Wan2.2的scaling研究揭示了视频推理中涌现泛化的早期迹象——OOD任务性能随数据规模增长而提升，表明模型获得了超越记忆模式的可迁移推理原语。
实验结果
VBVR-Bench的评测揭示了视频推理能力的巨大差距和有趣的结构。人类在整体得分上达到0.974，其中ID平均0.960，OOD平均0.988。开源模型整体表现较差：CogVideoX1.5-5B-I2V和HunyuanVideo-I2V均为0.273，Wan2.2-I2V-A14B是最强开源基线为0.371，LTX-2为0.313。闭源模型表现更好：Runway Gen-4 Turbo为0.403，Kling 2.6为0.369，Veo 3.1为0.480，Sora 2以0.546领先。经过VBVR数据集LoRA微调后，VBVR-Wan2.2达到0.685的整体得分，相比基础模型实现84.6%的相对提升。在各认知维度上，VBVR-Wan2.2在转换（Transformation）维度表现最强（ID 0.833），在知识（Knowledge）维度的OOD表现相对最弱（0.572）。Scaling研究显示：数据从0K增至200K时，ID性能从0.412快速提升至0.767，OOD从0.329提升至0.611；但200K之后增长饱和，500K时ID为0.760、OOD为0.610，表明当前架构存在根本性的表征和优化瓶颈。人类偏好对齐实验显示VBVR-Bench评分与人类判断的Spearman相关系数ρ > 0.9。能力相关性分析揭示了有趣的结构：知识与空间性正相关（ρ = 0.461），与海马体空间细胞支持概念学习的神经科学发现一致；知识与感知负相关（ρ = -0.757），反映核心知识是否应视为感知的认知科学争论；抽象与转换负相关（ρ = -0.641），与前额叶模块化的神经科学一致。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 整体视频推理（Overall） | 综合得分 | VBVR-Wan2.2: 0.685 | Wan2.2-I2V-A14B: 0.371 | +84.6%相对提升 |
| 域内推理（In-Domain） | ID平均分 | VBVR-Wan2.2: 0.760 | Wan2.2-I2V-A14B: 0.412 | +84.5%相对提升 |
| 域外推理（Out-of-Domain） | OOD平均分 | VBVR-Wan2.2: 0.610 | Wan2.2-I2V-A14B: 0.329 | +85.4%相对提升 |
| 空间性（Spatiality）ID | 空间推理得分 | VBVR-Wan2.2: 0.745 | Sora 2: 0.572 | +30.2%相对领先最强闭源 |
| 转换（Transformation）ID | 转换推理得分 | VBVR-Wan2.2: 0.833 | Sora 2: 0.597 | +39.5%相对领先最强闭源 |
| VBench-I2V通用生成 | 总分 | VBVR-Wan2.2: 0.8835 | Wan2.2-I2V-A14B: 0.8816 | 保持基础模型能力，相机运动一致性从0.5444提升至0.6592 |
局限与改进
尽管VBVR取得了显著进展，但仍存在多重局限。首先，ID与OOD之间约15%的持续差距表明，仅在固定任务分布内增加数据不足以实现鲁棒的系统泛化，需要引入新的任务族和更丰富的组合体制。其次，即使在ID设置下，模型性能也远未接近完美（ID最高约0.77），当前视频生成架构存在根本性的表征和优化瓶颈——特别是同时满足逻辑约束和长期时间一致性的挑战，以及视频生成的随机性引入的累积渲染噪声和时间漂移。第三，定性分析揭示了'过程不忠实'问题：在O-21任务中，模型可能产生看起来合理的试错过程，但并不忠实反映真实的决策机制（'正确答案，错误方法'）。第四，长期控制在交互任务中会崩溃：在G-47任务中，VBVR-Wan2.2虽然能区分智能体与场景实体并展现正确的高层子目标结构，但仍会出现智能体复制/闪烁等控制失败。第五，评测框架虽然与人类偏好高度对齐（ρ > 0.9），但基于规则的评分器可能无法完全捕捉创造性或美学维度的质量。作者还承认，尽管VBVR-Wan2.2在推理任务上表现优异，但在某些通用视频质量指标（如动态程度Dynamic Degree从0.5285降至0.4106）上有所下降，反映了推理优化与生成多样性之间的潜在权衡。
独立分析的弱点
从独立分析角度，VBVR存在几个值得关注的弱点。第一，任务设计的社区贡献模式可能导致任务质量的异质性：虽然有六项审批标准和代码审查，但500多个提案中只有约200个获批（40%通过率），说明质量控制是事后筛选式的，而非源头设计指导式的。改进方向是建立更结构化的任务设计模板和自动化质量检查工具。第二，数据生成的'解的质量唯一性'假设在某些复杂任务中可能不成立：对于开放性推理任务，可能存在多个有效解答路径，但评分器只验证特定的ground truth轨迹，这可能惩罚采用不同但有效策略的模型。第三，LoRA微调的实验设置相对单一（秩32，学习率1e-4，一个epoch），缺乏超参数敏感性分析，无法确定当前结果是否接近最优配置。第四，能力相关性分析基于仅9个模型的样本量，统计功效有限，ρ值的置信区间较宽。第五，VBVR-Wan2.2的scaling研究只到500K样本，未探索更大规模（如1M或2M）的效果，无法确定saturation是数据量不足还是架构瓶颈。
未来方向
作者提出和基于成果可延伸的未来研究方向包括多个维度。首先，数据工厂计划持续引入新的任务族和更丰富的组合体制，以更好地覆盖推理模式并缩小ID-OOD差距。其次，当前结果表明需要架构层面的创新，如显式状态跟踪、结构化推理模块或自修正机制，这些可以在VBVR的受控和可扩展评测设置下进行系统研究。第三，定性分析揭示的'过程不忠实'问题指向需要更强的过程级监督和评估——不仅评估最终答案的正确性，还评估推理轨迹的忠实性。第四，长期控制失败（智能体复制/闪烁）表明需要新的方法来在扩展时间范围内维持身份稳定性和因果约束。第五，认知能力相关性分析（如知识-空间性的正相关）与神经科学的收敛证据，为设计新型视频推理架构提供了灵感：或许可以借鉴海马体位置细胞和网格细胞的机制，将空间推理作为知识获取的基础模块。第六，从评测角度，可以扩展评分维度以纳入过程忠实性评估，可能需要结合形式化验证或更细粒度的轨迹对比。
复现评估
VBVR在可复现性方面做出了显著努力。数据、基准工具包和模型均在video-reason.com公开发布。数据集包含200个任务（150个公开，50个保留用于未来排行榜评测），支持社区研究。评测框架完全基于确定性规则，避免了LLM判断的随机性和幻觉问题，每个测试任务配对专用评分规则，支持像素级和物体属性级别的精确测量。代码采用标准化生成器模板，使用固定随机种子确保可复现。然而，完全复现大规模数据生成需要显著的云计算资源（分布式Lambda函数和S3存储），这对独立研究者构成一定门槛。LoRA微调实验使用Wan2.2-I2V-A14B作为基础模型（140亿参数），需要相当的GPU资源。论文提供了详细的实现细节（附录B）和生成器规格说明，但未明确说明训练的具体硬件配置和时间。总体而言，评测部分的可复现性很高（规则确定、代码公开），但数据生成和模型训练的可复现性受计算资源限制。
论文图表
