RISE-Video：视频生成器能否解码隐式世界规则？ RISE-Video: Can Video Generators Decode Implicit World Rules?
面向文本-图像到视频（TI2V）生成的推理能力基准测试，评估模型对隐式世界规则的理解
前置知识
Text-Image-to-Video (TI2V)
文本-图像到视频生成任务，模型接收一张输入图像和文本指令，生成符合指令的视频序列。与纯文本到视频（T2V）不同，TI2V要求模型在保持输入图像视觉特征的同时，根据文本指令生成合理的动态变化。这一任务对模型的理解能力和生成能力都提出了更高要求，因为模型需要同时处理视觉和语言两种模态的信息。
本文的核心任务就是评估TI2V模型的推理能力，理解这一任务定义是理解整个论文的基础
隐式世界规则（Implicit World Rules）
指那些没有在文本指令中明确说明，但人们普遍认知的物理规律、常识推理和行为规范。例如，当指令为'展示一个人从瓶子里喝水'时，隐式规则包括：需要先拧开瓶盖、水会从瓶口流出、瓶盖拧开后瓶子会变轻等。这些规则是人类通过生活经验自然习得的，但对于AI模型来说，需要从大量数据中学习并内化这些规则。
论文的核心创新点就是评估TI2V模型对隐式世界规则的理解和执行能力，这是区别于现有基准的关键
LMM-as-a-Judge（大型多模态模型作为评判者）
使用大型多模态模型（如GPT-5）作为自动化评估工具，代替人工评估来判断生成视频的质量。这种方法通过设计专门的提示词（prompts），让LMM根据特定标准对视频进行评分。本文中，LMM评判者负责评估推理对齐性、时间一致性、物理合理性和视觉质量四个维度。这种方法可以大幅降低评估成本，同时保持与人类评估的高度一致性。
本文提出的自动化评估管道是方法论的核心创新之一，理解这一概念对于理解评估方法的可扩展性至关重要
评估指标体系
本文定义了四个互补的评估维度：推理对齐性（Reasoning Alignment, RA）评估视频是否展示了正确的知识推理；时间一致性（Temporal Consistency, TC）评估非指令相关元素是否保持稳定；物理合理性（Physical Rationality, PR）评估视频是否遵循物理定律；视觉质量（Visual Quality, VQ）评估视频的感知保真度和视觉完整性。每个维度使用不同的评分标准（RA: 0-1, TC/PR: 1-5, VQ: 1-3），最终通过加权组合得到综合评分。
这四个维度构成了本文评估框架的核心，理解每个维度的定义和评分标准是理解实验结果的关键
研究动机
当前视频生成模型在视觉逼真度方面取得了显著进展，但其对隐式世界规则的理解和推理能力评估严重不足。现有基准测试（如VBench）主要关注感知质量和时间一致性，虽然提供了8个数据类别和16个评估维度，但缺乏对推理能力的系统性评估。例如，当模型需要生成'一个人从瓶子里喝水'的视频时，现有评估可能只关注视频是否流畅、是否符合文本描述，而不会检查模型是否正确理解了'需要先拧开瓶盖'这一隐式规则。这种评估盲区导致我们无法全面了解模型的真实能力，也无法为模型改进提供有针对性的指导。
本文的目标是本文旨在创建一个专门针对TI2V模型推理能力的基准测试——RISE-Video，通过系统性地评估模型对隐式世界规则的理解和执行能力，填补现有评估体系的空白。具体目标包括：(1) 定义全面的推理能力分类体系，涵盖常识、感知、社会知识等8个维度；(2) 构建高质量的评估数据集，包含467个人工标注的样本；(3) 设计多维度的评估指标，不仅关注视觉质量，更注重推理正确性；(4) 开发可扩展的自动化评估管道，使用LMM作为评判者，保持与人类评估的高度一致性。
与已有工作不同的是，现有评估体系存在三个主要不足：首先，评估维度单一，主要关注视觉质量和时间连续性，忽视了推理能力这一核心维度；其次，评估场景有限，大多基于简单的物理常识测试，缺乏对复杂推理任务的覆盖；最后，评估方法依赖人工，成本高且难以扩展。本文的独特切入角度是从'隐式世界规则'这一维度出发，构建了一个涵盖8个推理类别、4个评估维度的综合评估框架，并创新性地使用LMM作为自动化评判者，在保持评估质量的同时大幅降低了评估成本。
核心方法
本文提出的RISE-Video评估框架采用'数据构建-评估指标-自动化管道'的三层架构。首先，在数据构建层面，基于对推理能力的深入分析，将推理任务划分为8个类别，每个类别包含多个子类别，最终构建了包含467个样本的评估数据集。其次，在评估指标层面，定义了四个互补的评估维度，每个维度使用不同的评分标准和评估策略。最后，在自动化评估层面，设计了基于LMM的评估管道，通过精心设计的提示词和特殊的评估策略（如针对抽象推理任务的轨迹检查、网格对齐等方法），实现了高质量的自动化评估。整个框架的核心思想是：评估视频生成模型不仅要关注'生成了什么'（视觉质量），更要关注'为什么这样生成'（推理正确性）。
本文的核心创新点在于将评估重点从表面的视觉质量转向深层的推理能力。与现有基准相比，RISE-Video具有三个本质区别：第一，评估维度的转变——从关注'视频是否好看'转向'视频是否合理'，引入了推理对齐性这一全新维度；第二，评估场景的扩展——从简单的物理常识测试扩展到涵盖8个推理类别的综合评估，包括逻辑推理、经验知识、社会知识等复杂场景；第三，评估方法的创新——针对不同类型的推理任务设计了专门的评估策略，特别是对于抽象推理任务（如迷宫导航、对称性生成等），开发了轨迹检查、网格对齐等非语言评估方法，解决了LMM难以直接评估抽象视觉推理的问题。
方法步骤详情
RISE-Video评估框架包含以下关键步骤：1) 数据构建：根据推理能力分类体系，人工创建467个TI2V评估样本，每个样本包含输入图像、文本指令和推理问题。2) 帧提取：根据评估需求采用不同的采样策略——对于需要评估完整过程的任务，以2fps均匀采样；对于主要关注最终状态的任务，采用更低的采样率；对于视觉质量评估，均匀采样6帧并排除首尾帧。3) LMM评估：使用GPT-5作为主要评判模型（视觉质量使用GPT-5-mini），通过精心设计的提示词对视频进行评分。4) 特殊任务处理：对于抽象推理任务（迷宫、对称性、棋盘游戏），采用专门的评估策略——迷宫通过轨迹追踪检查约束满足情况，对称性通过网格级位置对齐计算准确率，棋盘游戏通过提供参考图像辅助LMM进行结构比较。5) 评分计算：根据四个维度的得分计算加权综合评分和准确率。
技术新颖性
本文的技术新颖性主要体现在三个方面：首先，在评估框架设计上，首次提出了针对TI2V模型推理能力的系统性评估框架，填补了现有评估体系的空白。其次，在评估指标设计上，创新性地将推理对齐性作为独立维度，并设计了针对不同推理类型的差异化评估策略。最后，在自动化评估方法上，针对抽象推理任务开发了非语言评估方法（轨迹追踪、网格对齐等），解决了LMM难以直接评估抽象视觉推理的难题。此外，通过大量实验验证了LMM评判者与人类评估的高度一致性（GPT-5在推理对齐性上的MAE仅为0.11），证明了自动化评估方法的可靠性。
实验结果
实验结果揭示了当前TI2V模型在推理能力方面的显著不足。在11个评估模型中，表现最好的Hailuo 2.3的准确率仅为22.5%，这意味着即使是最好的模型，在四维度都达到满分的样本比例也很低。具体来看，推理对齐性（RA）维度表现最差，最高分为Hailuo 2.3的76.6%，而最低分CogVideoX1.5-5B仅为30.7%，这表明模型在理解隐式规则方面存在根本性缺陷。时间一致性（TC）表现相对较好，Sora 2达到92.2%，说明模型在保持非指令相关元素稳定方面有一定能力。物理合理性（PR）维度表现中等，最高分为Veo 3.1的78.9%。视觉质量（VQ）普遍较高，Wan 2.6达到94.5%，说明模型在生成视觉逼真视频方面已取得显著进展。在8个推理类别中，感知知识（Perceptual Knowledge）表现最好，逻辑能力（Logical Capability）表现最差，这表明模型在处理抽象推理任务时面临更大挑战。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| TI2V推理能力评估 | 加权综合评分(W.Score) | Hailuo 2.3: 79.4% | CogVideoX1.5-5B: 49.5% | 提升29.9个百分点 |
| TI2V推理能力评估 | 准确率(Accuracy) | Hailuo 2.3: 22.5% | CogVideoX1.5-5B: 1.9% | 提升20.6个百分点 |
| 推理对齐性(RA) | 推理对齐性得分 | Hailuo 2.3: 76.6% | CogVideoX1.5-5B: 30.7% | 提升45.9个百分点 |
| 时间一致性(TC) | 时间一致性得分 | Sora 2: 92.2% | CogVideoX1.5-5B: 62.3% | 提升29.9个百分点 |
| 物理合理性(PR) | 物理合理性得分 | Veo 3.1: 78.9% | CogVideoX1.5-5B: 56.7% | 提升22.2个百分点 |
| 视觉质量(VQ) | 视觉质量得分 | Wan 2.6: 94.5% | CogVideoX1.5-5B: 74.5% | 提升20.0个百分点 |
局限与改进
本文存在以下几个主要局限性：首先，数据规模有限，RISE-Video仅包含467个样本，虽然覆盖了8个推理类别，但每个类别的样本数量有限（最少33个，最多83个），可能无法完全代表各种推理场景的复杂性。其次，评估范围有限，本文仅评估了TI2V任务，未涵盖T2V（文本到视频）和V2V（视频到视频）等其他视频生成范式，限制了结论的普适性。第三，评估维度有限，虽然提出了四个评估维度，但未涵盖音频生成、语义一致性等其他重要方面。第四，评判模型单一，主要使用GPT-5作为评判者，虽然验证了其与人类评估的一致性，但不同LMM可能存在不同的偏见和局限性。第五，抽象推理评估的复杂性，对于迷宫导航、对称性生成等抽象任务，需要专门的评估管道，增加了评估的复杂性。最后，物理合理性评估的适用范围有限，仅适用于物理场景，不适用于抽象推理任务。
独立分析的弱点
本文存在以下几个需要改进的弱点：第一，数据集规模较小，467个样本难以覆盖所有可能的推理场景，建议扩展数据集规模至数千个样本，并增加更多边缘案例和复杂场景。第二，推理类别划分可能不够细致，例如在常识知识类别中，物理常识、生活常识和医疗常识的划分较为粗略，可以进一步细分为更多子类别。第三，评估指标的主观性，虽然使用了LMM作为评判者，但评分标准（如1-5分制）仍具有一定主观性，建议开发更客观的评估方法，如基于规则的自动检查。第四，缺乏对模型失败模式的深入分析，论文主要报告了整体性能，但未深入分析不同模型在特定推理任务上的失败原因和模式。第五，评估成本仍然较高，虽然使用了自动化评估，但GPT-5的API调用成本仍然较高，建议探索更轻量级的评估方法。
未来方向
未来研究可以从以下几个方向展开：首先，扩展评估范围，将RISE-Video扩展到T2V、V2V等其他视频生成范式，构建更全面的视频生成评估体系。其次，增加评估维度，除了现有的四个维度外，可以考虑加入音频生成质量、语义一致性、创意性等维度。第三，开发更先进的自动化评估方法，探索使用更小的LMM或专门训练的评估模型，在保持评估质量的同时降低成本。第四，深入研究推理能力的提升方法，基于RISE-Video的评估结果，探索如何通过数据增强、模型架构改进或训练策略优化来提升模型的推理能力。第五，构建更大规模的评估数据集，通过众包或半自动化方法扩展数据集规模，覆盖更多推理场景和边缘案例。第六，探索多模态评估方法，结合视觉、语言、音频等多种模态的信息进行综合评估。
复现评估
本文具有良好的可复现性：首先，代码完全开源，可在GitHub仓库https://github.com/VisionXLab/RISE-Video获取，包含了数据构建、评估管道和结果分析的完整代码。其次，数据集公开，RISE-Video数据集可在Hugging Face获取（https://huggingface.co/datasets/VisionXLab/RISE-Video），包含467个标注样本和对应的推理问题。第三，评估方法透明，详细描述了评估指标、评分标准和评估流程，包括针对特殊任务的评估策略。第四，实验设置明确，详细列出了评估的11个模型及其配置，以及GPT-5作为评判者的具体设置。复现的主要挑战在于：需要访问GPT-5的API（或类似的大规模LMM），这可能产生一定的成本；部分闭源模型（如Hailuo 2.3、Veo 3.1等）的访问可能受限；数据标注需要领域专家参与，难以完全自动化。
论文图表
图1展示了一个经验知识维度的评估示例。输入图像显示一个人拿着一个有瓶盖的瓶子，指令为'展示这个人从瓶子里喝水的过程'。图中展示了6个不同模型（Hailuo 2.3、Veo 3.1、Kling 2.6、Sora 2、CogVideoX1.5、HunyuanVideo 1.5）的生成结果。关键推理问题是：这个人是否通过拧开瓶盖来打开瓶子？只有Hailuo 2.3和Veo 3.1正确理解了'需要先拧开瓶盖'这一隐式规则，其他模型要么直接喝水（未拧开瓶盖），要么生成了不合理的动作。
这张图直观地展示了RISE-Video的核心评估理念——评估模型对隐式世界规则的理解能力。通过对比不同模型的生成结果，清晰地揭示了当前模型在推理能力方面的差异和不足，是理解论文动机和贡献的关键示例。
图6展示了不同LMM评判模型在时间一致性评估上的定性比较。指令为'生成最自然的动作延续，展示初始帧之后合理发生的事情'。视频显示彩色积木的移动过程。Qwen3-VL-235B给出5分（完美一致性），Gemini-3-Flash给出2分（显著差异），GPT-5给出3分（明显差异）。GPT-5的评分理由是：物体在移动过程中颜色和身份基本一致，但绿色积木短暂变成长方形砖块然后恢复，这是一个明显的变化。这个例子说明不同评判模型可能存在评分偏见，GPT-5的评分更接近人类判断。
这张图通过具体例子展示了不同评判模型的评分差异，直观地说明了为什么选择GPT-5作为主要评判者。这对于理解评估方法的选择依据和潜在局限性具有重要价值。
图7展示了不同LMM评判模型在物理合理性评估上的定性比较。指令为'生成一个合理的延续，展示给定场景之后自然发生的事情'。视频显示按压打火机的过程。Qwen3-VL-235B给出5分（物理完美），Gemini-3-Flash给出2分（严重物理错误），GPT-5给出3分（明显物理违规）。GPT-5的评分理由是：手指和打火机机制顺利打开，动作一致，主要问题是火焰：它短暂地以一个大橙色斑点出现，没有固定在喷嘴上，然后恢复正常，这是一个明显的物理违规。这个例子进一步验证了GPT-5评分的合理性和细致性。
这张图展示了物理合理性评估的具体例子，说明了不同评判模型在评估物理规律遵循程度上的差异。这对于理解物理合理性维度的评估标准和挑战具有重要价值。
图8展示了不同LMM评判模型在视觉质量评估上的定性比较。指令为'展示膝跳反射的实验过程'。Qwen3-VL-235B给出3分（高质量），Gemini-3-Flash给出1分（严重技术故障），GPT-5给出2分（可接受/中等）。GPT-5的评分理由是：主体的躯干、腿部和鞋类通常定义良好，衣物纹理得以保留，但几帧显示明显的运动模糊（手/球）和整体轻微柔焦，没有明显的AI融化或严重失真，噪点低，压缩伪影轻微，曝光和颜色一致自然，可用但不完美。这个例子说明GPT-5的评分更细致、更符合人类审美标准。
这张图展示了视觉质量评估的具体例子，说明了不同评判模型在评估视频视觉质量上的差异。GPT-5的评分更细致、更符合专业标准，进一步验证了选择GPT-5作为视觉质量评判者的合理性。