物理问题场景图：文本到视频生成中物理合理性的细粒度评估 Physics Question Scene Graph: Fine-grained Evaluation of Physical Plausibility in Text-to-Video Generation
提出PQSG框架，用层次化问题图细粒度评估视频生成物理真实性
前置知识
有向无环图（DAG）
有向无环图是一种由节点和有向边组成的数据结构，其中所有有向边都不能形成环。在PQSG中，问题被组织成DAG，父节点的答案是子节点问题的前提条件。例如，要判断物体下落的物理真实性，必须先验证物体存在且正在下落，才能判断下落的物理合理性。这种结构确保了评估逻辑的严谨性，避免了无意义的评估。
理解DAG是理解PQSG核心思想的基础，因为它将物理评估分解为具有逻辑依赖关系的多个子问题，确保评估的合理性和有效性。
视觉语言模型（VLM）
视觉语言模型是能够同时处理视觉和文本输入的多模态AI模型，如Gemini-2.5-Pro和GPT-5.5。在PQSG中，VLM用于两个关键任务：问题生成和问题回答。在QG阶段，VLM根据文本提示生成层次化的问题图；在QA阶段，VLM观察生成的视频并回答每个问题的答案。VLM通过其强大的视觉理解和推理能力，自动执行这两个任务。
VLM是PQSG实现自动化评估的核心技术，理解其工作原理和局限性（如yes-bias、物理推理能力不足）对于正确评估PQSG的性能和改进方向至关重要。
皮尔逊相关系数（Pearson's r）
皮尔逊相关系数是一种统计指标，用于衡量两个变量之间的线性相关强度，取值范围为-1到1。1表示完全正相关，-1表示完全负相关，0表示无线性相关。在本文中，Pearson's r用于量化PQSG评分与人工评分的一致性，例如PQSG与人类整体评分的相关系数为0.478，显著高于基线方法的0.289-0.382。相关系数越高，说明评估方法越接近人类判断标准。
理解皮尔逊相关系数的含义和计算方法有助于正确解读实验结果，判断PQSG是否真正有效提升了视频生成评估的准确性。
研究动机
现有视频生成模型（如Sora 2、Veo 3、Wan 2.1）虽然能生成外观逼真的视频，但经常违反基本的物理定律，如固体力学、流体动力学和光学原理。例如，在图1中生成的视频中，纸巾溶解到液体中而不是吸收液体，这明显违反了物理常识。更重要的是，现有的评估方法只能提供高层次的粗粒度分数，无法定位和具体说明视频中违反物理定律的位置，这使得难以确定视频失败的原因，也无法为模型改进提供有针对性的反馈。此外，现有的聚合指标经常被视觉上逼真且时间上一致但物理上不合理的视频欺骗。
本文的目标是本文的目标是引入Physics Question Scene Graph（PQSG），一种新颖的结构化评估框架，用于测量视频生成模型的物理动力学的细粒度细节。PQSG有两个关键特性：一是细粒度，不是用一个总体分数评估物理定律的遵守情况，而是将评估分解为多个子查询，允许就视频的哪个方面违反了物理定律提供细粒度反馈；二是依赖结构，确保问题以合理的方式提出：如果对象不存在于视频中，则不会后续询问涉及该对象的行为或物理交互。通过这种方式，PQSG能够精确定位视频中的具体失败模式，为模型改进提供可操作的反馈。
与已有工作不同的是，本文的独特切入角度是将物理评估问题建模为一个层次化的有向无环图（DAG）问题，而不是简单地给出一个总体分数。与现有方法（如VideoScore、VideoPhy-2、PhyGenEval）提供单个聚合分数或几个粗粒度分数不同，PQSG生成一组层次化的详细问题，精确定位生成视频应该在何处改进。这种细粒度的QA格式使PQSG易于解释，并确保评估在回答者之间保持一致、与人类对齐且可泛化。与本文类似的工作DSG虽然使用基于问题的图表评估，但它是为图像设计的，无法测试时间属性（如动作或基于物理的交互）。
核心方法
PQSG通过将物理场景定义为有向无环图（DAG）来实现对生成视频的细粒度评估。该图由原子验证问题（节点）和显式逻辑依赖结构（边）组成，所有这些都从描述场景的文本提示生成。PQSG将节点组织为三个层次类别：Object（验证提示中的关键对象是否存在）、Action（验证对象是否表现出正确的动作）、Physics（评估动作关于物理定律的合理性）。评估管道包含两个步骤：问题生成（QG）和问题回答（QA）。在QG步骤中，使用VLM根据文本提示生成层次化的物理感知问题图；在QA步骤中，将物理场景图与生成的视频一起传递给VLM来回答关于视频的问题，产生可解释的对象、动作和物理分数。
PQSG的核心创新点是将物理评估问题建模为具有严格依赖结构的层次化问题图，与已有方法的本质区别在于：第一，显式的逻辑依赖：Object节点是Action节点的父节点，Action节点是Physics节点的父节点，只有当父节点答案为yes时才评估子节点，这确保了评估的合理性并减少幻觉。第二，Action和Physics的分离：Action节点验证提示中明确提到的动作，而Physics节点评估隐含的物理交互，这种分离允许精确定位失败是发生在动作执行还是物理合理性层面。第三，细粒度反馈：每个问题都提供二进制判断和推理，而不仅仅是一个总体分数，使评估结果具有可解释性。
方法步骤详情
PQSG方法包含以下步骤。第一步是问题生成（QG）阶段：将任务指令和一个上下文示例（提示、PQSG节点和PQSG边）提供给VLM，后跟一个要从中生成PQSG的新提示。VLM生成一个包含三个类别节点（Object、Action、Physics）和边的JSON对象，节点是唯一的yes/no问题，边表示依赖关系。边的构建遵循顺序：首先Object到Action链接（将每个动作连接到其先决对象），然后Action到Physics链接（将物理检查连接到其负责的动作）。第二步是问题回答（QA）阶段：将生成的视频和一个PQSG节点（问题）提供给VLM，让模型一次回答一个问题。为了提高质量，QA分为两步：先生成开放式响应，然后将答案分类为yes或no。第三步是评分阶段：将无效节点的响应标记为no后，计算yes响应的比例作为平均分数。除了平均分数外，还可以计算三个节点类别的单独细粒度分数。
技术新颖性
PQSG的技术新颖性体现在多个方面。首先，它首次将物理评估建模为具有依赖结构的问题图，确保评估逻辑的严谨性。消融研究表明，移除依赖图结构会显著降低与人类判断的相关性（从0.48降至0.44）。其次，PQSG明确区分了Action和Physics评估，这是之前的评估框架所没有的，这种分离允许精确定位失败模式。第三，PQSG实现了可解释的细粒度评估，每个问题都提供推理过程，而不仅仅是一个分数。最后，PQSG展示了不仅可以作为评估工具，还可以集成到迭代优化循环中直接改善视频生成质量（首次迭代提升约15%），这通过提示级别的增强实现，无需修改模型架构或重新训练。
实验结果
本文的主要发现包括：第一，PQSG在与人类整体判断的相关性方面优于现有方法。使用GPT-5.5进行QA时，PQSG的Pearson相关系数为0.478，显著高于VideoScore（0.289）、VideoPhy-2-Autoeval（0.346）、PhyGenEval（0.272）和DSG（0.302）。第二，物理类别与人类整体评分的相关性最强（r=0.85），表明标注者的最终评估更多地由物理错误预测，而不是其他类别，这强调了正确物理评估的重要性。第三，不同视频生成模型的比较显示，所有模型在动作和物理方面的得分都低于对象预测，说明模型倾向于生成正确的对象，但在生成正确的动作和物理交互方面存在困难。专有模型（Sora 2和Veo 3）明显优于开源变体（Wan 2.1和Cosmos-14B）。第四，VLM在问题生成方面表现强大（精度92-95%，召回率95-99%），但在问题回答方面存在局限，特别是物理类别的准确率仅为61.5-64.6%。第五，消融研究表明，移除细粒度问题和依赖图结构都会降低与人类判断的相关性，确认细粒度问题分解和逻辑依赖结构都有助于PQSG与人类评分的对齐。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 视频生成评估（与人类整体评分的相关性） | Pearson's r | 0.478 (w/ GPT-5.5) | 0.289-0.382 (VideoScore, VideoPhy-2, PhyGenEval, DSG) | 25-65% |
| Sora 2模型在FinePhyEval上的表现 | PQSG分数（对象/动作/物理/整体） | 0.95/0.75/0.69/0.78 | 无（首次评估） | N/A |
| VLM问题生成精度 | 精度/召回率 | GPT-5.5: 92.0%/99.6% | 无（首次评估） | N/A |
| VLM问题回答准确率 | 准确率（对象/动作/物理） | GPT-5.5: 88.4%/63.4%/64.6% | Gemini-2.5-Pro: 87.6%/59.5%/61.5% | 1-4% |
| 迭代优化提升 | PQSG分数提升 | 首次迭代提升约15% | VideoPhy-2-Autoeval基线 | 显著提升 |
局限与改进
PQSG的局限性包括：第一，性能受限于底层VLM的QA能力，表5显示目前在物理问题上的准确率仅为64.6%。第二，虽然PQSG提高了评估的可靠性，但骨干VLM的性能仍然很重要。本文主要使用闭源VLM进行实验，这可能限制可复现性。第三，PQSG只验证提示中隐含的交互，因此提示未约束的区域中的物理不会被评估。在没有提示的情况下评估这些情况（就像人类可以那样）是未来工作的有希望方向。第四，VLM在QA中表现出yes-bias倾向，倾向于回答yes到问题，这在识别快速动作和复杂物理交互时导致错误。第五，人类在物理一致性评估方面的标注一致性较低（ICC为0.773），这表明即使是人类也难以判断非常糟糕的物理视频，这增加了评估难度。
独立分析的弱点
独立分析的弱点包括：第一，VLM的物理推理能力不足。VLM在回答物理问题时准确率仅为61.5-64.6%，显著低于对象问题（87.6-88.4%），这限制了对物理合理性的自动评估准确性。改进方向可以是开发专门针对物理推理训练的VLM，或者引入专门的物理模拟器作为辅助评估工具。第二，yes-bias问题。VLM倾向于回答yes，这导致错误的正面判断。改进方向可以是在QA阶段引入校准机制，或者在提示中明确要求模型保持怀疑态度，避免默认正面判断。第三，对快速动作和复杂物理交互的识别困难。VLM难以捕捉烟雾的方向和密度等复杂动态。改进方向可以是引入帧级别的细粒度分析，或者使用专门针对运动分析和流体动力学训练的模型。第四，依赖结构可能过于严格。当前的依赖结构确保Object到Action到Physics的顺序，但某些物理现象可能不依赖于特定的动作识别。改进方向可以是引入更灵活的依赖关系，或者允许并行的评估路径。
未来方向
未来研究方向包括：第一，提示未约束区域的物理评估。当前PQSG只验证提示中隐含的交互，未来可以开发方法评估提示未明确描述的区域的物理合理性，这更接近人类的评估方式。第二，VLM的物理推理能力提升。随着VLM视频问答能力的增强，PQSG将与人类判断更加对齐。表10显示GPT-5.5达到了最高的0.478相关系数，支持这一方向。第三，跨模态的物理评估。当前PQSG专注于视觉模态，未来可以扩展到多模态物理评估，包括音频（如声音传播的物理合理性）和触觉信息。第四，实时评估和反馈。当前PQSG主要用于离线评估，未来可以探索实时集成到视频生成管道中，实现生成过程中的即时反馈和修正。第五，更广泛的物理领域覆盖。当前FinePhyEval主要涵盖固体力学、流体动力学、光学、热力学和磁学，未来可以扩展到更多物理领域，如电磁学、量子效应等。
复现评估
复现性评估如下：第一，开源情况。作者承诺发布所有代码、提示和注释（GitHub：https://github.com/atinpothiraj/pqsg），这是良好实践。第二，数据集。FinePhyEval包含65个提示、195个视频（Sora 2、Veo 3、Wan 2.1各65个）、780个Likert注释和444个QA对，平均视频长度4.39秒，平均大小1.8MB。第三，算力要求。主要的计算需求来自VLM的QG和QA，这需要访问闭源模型（Gemini-2.5-Pro、GPT-5.5）的API，可能需要显著的成本。表7展示了使用开源VLM的泛化结果，表明可以使用开源模型但性能可能有所下降。第四，复现难度。中等。虽然代码和数据集会开源，但依赖闭源VLM可能增加复现难度。然而，作者展示了在开源VLM上的泛化结果，这为使用开源模型提供了路径。总体而言，PQSG的设计是模型无关的，随着开源VLM的发展，复现应该变得更加容易。
论文图表
图1展示了一个具体的提示示例：A grabber tool holds a piece of paper towel over a shallow dish of light blue liquid on a wooden table. The grabber releases the paper towel on the dish. 以及Wan 2.1生成的视频的多个帧。图中还展示了PQSG的节点和边的示例，分为三个类别：Object、Action和Physics。虽然视频包含正确的对象（抓取器、纸巾、碗等），但未显示所有正确的动作，且显示的物理交互不合理，纸巾溶解到液体中而不是吸收它。PQSG指定了视频中不切实际的类别（在这种情况下是物理），并在该类别内，哪些物理交互不合理（这里是液体未能被纸巾吸收，这在Physics Q2中反映）。
这张图对理解论文非常重要，因为它直观地展示了PQSG如何工作：通过层次化的问题分类和依赖关系，精确定位视频生成中的具体失败模式。特别是它清晰展示了视频在外观上可能看起来合理（正确的对象），但在物理层面存在明显问题（纸巾溶解而非吸收），这正是现有评估方法难以捕捉但PQSG能够识别的问题。
图3展示了一个QA模型（GPT-5）困难的示例视频。提示是：A piece of folded paper is placed on a glass cutting board. The paper is being burnt and white smoke is emitting from it. 图中分为三个类别：Object（QA Accuracy: 3/3）、Action（QA Accuracy: 4/5）和Physics（QA Accuracy: 4/6）。对于每个问题，显示了模型的回答和人类答案。模型失败于捕捉烟雾的复杂动态，表现出强烈的yes-bias，默认答案为yes，而人类答案包括多个no响应。
这张图对理解论文很重要，因为它直观地展示了当前VLM在物理推理方面的局限性：即使在相对简单的场景中，模型也难以正确评估复杂的物理交互（如烟雾的运动方向和密度）。yes-bias问题特别明显，模型倾向于给出正面判断，这与人类评估者的判断形成对比。这解释了为什么PQSG在物理类别上的准确率相对较低（61.5-64.6%）。
图5展示了FinePhyEval中的四个示例视频，每个都配有提示。第一个视频：A glass beverage dispenser is dispensing water into a glass which has some grapefruit juice in it. Static shot with no camera movement. 分配器的水位低于出水口（所以水不应该流过它），并且清澈的液体在玻璃中变成橙色。第二个视频：A Newton's cradle device on the table and two of the metal balls are held up by a blue handled grabber tool. The claw releases the two balls. 传统的牛顿摆运动（边缘的球来回摆动）完全被错误表示。此外，模型在不同帧中改变了金属球的数量。第三个视频：A teapot on a rotating display base that rotates clockwise in front of a mirror reflecting the teapot's image. 茶壶嘴在右侧镜子中未正确渲染，导致物理上不合理的反射。第四个视频：A light-colored wooden tabletop with two pipes at the edges. A blue and yellow tennis ball roll out of the pipes and towards each other. 网球的碰撞是随机和不稳定的，完全违反了碰撞定律。
这张图对理解论文很重要，因为它直观地展示了当前最先进的视频生成模型在物理渲染方面的局限性。四个示例涵盖了不同的物理领域：流体动力学（分配器）、固体力学（牛顿摆）、光学（镜面反射）和碰撞物理学（网球碰撞）。这些例子清楚地说明为什么需要像PQSG这样的细粒度物理评估框架：即使视频在外观上看起来合理，也可能违反基本的物理定律。
表10扩展了表1，展示了不同VLM在PQSG上的性能。比较了Gemini-2.5-Flash、Gemini-2.5-Pro、GPT-5、GPT-5.4和GPT-5.5在三种相关系数上的表现：Gemini-2.5-Flash为0.417/0.259/0.354；Gemini-2.5-Pro为0.467/0.306/0.406；GPT-5为0.430/0.263/0.366；GPT-5.4为0.429/0.274/0.369；GPT-5.5为0.478/0.336/0.456。GPT-5.5达到了最高的Pearson相关系数0.478。
这个表格对理解论文很重要，因为它展示了PQSG性能与底层VLM能力的关系：随着VLM视频问答能力的增强，PQSG与人类判断的对齐程度也会提高。从GPT-5（0.430）到GPT-5.4（0.429）再到GPT-5.5（0.478），相关性稳步提高，支持了作者的结论，即随着模型变强，PQSG变得更加与人类判断对齐。