← 返回 2026-10-21

PVBench：基于物体级物理量度量的视频生成物理合理性评测基准 PVBench: Quantifying Physical Plausibility in Video Generation with Object-Level Physical Measurements

Kaiwei Chen, Moran Li, Zhenye Gan, Yabiao Wang, Chengjie Wang, Kexin Zhang, Yong Liu, Jiangning Zhang 📅 2026-10-19 👍 5 2026-11-11 18:30

世界模型物理合理性物理量度量视频生成评测基准

arXiv HuggingFace PDF

以专用视觉模型提取物体级物理量并对照物理定律校验，系统量化视频生成的物理合理性

前置知识

T2V / I2V 视频生成

文本生成视频（T2V）直接以提示词为条件生成视频；图像生成视频（I2V）额外输入一张首帧参考图，让模型在其上延续运动，主流系统多基于扩散 Transformer 与流匹配。PVBench 为同一场景构造一对一配对的 T2V/I2V 提示组，使两种条件方式可受控对照。

本文评测对象就是 6 个模型各自的 T2V 与 I2V 共 12 个配置，且 T2V/I2V 同场景配对设计是分析『首帧先验对物理量影响』这一关键结论的基础。

MLLM 评审（MLLM-as-judge）

让 GPT、Qwen-VL 等多模态大模型直接观看视频并按提示词打 1–5 分或答是/否。优点是通用、无需训练；缺点是分数易饱和、不可解释，无法定位是哪个物理量、哪个物体违反物理。本文消融显示 MLLM 直接打分有 73.7% 样本给满分，与人工评分的 Spearman 相关仅 0.14。

理解 MLLM 评审为何失效，才能理解本文为什么坚持用专用视觉模型输出数值物理量来替代语义打分，这是全文立论的根基。

6D 物体位姿（6D Pose）

物体在三维空间中的完整状态，由 3 个平移自由度（位置 $x,y,z$）加 3 个旋转自由度（姿态）组成。Any6D 等模型可从单目视频估计物体的 6D 位姿序列，从而量化『物体转了多少度、最终停在哪个朝向』。它是把视频从『可观看』变为『可使用』的接口量，直接服务运动规划与仿真初始化。

PVBench 把 6D 位姿（R10）与角速度（R17）作为几何与运动学维度的核心物理量，这是现有物理基准几乎完全缺失、而本文首次系统纳入的维度。

度量尺度（Metric Scale）

普通单目深度估计只给出相对或序数深度，缺乏真实世界的米制单位；度量尺度指恢复以米为单位的绝对尺寸与距离。PVBench 用 Depth Anything 3 提供度量尺度先验，结合 SAM 3 分割的物体区域判断物体大小是否落在合理范围，并把轨迹锚定到米制坐标，从而可以无歧义地计算动能与势能。

度量尺度决定生成视频能否支撑机器人操作、场景重建等需要真实尺寸的下游应用，是论文反复强调的『现有基准完全没测、但对具身智能至关重要』的维度（R04）。

3D 点跟踪与光流

点跟踪（如 SpatialTracker V2，配合 SAM 3 掩码注入查询点）在视频中追踪指定物体的像素及三维轨迹，输出世界坐标系下的位移序列；光流（FlowSeek、Farneback）估计相邻帧逐像素运动场。由轨迹可求速度、加速度等运动学量，由光流端点误差（AEPE）可衡量帧间几何稳定性。

PVBench 的位移、速度、动量守恒、能量守恒、运动连续性等维度全部建立在点跟踪输出的物体轨迹之上，它是整个物理层评测的数据基座，不懂跟踪就无法理解守恒残差怎么算。

动量守恒与能量守恒

封闭系统中总动量与总机械能保持不变（有摩擦时单调耗散）。PVBench 从提示词读取质量比，用点跟踪取碰撞前后速度，按 $e=\|\Delta\mathbf{p}\|/\|\mathbf{p}\|$ 计算动量残差，并要求 $\mathrm{KE}+\mathrm{PE}$ 曲线近似恒定或单调不升。

守恒律残差是『物理量 + 定律校验』范式的代表，也是所有模型得分最低的维度域（MC 域 18.7–30.0 百分位），是论文核心结论『模型普遍不懂力学』的证据来源。

评分者信度与秩相关

ICC(2,k) 衡量多名评分者均分间的绝对一致性；Spearman $\rho$ 与 Kendall $\tau$ 为秩相关系数，衡量两组排序的一致程度。本文 10 名标注者均分 ICC(2,k)=0.89，自动分与人工分总体 $\rho$=0.772、$\tau$=0.643，二者高度一致。

这些统计量是论文论证『自动物理量分数可信』的关键证据，读懂表 4、表 7 与逐维度对齐表 A4 都必须先理解它们。

研究动机

视频生成模型视觉上越来越逼真，但『看起来真』不等于『符合物理定律』：生成视频频繁出现物体相互穿插、凭空消失、比例尺度错误等问题，对具身智能、内容创作与仿真而言这些错误直接破坏可用性。现有评测有两类缺陷：其一，通用基准（VBench/VBench++、EvalCrafter 等）主要度量语义与感知质量，一段严重违反物理定律的视频只要画面清晰、贴合文本就能拿高分；其二，面向物理合理性的基准多依赖 MLLM 或人工的是/否二元判断（如 VideoPhy-2、PhyWorldBench、WorldModelBench），既无法定位违反的是哪个物理量、哪个物体，也无法量化违反的严重程度。物理量覆盖也不足：对下游至关重要的度量尺度（决定视频能否支撑机器人操作与场景重建）和 6D 位姿（从『看视频』到『用视频』做运动规划、仿真初始化的接口量）在现有工作中几乎完全缺失。即便是较定量的 Physics-IQ 也只是用运动-掩码重叠等代理指标间接刻画运动，WorldScore 借助 DROID-SLAM 只测相机中心几何，均非系统的物理量评测框架。

本文的目标是本文要回答的问题是：如何把视频生成的『物理合理性』从语义印象层面的定性问题，变成可计算、可检验的定量问题。具体目标有三：一是建立系统的物理分类体系（taxonomy），把评测组织为 46 个维度、7 个域、3 个层次（语义/感知/物理），其中物理层含 25 个维度，覆盖物体自身属性、物体与空间关系、物体跨时空动力学三大类，囊括以往基准中出现过的大部分物理维度；二是构造 600 组同场景 T2V/I2V 配对提示（30% 即 180 组涉及机械臂、人形机器人、四足、多智能体等具身场景），每条提示在构造时就绑定目标评测维度，并要求关键物理量在画面中可见、可测；三是建立以物理量为主导的评测协议：能算的维度用专用视觉模型提取数值物理量并对照物理定律校验，难以直接量化的维度（材料、相变等）才用 MLLM 补充打分，最后通过与 10 名标注者的人工评分对照验证自动分数的可信度。

与已有工作不同的是，本文的独特切入在于评测单元的替换：不问『视频看起来是否物理合理』，而是估计视频中可观测的物理状态，再检验其与提示词约束的物理条件及物理定律的一致性。与既有工作的差距可以量化（附录表 A2/A3）：在其 25 个物理维度上，VideoPhy-2 仅覆盖 4 维且依赖人工+自动化的语义判断，PhyGenBench 覆盖 4 维（分层 VLM 评审），WorldModelBench 4 维（二元判定），PhyWorldBench 10 维（人工+MLLM），Physics-IQ 6 维（真实视频续写+代理指标），最定量的 WorldScore 也只覆盖 1 维且局限于相机中心几何（SLAM 重投影误差、稠密深度、光流）。PVBench 则对全部 25 个物理维度给出数值评测，其中 17 维纯数值计算、4 维专用模型测量+MLLM 判断、4 维纯 MLLM 语义评分，并首次把物体级 6D 位姿、度量尺度、表面法向、逐帧运动学量与守恒律残差作为一等公民纳入视频生成评测。

核心方法

PVBench 的整体思路是『先分层、再量化、后校验』。直觉上：视频是否物理合理，应能分解为若干可观测的物理状态——深度排序对不对、法向与深度梯度是否一致、尺寸是否合理、轨迹是否连续、碰撞前后动量是否守恒——这些状态可用成熟的视觉基础模型直接测出，再经物理定律与阈值变成分数。技术路线上，评测体系分三层 7 域 46 维：语义层含条件与语义保真（CSF，8 维）与行为/因果/常识一致性（BC，6 维）；感知层为感知与时序质量（PTQ，7 维）；物理层是核心，含几何与空间一致性（GS，9 维）、材料属性与场态（MFS，7 维）、运动学与时空持续性（KP，5 维）、力学合理性与守恒律（MC，4 维）。物理维度按评测方式分三种范式：17 维纯专用模型数值计算（VGGT-Ω、Depth Anything 3、SAM 3、SpatialTracker V2、Any6D、FlowSeek、VFIMamba 等），4 维测量+MLLM 判断，4 维纯 MLLM 评分。物理量经人工设定阈值映射为 1–5 分，维度内先对样本取均值，再对维度等权平均，最后线性映射到百分位报告。

核心创新是把评测的『最小单元』从整体语义判断换成可计算的物体级物理状态。每个物理维度绑定一个专用视觉基础模型：深度排序（R01）用 Depth Anything 3 逐帧深度加 SAM 3 遮挡区域，校验被遮挡物深度应大于遮挡物；形状（R03）用 VGGT-Ω 重建逐帧点云，Kabsch 对齐后算归一化 Chamfer 距离；6D 位姿（R10）用 Any6D 估计并与提示词指定的位姿变化比对；动量守恒（R23）用 SpatialTracker V2 加 SAM 3 取碰撞前后轨迹，按提示词质量比计算残差 $e = \|\mathbf{p} - \hat{\mathbf{p}}\| / \|\mathbf{p}\|$；能量守恒（R24）计算 $\mathrm{KE}=\tfrac{1}{2}mv^2$ 与 $\mathrm{PE}=mgh$，要求曲线近似恒定或单调不升。与已有方法的本质区别有三：一是拒绝语义代理，直接输出以米、弧度、度为单位的数值物理量；二是以物理定律而非『像不像』作为判据；三是 600 组提示同场景 T2V/I2V 一一配对，使首帧先验的物理效应可被受控对照分析。

方法步骤详情

第一步，提示集构造：按『46 维各 5 条 + 23 对维度各 10 条混合 + 140 条高难度具身补充』设计 600 组场景，GPT-5.6 Sol 起草提示词，人工筛查后用 GPT-image-2 依首帧描述合成 I2V 参考图，保证 T2V/I2V 共享同一初始场景（T2V 均长 113 词、I2V 82 词）。第二步，视频生成：MiniMax H3、SANA-Video 2.0、Wan2.1、Wan2.2、Seedance 2.5、LingBot-Video 各跑 T2V/I2V 共 12 个配置，统一 720p、约 10 秒、24 fps、固定种子，约 7200 条视频。第三步，物理量提取：如 R09 取跨帧包围盒尺寸序列的变异系数 $\mathrm{CV}=\sigma/\mu$，R12 用 RANSAC 拟合支撑面并检查质心投影是否落入支撑多边形。第四步，分数映射：按方向经阈值段映射为 1–5 分（如 R01 深度排序准确率 $\geq$1.00/0.75/0.50/0.25 依次得 5/4/3/2 分）。第五步，聚合：维度内取均值、维度间等权平均，统一映射到百分位。

技术新颖性

技术新颖性体现在四个层面。第一，评测范式：首个以『专用模型测物理量 + 物理定律校验』为主导的视频生成基准，25 个物理维度中 17 维纯数值计算；而 VideoPhy-2/PhyWorldBench 靠人工+MLLM 语义判断、Physics-IQ 用运动掩码代理指标、WorldScore 只做相机中心的 SLAM 几何。第二，维度覆盖：PVBench 覆盖表 A2 全部 25 个物理维度，是覆盖次多的 PhyWorldBench（10 维）的 2.5 倍，并首次纳入绝对尺度、6D 位姿、多视角/跨帧几何一致性、位移/速度/角速度、物体永存性等此前缺失的维度。第三，数据设计：同场景 T2V/I2V 配对提示加 30% 具身智能体样本，并刻意注入遮挡、视觉杂乱、相机运动等混淆因子构成高难度子集，支撑受控对照分析。第四，可信度验证：与 10 名标注者的人工评分对照（标注者均分 ICC(2,k)=0.89），并用消融实验证明数值分数比 MLLM 分数更具区分度、更贴近人类判断，而非仅凭直觉宣称有效。

**Figure 3**: Prompt statistics of PVBench.

实验结果

发现一：视觉质量不等于物理合理性，12 个配置的物理层分数全面低于语义/感知层：T2V 最强的 Seedance 2.5 CSF（语义）92.2、PTQ（感知）68.4，但 MC（力学守恒）仅 30.0；整体 Seedance 2.5 最佳、MiniMax H3 次之。发现二：模型在力学与守恒上最弱：T2V 留一消融去掉 MC 使物理层均分从 38.5 升至 43.4，去掉 MFS 升至 41.9，去掉 GS/KP 反而降至 35.0/33.6；逐维 1–5 分中 R11 仅 1.28–1.79。发现三：高难度子集 T2V 5/6 模型下降、相对降约 7.1%，I2V 5/6 下降、约 10.9%。发现四：首帧先验主要改善条件遵循与感知：MiniMax H3 转 I2V 后 CSF/PTQ/MFS 分别 +4.8/+7.1/+3.4，但 GS −3.7、MC −5.2。发现五：物理量分数远优于 MLLM 打分——与人工分的 Spearman $\rho$ 为 0.84 对 0.14，MLLM 73.7% 样本给满分；人工一致性总体 $\rho$=0.772、$\tau$=0.643。

**Table 1**: The dimensions covered by each specialized evaluation model.

**Table 2**: PVBench scores for the evaluated models.

**Table 3**: Physical-layer scores on normal and high-difficulty subsets.

**Table 4**: Correlation between automatic scores and human ratings by domain.

**Table 6**: Pairwise consistency across VLM back-ends.

**Table 7**: Discriminability and human agreement of physical-quantity and MLLM scores.

**Table 8**: Evaluator threshold calibration.

**Table A1**: Master table of all 46 PVBench evaluation dimensions.

**Table A2**: Per-dimension coverage of the 25 physical dimensions across physical-plausibility benchmarks.

**Table A3**: PVBench compared with existing physical-plausibility benchmarks.

**Table A4**: Per-dimension correlation between automatic evaluation scores and human scores.

**Table A13**: Paired differences (I2V minus T2V) on all seven domains across six model configurations.

**Table A15**: Mapping of physical quantities to threshold segments and 1 to 5 scores.

**Table A16**: Statistics of the 600 prompt groups.

**Figure 4**: PVBench results for six T2V and six I2V configurations.

**Figure 5**: Visual Comparison of Selected I2V Models.

查看结构化数据

任务	指标	本文	基线	提升
T2V 机械与守恒（MC 域）	PVBench 百分位分数	Seedance 2.5：30.0	次优 MiniMax H3：25.3（最差 SANA-Video 2.0 仅 18.7）	+4.7
T2V 材料与场态（MFS 域）	PVBench 百分位分数	Seedance 2.5：47.2	次优 MiniMax H3：30.8	+16.4
T2V 几何与空间（GS 域）	PVBench 百分位分数	MiniMax H3：52.6	次优 Seedance 2.5：52.2	+0.4
T2V 运动学与持续性（KP 域）	PVBench 百分位分数	Seedance 2.5：55.6	次优 Wan2.1：55.3	+0.3
T2V 条件与语义保真（CSF 域）	PVBench 百分位分数	Seedance 2.5：92.2	次优 MiniMax H3：88.0	+4.2
物理量评分 vs MLLM 直接打分（与人工评分一致性）	Spearman ρ	0.84（物理量分数）	MLLM 语义打分：0.14	+0.70，且满分率从 73.7% 降至 15.5%
自动评测器与人工评分总体一致性（25 个物理维度、375 样本）	Spearman ρ / Kendall τ	0.772 / 0.643	标注者间一致性 ICC(2,k)=0.89（参照上界）	四域 ρ 介于 0.660–0.805
高难度补充子集（具身/遮挡/杂乱/相机运动）	物理层分数相对变化	T2V 平均相对下降约 7.1%（5/6 模型下降）	I2V 平均相对下降约 10.9%（5/6 模型下降）	—

局限与改进

作者承认的局限：评测依赖专用视觉模型，仅对不可观测样本少量跳过（LingBot-Video I2V 跳过率达 4.84%，Seedance 2.5 I2V 另有 69 个实例因人脸审核生成失败）；材料、相变等维度仍依赖 MLLM 打分；只对 VLM 后端做了消融（三种后端两两 Spearman 0.705–0.836），未对专用评测器完整消融；除少数维度外缺乏真值参照，主要靠物理定律一致性校验。我自己的观察：其一，部分维度与人工相关性很低——物体永存性 R21 的 ρ 仅 0.125、运动连续性 R20 仅 0.240、光影空间一致性 R13 仅 0.269、相对尺度 R09 仅 0.401，这些低信度维度等权计入聚合会引入噪声；其二，阈值人工设定且分段较粗（如 R02 以 15° 为优），跨场景泛化未验证；其三，MLLM 判断维度（R04/R06/R07/R10/R14/R25）可能存在裁判偏置与分数饱和；其四，评测只覆盖 720p、约 10 秒短视频，长视频与音频条件生成未涉及；其五，被评模型多为闭源（MiniMax H3、Seedance 2.5），社区难以逐帧复查其生成质量。

独立分析的弱点

弱点一：对感知模型的分布外（OOD）依赖。所有数值维度都假设 VGGT-Ω、Depth Anything 3、SAM 3 等在『生成的、可能物理不真实的画面』上依然可靠，而生成伪影恰恰可能让这些模型失效，误差沿流水线传播。改进方向：为评测器增加不确定性估计，或像 R02 那样做多模型交叉验证。弱点二：守恒律检验适用面窄。R23/R24 需提示词显式给出质量比，无质量信息的碰撞场景无法计算残差。改进方向：引入材料类别的质量先验，或用可微仿真在线拟合质量。弱点三：1–5 阈值映射粗糙且靠人工设定（如 R05 的 0.15/0.25/0.40/0.60）。改进方向：用与人工分数拟合的分段线性或保序回归自动校准。弱点四：低信度维度等权计入总分。R21（ρ=0.125）、R20（0.240）与高信度维度（R06 0.867）同权，会稀释结论。改进方向：按人工相关性加权或单列。弱点五：I2V 参考图统一由 GPT-image-2 合成，分布偏差可能偏向某些模型。改进方向：混入真实照片首帧做对照子集。弱点六：人工成本高。改进方向：蒸馏自动校验器减少标注量。

未来方向

作者明确提出的方向：一是用物理引擎和仿真工具为条件图生视频（CI2V）构建真值参照，把『定律一致性校验』升级为『与真值直接对比』；二是随算力与开源模型增长扩充基准；三是开发更鲁棒的跟踪算法与更精细的物理量以扩大可量化覆盖。基于本文成果可延伸的方向：其一，把 PVBench 的物理量残差（如动量残差$e = \\|\\mathbf{p} - \\hat{\\mathbf{p}}\\| / \\|\\mathbf{p}\\|$）做成可微奖励信号，用于视频生成模型的强化学习后训练，把『物理可用』直接写进训练目标；其二，面向世界模型与具身仿真扩展交互式评测——接受动作输入后检验因果一致性，论文的 AC-1 反事实动作对设计（同一场景『有动作/无动作』两版对比位移放大比）已具雏形；其三，把约 14 个专用评测器蒸馏成一个轻量统一评测器，降低评测成本（目前 7200 条视频需单张 H20 95GB）；其四，向长视频、音频驱动生成与跨镜头 3D 一致性推进，并建立公开排行榜，观察物理合理性随模型迭代是否真实提升，而非只涨语义分。

复现评估

复现条件总体较好。论文承诺开源代码（github.com/KSZG-11/PVBench）、项目主页、完整 600 组提示集与阈值校准协议；评测阶段固定所有评测模型的版本、权重和随机种子，附录给出 46 维主表、逐维度阈值映射、生成协议与评测环境。算力门槛不高：全部评测（12 配置 × 600 组 ≈ 7200 条视频）在单张 H20（95 GB）上完成。难点有三：一是需重新调用 6 个被评模型生成约 7200 条视频，其中 MiniMax H3、Seedance 2.5 为闭源，成本取决于厂商，且 Seedance 2.5 I2V 曾因人脸审核失败 69 个实例；二是提示集构造依赖 GPT-5.6 Sol 起草、GPT-image-2 合成参考图加人工筛查，复刻数据管线需大量人工投入；三是评测流水线串联约 14 个专用模型（VGGT-Ω、Depth Anything 3、SAM 3、SpatialTracker V2、Any6D、ReasonX 等），环境配置繁琐。总体：跑通评测协议属中等难度，人工校验部分难以完全复现，但 ICC=0.89、ρ=0.772 等统计量可供参照。