BVB：基于 Blender 程序化重建的智能体视频理解基准 BVB: Benchmarking Agentic Video Understanding via Programmatic Reconstruction in Blender
让智能体用代码把真实视频重建为 Blender 动画场景，以可验证产物检验真实理解力
前置知识
VSI-Bench
视觉空间智能基准，由 ScanNet、ScanNet++、ARKitScenes 中的真实室内第一视角视频构成，提供 288 个测试场景和 5,130 道时空问答题，覆盖物体计数、绝对/相对距离、物体与房间尺寸、方向、路线规划和出现顺序等任务类型。
BVB 完全构建在 VSI-Bench 之上：其视频作为待重建的源素材，其问题作为 Dual VQA 的评测题库，理解该基准才能理解 BVB 的数据来源与评测任务划分。
Blender 与 bpy 编程接口
Blender 是开源 3D 建模与动画软件，bpy 是其 Python API，可用代码创建网格体、设置材质、给相机打关键帧动画，并用 EEVEE 等渲染器出图，最终保存为可编辑的 .blend 场景文件。
BVB 要求智能体不借助扩散模型和外部素材库，仅凭 bpy 代码从几何基元搭建整个场景并动画化相机，这是论文检验"程序化理解"的载体。
V-JEPA 视频编码器
Meta 提出的自监督视频表征模型（本文用 V-JEPA 2.1 ViT-G），无需标注即可把视频片段映射为编码布局结构与运动动态的潜在特征向量，从未在 BVB 上微调，可度量两段视频的感知相似度。
Latent Similarity 指标正是用冻结的 V-JEPA 特征做余弦相似度，分别比较空间布局与时间动态，读懂它才能理解感知相似度轴的计算方式。
源条件化评分（Dual VQA 保留率）
让 VLM 裁判对源视频和重建渲染视频回答同一组问题，只在源视频上答对的题目集合 $C_s$ 上计算保留率 $\mathrm{Retention}=|C_s\cap C_r|/|C_s|$，从而剔除裁判自身答错带来的噪声，度量重建"保住了多少事实"。
这是 BVB 语义轴的核心定义，条件化设计是评测公平性的关键，也是论文与普通 VQA 准确率指标的本质区别。
平方根均值聚合
先把各轴得分开方再取平均后平方：$\bar{s}=\big(\frac{1}{|A|}\sum_{a\in A}\sqrt{s_a}\big)^2$，等价于算术均值减去跨轴方差 $\frac{1}{|A|}\sum_a s_a - \mathrm{Var}_{a\in A}(\sqrt{s_a})$，对偏科配置施加惩罚。
BVB 用它把 Dual VQA 和 Latent Similarity 合成 Overall 排行榜分数，避免模型靠视觉相似度高来掩盖事实性缺陷。
智能体沙箱与工具受限循环
每个场景在无网络、2 CPU、4 GB 内存的全新 Docker 容器中运行，预装 Blender 4.2 与 FFmpeg；智能体通过 Mini-BVB 框架只能执行 bash 命令和按时间戳取帧两种动作，自行决定看多少帧、干多久，唯一约束是每场景 3 美元花费上限。
统一的沙箱、提示词与成本上限保证 51 个模型配置之间的公平比较，是理解 BVB 实验协议的基础。
研究动机
现有视频理解评测几乎都靠问答：VSI-Bench、EgoSchema 等基准让模型从选项中挑答案，但答对一题并不能证明模型真正看懂了场景——模型可能靠答案先验或单帧外观就选对，Lei 等人（2023）已证明单帧模型可以媲美多帧模型，因此正确答案无法说明模型追踪了场景随时间的演变。另一边，多模态智能体确实已能纯靠写代码在 Blender 中搭建动画场景（如 OpenAI 2026 的演示、VIGA、Kubrick、BlenderMCP），但这些成果都来自精心挑选的片段，往往需要人工反复指导并调用外部素材库，既无法说明智能体面对陌生场景的可靠程度，也无法横向比较不同模型家族，更没有度量重建结果与源视频在布局和动态上的吻合度。
本文的目标是论文要构建一个标准化、成本可控、禁止外部素材的基准 BVB（Blender-VideoBench）：让多模态智能体把 VSI-Bench 中 288 个真实室内第一视角视频程序化重建为带动画相机的 Blender 场景，然后在统一沙箱与相同 3 美元/场景预算下比较 10 个模型家族共 51 个配置。评测设计两条互补轴线：Dual VQA 度量重建保留了多少可验证的时空事实，Latent Similarity 度量重建与源视频的感知相似度，并用平方根均值合成 Overall 排名，最后用 15 人盲评研究验证自动评测与人类偏好一致。
与已有工作不同的是，本文的独特切入是把"回答问题"换成"重建所见"：一个真正的重建必须在物体摆放、相机轨迹、事件顺序上同时正确，这些信息无法靠先验或单帧猜出，伪造重建远比挑对选项困难。在评测上，它不依赖隐藏的 3D 真值（不同于 SceneAct-Bench 的标定几何监督），而是源条件化比较渲染视频与源视频——Dual VQA 只在裁判于源视频答对的题目上算保留率，Latent Similarity 用冻结的 V-JEPA 特征做感知比对，使无标定真实视频也能被公平打分。聚合方式上用平方根均值替代算术均值，避免 LS 涨 10 分抵消 DV 跌 10 分的偏科交换。
核心方法
BVB 分两个阶段。第一阶段是受控重建：每个场景分配一个全新 Docker 容器（无网络、2 CPU、4 GB 内存），预装 Blender 4.2 和 FFmpeg，智能体通过统一的 Mini-BVB 框架交互，该框架只暴露两个动作——bash（执行包括 bpy 脚本在内的沙箱命令）和 frames（按时间戳或均匀数量请求视频帧）。系统提示词对所有配置完全一致，模型自主决定看多少帧、写多少代码，没有步数或帧数预算，唯一限制是每场景 3 美元花费上限；只有观察过源视频并产出可渲染的 result.blend 才算有效运行。第二阶段是隔离评分：评分管线拿到 .blend 文件后用 EEVEE 沿动画相机时间线渲染 64 帧，与源视频的 64 帧采样一起送入 Dual VQA 和 Latent Similarity 两个指标，评分过程不再回到智能体循环中，且智能体永远看不到自己的分数。
核心思想是"可执行的重建即理解"：与其问模型十道题，不如让它把视频重建出来，因为重建产物是持久、可执行、可复核的工件，空间布局和时间动态无法凭先验蒙混。与问答型基准的本质区别在于评测对象从文本答案变成三维场景；与需要 3D 真值的重建基准的区别在于源条件化评分——Dual VQA 定义保留率 $\mathrm{Retention}=|C_s\cap C_r|/|C_s|$，只统计 VLM 裁判在源视频上答对的题目集合 $C_s$，剔除裁判自身能力噪声；Latent Similarity 则用冻结的 V-JEPA 2.1 ViT-G 分别对源片段与渲染片段提特征，按空间布局和运动动态分别算余弦相似度再取平均。两者都归一到 0–100 后用平方根均值 $\bar{s}=\big(\frac{1}{|A|}\sum_{a\in A}\sqrt{s_a}\big)^2$（$A=\{\mathrm{DV},\mathrm{LS}\}$）合成 Overall，该值等于算术均值减跨轴方差，天然惩罚偏科。
方法步骤详情
完整流程如下。输入是一段真实室内第一视角视频和 VSI-Bench 的 5,130 道时空题。第一步，为该场景启动全新 Docker 沙箱并注入统一系统提示词。第二步，智能体循环工作：用 frames 动作自选时间戳查看帧，用 bash 动作执行 Python 代码调用 bpy，从几何基元搭建物体、赋材质、给相机打关键帧以复现源轨迹，最后保存 result.blend，期间花费被 3 美元上限约束，失败运行在该场景两个轴上都记 0 分以防挑肥拣瘦。第三步，评分阶段用 EEVEE 沿场景相机时间线渲染 64 帧。第四步做 Dual VQA：VLM 裁判 gpt-5.4-mini 在源视频与渲染视频各均匀采样 16 帧上回答全部问题，源视频基准准确率 $A_o=35.6\%$，按 $|C_s\cap C_r|/|C_s|$ 计算各任务保留率。第五步做 Latent Similarity：V-JEPA 2.1 ViT-G 对两段 64 帧片段提特征，分别计算布局与运动的余弦相似度（负值截为 0）后平均得 LS。第六步按平方根均值合成 Overall 用于排行榜。
技术新颖性
技术新颖性有四点。其一，任务设定新颖：首个在未标定真实第一视角视频上做整体性程序化重建的智能体基准，不提供任何外部素材或几何真值，与 BlenderGym（参照图修图）、SceneAct-Bench（隐藏几何真值加分解任务）、VIGA/Kubrick（精选场景加人工指导）都不同。其二，评测协议新颖：源条件化 Dual VQA 把裁判误差与重建质量解耦，失败场景计零分堵住弃难就易的漏洞，评分与重建循环完全隔离。其三，聚合方式新颖：平方根均值被证明等价于算术均值减跨轴方差 $\mathrm{Var}_{a\in A}(\sqrt{s_a})$，既避免算术均值的偏科抵消，又不像几何均值那样一轴为零就全盘归零。其四，实验规模与成本控制：51 个配置共享同一沙箱、提示词与 3 美元预算，并给出成本前沿分析，最便宜与最贵配置每场景花费相差约 90 倍（0.024 至 2.157 美元）。
实验结果
核心结果分五块。一是排名：51 个配置的 Overall 跨度 47.50–70.07，GPT-6-Astra-high 以 70.07 居首（DV 53.7、LS 88.6、每场景 1.258 美元），GPT-5.6-Sol-xhigh 以 67.49 次之（仅花 62% 成本拿 96% 分数），Grok-4.6-xhigh 67.17 第三；前两名 2.58 分的 Overall 差距经 bootstrap 检验显著，但 DV 差异不显著；最强开源配置 GLM-5.3-Flash-xhigh 排第 12（63.96），每场景仅 0.024 美元即达榜首的 91%。二是语义鸿沟：最佳 LS 达 88.6 而 DV 封顶 53.7，最强模型在裁判于源视频答对的 1,827 题中只保住 981 题、丢失 846 题，"看起来对"不等于"事实上对"。三是任务层级：平均保留率最高的是物体尺寸 63.0% 与路线规划 58.5%，最低的是出现顺序 16.1% 与物体计数 29.3%，且无配置全任务占优。四是人工对齐：15 名评分者对 5 个配置各 9 场景盲评，平均排名与 Overall 完全一致（Spearman $\rho=1.00$），LS 与偏好 $\rho=0.83$ 而 DV 仅 0.11。五是推理与成本：跨 GPT-5.6 各档位，提高推理力度让 LS 稳升但 DV 持平或下降；更长运行时间不保证更高分；全量评测一个顶级配置约 360 美元。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 整体重建评测（VSI-Bench 全部 288 场景、5,130 题） | Overall：DV 与 LS 的平方根均值（0–100） | GPT-6-Astra-high 70.07，为全场最佳 | 第二名 GPT-5.6-Sol-xhigh 67.49，最弱 Qwen3.5-27B 47.50 | 较第二名 +2.58（统计显著），较最弱 +22.57 |
| 语义保持 Dual VQA | 保留率 $|C_s\cap C_r|/|C_s|$（%） | 最佳 53.7%（GPT-6-Astra-high），最强模型保住 1,827 题中的 981 题 | 裁判模型对源视频基准准确率 $A_o=35.6\%$；51 个配置 DV 范围 38.6–53.7 | 无配置突破 53.7%，基准远未饱和 |
| 感知相似度 Latent Similarity | V-JEPA 2.1 特征余弦相似度（布局与运动平均，0–100） | 最佳 88.6（GPT-6-Astra-high） | 最弱配置 57.2（Qwen3.5-27B） | 51 配置跨度 31.4 分，区分度强 |
| 自动指标与人类盲评对齐 | Spearman 排名相关系数 $\rho$ | Overall 与 15 人盲评排名完全一致（$\rho=1.00$），LS 与逐场景偏好 $\rho=0.83$ | DV 与人类偏好仅 $\rho=0.11$ | 证明两轴分工：LS 跟踪感知偏好，DV 守住事实底线 |
| 成本前沿（性价比） | Overall / 每场景平均花费（美元） | GLM-5.3-Flash-xhigh 以 $0.024 达到最优 Overall 的 91%；GPT-5.6-Sol-xhigh 以 $0.778（62% 成本）达 96% | 榜首 GPT-6-Astra-high 花费 $1.258/场景 | 成本降低约 52 倍仅损失 9% 分数；全量评测一个配置约 $360 |
局限与改进
作者承认的主要局限是语义保持：最佳模型也只保留 53.7% 的源正确答案，出现顺序保留率最低仅 4%–36%，说明相机轨迹级理解远未解决，且提高推理力度只改善 LS 不改善 DV。此外还有几点值得注意：其一，DV 依赖单一裁判 gpt-5.4-mini，其对源视频的基准准确率只有 35.6%，裁判偏差与噪声会传导进指标，而源视频上答错的题目被直接排除，重建反而答对的情况（Recovery）不获奖励；其二，数据全部来自 ScanNet 系列的静态室内场景，这些扫描场景很可能出现在主流模型的预训练数据中，存在靠记忆布局蒙混的风险；其三，LS 上限已达 88.6，感知相似度接近饱和，64 帧 EEVEE 渲染也难以刻画快速运动细节，V-JEPA 特征对某些几何错误可能不敏感；其四，3 美元预算上限可能截断复杂场景的长程推理，平方根均值本身也是会改变中间排名的设计选择。
独立分析的弱点
独立来看，本文有几处弱点。第一，裁判单点依赖：DV 完全由 gpt-5.4-mini 说了算，若裁判偏好某种措辞或外观风格，排名可能被带偏，改进方向是裁判集成加人工抽检校准，并报告裁判置信度。第二，潜在数据污染：ScanNet/ARKitScenes 是公开多年的数据集，模型可能见过这些房间，重建好未必是"看视频"的结果，应在全新采集或布局扰动的held-out场景上复测。第三，DV 的不对称性：只奖励保留 $C_s$ 中的事实，重建视频答对而源视频答错的 Recovery 不计分，可能抑制过度忠实，值得把 Recovery 作为第三轴单独报告。第四，LS 可被表面技巧部分博弈权重：模型可以靠复刻光照与纹理风格抬高感知分，可补充深度一致性、点云配准等几何敏感指标。第五，场景动态性不足：视频中基本没有移动物体和人物，重建轨迹主要是相机本身，无法考察对动态事件的理解，应扩展到含运动主体的户外或交互场景。第六，失败即双零过于粗暴，可对"可运行但渲染失败"的产物给部分分数以获得更细的梯度信号。
未来方向
作者指出的方向是识别哪些视频理解能力尚未解决并指导后续研究，最直接的是攻克计数与出现顺序这两类全场景任务（平均保留率仅 29.3% 和 16.1%）。在此基础上可延伸：其一，把 DV+LS 当作可验证奖励做强化学习（RLVR），BVB 发布的可编辑 .blend 工件天然适合作为训练信号与环境；其二，引入多智能体分工（规划者、编码者、批评者）或交互式工具（网格检查、深度估计）来提升语义保真；其三，扩展到长视频、户外场景和含人物运动的动态内容，并研究推理力度与预算的最优分配，因为论文显示更高的推理力度只抬 LS 不抬 DV；其四，探索几何真值可得的子集上的细粒度诊断指标，或将 V-JEPA 相似度替换/融合为更敏感的时空表征；其五，把成本前沿分析用于自动选择性价比最优的模型与推理档位组合；其六，研究 LS 与 DV 的权衡是否随模型规模呈系统性规律，为空间智能的可控训练提供标尺。
复现评估
复现条件较好。论文给出了项目主页和 GitHub 链接，Mini-BVB 框架与完全相同的系统提示词在附录 A 中完整公开；数据基于公开的 VSI-Bench（ScanNet、ScanNet++、ARKitScenes），感知编码器 V-JEPA 2.1 与裁判模型 gpt-5.4-mini 均可公开获取；沙箱规格明确（Docker、无网络、2 CPU、4 GB、Blender 4.2、FFmpeg、每场景 3 美元上限）。成本方面，评测一个顶级配置的全部 288 个场景约需 360 美元，多数配置更便宜，加一个新模型到排行榜的开销可控；15 人盲评协议在附录 J 给出。主要门槛在于：需要多个前沿模型的 API 预算（51 个配置总成本不菲）、Blender 与 Docker 环境搭建、以及复现统计检验所需的 bootstrap 细节在附录 C。总体而言数据、代码、提示词齐备，属于中低难度的复现任务。
论文图表
上半部分是基准总览：输入 video.mp4 后，传统做法是问答式视频 QA，而 BVB 让智能体写 bpy 代码生成可执行、可编辑的动画 .blend 场景，再从动画相机渲染做双重评测；下半部分是 51 个配置的 Overall 分数对每场景平均花费（对数坐标，约 0.02 至 2.00 美元）的散点图，标出 Pareto 前沿和各家族最佳配置，可见 GPT-6-Astra-high 居首、GPT-5.6-Sol-xhigh 以 62% 成本达 96% 分数、GLM-5.3-Flash-xhigh 以 0.024 美元达 91%。
这是全文的一图总纲：既直观展示"重建代替问答"的任务范式，又一次性给出最重要的成本—质量前沿结论，理解论文贡献与实验格局从这里开始。