CollabVR:基于视觉语言模型与视频生成模型的协同视频推理 CollabVR: Collaborative Video Reasoning with Vision-Language and Video Generation Models

完整执行流程按 Algorithm 1 进行。输入为初始图像 $I_0$、任务 prompt $q$、最大规划步数 $N_{max}$、每步尝试预算 $M$，输出为拼接后的视频 $V = c_1 \oplus \cdots \oplus c_N$。外层循环对 $t = 1, \ldots, N_{max}$：先调用 $\pi_{plan}$ 即 $a_t \leftarrow \pi_{plan}(I_0, q, H)$ 给出下一步动作的描述，并附带任务是否完成的标记；然后内层循环最多 $M$ 次执行 $c_t \leftarrow g(f, a_t)$ 让 VGM 生成候选片段，再调用 $\pi_{verify}$ 得 $(v, d) \leftarrow \pi_{verify}(I_0, q, H, c_t)$；若 $v=\text{accept}$ 则把 $c_t$ 追加到历史 $H$，更新条件帧 $f$ 为 $c_t$ 的最后一帧，并在任务完成时立即返回；若 $v=\text{reject}$ 则把诊断 $d$ 折回 prompt $a_t \leftarrow \text{evolve}(a_t, d)$ 并继续尝试。Module 1（VLM-Driven Progressive Planning）负责把任务的子目标数量 $N$ 由 VLM 自适应决定而非预设，从而在不分解就不够用、过度分解又会破坏简单动作的情形间自动切换；Module 2（VLM-VGM Collaborative Reasoning）则对每个生成的片段判断动作是否被执行，并把失败原因（如方向错、目标错、场景崩坏）以 suggestion 形式回写 prompt。超参数默认 $N_{max}=3, M=3$，在该配置下 Gen-ViRe 单样本平均 2.56 步、1.46 次重生、4.01 个生成片段、6.79 次 VLM 调用。

技术新颖性体现在三个层面。第一，闭环粒度的重新定义：把 VLM-VGM 耦合从"全程批处理"下沉到"步级同步"，引入两个互补模块（渐进规划 M1 与协同推理 M2）分别针对长程漂移和执行错误两类失败，并通过 Ablation 证明两者在两个基准上的相对贡献会根据任务的 $N$ 分布自适应翻转（Gen-ViRe 上 M1 主导 $+0.120$，VBVR-Bench 上 M2 主导 $+0.063$）。第二，把"verification-feedback loop"用最少接口实现：验证器的 $(v, d)$ 对同时承担接受/拒绝与可执行 suggestion 两件事，prompt 进化不需要额外 VLM 调用，使单次失败修复成本只相当于一次 VGM 再生。第三，配套构建了一个三轴人评基准（plan-depth、verifier agreement、evolution quality），把"VLM 作为监督器"的假设从信念升级为可证伪的实证，让框架可信度高于单纯依赖自动指标的工作。

独立分析可识别若干可改进方向。第一，verification 召回不足：Gemini 2.5 Pro 的 reject-recall 仅 65.6%，开源 Qwen3.5-9B 更低至 40.8%，意味着相当一部分错误片段被误判为 accept 后污染下游轨迹；可引入多视角验证（多个 VLM 投票）或对 clip 关键帧密集采样后做时序一致性检查来降低漏检。第二，失败后回滚粒度过粗：当前若 $M$ 次重生都失败就直接取"尝试中最优片段"传播，附录 D.5 提到的"partial re-generation from $f_\tau$"只在 maze 例子里做演示未集成，应作为默认恢复选项以避免丢掉前缀中已正确的部分。第三，闭环无"早停/换轨"机制：当多次 retry 持续 reject 时应触发 fallback（Appendix A.5 的 failure_router 已设计但仅 Veo 3.1 在样本级调用），建议把 fallback 升级为通用 termination-or-replan 策略。第四，符号/知识类任务表现弱：Gen-ViRe Analogy $\Delta=+0.083$、VBVR-Bench Knowledge $\Delta=+0.010$，原因是 VLM verifier 只能检测"视觉上有没有发生"而无法补足缺失的世界知识，需要外挂知识检索或 tool-use。第五，prompt 演化策略固定为把 suggestion 简单拼接到下一次 prompt，没有考虑与历史 $H$ 中已成功片段的一致性约束，可能引发步间冲突。

作者明确指出两个互补方向：reasoning-oriented VGM 训练（如物理感知微调、符号转换预训练）以及更细粒度的失败定位（当前 good_fraction 是 0–1 连续值但 prompt 演化只用 suggestion 文本，没充分利用 good_fraction 做 partial re-gen）。基于成果还可延伸出几个方向：第一，把 CollabVR 范式迁移到其他生成器-推理器对（如图像扩散模型 + LLM、3D 资产生成 + VLM），构建通用的"planner-verifier-generator"闭环模板；第二，在闭环中引入显式的"世界模型"或物理仿真器作为第三模块，对生成片段做符号一致性校验；第三，研究步级闭环下的"信用分配"问题——哪些成功应归功于哪一段干预，以进一步压缩 VLM 调用次数（Gen-ViRe 平均 6.79 次/样本）；第四，扩展到交互式视频推理，让 VLM 在执行过程中根据用户反馈实时重规划。

复现评估整体较好。论文已发布项目页（含视频样例与定性结果 https://joow0n-kim.github.io/collabvr-project-page），但代码仓库链接未在正文给出，需要到项目页查找；算法核心仅依赖 off-the-shelf VGM 与 VLM，无任何额外训练，pipeline 是 training-free 的。VGMs 部分开源（Wan2.2-14B、Cosmos-Predict-2.5-14B）可本地 A100 单卡复现，VBVR-Wan2.2 在 832×480、16fps、20 步采样、CFG 5.0 设置下生成；Veo 3.1 走 API（$0.15/秒视频成本）且因 API 成本只在较小的 Gen-ViRe 上评估。VLM 主用 Gemini 2.5 Pro（temperature 0.2），闭源，但可替换为 Qwen3.5-9B/27B 开源版本来低成本复现。数据方面 Gen-ViRe 公开 72 样本 6 类，VBVR-Bench 公开 500 样本 5 类 ID/OOD 划分，评估上 Gen-ViRe 用 Gemini 2.5 Pro 作为 VLM judge（需要 3 次平均以吸收随机性），VBVR-Bench 用确定性规则评分。算力门槛对开源路线是单卡 A100（每样本约 17.5 分钟），对闭源路线则需要支付 Veo API 费用（每样本约 $3.21），复现难度中等偏低，主要门槛是 Gemini API 的可用性与成本。