VIS-Ground：具有上下文接地的视频交互式叙事 VIS-Ground: Video Interactive Storytelling with Contextual Grounding

第一步，接地状态抽取：输入为接地源文本、视频前缀帧与观众请求，用 VLM 抽取实体、属性、事件、关系和状态转移，写成带参数、时间范围与证据链接的类型化谓词，组织为 $\mathcal{V}$、$\mathcal{H}$、$\mathcal{S}$ 三个互补状态并构建跨状态对齐 $\mathcal{A}$，输出 $\mathcal{M} = (\mathcal{V}, \mathcal{H}, \mathcal{S}, \mathcal{A})$。第二步，依赖派生与约束诱导：对 $\mathcal{M}$ 运行 Derive 得到 $\mathcal{R}$；针对候选脚本 $P^{(k)}$ 逐条判断激活，实例化为 $c_j = (s_j, a_j, b_j, e_j)$，评估返回 pass、fail 或 unknown。第三步，规划与脚本修复：失败约束连同证据生成定向反馈 $F^{(k)}$，按 $P^{(k+1)} = \text{Revise}_\theta(P^{(k)}, \mathcal{M}, F^{(k)})$ 修订；因修订可能引入新事件，每次更新后重算约束激活，形成依赖引导的迭代修复。第四步，渲染与输出修复：通过脚本级检查的 $P^*$ 送入生成器 $v_{\text{cont}} \sim p_\psi(v_{\text{cont}} \mid P^*, v_{\text{prefix}}, \mathcal{G})$，再从渲染视频中抽取已实现关系并投影同一依赖集，若物件转移被省略、持久属性改变或前提事件缺失，则转化为输出级反馈回改脚本重渲染，直到满足约束或预算耗尽。

新颖性体现在四个层面。表征层面：把非结构化的源、前缀、请求统一编译为谓词化的三态加对齐 $\mathcal{M}$，消融显示换成自由文本摘要（Unstructured State）使叙事设定下 SF/SC/IF 均值下降 7.60 分，证明结构化表征本身有实质贡献。推理层面：依赖集 $\mathcal{R} = \text{Derive}(\mathcal{M})$ 是从联合接地中派生的，而非任何单输入中显式存在，正命中'隐式依赖'这一核心难点。控制层面：约束是候选条件化的，只在被提议的未来使其相关时才实例化，避免了把所有可能约束塞进上下文的不可扩展做法；去掉它的 One-Pass Planning 使均值下降 4.36 分，与结构化表征的贡献互补。闭环层面：同一个依赖模型同时用于渲染前的脚本验证与渲染后的视频验证，形成 plan–verify–revise–render 循环，正面承认'脚本合法不等于视频忠实实现'。跨骨干综合分方差从 Direct 的 30 多点压到 6 点以内（约 82% 降幅），说明收益来自框架而非特定生成器。

弱点一：流水线上限被 VLM 状态抽取质量锁死——$\mathcal{V}$、$\mathcal{H}$、$\mathcal{S}$ 漏抽或错抽会传导为依赖缺失、约束激活不全，而论文对抽取环节没有独立错误率分析；改进方向是对抽取做多次采样一致性校验并引入置信度，把 unknown 约束升级为主动取证（如回看更多帧或检索源文档）。弱点二：plan–verify–revise–render 循环每轮重算激活并调用评估器，渲染失败还要重新生成视频，成本与延迟对'交互式'定位是硬伤；可训练摊销的约束预测器，在规划阶段一次性预测高价值约束子集以减少评估与重试。弱点三：方法不触及生成器本身，VQ 几乎由骨干决定（MiniMax-H3 上仅 47.8），可把约束作为条件信号注入扩散过程（LoRA 微调或噪声引导），把忠实实现从后验修复变为前验控制。弱点四：对模糊或冲突请求采用固定的'兼容优先'策略，缺少可配置权衡（如 IF–SF 权重）或向用户澄清的机制。弱点五：基准指令由模型规划生成，偏向可检查的原子需求，真实用户话题漂移与多轮连续干预未覆盖，建议补充真实用户在环评测集。

作者指出的方向集中在两点：改进依赖抽取的质量，以及提升渲染阶段对脚本的忠实实现，同时处理请求与上下文冲突时的多目标权衡。基于本文成果可以延伸的方向包括：其一，把约束满足信号作为强化学习的奖励来训练规划器，让 Revise 从'调用大模型改写'进化为可学习的策略，甚至端到端联合微调；其二，将接地依赖模型与流式生成架构（StreamDiT、LongLive 一类）结合，实现边生成边验证的低延迟交互，缓解当前循环的开销；其三，扩展到音频、更长时程（远超 48 秒）与多线叙事的依赖追踪，检验持久性依赖在长程下的可扩展性；其四，系统研究 unknown 约束的主动消解，例如生成澄清性反问或插入信息性镜头，而不是默认保守兼容；其五，把 VIS-Bench 从 CoQA 派生的静态指令扩展为真实观众在环的动态基准，测量真实分布下的 IF 与用户满意度；其六，把约束层迁移到相邻任务，如具身智能体的行动可行性检查、教育视频的事实核查与长文档配图的一致性控制。

复现难度中等偏高。有利因素：论文设有项目主页（https://vis-ground.github.io），附录 B 详述 VIS-Bench 构建（从 CoQA 相关来源采样 250 个源段落，覆盖 MCTest、Gutenberg、RACE、CNN、Wikipedia，132 叙事 + 118 知识，两种视觉风格，1,004 条指令、2,008 个实例，含质量检查与泄漏审计），附录 C/D/E 给出表征与修复流程、评分锚点与基线适配细节；评估协议（Gemini 3.8 Flash + Claude Opus 5 双评审、盲测人工验证、等接地权重）描述完整。不利因素：正文未明确承诺开源代码与数据（需查项目页）；三个骨干中 Omni-1.1-Flash 与 Veo 3.1 为 Google 专有 API，仅 MiniMax-H3 本地托管，严格复现依赖付费 API；流水线涉及多轮 VLM 抽取、依赖派生与渲染验证，调用次数多、成本高。若只用开源权重模型，性能会明显低于报告值。总体判断：方法逻辑与实验设计可复现，数值结果难以低成本复现。