面向视频模型的视觉提示工程 Visual prompt engineering for video models

VIPE 分三步。**Step 1 Ideator（构思器）**：给定构思提示 $t_{ideate} \in \mathcal{T}$ 和 $k$ 个任务样本，构思器 $I: (\mathcal{X} \times \mathcal{T})^k \times \mathcal{T} \to \mathcal{T}$ 输出一段自然语言编辑指令 $t_{edit} \sim I(X, t_{ideate})$，其中 $X = \{(x_i, t_i)\}_{i=1}^k$。构思器可以是人或 LLM/VLM，编辑指令只受 $t_{ideate}$ 约束（确保核心任务不变，如规定哪些场景元素不可改）。**Step 2 Editor（编辑器）**：图像编辑器 $E: \mathcal{X} \times \mathcal{T} \to \mathcal{X}$（本文用 Nano Banana Pro / Nano Banana 2）根据 $t_{edit}$ 对原图 $x_i$ 采样 $m$ 个候选变体 $V_i = \{v_{i,j}\}_{j=1}^m$，$v_{i,j} \sim E(x_i, t_{edit})$。例如 VPCT 的编辑指令是「转成写实照片，保持正对墙面的视角，把白圆换成小红台球，每条黑线换成等长等向同位的木板，不要添加任何东西」。**Step 3 Filter（过滤器，可选）**：用打分函数 $S: \mathcal{X} \times \mathcal{X} \to \mathbb{R}$（如 VLM）评估候选质量及对原图 $x_i$ 的忠实度，选最优 $v_i^* = \arg\max_{v \in V_i} S(v, x_i)$。自动化版本有两种：自由构思（freeform ideation，VLM 开环生成 $t_{edit}$，Gemini 3.1 Pro 构思 + Nano Banana 2 编辑 + Gemini 3.1 Pro 从 5 个候选中筛 1 个，迭代 $n$ 次累积多样性）和原子概念编辑（ACE，把图像逐概念、一步步树搜索式修改，深度 3 层、分支因子 6/5/3，闭环接收 autorater 反馈并学习「宪法」总结有效编辑策略）。

技术新颖性体现在几个层面。**概念层面**：首次提出并系统验证「视觉提示工程」这一范式，把视觉输入从固定项提升为与文本提示对等的可优化空间，填补了视频模型输入优化研究的空白。**方法层面**：尽管 ideator/editor/filter 各组件都是现成模型（作者明确声明不主张这些组件的新颖性），但把它们组装成可自动化、可重复、可集成的流水线，并设计自由构思与 ACE 两种互补的自动化方案，是新的工程贡献；ACE 还通过「宪法学习」把哪些编辑策略有效/无效归纳成可迁移的知识（如高对比背景隔离、语义简化、把抽象元素做成「磨砂黏土」「粉笔板」等可触 3D 物体）。**实证层面**：首次揭示视频模型的真实感偏差，并用「不自然纹理」消融、Figure 7 的逐步写实实验（场景一致性从 0% 升到 59%）给出机制性解释。**评测层面**：作者还附带设计了「倒扣桶」对照实验（Figure 8），证明号称已解决 VPCT 物理推理的 VLM（Gemini 3.1 Pro 达 96%）其实只是浅薄理解——桶倒过来准确率就掉到 4%。

**弱点一：强依赖图像编辑器且存在忠实度风险。** 当编辑器把任务改「跑题」（如改变了斜坡角度、漏掉障碍）时，VIPE 反而引入新错误。改进方向是引入更强的、可证明保持几何/拓扑不变的编辑器（如基于约束的可控生成），或用确定性几何校验自动检测忠实度违规，替代当前靠 VLM 主观筛选的过滤步。**弱点二：评测主模型单一。** 第 4 节后的自动化与扩展实验几乎只用 Veo 3.1，结论能否迁移到 Wan、Omni、开源模型乃至未来模型存疑；尤其作者自己也提出「随着模型变强，VIPE 会不会变得不需要」这一悬而未决的问题。改进方向是跨多代、多家模型做纵向追踪，刻画 VIPE 收益随模型能力演化的曲线。**弱点三：对真实感偏差只给出了相关性解释。** Figure 7 证明真实感↑则一致性↑，但「是因为抽象场景把模型带出分布，还是只是把它带到另一种先验（如卡通里物体本就可随意消失）」仍未区分。改进方向是设计受控实验，用合成数据明确操控训练分布中抽象样本的比例，做因果归因。**弱点四：自动评估的 autorater 一致性参差。** Maze 的 VLM autorater 与人类仅「中等」一致（κ=0.583），RushHour 的算法解析器在严格模式下几乎失效（κ=0.000），这可能让 Figure 3 的绝对数字带有噪声。改进方向是开发更鲁棒的任务特定解析器或更高一致性的评估协议。**弱点五：跨切分泛化弱。** 自由构思难产出一个对所有迷宫尺寸/难度都有效的变体，意味着每换一个切分可能都要重新搜索，工程成本高。改进方向是研究「可迁移编辑策略」或元学习。**弱点六：联合文本+图像工程反而更差**，暴露了多维同时优化的难度，值得专门研究如何协调两个通道。

作者在 Outlook 中明确展望：随着前沿视频模型接受更丰富的多模态上下文，VIPE 可能从编辑单张图像扩展到涉及多张参考图甚至参考视频；并抛出一个开放问题——模型变强后 VIPE 是会越来越不需要（模型直接懂抽象任务），还是越来越强（图像编辑越来越好）？基于本文成果，我认为可延伸的方向还有：第一，把 VIPE 思想推广到视频本身的编辑（而不仅是首帧），例如对中间帧做提示工程；第二，研究 VIPE 与强化学习/偏好优化的结合，把「找好视觉提示」变成可微或可奖励的过程；第三，沿「表示鸿沟」假说做更系统的诊断工具，量化任意模型在任意输入分布上的表示不匹配程度，从而预测 VIPE 收益；第四，把 ACE 的「宪法学习」做成跨任务可迁移的通用编辑策略库；第五，针对真实感偏差，探索训练时增强（如对抗式抽象样本训练）以从根上消除偏差，而不只在推理时补救；第六，作者自己提出的「性能 vs 能力」框架可扩展为：为每类视频模型建立一套「最小真实化」的 VIPE 预处理标准，让评测更公平可比。

复现评估整体偏好但有几个门槛。**有利因素**：作者公开了几乎所有关键细节——VPCT 数据集本身在 HuggingFace 上以 MIT 许可发布（100 样本），其他任务来源（Wiedemer et al. 的 Maze/Connect the Dots/Sort 3 Numbers/Conjunctive Search、MentisOculi 的 RushHour）均标注许可；附录给出了完整的 ideator/filter/text-ideator/ACE 系统提示词、各任务的基础任务描述、ACE 树搜索配置（深度 3 层、分支因子 6/5/3、每节点 3 视频）、评估器的帧级打分 prompt，以及成本明细（Veo 3.1 每 720p 8s 视频 USD 3.20，一次含 5 次编辑的 VIPE 约 USD 0.40）。还报告了 autorater 与人类的一致性（Conjunctive/Search/Sort 任务 216 视频上 85.6% 一致、κ=0.711；Maze 加网格后 κ=0.583；RushHour 宽松算法 κ=0.570）。**主要门槛**：核心模型（Veo 3.1、Gemini 3.1 Pro、Nano Banana Pro/2、Omni Flash）多为 Google 闭源 API，需通过 Vertex AI 调用，第 4 节一次实验就生成 18,160 个视频，按 USD 3.20/视频粗估仅视频生成就约 5.8 万美元，加上 VIPE 与评估调用，复现成本极高；开源的 Wan2.2 虽可本地跑但表现远弱于 Veo。**项目页**承诺提供示例视频（论文多处提到「See videos on our project page」），但未见代码/数据编辑流水线的开源仓库。综合来看，方法层面高度可复现（提示词齐全），但完全复现实验结果受算力和闭源模型访问限制，难度较大。