VQQA：视频评估与质量提升的智能体方法 VQQA: An Agentic Approach for Video Evaluation and Quality Improvement
通过多智能体问答框架实现视频生成的评估与迭代优化
前置知识
测试时扩展
指在推理阶段增加计算资源来提升模型性能的技术，不同于传统的训练时优化。在视频生成中通常表现为拒绝采样、轨迹搜索、候选池评估等方式，通过在推理时投入更多算力来生成更高质量的输出。
本文将测试时扩展形式化为离散的提示词空间优化问题，理解这一概念有助于把握VQQA方法的核心思想转变。
语义梯度
是VQQA提出的关键概念，将传统神经网络中用于反向传播的数值梯度映射为自然语言形式的反馈。VLM对视频的批评和建议作为语义梯度，指导提示词的迭代优化，使得离散文本空间也能进行类似梯度下降的优化。
这是本文方法的技术核心，理解语义梯度概念能揭示VQQA如何将连续优化思想应用到离散的文本空间。
语义漂移
指在迭代优化过程中，优化目标逐渐偏离原始用户意图的现象。在提示词优化中，局部修正可能导致对整体语义的偏离，比如过分关注某个视觉细节而忽略了用户想要表达的核心意图。
VQQA引入全局选择机制专门解决这个问题，理解语义漂移有助于理解该机制的设计动机和有效性。
Best-of-N策略
一种常用的随机搜索策略，从同一初始提示词采样N个候选生成，然后通过奖励函数选择最优结果。本文将BoN与VQAScore、VideoScore2和VLM评分等不同打分机制结合作为基线方法。
本文将VQQA与多种BoN变体对比，理解这个概念有助于准确把握基线方法和本文的优势。
研究动机
现有视频生成模型虽然技术快速发展，但其输出与复杂用户意图的对齐仍然存在严重问题。用户经常遇到组合错误、时间不一致和物理幻觉等问题，需要繁琐的试错式提示词工程。现有评估方法要么计算成本过高（如需要大规模模型集成），要么只能提供被动的分数而无法给出可操作的改进建议。测试时优化方法通常需要白盒访问模型内部权重（如Video-TTT、EvoSearch），或者计算成本巨大（如VISTA需要大量候选池），限制了在实际应用中的可行性。
本文的目标是本文提出VQQA框架，旨在构建一个统一的多智能体系统，能够动态生成视觉问题并将VLM批评作为语义梯度，将视频评估从被动指标转化为可操作的反馈，实现高效的黑盒自然语言接口闭环提示词优化过程，在不访问模型权重的情况下显著提升视频生成质量。
与已有工作不同的是，与现有方法的关键区别在于，VQQA不依赖于静态评估标准或模型内部访问，而是采用动态问答范式将评估转化为可指导优化的反馈。与VISTA等方法的候选池搜索不同，VQQA通过语义梯度进行精确的文本空间优化，避免了大量采样；与Video-TTT等梯度方法不同，VQQA完全通过自然语言接口工作，与商业API兼容。
核心方法
VQQA采用三智能体架构：问题生成(QG)智能体分析视频、提示词和条件动态生成视觉问题；问题回答(QA)智能体评估视频并分配0-100的标准化分数，构建详细的视觉缺陷诊断映射；提示词优化(PR)智能体综合QA反馈生成优化的提示词p_{t+1}。框架还包含全局选择机制，通过VLM评估候选集与原始提示词的对齐度，以及基于全局分数停滞的动态停止准则，在质量和效率之间取得平衡。
核心创新是将视频评估从被动基准测试转化为动态问答范式，并将VLM批评形式化为语义梯度来指导提示词优化。与传统的梯度下降在连续空间不同，VQQA在离散的文本空间工作，通过p_{t+1} = VLM(p_t, R_{f,t})的更新规则，其中R_{f,t}是QA智能体在第t步生成的推理文本。这种方法既避免了需要模型内部访问的梯度计算，又比纯粹的随机搜索更精确。
方法步骤详情
VQQA的工作流程分为四个关键步骤：首先，QG智能体分析输入条件C和当前提示词p_t，动态生成问题集合Q，涵盖视频-提示词对齐、视觉质量和条件保真度三个维度；其次，QA智能体检查视频v_t = M(p_t, C)，为每个问题分配分数s \in [0,100]，识别低分QA对作为视觉缺陷证据；然后，PR智能体将多个低分QA对（语义梯度）综合为优化的提示词p_{t+1}，在下一轮生成中同时缓解这些局部错误；最后，全局VLM评分器评估候选集V = {v_1, v_2, ..., v_N}与原始提示词p_0的对齐度，选择v^* = v_i, i = argmax_{i \in {1,...,N}} GS(v_i, p_0, C)。当目标满足S^*_t \geq \gamma或性能饱和\Delta(S^*_t, S^*_{t-k}) \leq \epsilon时停止迭代。
技术新颖性
VQQA的技术新颖性体现在多个层面：理论上，首次将视频生成的测试时扩展形式化为离散的基于文本的优化问题，提出语义梯度概念来桥接连续优化和离散文本空间；架构上，三智能体分工明确但协同工作，QG确保评估覆盖全面性，QA提供可解释的局部诊断，PR实现精确的提示词更新；机制上，全局选择和动态停止准则分别解决语义漂移和效率问题，在不需要任务特定训练的情况下实现模型无关的通用优化。
实验结果
VQQA在三个主流基准上均取得显著提升。在T2V-CompBench上，使用Gemini-3-Pro的VQQA达到53.46%平均分数，比vanilla生成(41.89%)绝对提升+11.57%，比最强基线VQAScore(48.70%)提升+4.76%。特别是在一致性属性(+22.94%)、空间理解(+14.31%)和数值理解(+13.85%)等组合维度上获得巨大增益。在VBench2上，Gemini-3-Pro变体达到50.41%总分，比vanilla(41.98%)提升+8.43%，超越VQAScore(46.95%)+3.46%。在VBench-I2V上，尽管基准饱和度很高(96.62%)，VQQA仍实现+1.24%提升至97.86%，且平均仅需1.6次迭代即可收敛。收敛分析显示，在耐心窗口k=3时，算法在3.80到4.22次迭代内收敛，前四次迭代捕获了大部分性能增益。消融实验证明，禁用全局选择导致1.02%性能下降，确认了语义漂移问题的存在；将全局分数注入PR上下文反而降低性能(53.11% vs 53.77%)，表明应严格分离局部反馈循环和全局选择。在Google Veo 3.1等专有模型上，VQQA同样有效，实现+5.88%绝对提升，证明了其模型无关性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| T2V-CompBench | AVG | 53.46% | 48.70% | +4.76% |
| VBench2 | Total Score | 50.41% | 46.95% | +3.46% |
| VBench-I2V | Avg Score | 97.86% | 96.62% | +1.24% |
局限与改进
作者承认的主要局限性包括：VQQA依赖于VLM的评估能力，VLM可能产生幻觉或存在评估偏差；在高饱和基准（如VBench-I2V）上提升空间有限；迭代过程虽然高效但仍有计算开销。补充观察包括：框架对长提示词的处理能力有限，可能影响复杂场景的优化；全局选择机制虽然有效，但需要额外的VLM调用；动态停止准则的参数(\gamma, \epsilon, k)需要针对不同任务调优，可能影响通用性。
独立分析的弱点
VQQA在复杂场景下可能面临多目标优化的挑战。例如当视频同时存在时间不一致、组合错误和物理幻觉时，PR智能体需要在有限上下文内平衡多个低分QA对的权重，可能导致某些问题被忽略。改进方向是引入优先级机制，根据QA分数的严重程度和问题间的依赖关系动态排序优化策略。另一个弱点是对长提示词的敏感性，当优化迭代超过4-5轮时，提示词可能变得冗长且语义模糊。可以引入提示词压缩或结构化表示(如使用特定格式分割不同维度的指令)来保持提示词的可读性和有效性。此外，VLM评估的一致性问题也可能影响稳定性，可以通过集成多个VLM或引入不确定性校准来缓解。
未来方向
作者提出的主要未来方向包括：扩展到更多生成任务(如文本到3D、图像到视频到音频的联合生成)；探索更复杂的多智能体交互模式(如引入专门的修复智能体处理局部错误)；研究自适应停止准则来进一步优化效率。基于本文成果的可延伸方向包括：将语义梯度概念应用于其他离散优化场景(如代码生成中的提示词优化)；开发端到端的智能体训练框架，让QG智能体自动学习生成最具诊断价值的问题；研究跨模态的语义迁移，利用文本领域的优化经验加速视频生成的收敛。另一个有价值的方向是将VQQA与用户反馈结合，构建交互式视频生成系统，让用户在迭代过程中参与决策。
复现评估
VQQA的复现难度中等。论文提供了详细的实现描述(附录C包含提示词、模型和参数)，但未公开完整代码。使用的主流VLM(GPT-4o, Gemini-3-Pro)和视频生成模型(CogVideoX-5B)都是公开可用的，但需要API访问。实验主要在标准基准上进行，数据和评估脚本相对容易获取。计算资源方面，主要成本来自VLM调用和视频生成，一个完整实验(如T2V-CompBench上的1400个样本，4轮优化)估计需要数百美元的API费用，这在预算范围内是可行的。主要挑战在于精确复现提示词和超参数设置，以及确保VLM版本一致性。
论文图表
