视觉语言模型是优秀的视频推理教师：基于自适应测试时优化 VLMs are Good Teachers for Video Reasoning via Adaptive Test-Time Optimization
VLM-as-Teacher范式，通过测试时优化提升视频推理能力
前置知识
视频生成模型（VGM）
基于扩散模型或变换器的生成模型，能够根据文本提示生成逼真且时间连贯的视频。核心过程是在潜空间进行迭代去噪，从随机噪声逐步恢复出清晰的视频帧序列。主流方法包括Sora、Veo、Wan等，它们通过在大规模视频-文本数据上预训练学习生成分布。
本文的核心是将VGM用作推理引擎而非仅仅内容生成工具，需要理解其生成过程和局限性才能理解测试时优化的原理。
测试时优化（TTO）
在推理阶段针对特定实例优化模型参数或中间变量，而不是在训练时固定所有参数。与测试时扩展（TTS，如Best-of-N采样）不同，TTO会根据实例特定的目标函数主动调整模型行为。对于扩散模型，通常优化轻量级适配器（如LoRA）来修改生成轨迹。
本文的核心创新就是针对每个推理任务在线优化VGM的行为，这与传统的测试时扩展方法有本质区别。
LoRA（低秩适配）
一种轻量级的模型微调方法，通过向预训练模型的权重矩阵添加低秩分解的适配矩阵来实现参数高效微调。对于权重矩阵W，LoRA引入W' = W + BA，其中B和A是低维矩阵，秩r远小于原始维度。训练时只更新A和B，保持原始W冻结，大大减少了可训练参数量。
本文通过在线优化LoRA参数来适配VGM到特定推理任务，这比优化全部参数效率高得多，使测试时优化在计算上可行。
可微分VLM奖励
将视觉语言模型的评估反馈转化为可微分的损失函数。具体来说，VLM对视频-查询对预测答案，通过负对数似然计算损失，梯度可以通过VLM反向传播到视频生成模型。这种机制使VLM的高层次语义理解能够直接优化视觉生成的底层参数，实现从语义到像素的端到端优化。
这是本文的技术核心，通过可微分VLM反馈桥接了高级语义规则和低级像素生成之间的鸿沟，使VLM能够作为教师指导VGM。
视频推理
要求模型生成满足特定逻辑规则的视觉轨迹来完成推理任务。与普通视频生成不同，视频推理必须遵守任务特定的过程约束（如物体保持完整、避免穿越障碍物）并达到既定目标。代表性任务包括迷宫导航、物体排列、异常修正等，挑战在于不仅要生成视觉上合理的视频，还要确保逻辑正确性。
这是本文解决的问题域。视频推理挑战了VGM的能力边界，因为VGM的优化目标主要是视觉保真度，而非逻辑正确性。
研究动机
现有的视频生成模型虽然在视觉质量和时间连贯性方面表现出色，但在需要遵守任务特定规则的推理任务中经常失败。例如在迷宫导航任务中，VGM可能会生成视觉上合理但逻辑上不一致的轨迹，如物体在移动过程中突然分裂、消失或改变形状。在VBVR-Bench和RULER-Bench上的实验显示，即使是SOTA的闭源模型（如Sora 2、Kling 2.6）在符号推理任务上的准确率也仅在50%左右。现有方法主要采用两种策略：测试时扩展（如Best-of-N采样）和VLM-as-Solver范式。前者通过多次采样选择最佳结果，但受限于模型本身的生成能力，系统性错误无法通过重复采样纠正；后者让VLM生成文本指导，但语言描述难以捕捉细粒度的时空约束，VGM也难以忠实执行精确或长尾的指令。这些局限性使得视频推理成为当前视频生成模型面临的重要挑战。
本文的目标是本文的目标是提出一种新的范式，让视觉语言模型发挥其优势，即强大的感知和评估能力，而不是让其作为难以胜任的求解器。具体而言，目标是将VLM转变为教师，让它们从任务描述中提取规则并转化为可微分奖励，然后通过测试时优化直接指导VGM生成符合规则的视觉轨迹。这种方法应该在每个推理实例上都能自适应调整，突破VGM内在的生成能力边界，同时在可接受的计算成本内运行。通过这种方式，我们希望能够显著提升视频生成模型在规则推理任务上的表现，使其能够处理更复杂的逻辑推理场景。
与已有工作不同的是，本文的独特切入点在于重新思考VLM在视频推理中的角色。现有研究要么将VLM视为规划器生成文本方案，要么完全不用VLM而依赖VGM自身的生成能力。本文认识到，虽然VLM难以直接生成精确的视觉解决方案轨迹，但它们非常擅长评估一个生成的轨迹是否满足了规则要求。因此，将VLM从求解器转变为监督者或教师，让它们提供优化信号而非直接解决方案，这是本文与现有工作的本质区别。此外，本文首次将可微分VLM奖励应用于任务自适应的视频推理测试时优化，而不是共享的后训练目标。这种实例级别的在线优化策略使得VGM能够针对每个特定任务进行自适应调整，而不会影响其他任务的性能。
核心方法
VLM-as-Teacher框架包含两个核心组件：VLM教师和配备轻量级LoRA模块的VGM推理器。工作流程是：首先，VLM教师分析任务条件（文本指令和可选的条件图像），识别成功完成任务的要求，然后将这些要求形式化为二元奖励查询。查询包括一个目标达成查询和多个过程监督查询。在在线优化阶段，VLM教师评估VGM推理器的中间视频预测，根据奖励查询计算可微分损失，梯度通过计算图反向传播到LoRA参数进行更新。优化完成后，使用适配后的VGM推理器生成最终的视觉推理轨迹。为使视频级测试时优化在实际中可行，作者引入了三种效率设计：步蒸馏（只优化第一步预测）、轻量级替代解码器、和基于损失的早停机制。这些设计大大降低了计算开销，使在线优化在可接受的时间内完成。
核心创新点是将VLM的角色从文本求解器转变为测试时监督者。与VLM-as-Solver方法依赖文本指导不同，本文的方法让VLM直接监督视觉执行过程，通过可微分VLM反馈优化生成轨迹。这种方法的本质区别在于：VLM-as-Solver试图用语言来告诉VGM怎么做，但语言无法精确描述复杂的时空约束；而VLM-as-Teacher让VLM检查VGM生成的轨迹是否正确，然后通过梯度告诉它如何改进。此外，本文采用任务自适应的奖励合成策略，为每个任务动态生成特定的奖励查询，而不是使用固定的通用奖励函数。这种自适应策略确保了监督信号与任务需求的高度对齐，从而提高了优化效率和最终性能。
方法步骤详情
方法分为四个主要步骤。第一步是任务自适应监督合成：给定任务条件，VLM教师分析文本指令和可选视觉上下文，识别成功完成任务的要求，然后将这些要求形式化为二元奖励查询。查询集包括一个目标达成查询和多个过程监督查询，通常过程查询数量在1到3之间。第二步是在线优化过程：对于第n个优化步骤，首先获取第一步干净潜空间预测，这是通过应用完整采样区间到速度预测得到的。然后用轻量级替代解码器解码并均匀采样K帧，得到中间视频结果。第三步是VLM评估：VLM教师对每个奖励查询评估视频，计算VQA损失，该损失是VLM预测正面答案Yes的负对数似然。第四步是参数更新：计算总损失，它是目标达成损失和过程监督损失的加权和，然后通过梯度下降更新LoRA参数。当损失低于阈值或达到最大步数时停止优化，最后用优化后的VGM生成最终视频。整个过程在推理时进行，针对每个任务实例独立优化，确保了高度的适应性。
技术新颖性
技术新颖性体现在多个方面。首先，这是首次将可微分VLM奖励应用于任务自适应的视频推理测试时优化。相关工作虽然使用了可微分VLM奖励，但要么是手动指定查询，要么是共享的后训练目标，而不是针对每个实例在线优化。其次，本文提出的任务自适应奖励合成策略是新颖的，它自动从任务描述导出过程和目标奖励，而不是使用固定的人工定义或任务无关的查询。第三，本文的效率设计使视频级测试时优化首次在实际中可行，包括使用步蒸馏后的四步生成器、只优化第一步预测、轻量级替代解码器、和基于损失的早停。最后，本文首次系统性展示了VLM-as-Teacher范式相比VLM-as-Solver和测试时扩展的优势，在两个互补的基准测试上取得了显著性能提升。这些创新使得本文方法在保持计算效率的同时，大幅提升了视频推理任务的正确性。
实验结果
在VBVR-Bench（符号推理）和RULER-Bench（通用推理）两个基准测试上，提出的方法取得了显著的性能提升。对于VBVR-Bench，基线Wan2.2-5B-Distilled的总体得分为0.666，加入本文方法后提升到0.781，相对提升约17%。这一提升远超其他测试时策略：Pass@5仅提升0.017，VideoTPO反而降低0.032。在RULER-Bench上，本文方法将基线得分从46.4提升到68.2，提升21.8分，而PE、VideoTPO和Pass@5分别只提升1.9、3.9和2.7分。更重要的是，本文方法在所有30个评估任务类别上都有一致提升，而PE和VideoTPO分别在7个和4个任务上降低了性能。计算成本方面，本文方法在VBVR-Bench上平均每样本耗时69秒，与Pass@5的70秒相当，低于原始Wan2.2-5B基线的87秒；在RULER-Bench上耗时88秒，与Pass@5的90秒相当，低于原始基线的98秒。这表明在相似甚至更低的推理成本下，本文方法实现了实质性的性能提升，证明了VLM-as-Teacher范式的有效性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VBVR-Bench（符号推理） | Overall Score | 0.781 | Wan2.2-5B-Distilled: 0.666 | +0.115 (+17.3%) |
| VBVR-Bench（符号推理） | Overall Score vs Pass@5 | 0.781 | Pass@5: 0.683 | +0.098 (+14.3%) |
| RULER-Bench（通用推理） | Overall Score | 68.2 | Wan2.2-5B-Distilled: 46.4 | +21.8 (+47.0%) |
| RULER-Bench（通用推理） | Overall Score vs PE | 68.2 | PE: 48.3 | +19.9 (+41.2%) |
| VBVR-Bench In-Domain | Average Score | 0.803 | Wan2.2-5B-Distilled: 0.692 | +0.111 (+16.0%) |
| VBVR-Bench Out-of-Domain | Average Score | 0.759 | Wan2.2-5B-Distilled: 0.640 | +0.119 (+18.6%) |
局限与改进
作者承认的主要局限性包括：一是VLM教师的感知粒度有限，可能遗漏细粒度的局部视觉错误。如在铅笔变色任务中，VLM教师忽略了一个残留的未变色区域。二是VLM教师可能合成错误的奖励查询，如在RAVEN任务中，VLM误识别了期望的最终配置。三是存在轻微的视觉质量权衡，FVD从21.90增加到23.37，表明视觉保真度有轻微下降，因为优化目标是VLM级别的规则满足而非像素级重建质量。此外，作者观察到当VLM损失的评估置信度超过0.8时就停止优化，这可能过早停止导致次优结果。还有，方法对VLM教师的能力有依赖，VLM的理解能力越强，最终性能越好，这意味着选择能力较弱的VLM会限制效果。最后，方法目前只优化轻量级LoRA模块，对于某些极其复杂的任务可能需要调整更多参数。这些局限性为未来的研究改进指明了方向。
独立分析的弱点
独立分析的弱点包括：一是过度依赖VLM教师的感知准确性。如果VLM在特定任务上存在系统性盲点，如难以追踪快速运动的小物体或区分细微的颜色变化，整个优化过程就会被误导。改进方向是结合多尺度视觉评估，或引入专门的检测器作为补充监督。二是奖励查询合成的自动性是一把双刃剑。虽然避免了手动设计，但对于某些需要隐式常识或深层领域知识的任务，VLM可能无法合成出充分捕获规则要求的查询。改进方向是在查询合成阶段引入少样示例或知识检索增强。三是轻量级LoRA的容量限制。对于某些需要大幅度改变生成行为的长尾任务，rank为16的LoRA可能不够。改进方向是自适应调整LoRA秩或引入更灵活的适配器架构。四是优化过程的早停可能不总是最优。在某些情况下，当VLM损失低于阈值时模型可能仍在缓慢改善，过早停止导致次优。改进方向可以采用更复杂的早停准则，如基于验证集的patience策略或结合多个指标的综合判断。
未来方向
作者提出的未来研究方向包括：进一步降低视觉质量与规则满足之间的权衡，方法是在测试时优化期间引入轻量级的视觉质量正则化。此外，作者建议探索更细粒度的视觉反馈机制，如让VLM教师提供像素级或区域级的评估，而不是全局判断。基于成果可以延伸的方向包括：将VLM-as-Teacher范式扩展到其他生成推理任务，如图像推理（如图像谜题解决）和3D场景推理；探索人类反馈的集成，让人类专家提供超越自动VLM评估的高级判断；研究自监督奖励合成，即从成功范例中自动提取奖励信号而无需人工设计的查询；探索更高效的优化算法，如二阶优化或元学习，进一步减少测试时开销；最后，可以研究如何将在线优化的知识蒸馏回基础模型，使其在标准推理中就具备更强的推理能力。这些方向都有潜力进一步推动视频推理领域的发展。
复现评估
论文提供了详细的实现细节，便于复现。使用的VGM Reasoner是步蒸馏的Wan2.2-5B，遵循DMD2的蒸馏方法；VLM Teacher默认使用Qwen3-VL-4B。关键超参数包括：LoRA秩为16，学习率为5e-5，损失平衡因子为0.5，损失阈值为0.22，最大优化步数为40，采样帧数为24。代码预计会在项目页面发布。实验使用了两块GPU，但步蒸馏和轻量级解码器的设计显著降低了内存需求。复现难度中等，主要挑战是需要同时运行VGM和VLM，并且实现可微分VLM反馈的计算图。论文提供了消融实验的完整结果，包括奖励设计、优化步数、采样帧数等参数的影响分析，这有助于理解方法的敏感性。总体而言，论文的可复现性良好，所需的算力资源在学术实验室的可承受范围内。作者还进行了人工评估来量化失败来源，增加了结果的可信度。
论文图表
这张图对比了三种视频推理范式：朴素测试时扩展、VLM-as-Solver（VLM作为求解器）和VLM-as-Teacher（VLM作为教师，本文方法）。左侧展示了一个具体任务：场景中有多个彩色物体和星形标记，要求保持所有星形标记位置不变，将每个彩色物体移动到相同颜色的星形标记处，使用直线路径。中间部分对比了三种方法的结果和问题：朴素扩展受限于VGM的内在容量约束；VLM-as-Solver的困难在于难以通过文本描述推理路径；本文方法的优势在于通用任务定制化。右侧是性能比较，显示了在pass@1到pass@5指标下不同方法的表现。这张图直观地展示了不同范式的工作原理和效果差异。
这张图对理解论文至关重要，因为它清晰展示了本文提出的VLM-as-Teacher范式与现有方法的本质区别。它直观地说明了为什么VLM-as-Teacher方法能够克服其他两种方法的局限性：不像朴素扩展受限于模型内在能力，也不像VLM-as-Solver受限于文本描述的不足，本文方法直接监督视觉执行过程。
这个表格展示了在RULER-Bench基准测试上的量化结果。表格同样分为闭源模型（Veo 3.1、Sora 2）和开源模型（Wan2.2-14B、Wan2.2-5B及其变体）两组。对于开源模型，展示了Baseline、Pass@5、PE（Prompt Engineering）、VideoTPO和Ours在Humanity（细分Transportation、Sports、Social、Safety、Festival、Dress、Food、Emotion）、Science（细分Chemistry、Physics、Biology、Earth Science、Mathematics、Medicine、Life）、Hypothesis、Semantics（细分Subjective、Objective、Idiom、Metaphor、Definition）、Vision（细分Anomaly、Color、Count、Direction、Position、Shape、Size、Style、Viewpoint、Motion）以及整体平均上的得分。还报告了平均每样本的生成时间。表格显示Wan2.2-5B-Distilled + Ours在Overall上达到68.2，远超基线和其他方法。生成时间为88秒，与Pass@5的90秒相当，低于原始基线的98秒。
这个表格对理解论文在通用推理任务上的性能至关重要。它展示了方法在更广泛、更多样化的任务类别上的表现，包括人文、科学、假设、语义和视觉推理。与VBVR-Bench的结果结合，全面证明了方法的泛化能力。这张表格表明本文方法不仅在符号推理任务上表现出色，在更复杂的通用推理任务上也取得了显著提升。
这个表格展示了VBVR-Bench上的消融实验结果，分为四个块。第一块测试优化步数的影响，从0步（baseline）到40步，结果显示步数从0增加到16时性能稳步提升（从0.666到0.781），20步达到峰值0.783，40步略降至0.778。第二块测试奖励设计，包括：有无任务特定在线优化、可微分vs不可微分奖励、任务特定vs固定查询、有无过程奖励、有无最终奖励。结果显示移除过程奖励使得分从0.781降至0.758，移除最终奖励降至0.692。第三块测试高效适应设计，包括：有无步蒸馏、最后一步vs第一步优化、全步优化、采样帧数12/24/48。结果显示无步蒸馏得分降至0.714，最后一步优化降至0.705，全步优化为0.769。第四块再次验证不同步数，与第一块呼应。底部显示了Ours方法的最终结果：0.781。
这个表格对理解论文的设计选择至关重要。它系统性地验证了各个组件的必要性，包括优化步数、奖励查询合成、过程和最终监督的互补性、步蒸馏、第一步优化等。这些消融结果为论文的技术贡献提供了强有力的支持，帮助读者理解每个设计决策的重要性。特别是它验证了16步优化就已经足够，进一步增加步数反而可能导致过优化。
这个表格展示了使用不同VLM教师和VGM骨干网络时的泛化结果。表格分为VLM Teacher和VGM Backbone两部分。VLM Teacher部分比较了InternVL3-8B、Qwen3-VL-8B和Qwen3-VL-4B作为教师时的Overall、Humanity、Science、Hypothesis、Semantics、Vision得分。结果显示Qwen3-VL-8B作为教师时达到最高Overall得分69.2，其他两个分别为68.1和68.2。VGM Backbone部分比较了HunyuanVideo-1.5B和Wan2.2-5B，以及应用本文方法后的结果。HunyuanVideo-1.5B基线为35.8，应用本文方法后提升到44.5；Wan2.2-5B基线为46.4，应用本文方法后提升到68.2。右侧还有一张散点图，横轴是VLM Teacher的Video-MME得分，纵轴是RULER-Bench Overall得分，显示了强正相关性，R平方为0.733。这表明VLM教师的能力与最终性能高度相关。
这个表格对理解论文的泛化能力至关重要。它证明了方法不依赖于特定的VLM或VGM，可以在不同的模型组合上工作。特别是散点图显示了VLM教师的能力与最终性能之间的强相关性，这验证了方法设计原理的正确性。这个表格表明本文方法具有很强的泛化能力，可以应用于不同的模型组合，为实际应用提供了灵活性。
这张图展示了本文方法的代表性失败案例和局限性，包含两个示例。左列是Baseline的结果，右列是Ours的结果，上方有合成的qgoal和qproc查询。左上示例是RAVEN Progressive Matrices任务，提示是完成这个3x3矩阵中的缺失模式。qgoal查询是右下角的形状是菱形吗？qproc查询是其他一切在整个过程中保持不变吗？右上示例是铅笔变色任务，提示是将铅笔的涂漆体颜色从青色变为哑光红色，同时保持其他部分不变。qgoal查询是铅笔的涂漆体变成红色了吗？qproc查询是铅笔是否在外部协助下改变颜色？关键失败区域用红色框标记。左例中，VLM教师合成了错误的最终目标查询，只检查右下角形状是否为菱形，而正确答案应该包含两个菱形。右例中，任务基本完成，但VLM教师忽略了一个残留的微小错误。
这个图对理解论文的局限性至关重要。它展示了两种主要的失败类型：VLM教师合成错误的奖励查询，以及VLM教师遗漏细粒度的局部错误。这帮助读者理解方法的理论限制和未来改进方向。这个图表明即使使用了VLM-as-Teacher范式，仍然存在一些无法完全避免的失败模式，这些失败主要源于VLM教师的局限性。这为未来的研究提供了明确的改进方向。
这个表格展示了在200个案例上（100个来自VBVR-Bench，100个来自RULER-Bench）进行的人工评估，统计了失败来源。表格比较了Baseline和Ours方法，统计了Overall（总体）、VLM perception error（VLM感知错误）、Incorrect reward-query synthesis（错误的奖励查询合成）的计数和比例。对于Baseline，VBVR-Bench上100个案例中有39个失败（39%），RULER-Bench上有67个失败（67%）。对于Ours，VBVR-Bench上18个失败（18%），其中VLM感知错误16个（16%），错误的奖励查询合成2个（2%）；RULER-Bench上29个失败（29%），其中VLM感知错误22个（22%），错误的奖励查询合成7个（7%）。这些数据清楚地显示了本文方法将失败率降低了超过一半，而且大部分剩余失败是由于VLM感知错误。
这个表格对理解论文失败源的定量分析至关重要。它显示了本文方法将失败率从39%和67%降低到18%和29%，并量化了不同失败来源的贡献。特别是它表明大多数剩余失败是由于VLM感知错误，而不是奖励查询合成错误，这验证了框架设计的有效性。这个表格为论文的局限性分析提供了定量的支持，帮助读者准确理解方法的优势和不足。人工评估的客观性也增加了结果的可信度。