← 返回 2026-03-17

VisionCoach：通过视觉感知提示强化时空定位的视频推理 VisionCoach: Reinforcing Grounded Video Reasoning via Visual-Perception Prompting

Daeun Lee, Shoubin Yu, Yue Zhang, Mohit Bansal 📅 2026-03-15 👍 6 2026-07-13 08:36

强化学习时空定位自蒸馏视觉提示视频推理

训练时用自适应视觉提示引导模型学习时空定位，推理时无需额外工具

前置知识

时空定位（Spatio-temporal Grounding）

时空定位是指在视频理解任务中，模型需要准确识别和定位与问题相关的视觉证据在时间和空间上的位置。时间维度上，要确定关键事件发生的时刻或时间段；空间维度上，要定位目标对象在图像中的具体区域，通常用边界框（bounding box）表示。这是视频推理中的基础能力，因为正确的推理必须建立在准确的视觉观察之上。

本文的核心就是改善时空定位能力。如果模型不能准确找到问题相关的视觉证据，就无法进行可靠推理。现有的视频推理模型经常在时空定位上失败，导致幻觉性答案。

视觉提示（Visual Prompting）

视觉提示是在图像或视频帧上添加轻量级的视觉线索，用来引导模型的注意力。常见的提示类型包括：在目标对象周围画红圈（red circle）、将非目标区域变暗（darken）、叠加帧编号（frame numbering）、注意力热图（attention-based prompt）等。这些提示通过在像素空间做简单的修改，就能显著影响多模态大模型的关注区域，而不需要改变模型架构。

本文的创新点之一是使用视觉提示作为训练时的'教练'。与推理时调用外部工具不同，本文只在训练时使用提示，然后通过自蒸馏让模型内化提示带来的改进，推理时不再需要提示。

强化学习中的GSPO算法

GSPO（可能是Guided Self-Preference Optimization）是一种强化学习算法，用于训练语言模型生成高质量的推理轨迹。它通过采样多个推理轨迹（rollouts），用奖励函数评估每个轨迹的得分，然后用这些奖励信号来更新模型参数。奖励通常包含多个组件：答案准确性、格式正确性、时间定位质量、空间定位质量等。关键是要平衡奖励信号，让模型学会生成既有正确答案又有可靠视觉依据的推理。

本文使用GSPO来训练ST-REASONER，特别是在视觉提示引导下生成更好的推理轨迹。奖励函数的设计直接影响模型学到的行为，本文引入的对象感知空间定位奖励是关键创新。

自蒸馏（Self-Distillation）

自蒸馏是一种模型训练技术，指的是模型从自己生成的样本中学习。在本论文中，当视觉提示带来更高奖励的推理轨迹时，模型会用这些高质量轨迹作为目标，通过负对数似然损失（NLL）来优化自己，让模型学会模仿这些更好的推理方式。这与传统的教师-学生蒸馏不同，'教师'就是模型自己在某种辅助条件（视觉提示）下产生的更好输出。

自蒸馏是VISIONCOACH能够在推理时摆脱视觉提示依赖的关键。通过反复强化视觉提示引导下的高质量推理轨迹，模型逐步内化了这些改进的定位行为，最终能够直接在原始视频上进行可靠推理。

IoU（Intersection over Union）

IoU是交并比的简称，用于衡量两个区域的重叠程度。对于边界框，IoU = 交集面积 / 并集面积，取值范围[0,1]，值越大表示重叠越完美。在空间定位任务中，用预测边界框和真实边界框的IoU来评估定位精度。类似地，时间IoU（temporal IoU）用于评估时间段的定位精度。本文在奖励函数中使用IoU来衡量空间定位质量。

IoU是本文奖励函数的核心指标之一。与之前只使用最大IoU的方法不同，本文创新性地使用了平均IoU并结合对象身份一致性，这鼓励模型对多个相关对象进行定位，而不仅仅关注单个最优区域。

研究动机

现有的视频推理方法在时空定位方面存在严重缺陷。基于文本中心的方法（如VideoChat2、LLaVA-Video）主要依赖语言先验，经常生成与实际视觉内容不符的幻觉性解释。例如，在论文图1(a)的示例中，模型声称在直升机飞过后看到了车辆，但实际上根本没有这样的视觉证据。基于工具调用的方法（如EgoR1、LongVT-RL）通过调用外部感知工具（如时间裁剪、缩放）来改善定位，但这些工具在推理时需要反复调用和多阶段处理，引入了显著的计算开销。即使是最新的Grounded Reasoning模型（如Open-o3-video）试图在单个模型中整合时空证据，但定位仍然不可靠，经常产生不准确的对象引用或幻觉性边界框，这些错误会在推理过程中传播。作者在PerceptionTest数据集上的分析显示，正确回答的样本在时间对齐率（77.2% vs 71.0%）、对象名称匹配率和空间IoU方面都显著高于错误回答的样本，证明了准确时空定位与正确答题之间的强相关性。

本文的目标是本文的具体目标是设计一个能够在训练时获得视觉引导、但在推理时保持轻量级、无需额外工具的视频推理框架。具体来说，作者希望解决三个核心问题：(1)如何在不依赖大规模标注数据或推理时外部工具的情况下，显著改善模型的时空定位能力；(2)如何让模型内化训练时从视觉提示中获得的定位改进，使其能够在推理时直接对原始视频进行可靠推理；(3)如何设计奖励函数，既鼓励正确的答案，也强制模型生成多对象、时序一致的时空定位。理想的结果是在多个视频推理基准上达到最先进的性能，同时保持与文本中心方法相当的低推理延迟。

与已有工作不同的是，本文的独特切入角度是将视觉提示的使用从推理时转移到训练时，并通过自蒸馏让模型内化这种改进。与之前的工作相比，本文的关键区别在于：(1)输入自适应性——不是对所有样本使用固定的视觉提示，而是通过VP-SELECTOR根据视频和问题动态选择最合适的提示类型；(2)训练时引导与推理时轻量的解耦——只在训练阶段对困难样本使用视觉提示，推理时完全不需要；(3)对象感知的奖励设计——不同于之前只考虑最大IoU的空间奖励，本文引入了对象身份一致性和多区域平均IoU，强制模型进行更真实的多对象定位。这种设计避免了依赖密集标注或推理时工具调用的成本，同时通过显式的时空定位控制显著提升了推理质量。

核心方法

VISIONCOACH是一个输入自适应的强化学习框架，通过视觉提示作为训练时的'视觉教练'来改善时空定位，同时实现推理时直接在原始视频上的轻量化推理。框架的核心思想是在RL训练期间有选择性地对困难输入应用视觉提示来加强定位，然后通过自蒸馏内化这些改进，使推理时不再需要视觉提示。直观上，可以想象一个学生在练习时会有老师指出重点（视觉提示），但真正考试时必须靠自己找到重点。VISIONCOACH由两个关键组件组成：Visual Prompt Selector（VP-SELECTOR）和Spatio-Temporal Reasoner（ST-REASONER）。VP-SELECTOR预测条件于视频和问题的合适视觉提示类型，为困难输入提供自适应的感知引导。ST-REASONER在视觉提示引导的感知下执行接地推理，并使用接地感知的奖励通过RL进行优化。

核心创新点是将视觉提示作为训练时的临时引导信号，通过自蒸馏让模型内化这些改进的定位行为。与已有方法的本质区别在于：(1)训练时使用输入自适应的视觉提示——VP-SELECTOR根据每个视频-问题对选择最优的提示类型（如红圈、变暗、帧编号、注意力提示等），而不是对所有样本使用固定的提示；(2)对象感知的空间奖励——不同于之前只考虑最大IoU的设计，本文的奖励同时考虑对象身份一致性（Isoft匹配）和多预测边界框的平均IoU，在时间门控的约束下只对时间对齐且身份匹配的预测计算奖励；(3)自蒸馏机制——当视觉提示带来更高奖励的推理轨迹时，用这些轨迹作为目标通过NLL损失优化模型，让模型学会模仿这些更好的推理方式。最终，模型能够在推理时对原始视频进行单次前向传播，无需任何视觉提示或外部工具，同时达到优于工具调用方法的定位质量。

方法步骤详情

完整的训练流程包含以下步骤：(1)初始rollout——对每个输入(x_i, q_i)，用当前策略进行G次rollout，得到奖励集合{R^(g)_i}，计算平均奖励R¯_i并识别困难样本（R¯_i < k，k为预设阈值）。(2)视觉提示生成——对困难样本，将(x_i, q_i)输入冻结的VP-SELECTOR，获得最优视觉提示v_i（如darken），将其应用于关键帧构建视觉提示输入x'_i，并在问题中追加描述已应用的视觉提示的文本提示得到q'_i。(3)提示引导的rollout——使用提示输入(x'_i, q'_i)进行G次新rollout，得到新推理y'_i和更新奖励{R'^(g)_i}。(4)自蒸馏候选选择——识别奖励超过原始平均奖励的rollout集合C_i = {g | R'^(g)_i > R¯_i}，从中按回答奖励选择Top N个轨迹S_i。若C_i为空则跳过自蒸馏。(5)自蒸馏优化——对选中的高质量轨迹计算token级NLL损失L_SD(θ)，鼓励模型模仿这些视觉提示引导下的更好推理。(6)最终目标——训练目标是L_GSPO(θ) + α · I_i · L_SD(θ)，其中I_i是困难样本指示器，α=0.1是自蒸馏权重。VP-SELECTOR的训练分为数据收集和优化两阶段：使用多个代理推理器（Qwen3-VL-30B、Gemini-2.5-Flash、GPT-4o）为每个视觉提示候选生成推理，根据答案准确性、空间IoU和对象一致性选择最优提示作为伪标签，然后用这些数据训练VP-SELECTOR作为轻量级VLM分类器。

技术新颖性

技术新颖性体现在多个方面：(1)首次将视觉提示从推理时工具转移到训练时引导，通过自蒸馏实现推理时的提示自由，这在视频推理领域是新颖的；(2)对象感知的空间奖励设计是本文的核心技术贡献，之前的奖励只考虑最大IoU，会鼓励单区域定位和对象无关的幻觉，而本文的奖励同时考虑软身份匹配和时间门控下的多区域平均IoU，强制模型进行身份一致的多对象定位；(3)输入自适应的视觉提示选择器也是新颖的，它通过代理推理器构建候选数据集，然后学习预测最优提示类型，能够在不同样本上应用不同的视觉引导策略；(4)自蒸馏与RL的结合方式具有创新性，不是简单的教师-学生蒸馏，而是模型在视觉提示引导下的更好输出作为自我模仿的目标，实现了行为的渐进式内化。这些设计共同解决了视频推理中时空定位不可靠的问题，同时保持了推理时的高效性。

**Figure 2**: Detailed Architecture of VISIONCOACH.

**Figure 6**: VP-SELECTOR training data generation pipeline.

实验结果

VISIONCOACH在多个基准上取得了最先进的性能，验证了方法的有效性。在V-STAR时空推理基准上，VISIONCOACH达到61.1%的VQA准确率、34.3%的mAM和47.5%的mLGM，相比Qwen2.5-VL-7B基准分别提升了+27.6%、+15.0%和+25.1%，并且超越了GPT-4o（mLGM 38.2%）和Open-o3-video（mLGM 46.0%）。在一般视频理解基准上，VISIONCOACH在VideoMME上达到63.3%（长视频53.2%），World-Sense达到43.8%（Recognition 41.8%），VideoMMMU达到54.4%（Perception 70.3%），PerceptionTest达到68.7%，在这些基准上都优于同类开源模型和部分工具调用方法。在Charades-STA时序定位基准上，VISIONCOACH达到63.2%的R@0.3、45.8%的R@0.5、24.7%的R@0.7和42.7%的mIoU，优于Open-o3-video和HawkEye等专门的视频定位模型。消融实验显示各组件的贡献：对象感知空间奖励（r_spa）相比传统的最大IoU奖励将mLGM从41.4%提升到43.1%；自蒸馏（L_SD）在α=0.1时效果最佳；输入自适应的VP-SELECTOR相比固定提示（darken/circle）带来显著提升；困难样本阈值k=50%（Open-o3-video平均奖励）和Top-2自蒸馏候选是最优配置。统计分析显示58%的样本被识别为困难，应用视觉提示后奖励提升+56%到+66%。注意力可视化显示视觉提示显著改善了时间和空间的定位精度。VP-SELECTOR作为即插即用模块在不同backbone上（Qwen2.5-VL-7B、GPT-4o、Gemini-2.5-Flash）都能带来性能提升，证明了其通用性。推理延迟测试显示VISIONCOACH在单张RTX 6000 GPU上的延迟显著低于工具调用方法（EgoR1、LongVT-RL），与文本中心方法相当，实现了高质量定位与低推理开销的平衡。

**Table 1**: Effect of different visual prompting types.

**Table 2**: Performance on the V-STAR benchmark.

**Table 3**: Performance across different general video understanding/reasoning benchmarks.

**Table 4**: Zero-shot temporal grounding performance on Charades-STA.

**Table 5**: Ablation of VISIONCOACH on V-STAR.

**Table 6**: VP-SELECTOR as plug-and-play module.

**Table 7**: Ablation of hard sample threshold (k).

**Table 11**: Ablation of object-aware spatial reward components on V-STAR and VideoMME.

**Table 12**: Average number of predicted objects and bounding boxes per generated reasoning.

**Table 13**: Ablation of visual prompting assignment to hard samples on V-STAR and VideoMME.

**Table 10**: Ablation of self-distillation loss weight.

**Figure 4**: More analysis of VISIONCOACH.

**Figure 5**: Spatio-temporal attention map.

**Figure 8**: Comparison of grounding with Open-o3-video and VISIONCOACH.

查看结构化数据

任务	指标	本文	基线	提升
V-STAR时空推理	mLGM	47.5%	Open-o3-video 46.0%, GPT-4o 38.2%	相比Open-o3-video提升+3.3%，相比GPT-4o提升+24.3%
V-STAR时空推理	mAM	34.3%	Open-o3-video 33.4%, Qwen2.5-VL-7B 19.3%	相比Open-o3-video提升+2.7%，相比Qwen2.5-VL-7B提升+77.7%
V-STAR问答准确率	Accuracy	61.1%	Open-o3-video 60.2%, Qwen2.5-VL-7B 33.5%	相比Open-o3-video提升+1.5%，相比Qwen2.5-VL-7B提升+82.4%
VideoMME长视频理解	Long Accuracy	53.2%	Qwen2.5-VL-7B 50.8%, VideoR1-7B 50.6%	相比Qwen2.5-VL-7B提升+4.7%，相比VideoR1-7B提升+5.1%
World-Sense Recognition	Accuracy	41.8%	Qwen2.5-VL-7B 33.7%, VideoRFT-7B 36.6%	相比Qwen2.5-VL-7B提升+24.0%，相比VideoRFT-7B提升+14.2%
Charades-STA时序定位	R@0.5	45.8%	Open-o3-video 45.6%, HawkEye 31.4%	相比Open-o3-video提升+0.4%，相比HawkEye提升+45.9%
Charades-STA时序定位	mIoU	42.7%	Open-o3-video 42.5%, Momentor 28.5%	相比Open-o3-video提升+0.5%，相比Momentor提升+49.8%

局限与改进

作者承认的局限性包括：(1)框架仍然依赖于从定位标注（如对象边界框和时间位置）派生的训练信号来构建空间和时间奖励，虽然许多研究基准都有这些标注，但在精确定位监督稀缺的领域可能需要额外策略来获得可靠的奖励信号；(2)VISIONCOACH的有效性依赖于训练时选择的视觉提示质量，虽然VP-SELECTOR能够自适应选择提示，但提示候选池是预定义且相对简单的（如圆圈、变暗、帧指示器），更复杂或可学习的提示生成可能会进一步提升复杂推理场景的训练信号质量；(3)计算效率方面，虽然推理时保持轻量，但训练过程需要额外的rollout和自蒸馏步骤，可能增加训练成本。我观察到，VP-SELECTOR的训练依赖多个强大的代理推理器（Qwen3-VL-30B、Gemini-2.5-Flash、GPT-4o），这增加了构建训练集的复杂度和成本。此外，当前的视觉提示类型相对基础，对于需要更细粒度视觉理解的任务可能不够强大。困难样本阈值k需要根据基础模型调整，这可能影响框架在不同模型间的泛化性。最后，虽然作者展示了VP-SELECTOR作为即插即用模块的有效性，但这种模块化方式在推理时仍然需要额外的提示选择步骤，对于完全端到端的应用场景可能不够理想。

独立分析的弱点

独立分析的弱点：(1)视觉提示类型的局限性——当前只使用了简单的提示（红圈、变暗、帧编号、注意力热图），对于需要理解复杂空间关系或跨帧交互的任务可能不够强大，可以探索更丰富的提示类型，如箭头、高亮、对比增强、运动轨迹提示等；(2)VP-SELECTOR训练依赖代理推理器——使用多个强大的闭源模型（GPT-4o、Gemini）构建训练数据增加了成本和复杂度，可以考虑开发更高效的伪标签生成方法或使用自监督信号；(3)奖励函数的复杂性——四个奖励组件（r_acc、r_fmt、r_tmp、r_spa）需要平衡不同权重，在极端情况下某些奖励可能相互冲突，例如过于强调格式正确可能影响内容质量，可以探索更智能的奖励组合策略或自适应权重调整；(4)时间门控阈值τ和困难样本阈值k的超参数敏感性——这些参数需要根据数据集和基础模型调整，缺乏自适应选择机制，可以考虑基于数据分布的自动调参方法；(5)只对关键帧应用视觉提示——对于依赖长程时序关系的任务可能不够，可以探索对帧序列应用渐进式提示或时序感知的提示策略；(6)缺乏对噪声标注的鲁棒性——如果训练数据中的边界框或时间标注有误差，奖励函数可能会强化错误行为，可以考虑引入标注质量估计或弱监督学习策略。

未来方向

作者提出的未来工作方向包括：(1)探索更高效的训练策略或可扩展的RL公式，以便将框架应用于更大的视频模型和数据集，提高实际应用的可行性；(2)开发更复杂或可学习的视觉提示生成方法，而不是依赖预定义的简单提示候选池，例如使用小型网络自动生成最优的视觉引导信号；(3)在标注稀缺的领域探索替代的奖励信号获取方法，例如使用自监督信号或弱监督学习来减少对精确定位标注的依赖。基于论文成果可延伸的研究方向包括：(4)将VISIONCOACH框架扩展到其他多模态推理任务，如图文对话、多图推理或3D场景理解；(5)探索对象感知奖励设计的更一般化形式，例如将身份一致性扩展到属性一致性或关系一致性；(6)研究多粒度的视觉提示策略，结合全局提示（如帧编号）和局部提示（如对象高亮）来处理不同类型的推理需求；(7)开发更高效的自蒸馏机制，例如课程学习式的渐进蒸馏或基于重要性采样的轨迹选择，以减少训练成本；(8)探索与人类反馈（RLHF）的结合，用人类评估来补充自动奖励信号，特别是对于难以自动化的推理质量评估。(9)研究VISIONCOACH在低资源场景下的应用，例如少样本学习或跨域迁移学习，探索如何减少对大规模标注数据和强大代理推理器的依赖。

复现评估

论文提供了代码、项目页面和模型链接，表明作者有意支持复现。训练数据使用公开的STGR-CoT-30k和STGR-RL-36k数据集，这些数据集来自多个公开基准（TVG-ColdStart、TreeVGR-SFT、ActivityNet、COIN、QueryD、QVHighlight、DiDeMo、Video-R1等），理论上可以获得。VP-SELECTOR的训练数据来自TVQA+和VideoEspresso的标注数据集，这些也是公开可得的。然而，VP-SELECTOR的训练需要使用多个强大的闭源代理推理器（Qwen3-VL-30B、Gemini-2.5-Flash、GPT-4o）来构建伪标签，这增加了复现成本和难度，特别是如果这些模型的访问受限或API费用高昂。训练资源方面，论文提到使用8张NVIDIA GPU进行训练，这对于学术研究实验室来说是可获得的资源。超参数设置在论文附录中有详细描述，包括学习率1×10^−6、批大小、梯度累积步数、KL系数β=0.04、自蒸馏权重α=0.1、困难样本阈值k=2.21等关键参数。总体来说，核心算法和数据是公开的，但VP-SELECTOR训练阶段的代理推理器依赖可能对完全复现构成挑战。建议研究者可以从作者提供的预训练VP-SELECTOR开始，专注于ST-REASONER的训练和评估。复现难度评估为中等偏难，主要挑战在于获取和使用强大的代理推理器。

论文图表

**Figure 1**: Comparison with previous video reasoning methods and VISIONCOACH.
图1展示了四种视频推理方法的对比：文本中心推理、基于工具的推理、接地推理和本文的VISIONCOACH。每个方法都配有一个具体的问题示例（直升机飞过后出现的车辆颜色和类型），以及模型的推理过程和输出。文本中心方法产生没有视觉观察支持的幻觉解释；基于工具的方法有重的推理开销；现有的接地方法定位不准确；而VISIONCOACH通过训练时的视觉提示引导RL和自蒸馏，在推理时保持单次前向传播推理，同时实现增强的定位性能，正确识别出黑色轿车。

这张图对理解论文的核心贡献至关重要，它直观地对比了VISIONCOACH与现有方法的关键差异，清晰展示了'训练时使用视觉提示、推理时不使用'的独特设计，以及由此带来的定位质量提升。通过具体的问题示例和推理输出，读者可以立即理解方法的优势和动机。

**Figure 3**: Grounding effect on answering.
图3是PerceptionTest数据集上的统计分析，对比了正确回答和错误回答样本的三个指标：时间匹配率（Temporal Match Rate，正确回答77.2% vs 错误回答71.0%）、对象名称匹配率（Object Name Match Rate，具体数值未显示但图表显示正确回答更高）和边界框IoU（Bbox IoU，具体数值未显示但图表显示正确回答更高）。

这张图对理解论文的动机至关重要，它用实证数据证明了准确时空定位与正确答题之间的强相关性，支持了作者的核心论点——改善时空定位是提升视频推理质量的关键。这也解释了为什么作者要如此关注定位能力的提升。

Table 8: Ablation of top-N self-distillation candidates.

表格8展示了自蒸馏时选择的候选数量影响。Top 1时59.0%准确率、30.1% mAM、41.3% mLGM；Top 2时60.7%准确率、31.3% mAM、43.1% mLGM（最佳）；Top 3时58.9%准确率、29.2% mAM、40.2% mLGM。

这个消融表揭示了自蒸馏候选数量对性能的影响，证明了选择Top 2个高质量轨迹最好，数量太少监督信号不足，太多会引入低质量轨迹稀释监督信号，这个分析对理解自蒸馏机制很有价值。

Table 9: Ablation of overall reward combination.

表格9展示了不同奖励组合的影响。只有r_fmt+r_tmp+r_spa时56.9%准确率、29.5% mAM、39.8% mLGM；加入r_acc后提升到58.5%准确率、29.4% mAM、40.3% mLGM；完整的四项奖励达到60.7%准确率、31.3% mAM、43.1% mLGM（最佳）。

这个奖励消融表展示了各奖励组件的独立贡献，证明了每个组件都提供互补的监督信号，联合优化答案正确性和接地时空推理对强性能至关重要，这是理解方法训练目标设计的关键。