先看再回答：从视觉基础的后训练中学习

发现视频理解数据集严重依赖语言捷径，提出仅用视觉基础问题后训练提升模型性能

前置知识

视觉语言模型（VLM）

能够同时处理和理解视觉信息（如图像、视频）与文本信息的多模态模型。它们通常包含视觉编码器将图像/视频转化为特征表示，以及语言模型进行推理和生成。VLMs需要建立视觉与语言之间的对齐关系，实现跨模态理解。

本文研究的核心对象，需要理解VLMs如何处理视频理解任务以及它们可能存在的语言先验依赖问题。

强化学习后训练（RL-based Post-training）

在预训练模型基础上，使用强化学习技术进一步微调模型以提升特定能力的训练范式。本文使用的GRPO（Group Relative Policy Optimization）是一种RL算法，通过计算奖励信号来优化策略，相比监督微调能更好改善视觉识别能力且减少灾难性遗忘。

VidGround的核心技术组件，需要理解RL后训练的基本原理和GRPO算法机制。

语言捷径（Linguistic Shortcuts）

模型在不具备真正视觉理解能力的情况下，仅依赖文本线索、世界知识、排除策略或想象内容来正确回答视觉问题的现象。这是VQA领域的经典问题，会导致模型看起来能完成任务但实际上没有建立视觉-语言的正确关联。

本文要解决的核心问题，理解语言捷径的四种类别（文本线索、外部知识、推断策略、想象内容）是分析论文贡献的基础。

视觉基础（Visually Grounded）

问题或数据真正需要视觉输入才能正确回答的特性。视觉基础问题无法仅通过问题文本和选项回答，模型必须观察图像/视频中的具体内容才能推理出正确答案。

VidGround方法的核心筛选标准，理解如何区分视觉基础问题和文本可回答问题是理解本文方法的关键。

GRPO（Group Relative Policy Optimization）

一种强化学习算法，通过生成多个响应（一组G个样本）并计算它们相对于参考策略的相对优势来优化模型策略。本文采用改进的GRPO，增加了时间感知奖励和不对称裁剪（提高epsilon_h值）来提升训练效率和稳定性。

VidGround使用的具体RL算法，理解其目标函数和训练过程对掌握方法实现细节至关重要。

研究动机

当前视频理解领域存在一个严重却被忽视的问题：广泛使用的基准测试和后训练数据集中，大量问题可以通过文本线索回答而无需真正的视频理解。实验表明，VideoMME、VideoMMMU和MMVU三个流行基准中，40-60%的问题可以被前沿模型仅用文本正确回答。Gemini-3.1-Pro在没有视频输入的情况下，在三个基准上分别达到58.2%、61.1%和63.4%的准确率，远高于随机猜测。类似地，流行的后训练数据集Video-R1-260K中30.9%的问题也是文本可回答的。这种现象导致模型性能被人为夸大，因为改进主要反映语言能力增强而非视觉理解提升。更严重的是，当VLMs在后训练阶段接触这些语言偏见数据时，它们会学习依赖文本模式而非建立稳健的视觉-语言关联，最终削弱视频理解能力。

本文的目标是本文的目标是揭示视频理解基准和后训练数据中的语言偏见问题，并提出简单有效的解决方案来提升VLMs的真实视频理解能力。具体而言，作者希望证明通过精心筛选仅需要视觉基础的后训练数据，可以用更少的数据获得更好的性能。本文还旨在展示数据质量是提升VLM视频理解能力的主要瓶颈，简单的高质量数据筛选可以超越复杂的算法改进。

与已有工作不同的是，本文的独特切入角度在于系统性地揭示了视频理解领域（而非传统VQA领域）的语言偏见问题，并提出了一种极其简单却有效的数据筛选策略。与现有工作专注于设计更复杂的RL算法或训练技巧不同，本文回归数据质量本身，证明少即是多的理念：使用69.1%的精心筛选数据可以超越使用100%原始数据的性能。本文还发现了一个反直觉的现象：仅使用文本的大型语言模型在视频基准上的表现可以与某些VLMs相当甚至更好，这彻底暴露了当前视频基准的有效性危机。

核心方法

VidGround的核心思想非常直观：在后训练阶段，只使用那些真正需要视觉输入才能回答的问题来训练模型。作者首先发现现有视频理解数据集中存在大量语言偏见问题，然后提出一个简单的筛选策略：用强大的语言模型（GPT-5-mini）在无视觉输入的情况下评估所有训练样本，保留那些语言模型无法正确回答的样本作为视觉基础（VG）数据。然后使用标准的GRPO强化学习算法在这些筛选后的数据上进行后训练。整个方法不需要新的模型架构或复杂的算法设计，关键在于数据筛选环节。

VidGround的核心创新在于认识到数据质量是提升VLM视频理解能力的主要瓶颈，而非算法复杂度。本文的独特之处在于提出了一种极简的数据筛选方法：仅用GPT-5-mini在文本模式下评估训练样本，保留无法回答的样本。这种方法利用了这样一个洞察：如果训练模型本身可以通过文本回答某个问题，那么在这个问题上的训练不太可能改善其视觉基础能力。这与当前研究趋势形成鲜明对比，大多数工作专注于设计更复杂的RL算法或训练技巧，而本文通过简单的高质量数据筛选超越了这些方法。此外，本文还系统性地分析了视频理解领域语言偏见的四种类别，为未来研究提供了清晰的分析框架。

方法步骤详情

VidGround的实现包含两个主要步骤：数据筛选和RL后训练。第一步是数据筛选，从Video-R1-260K数据集（包含263,071个样本）中筛选视觉基础问题。具体做法是使用GPT-5-mini仅在文本模式下（无视觉输入）评估每个问答对，如果能正确回答则归类为文本可回答（TA）问题并移除，无法回答则归类为视觉基础（VG）问题并保留。最终保留了181,710个样本（69.1%的原始数据），移除了30.9%的语言偏见样本。作者验证了这种筛选的稳健性：85%的VG问题也是Qwen2.5-VL-7B在文本模式下无法回答的，使用Gemini-3.1-Pro进行循环评估（轮换选项位置）达到了97%的一致性。第二步是RL后训练，使用GRPO算法在筛选后的VG数据上训练Qwen2.5-VL-7B模型。训练采用批量大小1、梯度累积步数1、学习率10的负6次方、余弦学习率调度器、权重衰减0.01、最大梯度范数5等超参数。目标函数结合了GRPO、DAPO和时间感知奖励，使用不对称裁剪（提高epsilon_h值）来增强训练效率和稳定性。训练在8块NVIDIA H100 GPU上进行700步，每个视频均匀采样16帧。

技术新颖性

VidGround的技术新颖性体现在多个方面。首先，这是首个系统分析视频理解领域语言偏见问题的工作，填补了VQA领域类似研究在视频场景的空白。其次，作者提出了一个极简却高效的数据筛选策略，这种用语言模型过滤语言偏见的方法新颖且实用。第三，本文展示了一个反直觉的发现：仅使用文本的LLMs在视频基准上的表现可以媲美某些VLMs，这彻底挑战了当前对视频理解进展的认知。第四，作者证明了简单的高质量数据筛选可以超越多种复杂的RL后训练技术（包括LongVILA-R1、TW-GRPO、Video-RTS等），这为领域研究提供了重要的方向性启示。最后，本文还创新性地提出了多模型共识数据筛选策略（VidGround-M1和VidGround-M2），通过使用GPT-5-mini、Qwen2.5-VL-7B和Gemini-3.1-Pro三个模型协同筛选来提高数据质量，虽然这种更严格的筛选并未带来显著的性能提升，但为未来的数据质量控制研究提供了有价值的探索方向。

实验结果

实验结果表明，VidGround在三个视频理解基准上均取得了显著提升。相比使用全部263K样本训练的Video-R1，VidGround（仅使用181K VG样本）在16帧、32帧和64帧设置下分别提升4.8、4.6和6.2个百分点的平均准确率，而数据量减少了30.9%。相比基线模型Qwen2.5-VL-7B，VidGround在三种帧设置下分别提升2.2、2.4和2.3个平均准确率。在MMVU基准上，VidGround在64帧设置下比基线提升3.0点，达到65.6%的准确率。更重要的是，VidGround展示了更好的帧缩放行为：随着帧数从16增加到64，VidGround的性能持续提升（56.8到58.5到59.5），而使用全部数据训练的模型则表现不稳定甚至下降（52.0到53.9到53.3），在VG问题上从32帧到64帧甚至下降了。这表明视觉基础后训练使模型能够更有效地利用时序和视觉线索。此外，VidGround在图像理解基准上也保持了良好性能（MME: 648.9 vs 624.3，MMMU: 58.7 vs 56.7，MMBench: 84.5 vs 84.2），证明视觉基础后训练不会损害非视频任务的泛化能力。多模型共识筛选实验显示，VidGround-M1（161K样本）略优于单模型VidGround，但VidGround-M2（148K样本）性能下降，表明过度筛选可能降低数据多样性。定性分析表明，VidGround的推理链更多地基于实际视频内容，而Video-R1则更多依赖文本分析。

**Table 1**: Text-only Answerability (TA) across video understanding benchmarks for frontier models

**Table 2**: Performance comparison of 7B-scale post-training methods on three video understanding benchmarks

**Table 3**: Ablation study on post-training data composition

**Table 4**: Comparison of data curation strategies on video understanding benchmarks

**Table 5**: Performance on image QA benchmarks

**Table 6**: Extended text-only answerability across video understanding benchmarks for 17 frontier models

**Fig. 3**: Accuracy on visually grounded (VG) questions across 16, 32, and 64 frames

**Fig. 4**: Qualitative comparison of reasoning paths on a VideoMMMU art analysis question

查看结构化数据

任务	指标	本文	基线	提升
VideoMME	Accuracy	63.4 (64 frames)	61.2 (Video-R1, 64 frames)	+2.2
VideoMMMU	Accuracy	49.4 (64 frames)	45.4 (Video-R1, 64 frames)	+4.0
MMVU	Accuracy	65.6 (64 frames)	53.2 (Video-R1, 64 frames)	+12.4
Average (Full)	Accuracy	59.5 (64 frames)	53.3 (Video-R1, 64 frames)	+6.2
MME (Image QA)	Score	648.9	624.3 (Qwen2.5-VL-7B)	+24.6
MMMU (Image QA)	Accuracy	58.7	56.7 (Qwen2.5-VL-7B)	+2.0

局限与改进

作者承认了一些局限性。首先，本文使用的筛选方法依赖于GPT-5-mini的判断，虽然多模型验证显示其稳健性，但筛选质量仍受限于评估模型的能力。其次，VidGround主要针对Video-R1-260K数据集进行验证，在其他数据集上的效果有待进一步验证。第三，作者识别的四类语言偏见可能不是穷尽的，未来可能发现其他类型的偏见。第四，本文主要关注视频理解任务，对图像理解和其他多模态任务的影响分析有限。第五，定性分析虽然显示VidGround的推理更基于视觉内容，但如何定量评估视觉基础程度仍是一个开放问题。最后，作者没有深入研究不同筛选严格度对性能的影响曲线，也没有探索完全自动化筛选的可行性，这些都需要未来工作来解决。

独立分析的弱点

VidGround存在几个可以改进的弱点。首先，当前的数据筛选方法需要使用强大的闭源模型（GPT-5-mini），这增加了成本和依赖性，未来可以探索基于开源模型的自动筛选方法或学习型筛选器。其次，当前的VG/TA二分法较为粗糙，可能无法区分不同程度的视觉基础需求，未来可以引入连续的视觉基础度评分系统。第三，本文没有研究不同模型架构或规模对筛选效果的影响，筛选策略可能需要针对不同模型进行调整。第四，当前的GRPO后训练算法虽然有效，但可能不是最优的，未来可以探索结合视觉基础信号的专门优化算法。第五，本文没有分析视频长度、内容类型等因素对筛选效果的影响，这些因素可能需要纳入筛选考虑。最后，当前方法主要针对选择题，对开放式问题的筛选策略尚未充分探索。

未来方向

作者提出了几个未来研究方向。首先是定期重新评估视频理解基准的质量，随着语言模型能力的提升，原本需要视觉的问题可能变得文本可回答，因此需要持续过滤。其次是开发更精细的数据筛选策略，可能包括学习型筛选器或基于难度梯度的筛选。第三是探索视觉基础的定量评估方法，超越简单的准确率指标，可能需要开发新的评估协议来衡量模型的视觉依赖程度。第四是将VidGround思想扩展到其他多模态任务，如图文匹配、多模态推理等。第五是研究如何平衡数据质量和多样性，避免过度筛选导致训练分布过窄。第六是探索主动学习方法，让模型在学习过程中识别并重点关注视觉基础不足的样本。最后，作者建议社区共同开发真正需要视觉理解的高质量视频理解基准和数据集，推动领域健康发展。

复现评估

本文的复现性相对较好。作者提供了详细的实现细节，包括训练配置、评估设置、超参数等。使用的基线模型Qwen2.5-VL-7B-Instruct是公开可用的开源模型。数据筛选方法清晰可复现，虽然需要使用GPT-5-mini，但作者也提供了使用其他模型（如Qwen2.5-VL-7B和Gemini-3.1-Pro）的替代方案。评估基准VideoMME、VideoMMMU和MMVU都是公开可用的标准基准。计算资源方面，训练需要8块NVIDIA H100 GPU进行700步，这是一个相对较高的要求，但对于有足够资源的研究机构来说是可实现的。代码和筛选后的数据集尚未公开，这是复现性的一个限制因素。不过，由于方法相对简单，研究团队应该能够从论文描述中重新实现整个流程。总体而言，本文的复现性处于中等偏上水平，主要限制在于计算资源和部分依赖闭源模型。

先看再回答：从视觉基础的后训练中学习 Watch Before You Answer: Learning from Visually Grounded Post-Training