LongVPO：从锚定线索到自我推理的长视频偏好优化 LongVPO: From Anchored Cues to Self-Reasoning for Long-Form Video Preference Optimization

LongVPO的训练流程分为两个阶段，每个阶段都有明确的输入、输出和操作步骤。Stage 1：高效短到长学习（Efficient Short-to-Long Learning from Anchored Cues）。输入为LLaVA-Video-178K数据集中的短视频片段，每个片段最多采样64帧（1fps）。首先，随机选择一个片段作为锚定视频 $x_{i,anchor}$，生成只能从该片段回答的问题 $q_i$ 和优选响应 $y^+_i$。然后，将多个短视频片段（包括锚定片段）拼接成更长的组合视频序列 $x_i = [x_{i,1}, ..., x_{i,anchor}, ..., x_{i,k}]$。接着，通过提示模型基于非锚定片段（时间错位的片段）回答相同问题来生成似是而非的非优选响应 $y^-_i$。数据过滤包括两个机制：场景相似性过滤（DINOv2嵌入余弦相似度超过0.6的非锚定片段被替换或丢弃）和问题特异性过滤（使用Qwen-2.5 32B验证问题依赖于锚定片段中的多个不同视觉元素）。训练使用修改后的DPO目标函数 $L_{stage1}(\theta)$，其中参考模型的似然仅基于锚定片段计算。Stage 2：长视频偏好对齐的自我训练。输入为Vript数据集中有场景分割但无标注的长视频。首先，使用递归字幕生成策略为长视频生成密集文本描述：对于每个时间分割的场景，模型基于当前视频片段和之前场景的字幕生成字幕，迭代构建整个视频的连贯、上下文感知的字幕序列。然后，使用外部LLM（Qwen2.5-32B）基于场景字幕生成复杂查询 $q_i$ 和推理轨迹 $r_i$，其中 $r_i$ 必须明确引用特定场景ID。优选响应 $y^+_i$ 由目标模型基于完整长视频生成。非优选响应 $y^-_i$ 通过两种策略生成：基于部分证据的推理（仅提供推理轨迹中识别的部分相关场景）和基于不相关性的幻觉（仅提供未被引用的场景）。最后，使用标准DPO目标 $L_{stage2}(\theta) = L_{DPO}(\theta)$ 进行训练，策略模型初始化自Stage 1检查点，参考模型冻结为Stage 1检查点。

LongVPO的技术新颖性体现在多个层面。首先，锚定近似方法是对标准DPO框架的重要改进。传统DPO要求参考模型处理与策略模型相同的输入，但在长视频场景下，短上下文参考模型会因上下文长度不匹配而性能退化。本文的锚定近似不仅解决了这个问题，还通过减少计算和内存成本提高了训练效率。实验表明，这种方法的训练时间仅为使用完整长视频作为输入的方法的约70%。其次，自我训练策略避免了对外部模型的依赖。现有方法如LLaVA-Video等需要使用GPT-4V等专有模型来生成和过滤偏好数据，这不仅成本高昂，还会引入外部模型的偏差。LongVPO通过让目标模型自我生成偏好对，实现了完全自包含的训练流程。第三，两阶段渐进式设计具有清晰的课程学习特性。Stage 1专注于单片段定位能力，Stage 2专注于跨片段推理能力，这种设计使得模型能够逐步构建复杂的长视频理解能力。第四，数据效率极高：仅需16K个合成样本（Stage 1约10K，Stage 2约6K）就能达到超越使用大规模标注数据训练的模型的性能。最后，该方法具有良好的通用性，不仅适用于短上下文模型（如InternVL2.5），也适用于长上下文模型（如InternVideo2.5），且在两种情况下都能带来一致的性能提升。

尽管LongVPO取得了显著的性能提升，但仍存在一些值得改进的弱点。首先，锚定近似方法虽然有效，但其假设"只有锚定片段包含回答查询所需的信息"在某些情况下可能不成立，特别是当查询涉及多个片段的共同信息时。改进方向可以是设计更精细的近似策略，如根据查询类型动态调整参考模型的输入。其次，Stage 2的自我训练策略虽然避免了外部模型依赖，但自我生成的优选响应质量受限于模型自身能力，可能不是全局最优的响应。可以考虑引入轻量级的外部知识源来提升响应质量。第三，数据过滤机制相对简单（仅基于DINOv2相似度和LLM验证），可能无法完全消除噪声数据。可以探索更复杂的数据质量评估方法，如基于多模型一致性的过滤。第四，两阶段训练的课程设计是固定的，无法根据模型的学习进度动态调整。可以考虑引入自适应的课程学习策略。最后，训练过程中使用的超参数（如 $\beta$、$\alpha$ 等）缺乏系统的调优分析，可能存在进一步优化的空间。

作者提出将在未来研究中探索与现有上下文压缩方法的集成，以提高推理计算效率。基于LongVPO的成果，我认为可以延伸出多个有价值的研究方向：（1）多模态长上下文扩展：将LongVPO的框架扩展到同时处理长视频和长文本的场景，如视频描述生成、视频摘要等任务；（2）更长视频的探索：随着视频时长增加（如数小时甚至更长），可能需要引入层次化的处理策略，如先进行场景分割再进行跨场景推理；（3）实时长视频处理：开发支持流式输入的长视频理解模型，使得模型能够实时处理视频流并进行推理；（4）多任务联合训练：将长视频理解与其他视觉任务（如目标检测、动作识别）结合，构建更通用的视觉基础模型；（5）人类反馈的整合：在自我训练的基础上引入少量人类反馈，进一步提升偏好数据的质量；（6）跨领域迁移：探索LongVPO在其他长序列任务（如长文档理解、长音频处理）上的适用性；（7）效率优化：开发更高效的注意力机制或上下文压缩方法，降低长视频处理的计算成本。

LongVPO在复现方面具有较好的条件。首先，代码已在GitHub上开源（https://github.com/MCG-NJU/LongVPO），这大大降低了复现门槛。其次，使用的数据集都是公开可用的：Stage 1使用LLaVA-Video-178K，Stage 2使用Vript，这两个数据集都包含在InternVL-2.5的SFT数据集中。第三，基线模型InternVL-2.5-8B也是公开可用的。然而，复现仍面临一些挑战：（1）计算资源要求：虽然论文没有明确说明训练所需的GPU数量，但使用DeepSpeed Ulysses序列并行处理32K扩展视频上下文长度，暗示需要多GPU训练环境；（2）外部模型依赖：Stage 2使用Qwen2.5-32B生成查询和推理轨迹，需要额外的模型资源；（3）训练时间：论文提到Stage 1的训练时间为4.9小时，Stage 2的训练时间未明确说明，但基于数据量和模型规模，预计需要数小时到数十小时；（4）数据预处理：构建Stage 1的偏好数据需要计算DINOv2嵌入进行场景相似性过滤，这需要额外的计算步骤。总体而言，对于拥有足够计算资源的研究团队，LongVPO的复现难度为中等，主要挑战在于多GPU训练环境和外部模型的使用。