EVA：面向端到端视频智能体的高效强化学习框架 EVA: Efficient Reinforcement Learning for End-to-End Video Agent

EVA 的完整方法包含数据构建和三阶段训练两大流程。数据构建阶段，使用 Qwen2.5-VL-72B 作为教师模型，基于 LLaVA-Video（短视频 QA）和 CGBench（长视频 QA）数据集，通过多样化的提示词（成功经验、多样化工作流提示、反思性思维提示）生成高质量的智能体视频理解数据。每条 SFT 数据遵循「摘要 + 规划 + 行动 + 反思」格式：摘要阶段模型详细描述每帧内容；规划阶段模型基于当前信息提出潜在行动并预估成本和结果；行动阶段生成工具调用；反思阶段评估视觉信息是否充足。第一阶段 SFT 冷启动：使用 EVA-SFT 数据集（10k 高质量样本）进行 2 个 epoch 的监督微调，学习率 $2 \times 10^{-6}$，批量大小 8，让模型掌握工具调用格式、交错图文推理和基本的帧选择策略。第二阶段 KTO 校正：使用 EVA-KTO 数据集（11k 样本，63% 成功轨迹 + 37% 失败轨迹）进行 KTO 训练，$\beta = 0.1$，学习率 $2 \times 10^{-6}$。失败轨迹通过两种方式收集：一是用 LLM 判断器筛选推理过程显示视觉证据不足但仍生成答案的轨迹（即猜测行为），二是重采样高质量成功轨迹作为正样本。第三阶段 GRPO 在线强化学习：使用 EVA-RL 数据集（9.6k 开放式 QA + 1.1k 多选题），在 32 块 H100 GPU 上训练 1 个 epoch，批量大小 64，每个样本 8 个 rollout，学习率 $1 \times 10^{-6}$。奖励函数为准确率奖励加格式奖励，其中准确率奖励对多选题使用 CSV（Completeness Self-Verification）奖励，对开放式问题使用 ROUGE 分数。此外还引入格式奖励：如果模型调用了工具但最终答案错误，给予 0.05 的补偿奖励（低于随机猜测的 0.20-0.25），防止模型利用格式结构获得不应有的分数。

EVA 的技术新颖性体现在三个层面。首先，在范式层面，它是第一个真正实现「规划先于感知」的端到端视频智能体。与 FrameThinker（2025）等最新工作相比，EVA 不需要预先均匀采样帧作为初始输入，而是从纯文本查询出发进行推理，这从根本上避免了感知先行导致的采样偏差问题。其次，在工具设计层面，EVA 的帧选择工具是目前维度最丰富的——同时支持时间窗口（start_time, end_time）、采样密度（nframes）和空间分辨率（resize）四个参数的联合控制，而 VideoAgent、VideoMTR 等方法只能调整时间范围。第三，在训练策略层面，EVA 首次将 SFT 冷启动、KTO 偏好校正和 GRPO 在线强化学习整合为一个系统化的三阶段流程。特别是 KTO 阶段的设计——专门为纠正已知失败模式而引入——填补了从 SFT 到 RL 之间的训练空白。此外，EVA 还创新性地提出了数据增强 GRPO 管线：在 GRPO 训练若干步后，收集新的失败案例作为上下文示例，让教师模型为未见过的视频生成新的 QA 对，然后在增强后的数据集上重新训练，有效提升了训练数据的多样性和挑战性。

EVA 存在几个值得深入分析的弱点。第一，工具生态单一：EVA 仅有帧选择一个工具，限制了智能体在复杂任务中的能力边界。在实际应用中，视频理解往往需要结合音频转录（理解对话内容）、OCR（识别屏幕文字）、物体检测（精确定位物体）等多种工具。改进方向是构建可扩展的工具接口框架，允许模型根据任务需求动态选择和组合多种工具。第二，数据增强管线的效率问题：当前的 Data-Enhanced GRPO 管线需要在训练过程中收集失败案例、调用教师模型生成新数据、再重新训练，这个过程是串行的，增加了训练时间和复杂度。可以考虑引入在线课程学习（online curriculum learning），让模型在训练过程中自动调整数据难度分布。第三，反思机制相对简单：当前的反思仅判断「视觉信息是否充足」，缺乏更深层次的推理质量评估。可以引入自一致性检查（self-consistency）、多假设验证等机制，提升推理的鲁棒性。第四，空间分辨率控制的粒度可能不够：resize 参数是一个统一的缩放比例，无法对视频帧的不同区域施加不同的分辨率——例如对关键区域高分辨率、对背景区域低分辨率。可以引入自适应分辨率分配机制，类似视觉 Transformer 中的 token pruning。

基于 EVA 的成果，未来研究可以在多个方向展开。作者提出的几个方向包括：更灵活的工具生态系统（不限于帧选择）、自演化推理策略（模型能够自动优化自己的工作流）、跨模态记忆机制（在长时间交互中积累和检索视觉记忆）。除此之外，还有几个值得探索的方向：一是将 EVA 的规划先于感知范式扩展到多视频场景——当用户的问题需要跨多个视频进行推理时，智能体需要先规划「看哪些视频的哪些部分」，这比单视频场景更复杂也更贴近实际应用；二是探索更细粒度的奖励设计——当前的奖励函数仅基于最终答案的正确性，可以引入中间步骤的奖励（如工具调用是否有效、推理链是否合理），实现过程监督；三是将 EVA 与具身智能（embodied AI）结合——EVA 的主动感知能力可以为机器人在长视频中导航和执行任务提供支持；四是研究 EVA 在视频生成质量评估、视频摘要、视频检索等下游任务中的应用潜力。

EVA 在复现方面具有较好的基础。论文明确开源了代码和模型（提供了链接），使用 Qwen2.5-VL-7B-Instruct 作为基础模型（7B 参数量，单卡即可推理），训练数据集也进行了公开（EVA-SFT 10k、EVA-KTO 11k、EVA-RL 10.7k）。然而，复现仍面临一定挑战：SFT 数据的构建需要调用 Qwen2.5-VL-72B 教师模型生成高质量的智能体轨迹，这需要较大的推理算力；GRPO 训练阶段使用了 32 块 H100 GPU，这对大多数实验室来说是较高的门槛；三阶段训练流程涉及多个超参数（学习率、beta、奖励权重等），调参空间较大。数据集构建的细节（提示词模板、数据筛选标准）在论文和附录中有较详细的描述，降低了复现的难度。评估方面，论文使用了六个公开基准，评估流程相对标准化。总体而言，有充足算力的团队可以在 1-2 周内完成核心实验的复现，但完整的数据增强 GRPO 管线可能需要更长时间调试。