EasyVideoR1:面向视频理解的多任务强化学习训练与评测框架

首个专为视频RL设计的端到端训练评测框架,带离线缓存与异步推理

前置知识

RLVR与GRPO

RLVR(Reinforcement Learning from Verifiable Rewards)用可自动验证的奖励(如选择题对错、数学答案相等)替代人类偏好训练大模型。GRPO是其代表算法:对同一prompt采样n个回答,用组内相对优势替代价值模型,适合推理任务。

EasyVideoR1的算法核心就是GRPO,所有混合在线/离线策略、奖励路由、剪裁变体都围绕GRPO的group rollout-relative优势计算展开。

FSDP与vLLM混合引擎

FSDP(Fully Sharded Data Parallel)将参数、梯度、优化器状态分片到多卡以省显存;vLLM是面向LLM的高吞吐推理引擎,用PagedAttention管理KV cache。veRL提出把训练与推理同卡协同,避免权重搬运。

EasyVideoR1继承了这一混合引擎设计,缓存机制正是为了让vLLM的rollout阶段不再阻塞在CPU视频解码上,FSDP也需在每步前向中包含图像/视频两路以保证梯度同步。

M-RoPE与多模态位置编码

Qwen2-VL引入的多模态旋转位置编码(M-RoPE)把位置信息分解为时间、高度、宽度三个轴,统一编码文本/图像/视频token。Qwen3-VL进一步用interleaved-M-RoPE并显式引入文本时间戳token替代T-RoPE。

缓存必须保证VideoMetadata(帧率、采样索引、空间尺寸)在三个pipeline阶段一致,否则video_grid_thw会错位,模型对同一段视频的编码会因阶段不同而不同,训练语义就被破坏。

Vision-Language Model(VLM)视频处理流程

把视频喂给VLM前需要先按FPS采样帧、resize到固定像素预算、做normalize得到tensor,再和文本token拼接送入LLM。Qwen3-VL等支持动态分辨率与动态帧数,但帧越多token越长,显存压力越大。

本文的核心瓶颈就是这段预处理—CPU密集且在数据加载、rollout、reference前向中各被重复执行一遍,缓存机制正是要把这段工作前置成一次性离线任务。

异步推理与chunked prefill

vLLM的AsyncLLMEngine允许把IO、prefill、decode三阶段pipeline化,使GPU几乎永远不空。Chunked prefill把长输入切成小块,与正在decode的请求在同一步调度,避免长视频独占GPU。

EasyVideoR1的评测模块直接基于AsyncLLMEngine实现,这是它在22个视频基准上比vanilla框架快6~7倍的关键。

研究动机

现有面向多模态大模型的强化学习框架(EasyR1、R1-V、OneThinker、veRL、TRL)主要针对文本或图像场景,虽然支持视频但缺乏视频专项优化。具体痛点有三:第一,CPU视频解码成为吞吐瓶颈—数据加载、vLLM rollout、reference前向、actor训练这四个阶段每步都会独立解码同一批视频,EasyR1与OneThinker中甚至出现3N次冗余解码;第二,奖励设计不通用—视频任务覆盖选择题、OCR、时序事件定位、空间grounding、目标跟踪、像素级分割等异构类型,需要模块化路由;第三,评测难以复现—视频评测对帧采样策略、视觉token预算、FPS、分辨率、prompt模板等超参极度敏感,任何次优选择都会显著低估基线精度,而现有框架缺乏能严格对齐官方分数的22基准统一管线。

本文的目标是构建一个专门服务视频理解RL研究的端到端开源框架EasyVideoR1,在EasyR1与veRL基础上系统解决吞吐、奖励通用性、模态混合、异步评测这四类工程与研究问题。具体目标包括:用离线tensor缓存把视频解码从训练循环中抽离出来实现1.5×左右的rollout加速;设计覆盖11种视频/图像任务类型的统一奖励路由,使新增任务只需注册一个模块;支持混合离线-在线GRPO策略以让研究者用现成高质量轨迹缓解冷启动;提供联合图像-视频batching并允许两模态独立配置像素预算;基于vLLM AsyncLLMEngine实现22个视频基准的异步评测管线,且reproduced accuracy与官方分数严格对齐;最终让研究者在统一接口下以极低工程门槛做视频RL实验,而无需重复造缓存、混合引擎、评估脚本这些轮子。

与已有工作不同的是，EasyVideoR1的独特切入角度是把视频解码/采样/Resize从训练循环中抽离为离线一次性缓存,并以VideoMetadata(帧率、采样索引、空间尺寸)贯穿三个pipeline阶段确保语义一致;同时引入独立图像/视频像素预算、混合离线-在线策略(每个group n-1条on-policy+1条offline)、以及基于AsyncLLMEngine的22基准异步评测—这些都是其他框架没有系统做过的工程化与研究友好设计。

核心方法

EasyVideoR1围绕三个维度展开:第一,视频友好优化—通过离线tensor缓存、VideoMetadata传播、独立分辨率预算与混合模态前向让训练不再被CPU解码拖慢;第二,算法研究友好接口—通过混合在线-离线策略与联合图像-视频训练让研究者能直接探索off-policy引导、prefix拼接、经验回放等新范式;第三,异步多基准评测—把预计算帧缓存与AsyncLLMEngine三阶段pipeline结合,在22个视频基准上稳定对齐官方分数。整体思路是:把任何'对同一段视频的重复处理'前置或合并,把任何'不同模态的分支逻辑'统一成同构field,把任何'评测的CPU-GPU串行'改成完全overlap。

最核心的创新是'离线视频缓存+元数据一致性'机制:把视频按key=(video_path, fps, max_frames, max_pixels)解码采样resize成.pt文件,数据加载时只传缓存路径(vLLM rollout时再把tensor交给processor),并通过VideoMetadata强制每个下游阶段以do_resize=False、do_sample_frames=False跳过重复处理—这把3N次重复解码压缩为1次。与已有方法(如EasyR1)相比,本质区别在于EasyR1用实时解码,本工作用元数据驱动的显式缓存;在奖励层面,EasyR1只覆盖文本/图像奖励,本工作设计了11种任务类型的统一路由+模块化扩展。

方法步骤详情

完整训练流程分四步:(1)离线预处理—多worker并行解码+哈希去重,把每条视频按缓存key落盘为.pt;对于10分钟视频在2fps、256帧上限下,缓存约360MB,作为存储换吞吐的折中。(2)数据集加载—只记录缓存路径字符串,worker按需.pt load并附带VideoMetadata。(3)vLLM rollout—以(tensor, VideoMetadata)元组传入,关闭resize/sample以保持video_grid_thw一致;若启用混合策略,最后一条回答用offline trajectory替代,组成n条group。(4)Actor训练—FSDP全分片下做padding-free前向,对缺失模态生成零dummy tensor并以零权重加法接入计算图,确保所有参数都被更新。同步并行的还有基于AsyncLLMEngine的评测管线:预计算帧缓存→后台IO线程池→chunked prefill→decode,IO/Prefill/Decode三阶段常驻overlap,LVBench上获得6~7×加速。

技术新颖性

技术新颖性主要体现在四点:其一,cache key=(video_path, fps, max_frames, max_pixels)四元组自动失效机制,既避免手写版本号又能在参数变化时无感重算;其二,VideoMetadata作为隐式契约贯穿数据加载、rollout、actor训练三阶段,保证do_resize=False、do_sample_frames=False的跨阶段一致性,这是一种'配置即正确性'的工程范式;其三,任务感知奖励系统的中央dispatcher+独立模块设计,把11种任务类型(多选、数值、时序grounding、时空grounding、空间grounding、开放问答、数学、OCR、布尔、代码、偏好)解耦,新增任务只需注册一个模块;其四,严格的placeholder-token-数量匹配校验,使得token占位符与视觉特征一旦错位就立刻抛错而非静默截断,长时间训练下保护梯度信号不被数据bug污染。

**Figure 1**: Overview of the EasyVideoR1 training pipeline. Videos are preprocessed offline into .pt cache files. During training, each worker loads cached frames locally.

实验结果

实验回答两个问题。(1)RL能否让Instruct超越Think变体?—Qwen3-VL-8B-Instruct经200步GRPO+DAPO clip($\epsilon_{low}=0.2, \epsilon_{high}=0.28$)+KL关闭+lr=$1\times10^{-6}$训练,10基准平均62.1→64.4(+2.3);Video-Holmes+6.6、VideoMathQA+6.7提升最大,Video-MME+2.1、MVBench+3.5、MLVU+4.1、LongVideoBench+1.4、LVBench+0.7正向,MMVU-1.7、Video-MMMU-0.6、TempCompass-0.3略降。(2)缓存吞吐?—32×H200、GB=32、256帧上限下,单步194.5→131.9s(1.47×),token吞吐797→1175 tok/s;rollout 82.1→53.9s(1.52×)、reference前向53.6→18.8s(2.85×,因不二次解码),actor update约54s不变;两模式总token数均约4.93M,加速来自消除冗余。

**Table 1**: Supported task types and their accuracy scoring methods.

**Table 2**: Video understanding benchmarks supported by the evaluation framework.

**Figure 2**: Benchmark performance comparison. The number above each blue bar indicates the accuracy change relative to the Instruct baseline. Background colors denote benchmark categories. EasyVideoR1 training yields an average improvement of +2.3 points, with the largest gains on reasoning (+6.6 on Video-Holmes) and mathematical (+6.7 on VideoMathQA) tasks.

**Figure 3**: Training efficiency comparison between cache-based loading and on-the-fly video decoding. (a) Per-step time breakdown by pipeline phase. Cache-based loading reduces rollout generation time by 1.5× and reference model forward time by 2.9×, while actor update time remains unchanged. (b) Overall efficiency: cache-based loading achieves a 1.47× speedup in both wall-clock time per step and token throughput.

查看结构化数据

任务	指标	本文	基线	提升
Video-Holmes(视频推理)	Accuracy	EasyVideoR1训练后Qwen3-VL-8B	Qwen3-VL-8B-Instruct	+6.6(推理类最大增益)
VideoMathQA(STEM数学)	Accuracy	EasyVideoR1训练后Qwen3-VL-8B	Qwen3-VL-8B-Instruct	+6.7(数学类最大增益)
MVBench(通用视频)	Accuracy	EasyVideoR1训练后	Qwen3-VL-8B-Instruct	+3.5
MLVU(长视频)	Accuracy	EasyVideoR1训练后	Qwen3-VL-8B-Instruct	+4.1
Video-MME(通用视频)	Accuracy	EasyVideoR1训练后	Qwen3-VL-8B-Instruct	+2.1
LongVideoBench(长视频)	Accuracy	EasyVideoR1训练后	Qwen3-VL-8B-Instruct	+1.4
LVBench(长视频)	Accuracy	EasyVideoR1训练后	Qwen3-VL-8B-Instruct	+0.7
TempCompass(通用视频)	Accuracy	EasyVideoR1训练后	Qwen3-VL-8B-Instruct	-0.3
MMVU(STEM知识)	Accuracy	EasyVideoR1训练后	Qwen3-VL-8B-Instruct	-1.7
Video-MMMU(STEM知识)	Accuracy	EasyVideoR1训练后	Qwen3-VL-8B-Instruct	-0.6
10基准平均(General+Long+Reasoning+STEM)	Accuracy	64.4	62.1	+2.3
训练吞吐(32×H200,GB=32)	tokens/s	1175 tok/s(132s/step)	797 tok/s(195s/step)	1.47×加速
Reference模型前向(rollout后)	step time	18.8s(缓存版)	53.6s(实时解码版)	2.85×加速
LVBench异步评测	推理速度	AsyncLLMEngine+chunked prefill	vanilla同步推理	6~7×加速

局限与改进

作者明确指出的局限:实验只覆盖22基准中的10个代表性子集,VideoReasonBench/Charades-STA/STVG等未在主结果中报告;训练数据仅约100K样本,主要来自OneThinker/Video-R1/VideoChat-R1等公开集合,高质量视频RL数据稀缺仍是根本瓶颈;混合离线-在线策略虽工程完整但主实验未深入对比不同混合比例与质量阈值;模型支持范围集中在Qwen2-VL/Qwen2.5-VL/Qwen3-VL/Qwen3.5系列,未验证LLaVA-Video/VideoLLaMA3等。我额外观察的局限:离线.pt缓存每条10分钟视频约360MB,百万级规模存储成本可观(论文提到可用uint8像素进一步压缩但未实施);reference前向2.85×加速本质是共享缓存避免重复,属工程层面而非算法创新,若部署环境磁盘I/O受限收益会打折扣;DAPO clip的$\epsilon$不对称设置在视频多任务下未做消融。

独立分析的弱点

独立分析框架可改进之处有三:(1)缓存存储开销—以4元组key落盘.pt的策略在百万级视频时累积成本显著,改进方向是引入uint8像素序列化或zstd压缩,把每条10分钟视频的~360MB压到<100MB,或者采用基于特征向量的中间表示直接缓存encoder输出而非原始像素。(2)训练稳定性与稀疏奖励未充分讨论—视频多任务的reward方差远大于纯文本,论文未报告reward曲线、KL散度变化、clip fraction等诊断指标,改进方向是补充这些统计量并支持动态$\epsilon$调度。(3)对Thinking variant的消融不充分—虽然Qwen3-VL-8B-Thinking在大多数基准上落后于RL后的Instruct,但作者没说明在长链思维场景下Thinking是否仍有优势,改进方向是增加Thinking baseline的更细粒度对比(不同max_tokens、CoT长度截断下的表现),以判断RL是否真的'解锁'Instruct模型的潜力。

未来方向

作者在结论中明确呼吁社区贡献PR维护代码库,本身就是一个开放future-work方向。基于本文成果可延伸的研究线包括:(1)把缓存抽象成可插拔的视觉预计算层,使其支持3D点云、深度图、音频等其他高维模态;(2)探索稀疏奖励与curriculum learning—在长视频、时序grounding等任务中把episode切分并设计dense shaping reward;(3)联合训练视觉编码器与LLM,目前EasyVideoR1冻结VLM主体只调LoRA,可尝试全参数微调视觉encoder以让视觉特征适配下游RL目标;(4)研究混合离线-在线策略的最优混合比例与质量阈值,作者实现中quality_threshold是可选参数但未做sweep;(5)长视频优化—当前max_frames=128在30分钟以上视频上仍不够,可引入视频token合并(如VideoLLaMA3的相似度压缩)与hierarchical RL。

复现评估

复现性总体良好:代码完全开源在https://github.com/cyuQ1n/EasyVideoR1,作者来自中科院信工所与京东,提供了详细配置示例;主实验使用Qwen3-VL-8B-Instruct作为基模型,在32张H200 GPU上训练约20小时,数据集来自OneThinker/Video-R1/VideoChat-R1等公开RL数据集(约100K样本),研究者可复现主要超参(GRPO+DAPO clip、n=8、global batch=256、lr=$1\times10^{-6}$、2FPS+128帧+262144像素预算等)。复现难度主要在算力门槛(32×H200对大多数实验室是较高门槛,论文Table脚注还提到有4节点×8卡=32卡的拓扑要求)与评测一致性(异步评测框架需要vLLM AsyncLLMEngine与多benchmark注册,首次部署有一定工程量,但论文承诺了22个基准的reproduced accuracy与官方分数严格对齐)。整体而言,作为'报告+开源代码'类工作,可复现性达到开源框架论文的较高水平。

EasyVideoR1:面向视频理解的多任务强化学习训练与评测框架 EasyVideoR1: Easier RL for Video Understanding