STEER:基于多目标强化学习的结构化事件证据驱动视频推理 Structured Causal Video Reasoning via Multi-Objective Alignment
先抽取结构化事件证据再做推理,并用P-FAB解决多目标RL的Pareto冲突。
前置知识
Chain-of-Thought (CoT) 与 Multimodal CoT
让模型先输出中间推理步骤再给出最终答案的范式。多模态CoT把这一思想推广到视觉-语言模型,但在视频任务上极易退化为冗长的画面复述,关键时间线索被淹没。
STEER 的出发点正是"无约束的视频 CoT 反而有害"(论文中 Qwen3-VL-4B-Thinking 在多数基准上低于其 Instruct 版本),必须先理解 CoT 的优势与失败模式,才能看懂作者为何坚持"证据先于思考"的设计哲学。
GRPO (Group Relative Policy Optimization)
GRPO是DeepSeek提出的去价值函数RL算法,对每prompt采样G个回答,用组内相对奖励 $\delta_{i,m} = r_{i,m} - \frac{1}{G}\sum_j r_{j,m}$ 作为advantage更新策略,但多目标加权求和会抹平冲突信号。
P-FAB 正是为了解决 GRPO 在多目标下的劣势而被提出的。读算法前必须先理解 GRPO 是如何在组内归一化奖励的,以及它的标量化优势为何会"对冲"掉稀疏但重要的奖励信号。
MGDA (Multiple Gradient Descent Algorithm) 与 Pareto 平稳点
MGDA是多目标优化经典方法,寻找单纯形 $\Delta^M$ 中的权重 $\alpha^*$ 使 $\min\|\sum_m \alpha_m \nabla \mathcal{L}_m\|^2$ 最小,P-FAB在奖励空间直接借用此数学形式,并做标准化以适配奖励尺度。
P-FAB 直接借用了 MGDA 的核心数学形式,但把"梯度方向"替换为"中心化奖励方向",并加入标准化步骤使其对奖励尺度不敏感。这是论文最具理论深度的部分,不理解 MGDA 就无法体会 P-FAB 的几何含义。
视频时序定位 (Video Temporal Grounding, VTG)
给定未裁剪视频和自然语言查询,要求模型返回对应时间区间 $[t_s, t_e]$。常用评测指标为R1@IoU(不同阈值如0.3/0.5/0.7),阈值越高代表定位越精准。代表数据集有Charades-STA、ActivityNet-Captions。
本文最核心的实验任务就是 VTG,Charades-TimeLens 上 R1@0.7 从 18.4 (Qwen3-VL-4B-Instruct) 提升到 21.6 是论文主张"证据帮助精修边界"的核心证据,读表 1/表 2 时必须熟悉这些 IoU 阈值的含义。
LoRA (Low-Rank Adaptation) 与全参数微调
冻结预训练权重,仅注入秩为 $r$ 的低秩矩阵 $\Delta W = BA$,训练时只更新 $A,B$,显著降低显存。STEER在Stages 1-2用LoRA,Stage 3 (RL) 才做全参数更新。
论文明确指出 Stages 1-2 使用 LoRA 微调,Stage 3 (RL) 才做全参数更新。理解这种"渐进解锁参数"的设计,有助于体会为何需要 Stage 1.5 这种"格式热身"环节以避免 RL 阶段对大权重造成剧烈扰动。
Frank-Wolfe 算法
条件梯度法,每步对目标做线性近似后在约束集上求线性最小化。P-FAB用它求解 $\alpha^*_q = \arg\min_{\alpha \in \Delta_M}\|\hat{D}_q\alpha\|^2$,只需一次排序而非投影,适合 $M=4$ 的小目标场景。
P-FAB 算法 1 第 19 步用 Frank-Wolfe 求解 $\alpha^*_q = \arg\min_{\alpha \in \Delta_M}\|\hat{D}_q\alpha\|^2$,这一选择不是任意——它使得 P-FAB 在每次迭代中只调用一次排序而非做 QP 求解,复杂度与 $M$ 呈线性,适合 $M=4$ 这种小目标数场景。
研究动机
当前 Video-LLM 在做长视频推理时普遍采用"无约束的 Chain-of-Thought":模型直接把 CoT 套在原始视觉 token 上,生成冗长的画面复述与自相矛盾的过程。论文给出一个反直觉的数据——Qwen3-VL-4B-Thinking 在几乎所有基准上都低于其 Instruct 版本,例如在 ActivityNet-Captions 上 R1@0.5 从 35.8 跌到 31.7,VideoMME 上从 63.4 跌到 63.1,MLVU 从 60.3 跌到 59.0。这种"思考越多反而越差"的现象被作者归结为 reasoning drift 与 token 预算错配:关键时间线索淹没在叙述里,模型沦为"逐帧检索"而非"事件依赖推理"。与此同时,RL 后训练阶段又暴露出第二个问题:当优化目标变成"CoT 长度"+"任务精度"等多项指标时,标准 GRPO 把奖励简单加权求和为单一标量,导致稀疏但关键的目标信号被淹没,模型倾向于向"容易拿分"的方向优化,忽略难例。
本文的目标是本文的具体目标有三个:(1) 设计一种结构化的事件证据表示,把视频压缩为时序有序的事件 schema(每个事件包含 time/person/action/scene/camera/caption 等属性),使模型在做 CoT 之前先有一段"显式锚点";(2) 训练一个 4B 的 Video-LLM (STEER-4B) 在仅使用 1 fps 的条件下,达到甚至超过 7B 级别的时序定位与通用视频理解基线;(3) 针对多目标 RL 提出 P-FAB 算法,沿 Pareto 前沿动态分配权重,让"长度"与"准确率"这类相互冲突的目标同时得到兼顾,且能更好地奖励难例。
与已有工作不同的是，现有方法要么缺乏事件级抽象(PWM、TRACE 仅做时间特征),要么把证据与思考耦合在一起直接训练(Unified SFT 在论文消融里 PDMS 类指标下降 5 个点以上)。本文的独特切入角度是"证据→格式→思考→RL"的四阶段渐进训练,先单独教会模型抽取结构化证据,再强制它学会 `......` 的格式,再训练带证据的结构化推理,最后才进入多目标 RL。这种解耦设计既避免了"直接联合训练时模型同时学两件事而崩溃"的优化障碍,也为 RL 阶段提供了高质量的冷启动策略,使 P-FAB 能在已经具备结构化能力的策略上做 Pareto 优化。
核心方法
STEER的整体思路是"证据显式化+渐进训练+多目标RL"三支柱。直觉上,作者认为人看视频先形成事件清单再围绕清单推理,因此让模型先输出Structured Event Evidence(每段10-30秒,字段含time/person/action/scene/camera/caption),再以证据为锚做三阶段结构化推理(Global Search→Evidence Verification→Final Alignment),同时解决CoT冗长与推理漂移。技术路线以Qwen3-VL-4B-Instruct为底座,四阶段训练:Stage 1用LoRA教证据抽取;Stage 1.5强制`......`格式热身;Stage 2做完整思考SFT;Stage 3用P-FAB做RL后训练,四目标奖励为Format/Linear IoU/Multi-choice Accuracy/Length。数据来自自建STEER-60K。
本文最核心的创新是"证据显式+Pareto RL"双重设计,与已有Video-LLM的本质区别在于:(1) 已有方法把视频当作原始视觉token序列去压缩,而STEER把视频抽象为带时间戳与属性的离散事件schema,使后续思考永远围绕有限事件而非无数帧展开;(2) 推理过程被硬性分解为三阶段——先全局搜索候选时间窗、再对前后事件做因果验证、最后做整体一致性对齐——而不是任由模型自由生成;(3) RL阶段不沿用GRPO的标量化优势,而是把每个prompt组内 $G$ 个回答的奖励中心化后构造 $D_q \in \mathbb{R}^{G\times M}$ 矩阵,在标准化空间用Frank-Wolfe求解 $\alpha^*_q = \arg\min_{\alpha \in \Delta_M}\|\hat{D}_q\alpha\|^2$,得到Pareto最优的目标权重,再以 $A_i = (\sum_m \alpha^*_{q,m}\delta_{i,m} - \mu_A)/(\sigma_A + \epsilon)$ 作为最终优势,自然放大稀疏但关键的奖励信号。
方法步骤详情
训练推理可拆五步。第一步:视频按1fps采样送入Qwen3-VL-4B-Instruct。第二步Stage 1+1.5+2渐进SFT:Stage 1用LoRA教事件schema;Stage 1.5强制`......`格式;Stage 2用三阶段思考标注继续LoRA。第三步Stage 3的P-FAB RL:采样G=4或8回答,按Format/IoU/Accuracy/Length构造中心化矩阵 $D_q$,剔除方差< $10^{-6}$ 的目标,在标准化空间用Frank-Wolfe求 $\alpha^*_q$。第四步代入PPO-clip损失 $\mathcal{L}$, $\rho_i = \pi_\theta/\pi_{\theta_{\text{old}}}$。第五步推理按相同模板输出证据、思考、答案。
技术新颖性
技术新颖性可从四个维度展开。第一,"......"双段格式是Video-LLM领域首次系统化提出,把"人类认知形成结构化心智草图"工程化为可监督的格式。第二,Stage 1.5的"格式热身"在消融里被证明不可或缺——去掉后ActivityNet R1@0.3从61.7跌到55.1,说明渐进式解耦是必须的设计。第三,P-FAB的数学形式直接借自MGDA,但做了两处关键改造:(a) 在奖励空间而非参数空间做优化,每步只调用一次Frank-Wolfe排序而非L-BFGS;(b) 引入按列标准化的步骤,使优势对奖励尺度不敏感,避免高方差目标压制低方差目标。第四,作者把"Conflicting + Difficult"两类冲突统一到Pareto框架下:CoT长度与准确率冲突属于前者,稀疏奖励在难例上的失衡属于后者,P-FAB通过Pareto最优权重同时缓解两类问题——这是把RLHF时代的多目标偏好对齐思想迁移到结构化推理RL的首次系统尝试。
实验结果
Table 1消融证明每组件都不可缺:w/o Evidence时ActivityNet R1@0.5从41.2跌到34.3(-6.9);w/o Thinking跌到33.2(-8.0);Unified SFT合并三阶段后跌至31.3(-9.9);w/o RL跌到34.4(-6.8)。P-FAB在G=8时全面优于GRPO G=8:ActivityNet R1@0.3 61.7 vs 59.2(+2.5)、R1@0.5 41.2 vs 38.0(+3.2)、R1@0.7 28.1 vs 26.7(+1.4)。Table 2主表上STEER-4B (1fps)在Charades R1@0.7=21.6优于Instruct的18.4与Time-R1-7B的13.5;ActivityNet R1@0.5=41.2超过Time-R1-7B的39.0与TRACE-7B的35.9。Table 3通用理解上NExT-GQA=73.6比Instruct高1.5、Thinking高7.0;ETBench TEM从9.6跃至26.8(+17.2)是全表最大亮点。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Charades-TimeLens 时序定位 | R1@0.3 / R1@0.5 / R1@0.7 (IoU 阈值, 越高越好) | 57.1 / 40.4 / 21.6 (STEER-4B, 1fps) | 56.5 / 37.8 / 18.4 (Qwen3-VL-4B-Instruct, 1fps); 55.9 / 30.4 / 13.5 (Time-R1-7B, 1fps); 68.7 / 56.1 / 30.6 (Gemini-2.5-Flash, 2fps) | 相对 Instruct 在 R1@0.7 上 +3.2,相对 Time-R1-7B 在 R1@0.7 上 +8.1,与 7B 级别 Time-R1 拉开 4B 模型的代差 |
| ActivityNet-Captions 时序定位 | R1@0.3 / R1@0.5 / R1@0.7 | 61.7 / 41.2 / 28.1 (STEER-4B, 1fps) | 50.2 / 35.8 / 21.6 (Qwen3-VL-4B-Instruct, 1fps); 56.9 / 37.2 / 20.1 (Time-R1-7B, 1fps); 51.2 / 34.7 / 21.0 (Gemini-2.5-Flash, 2fps) | 相对 Instruct 在 R1@0.5 上 +5.4,相对 Time-R1-7B 在 R1@0.5 上 +4.0,在 R1@0.7 上 +8.0,且用 Gemini-2.5-Flash 仅一半帧数 |
| VideoMME 通用视频理解 | Topic Reasoning (TR) / Egocentric (Ego) 子任务准确率 | 64.7 (TR) / 80.6 (Ego) | 63.4 / 80.1 (Qwen3-VL-4B-Instruct); 63.1 / 79.5 (Qwen3-VL-4B-Thinking); 71.9 / - (GPT-4o 2fps) | TR 相对 Instruct +1.3、相对 Thinking +1.6;Ego 相对 Thinking +1.1 |
| NExT-GQA 因果/时序推理 | Accuracy (Acc) | 73.6 | 72.1 (Qwen3-VL-4B-Instruct); 66.6 (Qwen3-VL-4B-Thinking); 59.5 (Qwen2.5-VL-7B) | 相对 Thinking +7.0,相对 Instruct +1.5,是全表中"思考 vs 证据"差距最大的任务 |
| ETBench 综合评测 (8 个子任务) | RAR / ECA / RVQ / TVG / EPM / TAL / TEM / GVQ | 53.4 / 53.4 / 55.0 / 66.1 / 16.8 / 19.7 / 26.8 / 58.3 | 53.1 / 54.1 / 54.3 / 64.6 / 14.8 / 20.1 / 9.6 / 57.7 (Qwen3-VL-4B-Instruct) | TEM 子项从 9.6 跃升到 26.8 (+17.2) 是最大亮点,验证证据对长时序事件记忆的帮助 |
| MLVU 长视频理解 | Accuracy | 60.3 (MLVU) | 60.3 (Qwen3-VL-4B-Instruct); 59.0 (Qwen3-VL-4B-Thinking) | 与 Instruct 持平、相对 Thinking +1.3,长视频上证据的边际收益减弱但仍稳定 |
局限与改进
论文在Limitations一节坦诚了几条边界:第一,Structured Event Evidence要求每个事件10-30秒长度,对短于10秒的快速动作或长于30秒的连续行为未必合适,粒度选择仍是经验性的;第二,STEER-60K依赖Qwen3-VL-235B与Gemini-2.5-Pro互相生成与评判,虽50%抽样人工评分平均8.5、87.1%一致性,但28.3%的批次被拒,若两个教师模型共享同一类幻觉,这种"模型对模型"的监督信号可能被系统性放大;第三,作者未在 $M \geq 8$ 或奖励相关性极强的场景下严格压力测试P-FAB,Frank-Wolfe在更大目标数下的收敛性未必保持;第四,所有实验基于1fps采样,在密集时间动作上证据的边界精度上限受帧率约束;第五,推理时每个回答需先生成完整evidence schema再做thinking,平均token长度高于直接Instruct推理约1.5-2倍,论文没有给出latency vs accuracy的权衡曲线。
独立分析的弱点
独立审视可以补出几点弱点。其一,Structured Event Evidence把"人/动作/场景/相机"字段固定化,对镜头切换、字幕、音频等线索完全忽略,在电影解说、体育解说等场景中音频-视觉时序对齐是关键,目前schema无法承载多模态事件。其二,P-FAB的 $\alpha^*_q$ 是组级静态权重,没有纳入prompt难度作为先验——对本身就极难的样本,即便 $\alpha^*$ 已偏向难目标,在 $G$ 较小时仍可能全部回答失败、组内方差为零导致目标被丢弃。其三,论文在P-FAB优势公式后又施加了一层组内标准化 $\frac{A_{raw}-\mu_A}{\sigma_A+\epsilon}$,可能稀释P-FAB的实际优势,理论分析中没有给出对收敛性的影响。其四,Steering信号来自prompt模板,模型对模板敏感,但没报告对prompt改写或翻译的鲁棒性实验。每条弱点的改进方向分别是:扩展schema至多模态、引入prompt难度感知的先验、用EM/MC估计替代二次标准化、做prompt扰动的鲁棒性ablation。
未来方向
作者在结尾点出两个明确方向:把Structured Event Evidence推广为"跨模态证据融合"的一般原理(音频事件、字幕事件);把P-FAB作为任务无关的多目标RL框架推广到其它领域。基于成果可进一步延伸的方向包括:(a) 把证据schema做成可学习的离散token(VQ-VAE风格),跨任务共享事件表示,降低迁移成本;(b) 把Stage 1的证据SFT与self-consistency结合,允许多候选证据通过投票产生共识,再喂给Stage 2推理,有望在难例上进一步提升;(c) 把P-FAB的min-norm形式推广到带KL信赖域的Pareto-CRL类算法,用于RLHF中的人类偏好多维分解;(d) 探索证据+思考的"早退"机制,简单问题只输出evidence即可回答,复杂问题才进入thinking,以降低平均推理成本;(e) 把evidence输出直接作为对人类审计者的"引用依据",与可解释性研究结合。
复现评估
复现性方面,作者声明"Code and data will be released",模型名STEER-4B暗示基于Qwen3-VL-4B-Instruct公开权重,因此Stages 1-2的LoRA适配器与Stage 3的全参数RL检查点是可期的主要交付物。STEER-60K的60K标注覆盖32K视频,数据来源标注为Charades与ActivityNet-Captions的人类标注VTG数据集,采样策略与过滤标准在Appendix C描述。算力方面,Stage 3的全参数RL需在4B模型上采样G个回答并做PPO更新,典型8卡A100(80G)配置应可承担G=8的batch。复现难度中等偏高:四阶段训练管线、P-FAB的Frank-Wolfe实现、与Qwen3-VL-235B+Gemini-2.5-Pro双教师数据生成管线都是潜在门槛;另外,论文没公开50%抽样人工评分细则与28.3%拒批规则,数据质量再现需复刻整套人工评估流程。
论文图表
展示一段 427 秒的铲雪视频如何被 STEER 拆解为 5 段结构化事件(time1 至 time5,每段约 60-100 秒),每段标注 [person]、[human_action]、[scene]、[object]、[camera]、[event_caption]。右侧用三个模型的回答对比:无证据的 Qwen3-VL-4B-Instruct 给出 284.4-325.2 秒(过窄);Thinking 版本给出 0-100 秒(完全跑偏);STEER-4B 输出 271-426 秒(完全包含 GT 284-427),并附上完整 <evidence>...</evidence><thinking>...</thinking> 流程图。
这是论文最直观的一图,把"证据长什么样、为什么能让推理更准"在一张图中讲完,适合作为 motivation 的开场视觉证据。