视频推理模型准备好「走出户外」了吗？ Are Video Reasoning Models Ready to Go Outside?

方法分三阶段共约十余个具体步骤。第一阶段（3.1节）构造paired数据：对每段输入视频$V=\{f_1,\dots,f_T\}$，先用一个均匀随机的排列$\pi$打乱帧序得到$V^{temp}=\{f_{\pi(1)},\dots,f_{\pi(T)}\}$；再从扰动集合$\mathcal{P}=\{\text{weather},\text{lighting},\text{camera},\text{occlusion}\}$中采样一种风格$m$，对每帧$f_t$生成风格专属的空间mask $P_t^{(m)} = B_t^{(m)} \odot C_t^{(m)}$，其中$B_t^{(m)}\in\{0,1\}^{H\times W}$是二值模板（由深度信息或随机采样驱动，标注"被污染/干净"像素），$C_t^{(m)}\in[0,1]^{H\times W}$是连续调制图（编码雨强、阴影深度、模糊核等），最终corrupted frame为$f_t^{masked} = f_t \odot P_t^{(m)}$，完整公式见Eq.(2)：$V' = \{f_{\pi(t)} \odot P_t^{(m)}\}_{t=1}^{T}$。第二阶段（3.2节）自反思难度评估：在第$i$次迭代参数$\theta_i$下，模型$F_{\theta_i}$对perturbed视频$V'_i$和查询$q_i$输出难度标签$d\in\{\text{easy, difficult, informative}\}$和置信度$c\in[0,1]$，规则是：clean和perturbed输出一致且正确→easy、严重分歧或错误→difficult、否则informative；置信度由输出token概率得到。数据选择策略：$d=\text{easy}, c>\tau$的高置信度样本丢弃；$d=\text{difficult}$存入时间记忆buffer $M\leftarrow M\cup\{(q,\tilde V, k=0)\}$，其中只存mask元信息（扰动类型、参数、时空区域）以便按需重生，无需存储完整视频；$d=\text{informative}$或$d=\text{easy}, c\le\tau$作为高信息量样本立即参与训练。buffer每50步周期性重评估，$(d',c')\leftarrow F(q_n, \tilde V_n, S_e; \theta_i)$，被重分类为informative的立即训练、easy的从buffer移除、persistent difficult的计数器$+1$，当$k>K_{max}=537$时强制驱逐，避免buffer无限增长。第三阶段（3.3节）双分支对齐优化：clean分支$\{o_j\}$梯度detach作为参考，perturbed分支$\{\tilde o_j\}$用GRPO更新，目标函数$J(\theta)=\mathbb{E}_{\{o_j\}\sim F_{\theta_{old}}}[\frac{1}{G}\sum_{j=1}^{G}\min(r_j A_j, \text{clip}(r_j, 1-\epsilon, 1+\epsilon) A_j) - \beta D_{KL}(F_\theta\| F_{ref})]$，其中$r_j = F_\theta(o_j|q)/F_{\theta_{old}}(o_j|q)$，优势$A_j$由组内奖励归一化得到（Eq.8）。奖励由三部分加和：格式奖励$r_j^F$（正则校验`......`格式）、准确奖励$r_j^{Acc}$（答案与ground truth是否语义相等）、对齐奖励$r_j^A = \alpha_r r_j^{align,r} + \alpha_a r_j^{align,a}$（由GPT-4o按三档/二档标准评估两个分支的推理和答案一致性），超参为$\alpha_r=0.3, \alpha_a=0.7, \beta=0.01, G=8, \tilde G=4, \epsilon=0.2$。

技术新颖性主要体现在三个层面。第一，扰动建模从"像素级增广"升级为"结构化时空增广"：用风格专属的二值+连续双层mask使每种扰动都有可解释的物理对应（如深度条件遮挡、自适应场景天气的渲染），配合帧序打乱使模型必须学到时空解耦的扰动不变表征，这比ImageNet-C的19种独立像素corruption和Video-R1的随机帧遮蔽更有结构性。第二，训练范式从"静态课程"升级为"自反思闭环"：传统课程按固定epoch从易到难，ROVA则用模型自身每一步的难度判断动态决定哪些样本进入GRPO、哪些暂存、哪些丢弃，并用buffer的周期性重评估实现"模型变强后再挑战过难样本"。第三，奖励设计从"标量分类奖励"升级为"LLM法官+多粒度对齐奖励"：通过让GPT-4o按规则prompt同时打推理一致性（0/0.5/1）和答案一致性（0/1）两个分数，把"扰动下保持推理过程一致"这一可解释要求形式化为可微的policy gradient信号，规避了纯答案匹配容易陷入"答对但推理逻辑全错"的陷阱。实验层面也证明这套设计在OOD扰动类型上依然有效（Fig.5b）：用两种mask风格训练后，在第三种未见mask类型上仍能超越固定形状/像素级随机掩码6-9%，说明mask设计学到了扰动的本质共性而非过拟合特定pattern。

在作者承认的局限之外，我独立分析出几个可改进的弱点。第一，扰动风格池相对有限（4类共12种），虽然覆盖了主要物理扰动，但缺少运动模糊（motion blur）、色温异常（color cast）、传感器噪声（sensor noise）、低分辨率（low-resolution）等更细粒度的退化，与自动驾驶真实corner case仍有距离；改进方向是引入更丰富的style-conditioned perturbation generators或与物理引擎结合生成域随机化（domain randomization）扰动。第二，自反思评估的LLM法官是离线的——用GPT-4o或Qwen3-13B做打分校准，而非在训练循环中端到端联合优化，这会让"难度判断"与"模型能力"之间存在滞后；改进方向是设计可微的self-confidence估计器，或在训练目标中加入自一致性正则，使模型在产生输出时同时输出难度估计，避免依赖外部法官。第三，clean-perturbed对只来自同一视频的扰动版本，没有构造"跨视频一致性"或"反事实扰动一致性"；这意味着模型可能学到的只是"同一视频不同扰动下输出稳定"，而不能保证"不同视频同语义下输出稳定"；改进方向是引入permutation或mixup构造跨视频对齐对，扩展一致性约束的语义空间。第四，GRPO的优势归一化在clean和perturbed两个分支独立计算，奖励信号来自外部LLM法官而非模型自身采样（$A_j$ 取决于GPT-4o的判定），存在off-policy偏差和奖励hacking风险——理论上模型可以学会"让LLM法官满意"而非"真正学一致"；改进方向是引入过程奖励模型（PRM）或人类偏好数据校准LLM法官。第五，buffer中的mask元信息$\tilde V$只记录扰动类型和参数，并未显式建模"扰动难度"的连续值，这导致"easy high-confidence"与"difficult"之间的边界case可能反复进出buffer，造成训练信号不稳定。

作者在结论中指出两个方向：研究更广扰动家族下的鲁棒性（如极端天气、传感器故障）以及更复杂长时程具身任务；我自己基于文章结果可延伸几个方向。第一，把结构化扰动与物理仿真引擎（如CARLA、Habitat）结合，构造3D一致的物理可信扰动（光追、粒子系统、碰撞遮挡），把"扰动"从2D mask升级为3D场景级的可控变量，可同时支持自动驾驶、机器人操控、视频游戏等多个下游任务。第二，引入自监督预训练信号，例如让模型预测"扰动类型是什么"或"扰动参数是什么"作为辅助任务，把扰动识别本身作为预训练目标，使下游任务中模型隐式获得对扰动的元认知。第三，奖励设计上引入层次化或curriculum-based reward shaping——先用step-level一致性（更细粒度但方差大）做warmup，再用holistic一致性（更稳定但粗粒度）做finetune，缓解作者提到的"granularity vs. stability"矛盾。第四，把PVRBench扩展到长视频（>1分钟）和多模态（音频+视频）扰动——真实视频流常伴风噪、雨声，扰动是跨模态联合的；也可加入任务级扰动（指令改写、问题重述）评估"扰动下的指令跟随鲁棒性"。第五，把ROVA的双分支对齐思想推广到其他模态对（图像-图像、视频-语言、跨域图像）以建立通用"扰动不变表征学习"框架，并探索与对比学习、扩散模型的结合。第六，针对闭源模型评估难题，开发无需访问模型logits的"黑盒扰动评估"协议，例如用consistency score via API query实现PVRBench式评估，进一步扩大benchmark可用范围。

复现评估整体处于"中高门槛"水平，论文在多处提供了充分细节。开源情况：作者明确给出项目页https://robust-video-reason.github.io/，并承诺开源代码和PVRBench；论文Appendix B详细描述了PVRBench数据集构造（UrbanVideo+VSI-Bench、9K视频、52K QA对、27个任务）、扰动生成系统的4个模块（lighting/camera/occlusion/weather）、每种扰动的mask生成算法与参数；Appendix C给出了完整prompt模板（答案一致性、推理一致性、自反思难度评估）；Appendix D列出全部超参（$\alpha_r=0.3, \alpha_a=0.7, \beta=0.01, \epsilon=0.2, G=8, \tilde G=4, \tau=0.8, K_{max}=537, |M|_{max}=1000, T_{re}=50$、学习率$1\times 10^{-5}$、余弦调度、1 SFT epoch+300 RL steps）；Appendix G提供详细时间复杂度分析并证明ROVA比naive dual-branch快1.06×。数据方面：训练用Video-R1-260k的户外子集约10%（约26K RL样本+6.5K SFT样本，共32.5K），评估用PVRBench（公开）+VisBench+UrbanVideo（公开）。算力方面：4×A100-80GB GPU跑完完整ROVA训练约134.4 GPU-hours，比Video-R1（8×A100、339.2 GPU-h）门槛低约一半。复现难度主要在三处：1) 扰动mask的物理可信渲染需要相当工程投入（深度估计、粒子系统、风格迁移），单纯复现论文中12种扰动就需要较扎实的图形学基础；2) LLM法官依赖GPT-4o API（或Qwen3-13B开源替代），存在API稳定性、费用和latency问题；3) GRPO训练对超参敏感（$\tau$、$K_{max}$、$\alpha_r/\alpha_a$都需要调），附录Fig.11显示这些参数的±0.2变化就能让准确率波动2-4个百分点。总体而言，训练流程与reward设计可复现，扰动生成系统与基准构造工程量较大，建议有充足GPU预算和扰动渲染经验的团队复现。