OmniVideo-R1：通过查询意图和模态注意力强化音视频推理 OmniVideo-R1: Reinforcing Audio-visual Reasoning with Query Intention and Modality Attention

方法分为数据准备和两阶段训练共三个步骤。数据准备阶段：从LLaVA-Video和Video-Vista收集原始数据，经过结构验证、质量评估（使用Gemini-2.5-Pro在视频依赖性、音频依赖性、问题逻辑、回答准确性四个维度打分）、启发式过滤（要求回答准确性=1，问题逻辑大于等于0.8，综合分大于等于0.7）和类别平衡（最大类别不超过第二大类别的3倍），最终得到88,173个样本用于QI阶段，12,887个高音频-视觉依赖样本用于MA阶段。QI阶段训练：模型生成格式为...............的输出，奖励由格式奖励、结果奖励、一致性奖励（评估时间-字幕对的一致性）和完整性奖励（评估定位片段对推理的支持程度）组成。MA阶段训练：对于每个输入，在三种配置下采样响应（全模态、纯视频、纯音频），只有当全模态输入得分最高时才给予注意力奖励，系数为0.3。总奖励由格式奖励、结果奖励和注意力奖励组成。

本文的技术新颖性体现在多个层面。首先，这是第一个专门为混合模态推理设计的RL框架，填补了omnimodal模型后训练方法的空白。其次，自监督的查询密集定位是一个重要的方法论创新：通过让模型自己生成时间-字幕对并评估一致性，避免了昂贵的过程级标注，同时建立了查询意图与定位行为之间的联系。这种自监督方式的巧妙之处在于，它将定位任务转化为一个生成-验证问题，利用大模型自身的评判能力来提供训练信号。第三，对比模态奖励的设计非常精巧：通过比较三种模态配置下的表现，隐式地鼓励模型学习跨模态的协同关系，而不需要显式定义什么是'好的融合'。最后，采用GSPO进行序列级别的优化也是一个技术亮点，因为对于MoE架构的omnimodal模型，token级别的重要性采样会因为不同专家的激活而导致分布偏移，产生高方差的梯度估计。

独立分析本文存在以下弱点：（1）评判模型依赖问题：QI阶段使用Qwen3-VL-235B作为一致性评判模型，这可能引入循环依赖——用一个可能有偏见的模型来训练另一个模型。改进方向是设计更鲁棒的自监督信号，例如利用多评判模型的集成或基于规则的评估。（2）超参数敏感性：MA阶段的注意力奖励系数是固定的0.3，缺乏自适应机制。不同任务对模态融合的依赖程度不同，固定的系数可能不是最优的。改进方向是根据任务难度或模态相关性动态调整系数。（3）数据效率：MA阶段仅使用了12,887个样本（从88,173个中筛选），说明大部分数据的音频-视觉依赖性不够高。改进方向是设计更精细的数据筛选策略或数据增强方法来扩大有效训练集。（4）缺乏过程级奖励：虽然自监督避免了标注成本，但QI阶段的奖励信号仍然相对稀疏（只在序列结束时评估）。如果能引入更细粒度的过程级奖励（如关键帧级别的评估），可能会进一步提升定位精度。

作者提出了几个有价值的未来研究方向：（1）探索在缺乏ground-truth场景下的训练方法，这对于开放式的音视频理解任务至关重要。（2）将多模态训练范式扩展到更多模态，如3D点云、热成像等，作者认为查询意图和模态注意力的设计原则可以泛化到更广泛的多模态场景。基于本文的成果，还可以延伸以下方向：（3）将QI阶段的自监督定位能力与视觉定位任务（如Visual Grounding、Referring Expression Comprehension）结合，探索跨任务的知识迁移。（4）研究模态偏见的诊断和缓解方法，开发更系统的评估指标来量化模型的模态平衡程度。（5）探索在线学习范式，让模型在推理过程中动态调整模态注意力权重，而不是依赖固定的训练后权重。

从复现角度来看，本文的复现难度较高。数据方面，作者使用了公开的LLaVA-Video和Video-Vista数据集，并提供了详细的数据筛选流程（三阶段pipeline），这部分可以复现。但数据质量评估依赖Gemini-2.5-Pro API，这需要相应的API访问权限和成本。算力方面，训练配置为128倍H20 GPU，全局batch size 256，最大序列长度32,768，这对于大多数研究团队来说是相当高的资源需求。代码方面，论文未明确提及是否开源代码和模型权重，但提供了详细的超参数配置（学习率、rollout数8、warmup比例0.05等），有助于复现。模型方面，基于Qwen3-Omni-30B-A3B进行训练，这是一个公开可用的基础模型。总体而言，完全复现需要大规模GPU集群和外部API访问，但核心算法流程描述清晰，理论上可以复现。