OmniReasoning：突破音视频联合推理的极限 OmniReasoning: Pushing the Limits of Audio-Visual Joint Reasoning
构建真正需要音视频协同的基准、11.2万条证据接地数据与模态分解自蒸馏训练方法，提升全模态联合推理
前置知识
Omni-LLM（全模态大语言模型）
同时原生接收音频、视觉与文本输入并统一生成的多模态大模型，如 Qwen3-Omni、Gemini 等。音频经分词器编码为 token 序列，与视频帧 token 一起送入语言模型主干，使模型能在同一序列中既"看到"又"听到"。本文基座 Qwen3-Omni-30B-A3B-Thinking 是总参数 30B、每 token 约激活 3B 的 MoE 模型，支持原生音视频输入。
论文的评测对象、训练数据和算法全部围绕 Omni-LLM 展开：基准测的是它们的音视频联合推理能力，MFSD 也是作用于这类模型的 RL 后训练方法，不了解其输入形态就难以理解"线索上下文重打分"的设计。
GRPO（组相对策略优化）
一种面向可验证奖励的强化学习算法：对同一问题采样一组 $G$ 条响应，用组内奖励的均值和标准差把每条响应的奖励标准化为优势 $A_i=(R_i-\mu_R)/(\sigma_R+\varepsilon)$，再用 clipped 策略梯度更新。关键特点是奖励是 outcome 级的——整条响应的所有 token 共享同一个优势信号，粒度很粗。
GRPO 是本文 RL 实验的两个对比基线之一，其"整条响应一个奖励"的粗粒度信用分配正是 MFSD 要改进的起点，理解它才能读懂 Table 4 中 GRPO 仅 +2.2 分而 MFSD +6.4 分的差异从何而来。
在线自蒸馏与 RLSD
不引入额外教师模型，而让当前策略自己充当教师：在"特权上下文"（如证据线索文本）条件下重新为已采样响应的每个 token 打分，用有线索与无线索的对数似然差 $\Delta^M_{i,t}=\log\pi_\theta(y_t\mid x,r_M,y_{<t})-\log\pi_\theta(y_t\mid x,y_{<t})$ 作为 token 级反馈，经有界、保号变换后调制 outcome 优势。RLSD 把这种似然增益映射为有界的 token 级优势权重。
MFSD 直接继承 RLSD 的加权机制、验证器与策略目标，全文的核心公式就是在 RLSD 之上加入跨模态交互项；不先理解 RLSD 的"线索条件重打分"框架，就无法看懂 MFSD 中四种打分视图的含义。
Token 级信用分配
RL 训练中决定"响应里哪些 token 该被奖励或惩罚"的问题。outcome 级方法把整条响应的成败平均摊到所有 token 上，噪声大、易强化凑巧答对的捷径；token 级方法通过似然增益、归因等手段给每个 token 分配不同权重，让真正起作用的推理步骤获得更强梯度信号。
MFSD 的全部意义在于提出一种模态感知的 token 级信用分配：音频线索、视觉线索、跨模态交互分别决定不同 token 的权重。这是理解本文与 GRPO/RLSD 本质区别的核心概念。
条件点互信息（conditional PMI）
衡量给定上下文时两个对象关联强度的信息论量，$I_t=\log\frac{P(r_A,r_V\mid x,y_{\le t})}{P(r_A\mid x,y_{\le t})\,P(r_V\mid x,y_{\le t})}$。论文附录 B 证明 MFSD 的交互分恰好是该量的逐 token 增量 $S_t=I_t-I_{t-1}$，即"联合线索提供的信息超过两条线索各自单独贡献之和"的程度，是一个非可加性（non-additive）比较。
它为交互项 $S_{i,t}=\Delta^{AV}_{i,t}-\Delta^A_{i,t}-\Delta^V_{i,t}$ 提供了严格的信息论解释，说明为什么 $S_t>0$ 代表真正的跨模态协同而非单模态效应，是论文数学贡献的核心。
模态捷径（modality shortcut）
多模态数据与基准中的隐蔽缺陷：题目看似需要多模态，实际仅凭单一模态（或语言先验）即可答对。模型因此学会"偷懒"利用单模态捷径，训练信号无法激发真正的联合推理。检测方法是把输入裁剪为 question-only、audio-only、visual-only 分别作答，看能否命中正确答案。
这是本文动机的核心证据（现有基准上仅视觉输入仍可得 44.9%–68.8%），也是 OmniQA 数据引擎设计"四条件筛选门槛"的直接原因——只有联合条件答对且所有受限条件都答错的题才被保留。
研究动机
现有的音视频基准和训练数据看似面向全模态，实际上大量题目不需要音频即可作答。作者用 Qwen3.5-Plus 只喂视觉帧（不给任何音频）在四个知名音视频基准上测试，仍拿到 57.9%（WorldSense）、68.8%（Daily-Omni）、44.9%（OmniVideoBench）和 60.4%（JointAVBench）的准确率，说明这些基准中 44.9%–68.8% 的问题只靠强单模态理解就能解决，无法把"真正的联合推理"与"强大的单模态理解"区分开。另一方面，现有推理导向后训练方法（GRPO、GSPO 等）只按整条响应的整体质量赋予 outcome 级奖励，不区分一个预测是被音频证据、视觉证据还是两者交互所支撑；RLSD 虽然引入特权线索重打分，但其联合线索增益无法区分"只用单模态走捷径"与"真正融合双模态"的响应——一个只利用音频的响应能获得与真正跨模态推理完全相同的指导。评测、数据、算法三个层面都缺少对"联合"的硬约束。
本文的目标是本文要系统性回答"Omni-LLM 能否可靠地执行音视频联合推理"，并在评测、数据、学习三个层面同时给出方案。具体目标有三：其一，构造音频与视觉证据缺一不可的基准 OmniReasoningBench，共 1,150 道选择题与开放题，涵盖"视频内推理"（750 题，跨事件连接音视频线索）与"超越视频推理"（400 题，把视频知识迁移到新图表/新场景）两类任务，使单模态捷径失效；其二，开发自动数据引擎 OmniQA，规模化生产带时间戳线索链、证据依赖明确且通过捷径筛选的 QA 与思维链数据（OmniReasoning-SFT-112K 与 OmniReasoning-RL-19K），让训练数据继承与基准相同的证据依赖结构；其三，提出学习算法 MFSD，在 RL 中显式分解音频、视觉线索的各自贡献与跨模态交互，进行 token 级信用分配，激励模型生成依赖互补证据的推理步骤，最终产出在自建与公开基准上同时大幅超越基座的模型 OmniReasoning-30B-A3B。
与已有工作不同的是，本文的独特切入角度是"显式的模态特异证据依赖"。此前工作要么在基准层面做事后模态消融（但消融只能证明整体有用，不能保证每道题都必须双模态），要么用实体锚定脚本弱化捷径（OmniVideo-100K），要么直接套用 outcome 级 RL（Video-R1、OmniVideo-R1）或线索级计数（AV-Reasoner）。OmniReasoning 把"音频线索 + 视觉线索 → 中间推断 → 答案"的依赖链当作一等公民贯穿三个组件：出题时按依赖链构造并做四条件捷径筛选（question-only、audio-only、visual-only 必须全错而联合输入正确）；思维链按证据链展开；RL 时把模态分离的线索作为特权上下文，用 $\Delta^{AV}-\Delta^A-\Delta^V$ 的非可加对比分离出"只有联合才出现"的交互信号。把同一个证据结构同时用于评测、数据合成和信用分配的设计是与其他所有工作的本质区别，使跨模态联合推理首次成为可显式优化的训练目标。
核心方法
直觉上，要让模型学会"结合听到的与看到的"推理，需要三件事：考试真的考这个（基准）、教材按这个写（数据）、打分按这个算（算法）。技术上论文构建了闭环的三大组件。第一，OmniReasoningBench 用 750 道"视频内推理"题（10 种任务类型，375 选择 + 375 开放）和 400 道"超越视频推理"题（9 种任务类型，250 选择 + 150 开放）评测联合推理。第二，OmniQA 数据引擎自动生成证据接地数据：把视频切分为事件，用 Gemini-3.1-Pro 生成带时间戳的音频/视觉描述，Qwen3.8 依据任务规范生成问题、答案与依赖链，经线索验证与捷径筛选后合成思维链，产出 112,463 条 SFT 数据（42,200 个视频，平均 8.1 分钟）和 18,991 条人工校验的 RL 数据（3,431 个视频，平均 5.3 分钟）。第三，MFSD 在 RL 阶段让同一 actor 把每个采样响应放到无线索、仅音频、仅视觉、联合线索四种上下文下重打分，分解出"联合支撑"与"跨模态交互"两个信号，转化为有界 token 级优势权重调制 outcome 优势，无需额外 rollout 或教师参数。
核心创新是 MFSD 的"模态分解信用分配"。对每个从 $\pi_{old}$ 无线索采样的响应，用同一 actor 在四种线索上下文下计算 token 对数似然 $\ell^M_{i,t}=\log\pi_\theta(y^{(i)}_t\mid x, r_M, y^{(i)}_{<t})$（$M\in\{\varnothing,A,V,AV\}$），定义去梯度增益 $\Delta^M_{i,t}=\mathrm{sg}(\ell^M_{i,t}-\ell^\varnothing_{i,t})$。RLSD 只用联合增益 $\Delta^{AV}$，无法区分单模态捷径；MFSD 进一步定义交互分 $S_{i,t}=\Delta^{AV}_{i,t}-\Delta^{A}_{i,t}-\Delta^{V}_{i,t}$：只有当两条线索联合提升似然的幅度超过各自单独效应之和时才为正，是 log 似然上的非可加性比较，在联合一致性假设下等于条件 PMI 的逐 token 增量 $S_t=I_t-I_{t-1}$。然后把响应内中心化的交互分 $\tilde S_{i,t}$（零和，只在响应内重分配信用而非整体缩放）与联合增益按 $g_{i,t}=(1-\beta_i)\Delta^{AV}_{i,t}+\beta_i\kappa\tilde S_{i,t}$ 混合（$\beta_i$ 为双线索门控，$\kappa$ 用 EMA 自适应校准尺度），转成保号有界权重 $w_{i,t}=\exp(\mathrm{sign}(A_i)g_{i,t})$，以 $\tilde A_{i,t}=A_i[(1-\lambda)+\lambda\,\mathrm{clip}(w_{i,t},1-\epsilon_w,1+\epsilon_w)]$ 调制组内标准化优势。单模态捷径 token 得不到交互奖励，真正跨模态的推理步骤获得更大正优势与更小惩罚。
方法步骤详情
流程分四阶段。第一阶段标注：把每个视频按事件分段，Gemini-3.1-Pro 为每段分别生成带时间戳的视觉与音频描述（含语音转写、声源、音乐氛围）。第二阶段出题：Qwen3.8 从 13 种任务类型池选任务，基于 caption 束生成问题、选项、参考答案及依赖链，如先由视觉线索识别"白蓝球衣黑背包的队长"，再由音频线索绑定其语音，最后在得分场景匹配讲话内容。第三阶段验证：结构检查依赖图与时间戳；caption 条件求解器核对答案；媒体验证器逐条核对线索与对应片段；捷径筛选要求 question-only、audio-only、visual-only 都答错而联合输入答对，否则整题丢弃。第四阶段生成与训练：思维链生成器只拿时间戳 caption、已验证 QA 与证据链（不看原视频）展开成"观察—推断—答案"的思考过程，用于 SFT（学习率 $7\times10^{-6}$，编码器冻结）；RL 阶段在 18,991 条人工验证题上运行 MFSD（150 步、64 GPU、每题 8 条 rollout、全局 batch 256、$\lambda=\beta=0.5$ 经 warmup、$\epsilon_w=0.2$），选择题按选项字母精确匹配给二值奖励，开放数值题由 DeepSeek-V4-Flash 判分，评测用 2 fps 最多 512 帧。
技术新颖性
技术新颖性体现在三个层面。评测上：以往基准靠事后消融证明"多模态有用"，本文从构造上用四条件筛选保证每道题不可单模态求解，并用"单模态 oracle"配对分析证明联合输入超出 oracle 9.9–26.7 个百分点，联合收益不能由两个单模态成功的并集解释。数据上：以往音视频指令数据（如 OmniVideo-100K）侧重跨片段关联，OmniQA 额外保留模态分离的线索标注作为 RL 特权上下文，并新增"超越视频"的知识迁移任务。算法上：GRPO 只有 outcome 奖励，RLSD 只度量"线索总体帮了多少"，MFSD 首次把跨模态交互作为独立优化信号分离出来，并有三个数学保证（附录 B）：交互分是条件 PMI 的 token 级增量（Proposition 1）；响应内中心化使交互项零和、对响应级平移不变，只做响应内信用再分配（Proposition 2）；指数加裁剪的权重有界于 $[1-\lambda\epsilon_w,\,1+\lambda\epsilon_w]$ 且保持优势符号、梯度不穿过线索条件打分（Proposition 3）。全程无需额外响应采样或独立教师参数，三个打分视图复用同一份媒体特征，工程代价极低。
实验结果
核心发现分四块。（1）基准有效性：三个先进 Omni-LLM 在视频内推理题上，联合输入准确率 42.3–50.1%，仅视频降至 10.9–14.9%、仅音频 16.3–20.4%；配对分析显示联合输入超出单模态 oracle 9.87–26.67 分（如 Qwen3.5-Omni-Plus 开放题 41.87% vs oracle 16.27%），212 题只有联合输入才能答对。（2）自建基准（Table 1）：本文模型总分 42.5%，比基座 33.2% 高 9.3 分，分项为视频内选择 48.0%（+16.1）、视频内开放 30.1%（+4.2）、超越视频选择 58.8%（+12.4）、超越视频开放 32.7%（+0.7），超过所有开源模型，但仍落后 Gemini-3.7-Flash（57.6%）15.1 分。（3）公开基准泛化（Table 2/3）：OmniVideoBench 50.0%（+12.8），在音乐、声事件、语音及所有时长段全面超基座；LVOmniBench 44.7（+7.0）、Video-MMMU 74.4（+6.1）、Video-MME-v2 44.0（+7.5），说明未过拟合到自建分布。（4）方法消融（Table 4）：同一 SFT 检查点同一预算下，GRPO/RLSD 仅比 SFT 提升 2.2/3.1 分且在公开基准低于纯 SFT，而 MFSD 提升 6.4 分并在五个基准全面领先，证明跨模态交互指导是决定性增量。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 音视频联合推理（OmniReasoningBench 总分） | 准确率 (%) | OmniReasoning-30B-A3B：42.5 | 基座 Qwen3-Omni-30B-A3B-Thinking：33.2 | +9.3 个百分点 |
| OmniVideoBench（音视频理解） | 准确率 (%) | 50.0 | 基座 37.2；最强专有 Gemini-3.5-Flash 66.5 | 较基座 +12.8 个百分点 |
| LVOmniBench（长音视频理解） | 准确率 (%) | 44.7 | 基座 37.7 | +7.0 个百分点 |
| Video-MMMU（视频知识获取） | 准确率 (%) | 74.4 | 基座 68.3 | +6.1 个百分点 |
| Video-MME-v2（通用视频理解） | 准确率 (%) | 44.0 | 基座 36.5 | +7.5 个百分点 |
| RL 方法对比（OmniReasoningBench，同一 SFT 起点同一预算） | 准确率 (%) | MFSD：42.5 | 纯 SFT 36.1；GRPO 38.3；RLSD 39.2 | 较 SFT +6.4，较 RLSD +3.3，较 GRPO +4.2 个百分点 |
局限与改进
作者承认的局限：其一，与最强闭源模型差距仍大，Gemini-3.7-Flash 在自建基准拿 57.6%，高出本文 15.1 分，联合推理远未解决；其二，开放题提升有限（视频内仅 30.1%、超越视频只 +0.7 分），数值型开放回答仍是短板；其三，作者在附录声明思维链中的时间戳与观察只是"模型声称"的内容、未经独立核查，且交互分只度量模型对线索条件化的响应，不保证推理步正确——正交互分既不等于联合支持为正，更不等于答案正确。我自己的观察还有五点：流水线重度依赖两个强专有模型（Gemini-3.1-Pro 标注、Qwen3.8 出题），误差会级联传播；基准规模偏小（1,150 题），子项（如超越视频开放题仅 150 题）上几个点的波动统计意义有限；开放题判分依赖 DeepSeek-V4-Flash 做 judge，评测本身引入 LLM 偏差；音频/视觉编码器全程冻结，若瓶颈在感知层（音乐类 39.6% 仍是最低分组），基于文本线索的打分无法触及；特权线索以文字 caption 提供，隐含"证据文本完备且准确"的假设，漏检或误检会使信用分配整体失真。
独立分析的弱点
独立分析五个弱点。其一，交互信号语义偏窄：$S_t>0$ 只说明线索对联合条件下似然有非可加提升，可能反映标注文本间的表面共现（如两条线索都提到同一实体名）而非真实推理，模型可能学会"复述线索"骗取高交互分——可在交互项上叠加证据使用检测（验证推理步是否实际引用了对应时间戳内容）。其二，特权线索是一次性静态文本：线索由 Gemini-3.1-Pro 离线生成，漏掉关键线索或描述有误则该题信用分配整体失真；可让模型在 RL 中主动"查询"线索，或多标注器投票过滤。其三，二值 outcome 奖励过于稀疏：选择题只看选项字母匹配、开放题靠 LLM judge，无法奖励部分正确的多跳推理链；可引入基于依赖链逐步匹配的过程奖励。其四，数据引擎成本高且依赖闭源模型：42,200 个视频、平均 8.1 分钟、每题多次强模型调用，长期可持续性存疑；可用开源模型蒸馏标注流程降本。其五，只在 30B-A3B 单一规模验证：更小模型在四种上下文打分时方差更大，$\kappa$ 的 EMA 校准可能失效，小模型与稠密架构上的有效性未知。
未来方向
作者提出的方向：以 OmniReasoning 为统一基础继续研究全模态联合推理，扩展基准任务与数据覆盖。基于本文成果可以自然延伸的方向包括：（1）超越文本线索——当前线索是 caption 文本，可改为直接用音频/视频片段嵌入作特权上下文，避免文本化的信息损失，甚至训练模型输出可微的证据查询；（2）从双模态推广到任意 $k$ 模态组合，交互分解 $\Delta^{AB}-\Delta^A-\Delta^B$ 原则上可推广到高阶交互，但子集数随模态数指数增长，可用 Shapley 式采样估计；（3）把证据依赖链用于训练过程奖励模型，替代稀疏的二值 outcome 奖励，缓解多跳推理的信用分配噪声；（4）针对附录 D 展示的失败模式（后训练模型仍会虚构时间戳和场景细节），加入证据一致性奖励或检索校验机制来抑制幻觉；（5）在线主动设定：让模型在推理时自己决定何时"重听"某段音频、"回看"某帧，把特权上下文变成可交互的工具调用；（6）反向利用联合推理信号改进感知层——例如用交互分定位编码器的薄弱时间段，指导音频/视觉编码器的选择性解冻与继续预训练。
复现评估
复现条件总体较好，有两处门槛。开源情况：官方主页承诺发布训练数据与基准——OmniReasoning-SFT-112K（112,463 条含合成思维链样本、42,200 个视频）与 OmniReasoning-RL-19K（18,991 条人工校验题及证据标注）；训练细节完整给出（SFT：学习率 $7\times10^{-6}$、全局 batch 128；RL：150 步、学习率 $10^{-6}$、全局 batch 256、每题 8 rollouts、KL 系数 $10^{-3}$、$\lambda=\beta=0.5$、$\epsilon_w=0.2$）；基座 Qwen3-Omni-30B-A3B-Thinking 开源。门槛一：从零重建数据引擎需要 Gemini-3.1-Pro（标注）与 Qwen3.8（出题）的 API 且标注成本可观，直接用发布数据集可绕过。门槛二：RL 需 64 GPU 跑 150 步，且每个优化步要对每条 rollout 额外做三次前向打分（复用媒体特征），对显存与吞吐要求不低。评测需对齐同一 judge（DeepSeek-V4-Flash）与 prompt。综合估计：用现成数据复现 SFT+RL 到 42.5% 属中等难度，需多卡集群但无黑盒环节；从零复刻数据引擎难度较高。
论文图表
论文首页总览图。左侧以"母亲出生年份与戒指内圈刻字年份相差多少"为例展示音视频联合推理：需结合音频中"Mum is 87 today"（02:35）与视觉里的日历 2023（06:02）推出出生年 1936，再读取戒指刻字"56"即 1956（05:01），得出答案 20 年，单模态均不可解。中部展示 OmniQA 数据引擎（caption → 提问 → 验证 → 带证据链的思维链）产出 112K SFT + 19K RL 数据，以及 MFSD 的残差联合线索增益（$S_t>0$）打分示意；底部柱状图显示现有基准上仅视觉模型 Qwen3.5-Plus 已得 44.9–68.8%，而本文基准上仅视觉暴跌至 17.2%/8.7%。
一张图讲清全文三大组件（基准、数据引擎、学习方法）与核心动机（现有基准不测联合推理），并给出最关键的对比数字，是快速把握论文的最佳入口。
展示基准的两大类任务与 19 种任务类型及真实案例。上排"视频内推理"（10 类：背景音乐理解、因果、时序、计数、自我中心、空间、假设推理等），每例给出问题、带时间戳的编号证据链（橙色为音频线索、蓝色为视觉线索）与答案，例如"她母亲的出生年与戒指刻字年相差多少"由三条线索链式推出 20 年。下排"超越视频推理"（9 类：案例分析、跨场景迁移、设计/优化、纠错等），视频建立规则后应用到视频外的新图表或新条件，例如把视频中的压缩比规则用于新音轨算出 -20 dB。
理解基准任务设计与"时间戳证据链"标注格式的关键图，展示了题目如何从构造上强制音视频依赖。
附录 A.4 的分组柱状图：Gemini-3.5-Flash、Gemini-3.1-Pro、Qwen3.5-Omni-Plus 三个模型在视频内推理题上，按标注证据链跳数（1、2、3、4、5、6、7+）分组，对比音频+视频、仅视频、仅音频与随机猜测的准确率。总体上联合输入 42.3–50.1%，仅视频 10.9–14.9%，仅音频 16.3–20.4%；联合输入在每个跳数组、每个模型上都显著领先，且跳数越多联合优势越明显。
证明 OmniReasoningBench 真正强制音视频联合推理的核心实验证据，与 Table 5/6 一起构成动机部分的完整论证链。