基于冻结视觉语言模型的免训练语音中心全模态理解 Training-Free Speech-Centric Omni Understanding with Frozen VLMs
TFO用Whisper转写把冻结VLM零训练改造成语音全模态模型，56个基准上媲美甚至超越原生Omni
前置知识
视觉语言模型（VLM）
VLM 由视觉编码器（如 ViT）与语言模型骨干连接而成，将图像/视频转成视觉 token 后与文本一起送入 LLM 解码器，实现看图问答、文档理解、视频推理等能力，代表工作有 Qwen2.5-VL、MiniCPM-V、NVILA、Qwen3-VL。其核心接口是文本 prompt：任何能写成文字的信息原则上都能通过该接口注入模型。
TFO 的全部设计建立在「VLM 已有强大语言接口和视觉通路」这一前提上。理解 VLM 的 frozen 输入接口，才能明白为什么语音可以走语言侧注入而完全不需要训练任何音频模块。
原生 Omni 模型
指在 VLM/LLM 内部新增音频编码器（如 Qwen2.5-Omni、MiniCPM4.5-O、OmniVinci、Qwen3-Omni），再通过大规模音频-视频-文本联合训练把声学表征对齐进语言空间的模型。它们能直接吃音频波形、输出语音，但训练成本高，能力与特定骨干和训练配方深度绑定，每次骨干升级都要重新对齐。
本文所有实验都是「原生 Omni vs 同家族 VLM+TFO」的匹配对比，核心命题就是这种昂贵的原生音频通路对每类任务是否真的必要。
Whisper 与置信度过滤
Whisper 是 OpenAI 的大规模弱监督语音识别模型，能把音频解码为带时间戳、语言 ID 和置信度 $c_i$ 的分段转写。置信度过滤指只保留 $c_i \geq \tau$（本文 $\tau=0.65$）的分段，丢弃静音、背景噪声和非语音区域产生的幻觉转写（如 [Music]）；若没有分段通过阈值，则完全省略音频上下文。
TFO 注入 VLM 的音频证据质量完全取决于这一步，它是防止 ASR 噪声污染冻结模型上下文的关键机制，论文还有专门的阈值消融。
能力漂移（capability drift）
指多模态联合训练后模型原有能力出现退化的现象：为学音频而做的联合训练可能损害 VLM 已有的图像/视频理解、视觉定位、代码、数学推理和医学等领域知识。本文系统量化了这一点——原生 Omni 检查点在这些任务上普遍弱于其原始 VLM 骨干。
「冻结 VLM 能否避免能力漂移」是本文三大研究问题之一，Table 4-7 的保持性分析全部围绕它展开，也是 TFO 相对原生训练最有说服力的优势。
匹配对比实验（matched comparison）
指在相同模型家族、相同参数规模下，把原生 Omni 模型、其原始 VLM 骨干、以及骨干+TFO 三者放进统一评测协议（OmniEvalKit 工具、贪心解码、温度 0、GPT-5.6 语义判分）下比较，从而把「音频通路训练」这一个变量隔离出来单独考察。
此前评测缺乏这种匹配的免训练对照，导致学界无法判断原生音频训练是否必要；这是本文方法论上最重要的贡献，读懂实验表格的前提是理解这一设计。
AVHBench 跨模态幻觉
专门评测音视频模型跨模态幻觉的基准，包含三类设置：AV Matching 判断声音与画面事件是否匹配；V→A（Video-Driven Audio Hallucination）检查画面暗示的声音是否真的存在于音频中，需要真实声学证据；A→V（Audio-Driven）检查音频暗示的物体是否真的可见，需要视觉证据。
它把「转写路由能做/不能做什么」干净地分开：A→V 上 TFO 四个家族全胜（视觉通路完好），V→A 和 AV Match 上则明显掉分（转写里没有的声音无法核验），是理解方法表征边界的钥匙。
研究动机
现有全模态（Omni）模型的标准做法是在 VLM 内部加音频编码器，再做大规模音频-视频-文本联合训练，这带来三个具体问题。第一，成本高且脆弱：VLM 骨干迭代很快，新一代模型更强的感知、推理和知识能力并不会自动迁移到旧 Omni 模型上，每换一代骨干都要重做音频对齐训练。第二，音频难以可靠整合：音频信号在时间上稠密、常含噪声，且必须与语音内容和视觉事件精确对齐；已有研究指出，即使是原生训练的音视频模型也会忽略相关音频、从视觉线索脑补声音、或抓不住两路信号的细粒度时序关系。第三，改动骨干并联合训练会削弱已有能力：图像/视频理解、视觉定位、代码、数学推理和医学知识等都可能在原生 Omni 训练中受损。更麻烦的是，现有评测只报告新获得的音频能力，从未提供同家族同规模的免训练对照，因此无法回答一个基本问题：是否每出一个更强的 VLM，都必须重训一个原生 Omni 模型？
本文的目标是本文的目标是构建并系统检验一个免训练替代方案 TFO（Training-Free Omni）：不修改 VLM 架构、不更新任何参数、不做音频-视频-文本对齐训练，仅通过外部 ASR 前端把语音变成语言侧证据，就让任意冻结 VLM 获得以语音为中心的全模态理解能力（含可选的 CosyVoice3 语音输出）。在此基础上，作者用 56 个基准、21 种语言、统一评测协议回答三个互补问题：(i) 语言级音频路由能否在没有原生训练的情况下恢复全模态理解；(ii) 冻结 VLM 能否保住原生 Omni 训练会损失的能力，包括图像/视频理解、grounding、代码、数学和医学问答；(iii) 在哪类任务上更丰富的声学表征仍然不可替代。最终目标是为下一代 Omni 模型的构建方式给出可操作的工程结论。
与已有工作不同的是，本文的独特切入是把「免训练的语音转写路由」当作原生 Omni 训练的受控对照来做系统研究。此前虽有 Video-LLaMA、Freeze-Omni 等冻结部分模块的工作，但它们仍要训练连接器或对齐模块；也有 Socratic Models 等用字幕/转写辅助视频理解的先例，却从未被系统评估为原生 Omni 训练的匹配对照，更没有人同时检查骨干能力是否保持。TFO 反其道而行：完全不碰 VLM，把「音频进语言接口」做到极致，并同时评测收益端（音视频、纯音频、21 语言多语言）、代价端（能力保持、推理延迟）和边界（非语音声学缺口），甚至包括一个否定性验证——用文本化的辅助音频模型（SenseVoice、MELLOW、BEATs、CLAP 等）能否补足声学信息。这种「收益+保持+边界」三视角的匹配实验设计在文献中是首次。
核心方法
TFO 的直觉是：对大多数音视频理解任务而言，语音提供的本质上是语言证据——谁说了什么、何时说的——而推理完全可以交给 VLM 已有的视觉-语言能力。既然如此，与其在模型内部训练音频通路，不如在模型外部把音频「翻译」成文字再喂进去。技术路线分五步：(1) 接收语音/音频、图像、视频、文本等多模态输入；(2) 用 Whisper-large-v3-turbo 把音频解码成分段转写，每段带文本 $w_i$、检测语言 $\ell_i$、起止时间 $s_i, e_i$ 和置信度 $c_i$；(3) 按阈值 $\tau=0.65$ 过滤低置信分段得到 $T_\tau(A)$，与系统指令、视觉输入、用户问题拼成统一 prompt；(4) 冻结的 VLM 走原有视觉通路和语言接口推理，形式化为 $y = \mathcal{L}_\theta(E_v(V),\, P(C_A, Q))$，其中 $\theta$ 冻结、$E_v(V)$ 是原始视觉表征、$P(C_A,Q)$ 是由音频上下文和问题构造的文本 prompt；(5) 输出文本答案，可选经 CosyVoice3 转成语音。若没有任何分段通过阈值，则完全省略音频上下文，模型退回纯视觉-语言模式。
核心创新是把音频进入模型的路径从「学习到的音频 token 通路」换成「语言级路由」。原生 Omni 模型用音频编码器加连接器把声学表征对齐进语言空间，需要骨干特定的大规模训练；TFO 则证明：只要任务所需的关键证据是「说了什么」和「何时说的」，Whisper 的分段转写（文本+时间戳+置信度）就足以在语言接口上提供等价证据，并天然继承 Whisper 的多语言覆盖和噪声鲁棒性。与 Freeze-Omni 这类「冻结 LLM 但仍训音频模块」的方法不同，TFO 连连接器都不训，是真正的零训练、即插即用、骨干无关。两个细节至关重要：时间戳把语音分段锚定到视频时间轴，使 VLM 能回答「某句话之后发生了什么」这类时序音视频推理，消融显示去掉时间戳会让 AVUT-Gemini 掉 2.3 分、Daily-Omni 掉 1.4 分；置信度过滤则防止静音与噪声区的 ASR 幻觉污染上下文。
方法步骤详情
第一步，音频预处理与转写：音频转为 16 kHz 单声道波形，用 Whisper-large-v3-turbo 在转录模式、温度 0 下确定性解码；语言识别先于转写执行；Qwen 系实现按 30 秒分块、3 秒重叠处理长音频，输出分段集合 $\hat{T}(A)=\{(w_i, \ell_i, s_i, e_i, c_i)\}_{i=1}^N$。第二步，置信度过滤：保留 $c_i \geq \tau$（$\tau=0.65$）的分段得到 $T_\tau(A)$，丢弃静音、音乐、非语音区的不可靠输出；若结果为空则省略音频上下文。第三步，prompt 构造：$P = [\text{system}] \oplus [V] \oplus [C_A] \oplus [Q]$；音频上下文 $C_A$ 按来源分块标注——独立音频用「Audio file transcript:」、视频内嵌音轨用「Video audio transcript:」，两块各自独立转写并附语言与置信度信息；时序任务额外保留每段起止时间作为对齐锚点。第四步，冻结推理：视觉输入走 VLM 原封不动的视觉编码器与交叉注意力，转写只作为文本 token 进入语言接口，全部权重冻结。第五步，输出生成：文本答案直接返回，可选 CosyVoice3 合成语音；CosyVoice3 只用于输出侧，不参与任何评测音频的构造。
技术新颖性
技术新颖性体现在四点。其一，范式层面的反命题：本文不是提出更强的音频-视觉融合结构，而是用严格的匹配实验证明「很多任务上根本不需要学习音频通路」，直接挑战 Omni 模型的默认设计。其二，评测基础设施：作者开发 OmniEvalKit 统一评测工具，按数据集本体计数组成 56 个基准（10 音视频、14 图像/视频、9 纯音频、7 代码/数学、12 医学问答、4 视觉定位），在 4 个模型家族 5 组对照上同时覆盖收益与代价两端，并采用温度 0 确定性解码与 GPT-5.6 语义判分保证跨家族可比。其三，否定性结果的系统价值：逐一尝试把 SenseVoice、MELLOW、AudioFlamingo2、BEATs、CLAP 的文本输出拼进上下文，发现没有任何配置稳定超过纯 Whisper（AF2 在 Daily-Omni 上暴跌 21.1 分），论证了文本路由的表征边界无法靠文本补丁解决。其四，时间戳作为软对齐机制的设计与消融，干净地分离了冻结 VLM、Whisper 转写、时间戳三个组件各自的贡献。
实验结果
发现一：语音中心任务上语言级路由与原生训练打平甚至更好。9 个音视频基准（Table 1）上，TFO 使 Qwen2.5 平均 +3.0（3B：43.2→46.2）与 +2.2（7B：45.8→48.0），VILA +0.4（46.7→47.1），MiniCPM4.5（-2.2）与 Qwen3（-0.8）小幅下降；语音+时序任务收益最大：WorldSense +6.1/+14.5、Video-Holmes +8.1/+4.3、AVUT-Human +8.6/+6.5、Daily-Omni +6.9/+4.7。发现二：纯音频理解五种设置全部提升（Table 2），平均 +1.5/+1.4/+4.0/+13.5/+1.4，VILA 从 50.3 涨到 63.8，VoiceBench 上 VILA +51.3（26.7→78.0），Audio Trivia 上 OmniVinci 12.9→49.0；但 MMAR-Bench（音乐/声事件）全家族下降 1.5–9.5 分。发现三：多语言迁移显著（Table 3），CoVoST2 21 语言平均 +7.9/+13.5/+18.4/+11.1/+6.8，MiniCPM4.5 从 45.6→64.0，单语言最大增益如爱沙尼亚语 +43.6、拉脱维亚语 +35.4、瑞典语 +54.9；补充 Table 13 的 BLEU-1 方向一致（MiniCPM4.5 33.6→46.3）。发现四：能力保持更好。图像理解五组全胜（+1.8/+1.0/+0.7/+0.3/+2.4），视频四组领先（最高 +3.8），VideoMME 全家族 +0.4~+10.5；医学 12 基准五组全胜（MedFrameQA Qwen3 +9.8、PMC-VQA MiniCPM4.5 +5.6）；grounding 上 PixMo-Count 五组全胜（VILA +15.5、Qwen3 +11.2），RefCOCO 上 Qwen3 从 6.1 飙到 85.0；代码/数学三组胜出（Qwen2.5-3B +4.3，MathVerse 3B +15.5），NVILA 是例外（-2.8）。发现五：代价明确。AVHBench 的 AV Match 上 TFO 掉分（MiniCPM 74.41→49.25），V→A 音频核验全线下滑，但 A→V 四家族全胜；AVMeme 上总延迟从约 0.7–2.4 秒增至 1.3–3.1 秒。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 音视频全模态理解（9 基准平均，Qwen2.5-3B 对照） | 准确率 (%) | Qwen2.5-VL-TFO-3B：46.2 | Qwen2.5-Omni-3B：43.2 | +3.0 |
| 音视频全模态理解（9 基准平均，Qwen2.5-7B 对照） | 准确率 (%) | Qwen2.5-VL-TFO-7B：48.0 | Qwen2.5-Omni-7B：45.8 | +2.2 |
| 纯音频理解（9 基准平均，VILA 家族） | 准确率 (%) | NVILA-8B-VL-TFO：63.8 | OmniVinci-9B：50.3 | +13.5 |
| 多语言语音翻译 CoVoST2（21 语言，MiniCPM 家族） | 阈值化翻译准确率 (%) | MiniCPM4.5-V-TFO-9B：64.0 | MiniCPM4.5-O-9B：45.6 | +18.4 |
| 图像理解（8 基准平均，Qwen3 家族） | 准确率 (%) | Qwen3-VL-30B-A3B-TFO：87.9 | Qwen3-Omni-30B-A3B：85.5 | +2.4 |
| 视频理解（6 基准平均，Qwen2.5-7B 家族） | 准确率 (%) | Qwen2.5-VL-TFO-7B：61.4 | Qwen2.5-Omni-7B：57.6 | +3.8 |
| 医学问答（12 基准平均，Qwen3 家族） | 准确率 (%) | Qwen3-VL-30B-A3B-TFO：56.4 | Qwen3-Omni-30B-A3B：54.9 | +1.5 |
| 代码与数学推理（7 基准平均，Qwen2.5-3B） | LLM 判分准确率 (%) | Qwen2.5-VL-TFO-3B：55.1 | Qwen2.5-Omni-3B：50.8 | +4.3 |
| 视觉定位 PixMo-Count（VILA 家族） | 准确率 (%) | NVILA-8B-VL-TFO：59.1 | OmniVinci-9B：43.6 | +15.5 |
| 非语音声学推理 MMAR-Bench（Qwen2.5-3B） | 准确率 (%) | TFO-3B：49.7 | Qwen2.5-Omni-3B：55.4 | -5.7（负向，暴露核心局限） |
| AVHBench 音视频匹配（MiniCPM 家族） | 准确率 (%) | MiniCPM4.5-TFO-9B：49.25 | MiniCPM4.5-O-9B：74.41 | -25.16（负向，转写丢失声学证据） |
| 推理延迟（AVMeme，Qwen3 家族） | Whisper+VLM 总时长 (秒) | TFO：约 3.08（0.74+2.34） | Qwen3-Omni：约 2.39 | +0.7 秒左右（串行 ASR 开销） |
局限与改进
作者明确承认的局限有三类。一是表征边界：语音转写丢弃了韵律、音色、情绪、音乐与环境声等非语音声学线索，AVHBench 上 V→A（验证画面暗示的声音是否真的存在）全线下降，AV Match 也明显下滑（MiniCPM 74.41→49.25），因为转写里没有的声音无法核验；MMAR-Bench 等音乐/声事件任务全家族下降 1.5–9.5 分。二是成本从训练转移到推理：串行 ASR 使 AVMeme 上总延迟从约 0.7–2.4 秒升至 1.3–3.1 秒，不过同一音视频输入的多个问题可摊销转写成本（转写一次、重复使用）。三是文本补丁无效：拼接 SenseVoice、MELLOW、AF2、BEATs、CLAP 的文本输出没有任何配置稳定超过纯 Whisper，AF2 在 Daily-Omni 上甚至暴跌 21.1 分，说明非语音信息需要非文本的整合机制。我的补充观察：部分指标疑似饱和或异常——FLEURS 上 OmniVinci/Qwen3 达到 100.0，NVILA 在 RefCOCO/PointArena 上为 0.0，提示评测协议对特定模型可能不友好；代码评测采用 LLM 判分而非执行 pass@1，强度有限；此外 TFO 的表现完全依赖 Whisper 转写质量，重叠语音、强噪声和低资源语言的 ASR 错误会直接传导进 VLM，论文未系统分析这种错误传播链。
独立分析的弱点
弱点一：非语音声学完全丢失且文本补丁已被证伪。具体场景：判断视频中是否有笑声、警报声或音乐高潮时，Whisper 转写为空或只有 [Music]，VLM 无从判断，AV Match 最多掉 25 分。改进方向：与其拼接文本描述，不如把少量连续声学 token（如 BEATs 量化码）经轻量投影注入语言接口——骨干仍冻结但引入非文本信息；或训练一个极小的「音频摘要→结构化文本」适配器，用真实声学数据约束输出格式。弱点二：串行 ASR 延迟与流水线脆弱性。Whisper 起步就要 0.6–0.8 秒，长音频按 30 秒分块后延迟线性增长，实时对话场景不可行。改进方向：流式 ASR 配合增量上下文更新，或蒸馏更小的前端模型，并用转写缓存复用降低多轮成本。弱点三：时间戳只是分段级软对齐，没有说话人建模。秒级以下的事件对齐、「画面里这个人说的是哪句话」这类音画人物绑定无法表达。改进方向：接入说话人分离（diarization）并在 prompt 中标注说话人身份，结合视觉人脸检测做跨模态人物绑定。弱点四：评测协议自身的鲁棒性。基于 LLM 判分的代码/转录评测和已饱和的 FLEURS 使得某些对比的方差与天花板存疑，跨论文引用这些数字时需谨慎，宜补充执行验证或人评。
未来方向
作者提出的方向：下一代 Omni 模型应将「外部 ASR 语音路由 + 谨慎的声学训练 + 保护成熟 VLM 能力」结合——语言级路由承载语音内容，轻量声学通路只负责音乐、环境声、情感等非语音线索，即混合架构。基于本文成果可延伸的方向：一是把 TFO 当作新 VLM 的 day-one Omni 能力：任何新骨干发布即可即插即用获得全模态功能，再根据任务分布估算原生训练的边际收益，甚至训练一个自动决策器来做这个判断；二是在冻结 VLM 上用偏好优化或 prompt 策略搜索，让模型学会更充分利用带时间戳的转写（时序引用、跨模态对齐推理）；三是用极小训练量的连续声学特征注入（soft prompt 或 cross-attention adapter）弥补 MMAR、AVHBench 暴露的非语音缺口，并量化「多少训练量才能换回非语音理解」这一性价比问题；四是流式/全双工扩展：结合流式 ASR 与增量解码迈向实时语音交互；五是把置信度过滤推广为不确定性感知的上下文选择，让 VLM 显式知道「哪些片段听不清」从而调整回答的证据强度。
复现评估
复现条件相当好。代码与协议：作者开发了统一评测工具 OmniEvalKit（GitHub: mbzuai-oryx/OmniEvalKit，项目页 mbzuai-oryx.github.io/OmniEvalKit2026），承诺完整开源，补充材料声称包含数据加载器、prompt 模板、输出解析、指标实现、LLM 判分 prompt 与全部复现脚本；评测采用温度 0 贪心解码保证确定性。模型全部公开：五个冻结骨干（Qwen2.5-VL-3B/7B、MiniCPM-V-4.5、NVILA-8B、Qwen3-VL-30B-A3B）与四个原生 Omni 对照（Qwen2.5-Omni、MiniCPM4.5-O、OmniVinci、Qwen3-Omni）均有开源权重，Whisper-large-v3-turbo 与 CosyVoice3 亦公开；TFO 本身零训练，无需训练算力。数据：56 个基准均为公开数据集。算力：官方评测用 AMD Instinct MI210（64 GB 显存/卡），3B–9B 级单卡可跑，30B MoE 需 64 GB 级显存或多卡。注意点：LLM 判分使用 GPT-5.6 会带来 API 成本与判分随机性；FLEURS 等已饱和指标和判分式代码评测在跨论文比较时要小心。总体难度：中等偏易，工程上是现成组件的拼接流水线，主要工作量在于把 56 个基准的评测协议对齐。
论文图表
两个定性案例。左：带时间戳的转写为「welcome back we're back from executive session」提供显式时间锚点，模型据此正确选出 0.00–0.15 的答案区间，展示时序定位能力。右：中文音频（用「三十而立……七十而从心所欲」戏谑描述以一敌众的打斗）配英文问题，Whisper 保留中文原文，VLM 结合画面正确判断笑点在于礼貌哲学表达与暴力动作的反差，展示跨语言音视频推理。
用具体输入输出直观呈现两大卖点的实际工作机制：时间戳如何支撑时序推理、ASR 前端如何把多语言能力免费迁移给 VLM。