大模型时代的音视觉智能：一项综合性综述 Audio-Visual Intelligence in Large Foundation Models
首篇系统综述大模型时代音视觉感知/生成/交互三大支柱的统一分类法与方法论
前置知识
多模态基础模型 (Multimodal Foundation Models)
在海量异构数据上预训练、可同时处理多种模态（文本/图像/音频/视频）输入与输出的通用大模型，典型代表如 GPT-4o、Gemini、Qwen2.5-Omni 等。其核心思想是用一个统一架构替代过去的任务专属网络，从而获得跨任务、跨模态的泛化能力与涌现能力。
本综述的全部讨论都建立在大模型范式之上：音频和视觉被统一 token 化并输入到同一 backbone 进行推理，传统的 Encoder+LLM、LLM+Generator 等架构都源于此范式转变。
自回归生成与扩散生成 (Autoregressive & Diffusion Generation)
自回归 (AR) 把数据离散化成 token 后逐个预测下一个 token（VAR、MusicGen）；扩散模型通过去噪过程从噪声生成样本（DDPM、DiT）。AR 擅长序列化可控但推理慢，扩散保真度高但控制粒度较粗，二者正逐步融合（Transfusion、MAR）。
理解 AR 与扩散的优缺点是读懂音频-视频联合生成（T2AV、A2V、V2A）章节的前提，论文明确指出扩散+AR 的混合架构是当前主流。
音视觉同步与对齐 (Audio-Visual Sync & Alignment)
指建立音频信号与视觉信号在时间、空间或语义层面上的对应关系。技术手段包括对比学习（如 InfoNCE）、偏移分类（offset classification）、SyncNet 等。同步质量直接影响唇形、节拍、动作等细粒度一致性，是生成任务的隐性核心难题。
论文把'从时间同步到因果事件-源接地'列为未来六大挑战之首，是评估一切音视频生成模型的核心指标之一。
视觉-语言-动作模型 (Vision-Language-Action, VLA)
将 LLM 与机器人控制空间对接的多模态策略网络，输入视觉/语音/语言指令，输出离散动作 token 或连续控制信号。代表模型包括 RT-2、OpenVLA、π0、GR00T-N1 等，是具身智能在大模型时代的主要载体。
论文把 VLA 列为 LLM-centric 方法的第五类，是把音视觉感知落到机器人动作的关键桥梁。
研究动机
音视觉智能（AVI）研究在过去几年呈现爆炸式增长，从 AudioSet 的 210 万 clip、VGGISH 到 Qwen3-Omni 在 2T tokens 上训练，工业系统如 Meta MovieGen 和 Google Veo-3 也加入战局。然而文献严重碎片化：感知、生成、交互三个子领域各自为政，任务命名（如 AVS、AVEL、Ref-AVS）有大量重叠和歧义，评估协议也极不统一——同步用 SyncNet、感知用 J&F、生成用 FAD/FVD/CLAPscore，却没有公认的'端到端'基准。更糟的是闭源商用系统（Sora 2、Veo 3.1、Kling 3.0、Seedance 2.0）在 T2AV-Compass 上一骑绝尘，例如 Veo-3.1 在 Video Quality VT 上拿到 13.39，远超开源 Ovi-1.1 的 9.336，而开源研究由于无法复现闭源训练的细节，对到底差在'数据量、基础模型成熟度还是后训练深度'缺乏共识。新人很难系统入门，已有研究者也难以横向比较。
本文的目标是本文旨在提供'大模型时代'下 AVI 的第一份统一综述，建立覆盖理解（感知）、生成、交互三大支柱的标准化分类法，系统梳理表征学习、生成机制、LLM-centric 框架中的方法论根基，整理 30+ 个常用数据集和 17 张对比表的具体数据，并在最后给出 6 个明确的未来研究方向（因果事件-源接地、世界模型、上下文记忆、因果干预、验证器生态、可交互与负责任 AVI），帮助社区在'碎片化论文海洋'中找到一张连贯地图，使研究者无需阅读 300+ 论文也能建立对该领域的全景认知。
与已有工作不同的是，本文的独特切入角度是'以大模型为透镜'而非以任务为目录：传统综述通常按任务分类（如 V2A、T2AV、AVQA 各占一章），本文则把任务重新组织成'感知/生成/交互'三大支柱，并在每个支柱内讨论'基础技术 → 代表方法 → 数据集/评估 → 趋势'四层结构。这种组织方式让跨任务比较（如 Encoder+LLM 与 LLM+Generator 的权衡、AR 与扩散的折中）成为可能，最终落地到具体的'六大研究轴线'（因果事件-源接地、世界模型、上下文记忆、因果干预、验证器生态、可交互与负责任 AVI），比简单的'未来展望'更具可操作性。
核心方法
本文作为综述论文，其'方法'是提出一套分层分类法并对 ~300 篇代表性论文进行系统化归纳。整体思路是：先用一张包含 80+ 时间节点的'演化树'（Figure 1）呈现 2016 年 SoundNet 到 2026 年 Ovi/Kling 3.0 的历史脉络；然后建立四级分类体系——基础表征（Section 4.1：自监督、对比、VAE、离散 token）、生成机制（Section 4.2：GAN、扩散、AR、MAR）、LLM-centric 框架（Section 4.3：Encoder+LLM、LLM+Generator、Unified Model、Agentic、VLA）；再按三大支柱（感知/生成/交互）逐一展开，每节都附带数据集表和性能对比表；最后在 Section 9 给出 6 条未来轴线。本质上，这是一篇'对领域做反向工程'的论文：把分散的方法用统一接口（输入、骨干、训练目标、数据、指标）重新描述一遍。
本文的核心创新不在于提出新算法，而在于提出'三个维度 × 三个支柱 × 五种 LLM 架构'的笛卡尔积分类框架，从而把表面无关的任务联系起来。例如，统一全模态模型（GPT-4o、Qwen3-Omni、Ming-Omni）看似只是 LLM 扩展，但本文把它们与生成机制（Thinker-Talker MoE、Inner Monologue、低延迟 streaming）和具身动作（Audio-VLA）一起讨论，揭示出'统一架构正在吞并传统任务边界'这一深层趋势。这是和已有综述（如 2024 年专门讨论 video-to-audio 的论文）的本质区别——后者只覆盖一个子任务，本文则把所有任务视为同一统一智能的不同侧面。
方法步骤详情
具体到行文步骤：(1) Preliminary（Section 2）严格定义音频（波形 a ∈ R^L、对数 Mel 谱 S ∈ R^{T×F}、离散 token q ∈ N^m）和视觉（图像 I ∈ R^{H×W×3}、视频 V ∈ R^{T×H×W×3}）的连续/离散表征形式；(2) 任务分类（Section 3）按感知→生成→交互的认知阶梯划分，每个支柱内再分像素级/内容级/逻辑级三层；(3) 基础技术（Section 4）按表征→生成→LLM 三块展开，每个子节给出 2-5 个代表方法的对比表；(4) 三大支柱（Section 5-7）按任务族组织，每个任务族先给定义、再给方法分类、最后给数据集+性能表（共 17 个表格）；(5) 应用（Section 8）列举六大应用域：AIGC、数字人、人本服务、沉浸式体验、具身 AI、安防；(6) 挑战（Section 9）以一张'六大研究轴线'表（Table 24）和一张'五阶段路线图'（Figure 13）收尾，每条轴线下给出'当前主流假设 vs AVI 特有深度目标'的对照。
技术新颖性
技术新颖性方面，论文主要贡献是综合而非发明：(a) 提出'Encoder+LLM / LLM+Generator / Unified Model / Agentic / VLA'五分法的 LLM-centric 框架，把散落的多种 LLM+模态方案归一；(b) 引入'因果事件-源接地'概念，把传统'同步'从局部时序匹配升级为'事件-源-传播路径'的因果图模型，是面向下一代 AVI 的概念性贡献；(c) 把'分层验证器生态系统'（信号保真→时序同步→源接地→物理因果→任务效用→安全/溯源）作为训练奖励信号，是把当前 RLHF 思路在音视觉领域形式化的尝试；(d) 一张整合 300+ 论文的演化时间轴（Figure 1）和任务分类表（Figure 2），本身就是学术贡献。复现性方面，作者承诺开源 GitHub repo 收录所有引用论文和分类树。
实验结果
作为综述，'结果'是对社区的元分析：AVEL（Table 2）从 2018 年 74.0% 提升到 STG-CMA 的 83.3%（+9.3 pp），CLIP 主干取代 VGGish 是关键；AVSBench S4 分割（Table 3）从 78.74（J）提升到 RAVS 的 93.10，但弱监督 WS-AVS 仅 34.13；V2A（Table 12）在 VGGSound-Test 上从 Diff-Foley（FDP=6.34）经 MMAudio（2.89）到 ThinkSound（2.70），MLLM 链式思考再降 6.7%；AVQA（Table 7）从 PandaGPT 13B 的 33.7 提升到 VideoLLaMA2.1-AV 的 80.9（+47.2 pp）；Daily-Omni（Table 10）上 Qwen3-Omni-Thinking 拿到 73.60% Avg，超过 Gemini 2.5 Flash（73.06%）；T2AV-Compass（Table 17）显示 Veo-3.1 仍领先开源 Ovi-1.1 约 4 个百分点，差距在数据规模+后训练深度。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 音视觉事件定位 (AVEL) | 准确率 (%) | 83.3 | 74.0 (AVEL) | +9.3 |
| AVS S4 分割 | J score | 93.1 (RAVS) | 78.74 (AVSBench) | +14.4 |
| AVS 语义分割 | J score | 72.30 (DDESeg) | 54.00 (AVSBench) | +18.3 |
| Video-to-Audio 生成 | FDP (lower better) | 2.51 (HunyuanVideo-Foley) | 6.34 (Diff-Foley) | -60.4% |
| T2AV 生成 | Video Quality VT | 9.336 (Ovi-1.1 开源) | 13.39 (Veo-3.1 闭源) | -30.3%（闭源仍领先） |
| AVQA (MUSIC-AVQA) | 准确率 | 80.9 (VideoLLaMA2.1-AV) | 33.7 (PandaGPT) | +47.2 |
| Daily-Omni 全模态 | Avg (%) | 73.60 (Qwen3-Omni-Thinking) | 28.32 (Unified-IO-2 XL) | +45.3 |
局限与改进
作者在 Section 9 坦承的局限：(1) 当前评估严重依赖 SyncNet/FAD/FVD/CLIP 等标量指标，无法捕捉'源接地错误'——例如一段画面里狗在吠叫但配的是汽车声，全球指标可能仍高；(2) 开源数据集多为 YouTube 抓取的 web video，存在版权、隐私、噪声标签问题，规模上 VGGSound 200K clip 仍远小于文本预训练；(3) 跨模态对齐仍主要靠对比学习，难以处理'狗在墙后叫'等遮挡/异源场景；(4) 现有模型在 OmniVideoBench 上'短视频→长视频'准确率显著下滑（Figure 15 显示模型普遍位于对角线以下），说明长时记忆仍是开放问题；(5) 安全方面，deepfake 检测、隐私保护、watermarking 还停留在'补救性'层面，未融入训练目标。本综述自身局限：篇幅限制导致一些方向（如 3D 听觉渲染、特定行业的 domain-specific 应用）只能点到为止；引用文献截至 2026 年 5 月，对 2025 年下半年部分最新工作的覆盖可能不完整；GitHub repo 承诺开源但具体更新频率未明确。
独立分析的弱点
独立分析的弱点与改进方向：(1) 分类法局限——把感知/生成/交互作为三大支柱，但 VLA 和全模态对话同时跨越'感知'和'交互'，存在归属模糊，改进方向是引入'能力栈'模型，按能力堆叠而非任务分桶；(2) 缺乏失败模式细粒度分类——Table 24 的对比偏概念化，没有每条假设下的具体失败实例数据集，改进方向是建立 AV Failure Taxonomy benchmark；(3) 效率维度覆盖薄弱——Moshi 提到 160ms 理论延迟，但缺模型规模 vs 延迟 vs 质量的统一对照表，改进方向是引入 Pareto frontier；(4) 工业系统占比过大——闭源模型占 Figure 1 大量节点但不可复现，对学术读者价值打折，建议加'不可复现 vs 开源'标注；(5) 音乐生成被弱化，缺少 MusicLM、MusicGen 的性能对比，应单独加音乐评估章节。
未来方向
作者在 Section 9.1-9.6 提出 6 条未来轴线：(1) 因果事件-源接地：从局部时序匹配升级为'源-事件-传播路径'的因果图模型，配合 counterfactual 训练；(2) 动作条件音视觉世界模型：把 SoundSpaces、Neural Acoustic Fields、AVLMaps 升级为可预测的混合 latent dynamics；(3) 分层音视觉记忆：sensory buffer+event memory+semantic summary 三层，类似操作系统虚拟内存分层；(4) 因果 AV 干预：把编辑升级为 graph intervention，解耦 stems/identity/geometry/lighting 后再传播；(5) 验证器生态系统：6 层 verifier 栈同时作为 RL 奖励信号；(6) 可交互与负责任 AVI：把延迟/隐私/同意/水印纳入训练目标。可延伸工作包括：AV-Failure-500K benchmark、对 MUSIC-AVQA 做因果图增强、用 3D Gaussian Splatting 实现可查询音场。
复现评估
复现评估整体偏正面但有保留：作者承诺所有引用论文、分类树、组织结构在 https://github.com/JavisVerse/Awesome-AVI 公开；论文中所有表格标注了具体方法和数据集来源；性能数字直接引用避免二次误差。但挑战在于：(1) 大量对比模型是闭源商用（Sora 2、Veo 3.1、Kling 3.0），无法独立验证；(2) 部分表格依赖官方 leaderboard，但不同方法使用的 PANNs vs CLAP 提取器不一致，跨行比较有系统性偏差；(3) 开源实现细节缺失，如 AudioLDM 训练数据混合比例、Qwen3-Omni 数据清洗策略未公开。算力方面，Thinker-Talker 30B-A3B MoE 在 2T tokens 上训练需要 1000+ H100 级算力。难度评估：综述本身极易复现，但 Ovi-1.1 级别模型需工业级算力与数据工程能力。
论文图表
一张 5 列 4 行的时间轴图，按'感知理解 / 跨模态生成 / 联合生成 / 交互 / 统一融合 / 闭源商用'六类列出 80+ 代表方法，从 2016 年的 SoundNet/AVID 经 ChatGPT/GPT-4、Veo 3、Kling 3.0 到 2026 年的 Qwen3-Omni、MOVA、Ovi、MMAR，包含 AudioSet、AV-HuBERT、AudioLDM、SALMONN、Veo 3.1、Sora 2、Seedance 2.0 等关键节点。
这是全文最重要的导航图，让读者在一张图里把握 10 年演化脉络，区分开源/闭源、感知/生成/交互的脉络，对建立全局认知不可或缺。
一棵多层分类树，按'模态/整合/方法/任务/数据/基准'六大维度列出全部 300+ 引用文献，覆盖视觉/音频/音视觉/全模态/动作 3D 各支线的代表方法，以及感知/生成/交互/应用四大支柱。
这是综述的'骨架图'，决定后文 Section 4-8 的章节顺序，是理解全文逻辑结构的关键。
对比两种范式：左侧是'两流是否对齐'的局部匹配；右侧是'哪个源通过什么路径产生了什么事件'的因果链路追踪，展示了从波形 offset 到 source→event→path→trace 的概念升级。
支撑 Section 9.1 的核心论点——同步只是表层，因果接地才是 AVI 的深层目标。
散点图：x 轴是短视频准确率，y 轴是超长视频准确率，气泡面积表示总体准确率。对角线以下表示长上下文退化，模型普遍位于对角线下。涉及 Gemini 2.5 Pro/Flash、Qwen3-Omni、VideoLLaMA2、HumanOmni 等。
支撑 Section 9.3 关于'长时记忆是开放问题'的实证证据，揭示现有模型从短视频到长视频的性能塌陷。
6 层验证器堆栈：信号保真度、时序同步、源接地、物理因果、任务效用、安全/溯源，下方接 evaluation/reranking/RL-DPO/deployment gate 四种使用方式。
支撑 Section 9.5 的核心论点——单标量指标不足以评估 AVI，需要分层 verifier 栈同时作为评估器和训练奖励。