大型音频语言模型综述：泛化能力、可信度与未来展望

系统综述大型音频语言模型的架构演化与可信度六大维度的攻防失衡

前置知识

大型音频语言模型（LALM）

LALM 是在大型语言模型（LLM）基础上扩展音频模态的多模态模型，通常由三个组件构成：声学编码器（acoustic encoder，如 Whisper、wav2vec 2.0）负责把连续声学波形编码为表示；对齐投影器（alignment projector）负责把声学表示映射到语言模型的语义潜空间；LLM 主干（backbone）提供推理与生成能力。它从早期 ASR、声音分类等单任务级联系统，演化到 2022—2026 年的端到端统一生成框架，如 SALMONN、Qwen2-Audio、Moshi、Kimi-Audio 等。

本文整篇都围绕 LALM 的架构创新与随之扩大的攻击面展开，不理解 LALM 的三段式管线和连续声学表示就无法理解后续的安全威胁。

Audio Chain-of-Thought（Audio-CoT）

Audio-CoT 是让 LALM 在给出最终回答前先产生中间推理轨迹的架构，例如 ECHO 把推理步骤直接嵌入多模态处理流。它配合强化学习（如 SoundMind 的 RL 激励逻辑推理、EMO-RL 的情绪规则 RL）和测试时扩展（test-time scaling）来处理高维模糊任务。还可以通过无训练的隐状态引导（nudging hidden states）激活推理路径。

作者把从「被动转录引擎」到「具备认知推理能力的智能体」的转变视为 LALM 的关键进步，Audio-CoT 是这一转变的核心机制，也是可信度评估的重点。

跨模态越狱（Cross-modal Jailbreak）

指利用非语义的副语言特征（说话风格、情绪、口音、语速、音高）或不可感知的对抗扰动绕过仅基于文本的安全过滤器。典型方法包括 AudioJailbreak、StyleBreak、WhisperInject 的两阶段对抗音频攻击、Multi-AudioJail 等。其本质是文本安全对齐无法覆盖连续音频空间，恶意意图可以通过声学实现而非语义内容传递。

这是全文最重要的安全发现——音频模态引入了文本对齐无法防御的攻击向量，是「攻防失衡」论点的核心证据。

可信度六大支柱（Six Pillars of Trustworthiness）

作者建立的系统性分类框架，包括：幻觉（Hallucination，声学-语义鸿沟导致的虚构）、鲁棒性（Robustness，自然扰动与对抗扰动）、安全性（Safety，越狱与后门）、隐私（Privacy，生物特征与位置泄露）、公平性（Fairness，口音/性别/人口学偏差）、认证（Authentication，声纹与深度伪造检测）。这六个维度构成可信 LALM 评估的基础结构。

这是全文的 organizing framework，所有章节（第 3、4、5 章）都围绕它展开，理解它才能跟上整篇综述的逻辑。

纵深防御架构（Defense-in-Depth）

作者提出的三层防御范式，用于弥合攻防鸿沟：第一层输入级音频净化（用扩散模型净化或随机平滑去除对抗扰动，相当于连续信号的防火墙）；第二层隐私保护推理（用解耦表示学习把说话人身份与语言内容分离，设计「语音匿名器」）；第三层综合安全评估框架（自动化红队智能体，量化「安全税」$\text{Safety Tax}$ 即鲁棒性与有用性的权衡）。

这是作者给出的核心解决方案和未来路线图，理解它才能把握全文的战略主张。

研究动机

LALM 的能力（如 Moshi 的 7M 小时音频+2.1T 文本 tokens、Step-Audio 的 130B 参数+3.3T tokens、MiMo-Audio 的 100M+ 小时音频）飞速提升，但引入音频模态带来了一系列文本 LLM 没有的安全问题：连续声学信号扩大了攻击面（不可感知的对抗扰动可劫持模型潜表示），语音携带说话人身份、情绪、健康状况、地理位置等生物特征导致隐私泄露（HearSay 证明 LALM 可充当软生物分类器泄露性别/年龄/身份），而绝大多数 LALM 的安全对齐直接继承自纯文本 RLHF，对副语言攻击无能为力。作者指出当前研究高度碎片化：要么聚焦架构创新，要么只关注单一议题（如深度伪造检测），缺乏统一的安全威胁分类体系，更没有系统性的防御路线图。

本文的目标是本文要构建一个桥接「内生机制」与「安全含义」的系统性综述：首先深入剖析 LALM 的内部架构、表示范式、训练对齐策略和涌现推理机制，揭示能力来源；然后建立覆盖可信度六大支柱（幻觉/鲁棒性/安全/隐私/公平/认证）的分类学，系统识别跨模态越狱、潜在声学后门、生物特征隐私泄露等关键漏洞；接着定量评估当前主流模型在这六个维度的表现；最后提出以纵深防御、因果听觉世界模型、内在表示工程为核心的战略路线图，推动从「经验性性能扩展」转向「内在可信的音频智能」。

与已有工作不同的是，与 Feng et al. (2022)、Latif et al.、Yi et al.、Cui et al. 等已有音频综述相比（详见表 Table 1），本文的独特之处在于：（1）对象覆盖最广，同时纳入 Audio-LLM、Speech-LM 和多模态 LLM 三类；（2）可信度维度最全（六大支柱全勾选，6/6），而既往综述最多覆盖 3 个维度；（3）阶段覆盖最完整（数据准备/预训练/微调/部署/评估全覆盖，并加 Outlook 维度），多数既往工作只覆盖 1—2 个阶段；（4）首次系统刻画「成熟的攻击生态 vs 不发达的防御」这一结构性失衡，并给出可操作的防御架构而非仅描述问题。

核心方法

综述采用「自下而上、机制到风险」的双层组织逻辑：第一层（第 2 章）从内部机制出发，沿「架构基础 → 表示范式 → 训练与对齐 → 涌现推理」逐步拆解 LALM 如何处理信息，让读者先理解模型内部结构；第二层（第 3—5 章）把这种结构理解映射到可信度风险上，建立六大支柱分类学，逐一审视攻防现状，再用第 5 章的三层级评估分类（保真度/稳定性/对齐）做定量落地。技术路线上，作者通过 Table 2 汇总了 2022—2026 年约 50 个 LALM 的机构、基座 LLM、参数量、语言、输入表示（离散 token vs 连续 manifold）、数据规模、全双工/多模态能力，再通过 Table 3 汇总约 40 个评测基准，构建了从模型到评测的完整图景。

核心创新是「内生机制与可信度的因果绑定」——作者论证：可信度不能脱离对底层架构的理解，统一的端到端框架与连续声学信号天然扩大了攻击面。这一论断与传统「安全作为外围附加」的观点本质不同：作者认为应把多模态安全对齐作为核心架构属性而非事后约束。基于此，作者提出一个可操作的三支柱纵深防御架构（输入净化、隐私保护推理、综合评估），并用「Safety Tax」$\text{Safety Tax} = f(\text{robustness}, \text{helpfulness})$ 这一权衡量来指导开发——这与以往仅报告攻击成功率的评估有本质区别。

方法步骤详情

综述的分析步骤可拆为四步：第一步，梳理架构演化路径（Fig. 1 从 1970s HMM-GMM 统计模型 → 2014 深度 ASR → 2023 表示学习 LALM → 2026 端到端因果认知），归纳出声学编码器/对齐投影器/LLM 主干的三段式管线；第二步，对比离散音频 token 与连续 manifold 两种表示范式，指出离散 tokenization 在压缩时会丢失声学安全线索、连续 manifold 保留副语言细节但增加对抗脆弱性这一权衡；第三步，建立六大支柱分类学（Fig. 4），对每个支柱逐一梳理攻击方法（如 ALMGuard 发现的安全快捷方式位于 Mel 频率 bin、SARSteer 用 PCA 分离拒绝向量）、防御手段和评测基准；第四步，在评测层面用三支柱层级分类（Fig. 6：保真度与接地、稳定性与鲁棒性、安全与对齐）组织约 40 个基准，提取定量结论，最后综合出 Fig. 7 的未来路线图。

技术新颖性

技术新颖性体现在三方面：第一，首次把六支柱可信度分类与三支柱评测分类对齐，形成可追溯的「风险—评测」映射（如幻觉对应 HalluAudio/AHaBench，跨模态越狱对应 JALMBench/Jailbreak-AudioBench），便于研究者定位空白；第二，提出「保真度 → 稳定性 → 对齐」的层级评估观，强调从粗粒度分类向细粒度感知建模转变（如 WESR 把检测重定义为词级事件语音识别、MCR-BENCH 用 Text Influence Rate 量化文本偏差）；第三，提出内在表示工程（用互信息最小化 $\min I(Z_{\text{linguistic}}; Z_{\text{biometric}})$ 保证内部表示数学正交于敏感生物属性）这一「设计即隐私」范式，从机制层面保证可信而非事后补救。

**Fig. 2**: Architectural and Paradigmatic Evolution from Traditional Audio Models to LALMs.

**Fig. 3**: Visualization of standard LALM with Audio-CoT.

**Fig. 4**: An overview of the six key dimensions of LALM trustworthiness.

**Fig. 6**: Conceptual taxonomy of trustworthy LALM evaluation.

实验结果

综述的核心发现是「攻防严重失衡」。攻击侧已形成五大成熟向量：对抗声学操纵（WhisperInject 两阶段攻击能攻破 SOTA 模型）、越狱（JALMBench 显示音频攻击成功率高于文本攻击）、后门（HIN/AudioSafe 证明少量投毒数据即可植入通过背景噪声、韵律、语速触发的潜在声学后门）、隐私泄露（HearSay 证明 LALM 可高精度推断性别/社会经济地位/健康状况，AGL1K 证明环境音+语言线索可推断地理位置构成监控风险）、偏差（MedVoiceBias 证明语音特征系统性扭曲医疗决策）。而防御侧主要停留在越狱缓解（SARSteer 的推理期拒绝引导、ALMGuard 的频谱过滤），对后门、偏差、多模态隐私几乎无覆盖。在评测层面，多个基准给出触目惊心的数字：HalluAudio（5000+ 人工校验 QA 对）显示最佳 LALM 仅达 63.19 F1，幻觉普遍；ChronosAudio（36000 实例）显示长上下文某些任务下降超 90%，存在「结构注意力稀释」；Hearing the Order 显示仅置换选择题选项就能使准确率变化达 24%，扰乱模型排名；ISA-Bench 显示结构化输出（如 JSON）合规率常低于 50%；MCR-BENCH 显示文本-音频冲突时准确率骤降而置信度仍高，揭示「文本支配」现象。作者据此判定：多模态融合并未改善解耦（AudioBench 的 Modality Fusion Paradox），从单跳感知到多跳推理性能急剧下降（SAKURA），说明 LALM 推理仍由文本驱动而非真正多模态。

**Table 1**: Comparison with existing surveys.

**Table 2**: Summary of Large Audio Language Models from 2022 to 2026.

**Table 3**: Overview of LALM evaluation benchmarks across general capabilities and trustworthy dimensions.

**Fig. 5**: Cumulative Growth and Key Milestones in Trustworthy LALM Research.

查看结构化数据

任务	指标	本文	基线	提升
音频幻觉检测（开放生成接地）	F1 分数	综述引用 BRACE-Hallucination：最佳 LALM 仅达 63.19 F1	理想接地模型应接近 100 F1	揭示 36.8% 的性能缺口，证明声学接地失败普遍存在
长上下文音频理解	任务准确率（长 vs 短）	ChronosAudio：部分任务在长上下文设置下降幅超过 90%	短音频设置下的同类任务准确率	量化了 Long-Context Collapse 与结构注意力稀释，证明单纯扩大上下文窗口无法恢复高保真推理（Restorative Ceiling）
多选题评估的选择偏差	准确率波动幅度	Hearing the Order：置换答案选项可使准确率变化达 24%	固定选项顺序的准确率	暴露评测伪影，主张用置换协议区分真实理解与位置启发式
指令敏感性（结构化输出合规）	指令遵循率（IFR）	ISA-Bench：结构化输出（如 JSON）合规率常低于 50%	标准模板下的最佳行为	揭示 plasticity-stability 困境：指令调优提升合规但引发声学能力灾难性遗忘
文本-音频模态冲突接地	准确率与文本影响率（TIR）	MCR-BENCH：对抗性文本-音频冲突下准确率骤降而置信度仍高	无冲突设置	用 Text Influence Rate 定量刻画「文本支配」幻觉根源
部分伪造语音检测定位	基准规模（小时）	LlamaPartialSpoof：130 小时全伪+部分伪基准	传统全伪造检测数据集	填补部分篡改（仅替换关键词/身份段）检测空白，更贴近认证场景

局限与改进

作者明确承认的局限包括：文献快速增长难免遗漏（文末 Note 自陈）、防御机制「remains limited and reactive」且主要聚焦越狱。我自己观察到的额外局限有三：第一，作为综述缺乏统一的横向定量对比表——尽管列了约 40 个基准和约 50 个模型，但没有一张表把同一批 LALM 在六支柱上的得分并排呈现，读者难以直接做 head-to-head 比较；第二，「Safety Tax」等关键概念只停留在提议层面，没有给出可计算的数学定义或实证标定，$\text{Safety Tax}$ 的权衡曲线缺失；第三，全文偏重英语/中文生态（Table 2 多为 EN/CN），对低资源语言和多语种公平性的讨论相对薄弱；第四，所提纵深防御（扩散净化、语音匿名器）多为愿景式描述，缺少已有原型验证其可行性，路线图的可操作性有待加强。

独立分析的弱点

第一，「评测-模型」割裂：Table 2 与 Table 3 分离，无法看出哪个模型在哪个基准上如何，改进方向是构建动态在线排行榜（类似文本 Safety Leaderboard），自动把模型×基准×维度组织成可查询矩阵。第二，防御方案过于宏观：纵深防御三支柱（输入净化/隐私推理/综合评估）停留在概念层，缺少已验证的最小可行原型，改进方向是先在单一开源 LALM（如 SALMONN/Qwen2-Audio）上实现扩散净化模块并用 AudioJailbreak 测攻击成功率下降幅度，给路线图打地基。第三，「Safety Tax」缺乏可操作定义：作者提出该权衡但未给出 $\text{Safety Tax} = \Delta \text{Utility} / \Delta \text{Robustness}$ 这类标定公式，改进方向是设计标准化基准任务集，对每个防御方法在固定攻击强度下画出帕累托前沿。第四，跨语言公平性覆盖不足：BiasInEar/MedVoiceBias 集中于少数语言，改进方向是扩展到更多低资源语种并引入口音-方言细粒度评测。第五，因果世界模型与机制可解释性（第 5.4 节四个范式转变）过于前瞻，缺少与现有 RL/对齐技术的衔接路径，改进方向是先用探针实验验证「听觉物理动力学」在隐表示中的编码方式，再谈反事实推理基准。

未来方向

作者明确提出的未来方向沿三维度（Fig. 7）展开：内在机制上推进因果听觉世界建模（实现反事实推理、模拟声学场景的物理动力学与事件序列）、语义感知 token 压缩与因子化 tokenization 以优化效率-鲁棒性帕累托前沿；多模态安全上推动音频感知对齐（未来 RLHF 引入多模态偏好信号，让奖励模型同时惩罚有害语义与操纵性声学模式）、智能体框架与全双工智能融合、跨模态知识蒸馏（从视觉迁移空间推理到音频）；严格评估上实现四个范式转变——因果听觉世界建模、基于智能体的动态红队（用攻击-防御曲线替代静态准确率）、内在表示工程（互信息最小化 $\min I(Z_{\text{linguistic}}; Z_{\text{biometric}})$ 保证表示数学正交于敏感生物属性）、机制可解释性（把特定神经回路映射到听觉功能）。基于成果可延伸的方向我认为包括：把 SARSteer 的 PCA 拒绝引导推广到后门触发器检测；用 HalluAudio 的 yes/no 偏差诊断作为表示解耦的代理指标；构建「听觉物理引擎」仿真器生成反事实声学场景做合成数据增强。

复现评估

作为综述本文不涉及训练复现，但其可复现性体现在两方面：项目维护在 GitHub（https://github.com/Kwwwww74/Awesome-Trustworthy-AudioLLMs）并明确欢迎社区补充遗漏论文，可追溯性较好；Table 2 和 Table 3 引用的约 50 个模型和约 40 个基准大多有公开 arXiv 编号和开源实现（如 SALMONN、Qwen2-Audio、Mini-Omni、Moshi、AudioJailbreak、JALMBench、HalluAudio、ChronosAudio 等），研究者可据此搭建实验。难点在于：多数 SOTA 商业模型（GPT-4o、Gemini 系列、Step-Audio 130B）闭源，无法做白盒防御研究；端到端全双工实验（如 Moshi 7B+7M 小时数据）算力门槛极高；六支柱缺乏统一标准化基准，横向复现一致性差。综合评估：复现单点结论（如某个基准的攻击成功率）中等难度，但要复现整篇综述的攻防失衡全景需要大量工程投入，难度偏高。

大型音频语言模型综述：泛化能力、可信度与未来展望 A Survey of Large Audio Language Models: Generalization, Trustworthiness, and Outlook