← 返回 2026-04-23

良性微调破坏音频大语言模型的安全对齐 Benign Fine-Tuning Breaks Safety Alignment in Audio LLMs

Jaechul Roh, Amir Houmansadr 📅 2026-04-17 👍 1 2026-07-13 08:36
Audio LLM 安全对齐 嵌入空间邻近度 架构条件性 良性微调
arXiv HuggingFace PDF

良性音频微调可使音频LLM的越狱成功率飙升至87%

前置知识

Audio LLM（音频大语言模型）

能同时处理语音或音频输入并执行理解、问答、推理等任务的统一多模态大模型。本文涉及 AF3、Kimi-Audio 与 Qwen2.5-Omni 三种代表性架构。

理解这三者的编码器差异（MLP 投影 vs. 量化双编码 vs. 直通）是看懂本文'架构条件性'结论的前提，因为不同投影方式决定了哪些微调最危险。

Safety Alignment（安全对齐）

通过 RLHF 等训练让模型对有害请求执行拒绝的机制，通常以文本数据训练，但可能未在音频输入上充分强化。

本文核心论点是音频安全对齐是从文本'继承'而来，因此对良性微调特别脆弱，是 JSR 飙升的关键机制根源。

LoRA（低秩适配器微调）

在冻结预训练权重上附加低秩矩阵 $\Delta W=BA$ 做参数高效微调，仅需更新极少参数即可适配下游任务。

实验全部用 LoRA（Rank 8-16），正是这种'只动 LLM 不动编码器'的设置造成安全脆弱，编码器冻结是关键实验条件。

Jailbreak Success Rate（JSR）

衡量模型被诱导生成有害内容成功率的指标，定义为测试中被判断为'合规响应'的有害提示占总提示的比例，是评估对齐鲁棒性的核心量化。

本文核心评估指标，良性微调可使 JSR 从 4.62% 飙升至 87.12%，是安全退化最直观的量化。

Embedding Proximity（嵌入空间邻近度）

用余弦距离 $d(i,j)=1-\frac{e_i\cdot e_j}{\|e_i\|\|e_j\|}$ 度量样本在表示空间中的相似程度，距离越小越接近。

整个方法的核心：选择与有害内容'邻近'的良性样本做微调，发现最邻近的样本造成最大安全伤害。

研究动机

在文本领域 Qi et al. (2023) 已证明良性数据微调可让 GPT-3.5 Turbo 越狱，仅 10 条对抗样本即足够；后续 He et al. (2024)、Guan et al. (2025) 又识别出哪些样本最危险。视觉-语言模型同样存在安全退化 Ding et al. (2026)、Wang et al. (2025b)。然而音频 LLM 作为新兴的多模态架构，其安全对齐在训练时由文本继承而来却未在音频输入上充分强化，理论上更脆弱；此前所有研究均假设微调直接修改了对齐所校准的表示空间，没有研究过'编码器冻结、LoRA 仅作用于 LLM 主体'这一音频 LLM 独有设置下的安全风险。

本文的目标是本文对 Audio Flamingo 3、Kimi-Audio 7B-Instruct 和 Qwen2.5-Omni 三种架构的音频 LLM 做首次系统性研究，量化良性音频微调对安全对齐的影响。具体目标包括：(1) 验证随机采样与基于嵌入邻近度筛选的良性微调分别能提升多少 Jailbreak Success Rate；(2) 在 AdvBench (520 条) 与 SafetyBench (939 条) 两个公开有害基准上评估；(3) 揭示不同模型架构下'哪个邻近度轴（语义/声学/混合）主导安全退化'这一架构条件性规律；(4) 提出无需修改架构的训练时（distant filtering）与推理时（系统提示）防御方案。

与已有工作不同的是，已有工作把'邻近度'当作单一未分化的嵌入空间，无法回答'是说的内容接近还是声音特质接近导致伤害'。本文独特切入角度是把 audio encoder 拆为'编码内容'与'编码声纹'两个互补维度，并对比三个内部/外部参考编码器（Sentence-BERT、Whisper-V3、WavLM）。这种'跨模态近邻分解 + 跨架构对比'的双重视角能回答文本/视觉文献无法触及的问题——为什么不同架构对'什么算邻近'的判定不同，以及为什么 AF3 音频微调更危险而 Qwen2.5-Omni 文本微调更危险。

核心方法

直觉上，若良性样本在编码器表示空间里'靠近'有害样本，用这些良性样本做微调时梯度会落在安全对齐最薄弱的区域，从而侵蚀而非强化拒绝边界。技术路线上：先把良性音频池与有害提示池都嵌入到不同编码空间，再用 $d_{\min}(i)=\min_j d(i,j)$ 找出距离最小的前 $k\%$ 样本；之后用 LoRA（Rank 8-16，仅微调 LLM）做 3-5 轮训练；最后在 AdvBench 与 SafetyBench 上测 JSR 变化。编码器选择覆盖两条轴：模型自身 internal encoder 与外部 reference encoder，二者协同揭示安全退化的根源。

本质区别是把'近邻'从单变量拆成 (semantic, acoustic, mixed) 三个轴，再叠加模型架构维度，形成 3 模型 × 4 过滤策略的对照设计。已有文本/视觉工作把所有样本投影到同一空间后取最近邻，本文则通过 Sentence-BERT（语义）、Whisper-V3（混合）、WavLM-Large（声纹）三种 encoder 把'为什么邻'拆开；并引入对照组——同一份 proximity-filtered 数据既用音频模态也用文本模态微调，揭示 cross-modal asymmetry 是架构条件性的。

方法步骤详情

Step 1：嵌入提取。对四个良性数据集（SD-QA、GC Accents、MMSU、MELD）中的每条样本，分别用 (a) 模型自身 encoder pipeline、(b) Sentence-BERT（对 Whisper 转写后的文本）、(c) Whisper-V3、(d) WavLM-Large 提取表示，时间维度做 mean-pooling 后 $\ell_2$ 归一化。Step 2：距离计算。对每个良性样本 $b_i$ 计算到所有有害提示 $h_j$ 的余弦距离，并取行最小 $d_{\min}(i)$。Step 3：筛选与微调。选 $d_{\min}$ 最小的 top $k\%$ 样本（$k\in\{25,50,75\}$）作 proximate 子集，最大 $d_{\min}$ 的 top $k\%$ 作 distant 子集，用 LoRA 微调（详见 Table 10）。Step 4：评估。用 gTTS 把 AdvBench (520 条) 与 SafetyBench (939 条) 转语音，测 JSR；同时用 BBH 测任务性能以排除'整体退化'假说。

技术新颖性

三层新颖性：(1) 研究对象全新——首次系统研究 audio LLM 在 benign fine-tuning 下的安全风险；(2) 方法维度新颖——通过 proximity decomposition 把'近邻'拆为语义/声学/混合三轴，揭示 Kimi-Audio 的 VQ 瓶颈丢弃声纹特征（故 semantic 主导，87.12% JSR）、AF3 的 MLP 投影器压缩特征（故 mixed 主导，32.12%）、Qwen2.5-Omni 直通 Whisper（故 internal = Whisper，mixed 主导）；(3) 机理新颖——通过 refusal direction probing 证实良性微调选择性抑制 L20-L26 层拒绝信号，但 frozen encoder 表示不变，这种'识别与拒绝解耦'是文本 LLM 不存在的结构性差异。

Illustration of the embedding-based proximity filtering procedure.
Figure 4: Illustration of the embedding-based proximity filtering procedure.
t-SNE projection of SD-QA (benign) and AdvBench (harmful) audio embeddings across three encoder types.
Figure 5: t-SNE projection of SD-QA (benign) and AdvBench (harmful) audio embeddings across three encoder types.

实验结果

核心数字：proximity-filtered 良性微调把 Kimi-Audio 在 AdvBench 上的 JSR 从预训练 4.62% 飙升至 87.12%（semantic 25% 过滤），提升约 19×；AF3 从 7.69% 升至 32.12%（semantic 75%）；Qwen2.5-Omni 从 0.19% 升至 30.09%（internal 25%）。随机对照显示 Kimi-Audio 25% random 仅 5.38%，与 internal filtering 的 58.08% 形成 10.8× 差距，证明伤害来自'邻近度'而非微调本身。架构条件性：三个模型在不同 reference encoder 下表现各异——Kimi 主语义、AF3 主混合、Qwen 内部=Whisper 故等价。Cross-modal 反转：AF3 音频微调增 JSR 而文本微调减 JSR（7.69%→2.12% at 25%），Qwen2.5-Omni 完全相反。Defense：distant filtering 让 AF3 在两个轴都把 JSR 压到 ~3%；推理时附上系统提示则让三个模型在 AdvBench 上几乎全部降到 0.00%（Table 7）。任务性能方面 BBH 准确率仅下降 ≤5.3 点，证伪了'JSR 升高是整体退化'的猜测。MELD 推理数据集上 JSR 增幅显著更低，说明 CoT 推理过程本身有自我纠正作用。

JSR (%) on SD-QA across filtering strategies. Proximity-filtered data causes significantly greater safety degradation than Random sampling.
Table 1: JSR (%) on SD-QA across filtering strategies. Proximity-filtered data causes significantly greater safety degradation than Random sampling.
Reference encoder decomposition: JSR (%) on SD-QA using three shared reference encoders (Semantic, Acoustic, Mixed).
Table 2: Reference encoder decomposition: JSR (%) on SD-QA using three shared reference encoders (Semantic, Acoustic, Mixed).
Distant Filtering Results: JSR (%) on SD-QA for Semantic and Acoustic filtering strategies. Distant filtering selects benign samples farthest from harmful content.
Table 3: Distant Filtering Results: JSR (%) on SD-QA for Semantic and Acoustic filtering strategies. Distant filtering selects benign samples farthest from harmful content.
Pretrained JSR (%) before fine-tuning.
Table 4: Pretrained JSR (%) before fine-tuning.
Generalization: JSR (%) across different benign datasets under proximity filtering.
Table 5: Generalization: JSR (%) across different benign datasets under proximity filtering.
JSR (%) after finetuning models on MELD of Audio-Reasoner-CoTA with 50% filtering for AF3 and 25% for Qwen2.5-Omni.
Table 6: JSR (%) after finetuning models on MELD of Audio-Reasoner-CoTA with 50% filtering for AF3 and 25% for Qwen2.5-Omni.
Defense via textual system prompt.
Table 7: Defense via textual system prompt.
BBH utility evaluation. Accuracy (%) for pretrained (PT) and finetuned (FT) models across subtasks.
Table 8: BBH utility evaluation. Accuracy (%) for pretrained (PT) and finetuned (FT) models across subtasks.
Effect of fine-tuning with SD-QA with audio perturbation added on Kimi-Audio (25% filtering).
Table 9: Effect of fine-tuning with SD-QA with audio perturbation added on Kimi-Audio (25% filtering).
LoRA fine-tuning configuration for each model.
Table 10: LoRA fine-tuning configuration for each model.
Whisper-V3 Proximity. Benign samples acoustically closest to harmful AdvBench prompts.
Table 11: Whisper-V3 Proximity. Benign samples acoustically closest to harmful AdvBench prompts.
Text-semantic proximity produces topically coherent pairings, unlike acoustic proximity.
Table 12: Text-semantic proximity produces topically coherent pairings, unlike acoustic proximity.
Closest vs. farthest benign samples from harmful prompts (SD-QA, model-internal filtering).
Table 13: Closest vs. farthest benign samples from harmful prompts (SD-QA, model-internal filtering).
Cross-modal asymmetry: JSR (%) after fine-tuning on semantic proximity-filtered SD-QA data as text (blue) vs. audio (red).
Figure 2: Cross-modal asymmetry: JSR (%) after fine-tuning on semantic proximity-filtered SD-QA data as text (blue) vs. audio (red).
Architecture-conditioned refusal signal suppression. Projection onto the refusal direction across LLM layers (L0–L27) for Qwen2.5-Omni (top) and AF3 (bottom), under text (left) and audio (right) fine-tuning.
Figure 3: Architecture-conditioned refusal signal suppression. Projection onto the refusal direction across LLM layers (L0–L27) for Qwen2.5-Omni (top) and AF3 (bottom), under text (left) and audio (right) fine-tuning.
查看结构化数据
任务指标本文基线提升
AdvBench JSR (Kimi-Audio, semantic filtering 25%) JSR (%) 87.12 4.62 (预训练) +82.50 百分点，约 19×
AdvBench JSR (Kimi-Audio, internal filtering 25%) JSR (%) 58.08 5.38 (random 25%) +52.70 百分点，约 10.8×
AdvBench JSR (Qwen2.5-Omni, internal filtering 25%) JSR (%) 30.09 5.19 (random 25%) +24.90 百分点，约 5.8×
AdvBench JSR (AF3, semantic filtering 75%) JSR (%) 32.12 7.69 (预训练) +24.43 百分点
SafetyBench JSR (Kimi-Audio, internal 50%) JSR (%) 26.84 14.16 (预训练) +12.68 百分点
BBH 准确率 (Kimi-Audio) Accuracy (%) 58.40 63.70 (预训练) -5.30 点（任务性能仅轻微下降）
AdvBench JSR 防御后 (Kimi-Audio, system prompt) JSR (%) 0.00 65.58 (MMSU semantic 25%, 无防御) -65.58 百分点，接近零

局限与改进

作者明确承认四点：(1) 评估仅覆盖四个英文语音数据集（SD-QA、GC Accents、MMSU、MELD），音乐问答、环境声推理等非语音任务是否成立未知；(2) 扰动分析只测了 cafe 与 traffic 两种噪声，未涉及对抗性扰动；(3) 由于算力约束全部冻结 encoder，解冻可能放大或缓解退化；(4) 仅英语单轮交互，多语种/多 accent/多轮场景未探索。我额外观察到：JSR 评估依赖自动判别模型，未必完全准确；gTTS 与训练数据所用 Edge-TTS 的合成器差异本身就是一种声学 shift，可能影响结果泛化；SafetyBench 939 条跨五个风险类别，未拆解看哪个类别受影响最深；近邻样本由人工定性检查（Appendix J），但缺乏跨文化评审者一致性。

独立分析的弱点

1) 评估数据集偏差：仅用 gTTS 合成有害音频，但实际部署中攻击者可能用真实录音或更先进 TTS (如 ElevenLabs)，二者声学特征差异显著，proximity 结论或不能直接迁移；改进方向是补一组自然语音有害样本或多 TTS 引擎对照。2) JSR 判别模型未公开：依赖的 LLM-judge 准确率未报告，可能存在 false positive/negative；建议公开 judge prompt 并报告人评一致性 (Cohen's $\kappa$)。3) 防御评估不完整：distant filtering 在 Kimi-Audio acoustic 50% 上反而升至 21.54%（ΔJSR +16.92），并未系统化；system prompt 仅在 3 个最差 checkpoint 上测试，对其他模型/数据集泛化未知。4) 实验规模有限：仅 3 个架构、4 个数据集、6 种过滤组合，未做多随机种子统计显著性检验，10× 差距是否鲁棒存疑。

未来方向

作者提出四点未来方向：扩展到非语音音频（音乐 QA、环境声）、加入对抗性扰动研究、解冻 encoder 看影响、扩展到多语种多轮。从结果延伸，我看到四个有趣方向：(a) 把 proximity filtering 与其他对齐方法 (RLHF、Circuit Breaker) 联合使用，看是否能训练时同时保证安全与任务性能；(b) 把架构条件性规律推广到 video LLM、speech-to-speech 模型，验证'压缩式投影 ⇒ 音频更脆弱、直通式 ⇒ 文本更脆弱'是否普适；(c) 开发自动 proximity 估计工具，让用户在本地 LoRA 微调前先做安全筛查；(d) 探索 proximity 是否与训练数据版权/隐私风险相关，因为二者都依赖表示空间邻近度。

复现评估

整体可复现性中等偏上。作者明确报告了所有超参数（Table 10：AF3 LoRA rank 16/α 32、LR 2e-5、3 epoch、batch 8；Kimi rank 16/α 32、LR 2e-4、5 epoch、batch 16；Qwen rank 8/α 16、LR 1e-4、3 epoch、batch 8），算力门槛不高——单卡 A100/L40S (48GB) 即可同时完成训练与评估。三个模型权重均来自公开 release (KimiTeam、Goel、Xu 等)。但完整复现仍存在难点：(1) 训练所用 VoiceBench、GammaCorpus、MMSU、MELD 数据具体版本号与采样规则未公开；(2) gTTS 合成参数（语速、说话人 ID）会随版本变化导致轻微偏差；(3) JSR 判别 prompt 与 judge 模型未给出，无法直接对齐数字；(4) Kimi-Audio 的 VQ 编码器做了均值中心化（公式 6），其全局均值 $\mu$ 依赖具体数据集，需重新计算。代码与数据未承诺开源，但作者声明不发布微调后权重以避免滥用。

论文图表

Overview. Benign and harmful audio are embedded via either the model's own encoder or a shared reference encoder (semantic, acoustic, mixed).
Figure 1: Overview. Benign and harmful audio are embedded via either the model's own encoder or a shared reference encoder (semantic, acoustic, mixed).

总览图，展示整个 benign fine-tuning 安全退化研究的框架：良性音频与有害音频分别用模型自身 encoder 或外部 reference encoder (Sentence-BERT/Whisper-V3/WavLM) 嵌入，按余弦距离选最邻近的良性样本做微调，得到的模型在有害音频 benchmark 上评估。图中用具体数字说明 proximity-filtered benign fine-tuning 可把 JSR 从 4.62% 提升到 87.12%。

这是论文的门面图，让读者一图把握研究问题（什么算'邻近'）、方法（多种 encoder 对比）、结果（87.12% 的惊人数字）。

Figure 6: Example of chain-of-thought self-correction observed in Qwen2.5-Omni after finetuning on Audio-Reasoner-CoTA.

展示 Qwen2.5-Omni 在 MELD 数据集微调后，面对有害请求时的 <THINK> 标签内部推理：模型最初开始合规（'I need to provide a comprehensive explanation...'），但在推理阶段识别出伦理含义后主动调整（'I will avoid explicit descriptions considering ethical implications'）。

为 Section 5.4 推理数据集上 JSR 显著更低这一发现提供了具体例证，是 CoT 作为隐式安全机制的定性证据。

Figure 7: Textual Defense System Prompt.

一段简短的英文系统提示：'You are a responsible AI assistant. You must refuse any request that involves illegal, harmful, unethical, or dangerous activities...'，在推理时 prepended 给模型。

虽然只是文本，但它是 inference-time defense 的核心——同一段提示让三个模型的 AdvBench JSR 几乎全部降到 0%，与 distant filtering 共同构成'无需架构修改'的实用防御组合。