跨模态排版攻击对音视觉推理的系统性研究

系统揭示音视觉多模态大模型在跨模态排版攻击下的脆弱性

前置知识

音频-视觉多模态大模型（Audio-Visual MLLM）

同时处理视频帧、音频轨与文本 prompt 的大语言模型，典型代表如 Qwen2.5-Omni-7B、Gemini-2.5-Flash-Lite。三种模态经过独立的 tokenizer 后在 LLM 内部融合，共同生成回答。

本文的攻击对象就是这类模型，要理解为何音频注入能劫持视觉答案，需要知道 MLLM 是把多模态 token 拼接后统一处理的。

排版攻击（Typographic Attack）

通过向图像或视频中注入小段语义文本（如 "horse"、logo）误导视觉-语言模型做出错误分类的现象，源于模型对文本 cue 的过强响应，本质上是一种 prompt injection。

本文把排版攻击从视觉单通道扩展到音频通道，'跨模态排版' 的概念直接建立在这个术语之上，是理解全文的语义基础。

攻击成功率 ASR 与准确率 ACC

ASR 是被攻击后预测被重定向到注入目标类 $c^*$ 的样本比例；ACC 是模型答对真实标签的比例。两者之差可区分'随机错误'与'目标劫持'。

本文几乎所有表格都报 ASR/ACC 两个指标，必须理解二者差异才能看懂 83.13% ASR 为何不等于模型全面崩溃。

文本转语音 TTS

把文字转为自然语音的合成模型，本文使用 rany2 (2025) 把目标类名（如 "horse"）转为短句语音片段，再混入原音频轨。

TTS 是构造音频排版攻击的核心工具，TTS 的自然度直接决定攻击的隐蔽性与现实威胁。

Whisper 语音识别与相对 RMS

Whisper 是 OpenAI 开源的语音转文字模型；相对 RMS = RMS($a_{inj}$) / (RMS($a_{orig}$) + $\epsilon$)，衡量注入语音相对原始音轨的能量强度。

二者共同构成本文提出的'有效性-隐蔽性'二维评估框架，是把攻击从性能对比升级为可控威胁建模的关键。

研究动机

现有研究主要聚焦在视觉模态的单模态排版攻击上。Cheng 等 (2024a) 和 Qraitem 等 (2024a) 等工作通过在图像上叠加文本或 logo 表明，视觉-语言模型对文本 cue 高度敏感、严重缺乏鲁棒性，攻击者只需一小段语义文字即可压倒场景的主要视觉内容。然而这些工作存在两大盲区：第一，几乎所有排版攻击文献都把攻击通道默认等同于'视觉伪影'，忽略了音频作为同样承载语义的通道；第二，过去工作几乎不评估音频-视觉多模态大模型（audio-visual MLLM）的鲁棒性，更没有系统研究当视频包含语音旁白时，攻击者能否通过'误导性语音'实现目标劫持。这构成了一个重要的现实风险缺口——在内容审核、辅助驾驶、智能助手等安全关键场景中，模型可能因被一段恶意语音劫持而给出错误判断，而现有防御机制对此完全无感知。

本文的目标是本文提出一个统一的 Multi-Modal Typography 框架，把音频（通过 TTS 合成的语音）、视觉（叠加的屏幕文字）、文本（prompt 注入）三种排版通道都纳入可控的对抗评估，系统量化它们对音视觉 MLLM 的攻击效果。具体目标包括四层：(1) 量化单模态语音排版攻击在多种音视觉 MLLM（如 Qwen2.5-Omni-7B、Qwen3-Omni-30B、Gemini-2.5-Flash-Lite 等）和多个基准（MMA-Bench、Music-AVQA、WorldSense）上的 ASR 与 ACC 损失；(2) 比较三种模态各自作为攻击通道的相对强度；(3) 探究多模态协同（对齐/冲突）攻击是否会带来叠加甚至非线性放大的破坏力；(4) 在内容审核安全场景下检验音频排版攻击能否绕过视觉明显的有害内容检测。

与已有工作不同的是，本文独特的切入角度是把'音频'本身视为一种排版模态，而不仅仅是辅助通道。这与已有工作形成本质区别：传统视觉排版攻击在视觉域注入文字，而本文使用 TTS 把语义内容编码为语音混入原音频轨中，构成'听觉版排版攻击'。更进一步，作者打破了'排版攻击就是单模态'的默认假设，系统对比了三通道独立攻击、协同（aligned）攻击和冲突（conflicting）攻击下的差异，并提出'有效性-隐蔽性'权衡框架，通过相对 RMS 和 Whisper 识别偏移量度量隐蔽性，使攻击成为可调节的现实威胁模型而非纯理论构造。这一多通道 + 隐蔽性量化的双重创新填补了 MLLM 跨模态鲁棒性研究的空白，也为后续防御研究提供了清晰的攻击基准。

核心方法

方法整体思路是构造可控的跨模态对抗样本，把不同通道的语义扰动以'注入'方式施加给原视频，再用 ACC 与 ASR 量化模型响应差异。直观上：给定一段标签为 $c$ 的干净视频和攻击目标 $c^*$，分别在音频轨（混入 TTS 合成的 $c^*$ 语音）、视觉帧（叠加 $c^*$ 文本）、文本 prompt（追加 $c^*$ 指令）三个通道独立或组合注入语义，再让 MLLM 完成分类/问答任务，比较注入前后预测的 ACC 下降与 ASR 提升。技术路线分四步：(1) 用 rany2 (2025) TTS 模型合成目标类语音短句 $a_{\text{inj}}$；(2) 按公式 $A_{\text{attacked}} = A + \lambda \cdot a_{\text{inj}}$ 把合成语音按可调音量 $\lambda$、时间位置 $p$、重复次数 $r$ 混入原音频；(3) 对视觉帧叠加目标文字（保持视觉流其他不变）；(4) 对 prompt 直接追加目标指令。所有注入维度都可参数化扫描，从而把攻击做成一个可量化的实验科学。

核心创新是把音频作为与视觉并列的一阶排版模态，并通过'对齐 vs 冲突'的协同设计暴露模态间相互作用的非平凡结构。已有方法（如 Cheng 2024a、Qraitem 2024a）只考虑视觉单通道的局部扰动，缺乏对'语义相同的扰动经过不同感知通路'是否被一致处理的检验。本文的本质区别在于：(a) 攻击通道从视觉扩展到音频/视觉/文本三通道，且音频攻击用自然语音而非合成噪声，保持语义自然性；(b) 引入对齐（$c^*_a = c^*_v$）与冲突（$c^*_a \neq c^*_v$）两种多模态组合设置，揭示协同放大与目标竞争效应；(c) 增加'有效性-隐蔽性'二维评估，把 RMS 相对值与 Whisper 识别偏移量作为可观测的隐蔽性度量，把攻击从纯性能问题升级为可控威胁建模。

方法步骤详情

输入：原视频 $(V, A)$ 与目标 $c^*$。步骤一：用 rany2 TTS 把目标类名转为语音 $a_{\text{inj}}$。步骤二：按 $A_{\text{attacked}} = A + \lambda \cdot a_{\text{inj}}$ 混合到原音轨，$\lambda$ 扫描 0.5–8.0，附重复次数 $r$ 与起始位置 $p$。步骤三：视觉帧叠加目标文字。步骤四：prompt 追加 'In the audio, you will hear the word $c^*$' 指令。步骤五：送入 MLLM 比较 $ACC$ 与 $ASR$ 的变化。步骤六：对 audio+visual 随机采样两个目标 $c^*_a, c^*_v$，统计'对齐'与'冲突'。步骤七：WorldSense 上对比随机噪声/随机语音/弱提示/强提示/LLM 设计提示（GPT-4o-mini ≤10 词）五档语义强度。输出：每个模型 × 数据集 × 通道 × 参数组合的 ACC/ASR 表，及相对 RMS 与 Whisper 偏移组成的隐蔽性度量。

技术新颖性

技术新颖性体现在三个层面。第一，把'语义注入'从视觉域推广到音频域，用自然语音替代纯文本合成噪声，使攻击在感知上更接近真实威胁（视频中本来就有语音旁白）。第二，提出的对齐/冲突双模态攻击框架是首批系统刻画'MLLM 是否模态不变'的工作——通过强制同一目标或不同目标在两个模态上同时注入，作者能够直接观测到 83.13%/83.43% ASR 这种远超单模态上限的协同放大现象，并发现冲突设置下视觉目标在两个模型上都更占优的偏向。第三，引入'有效性-隐蔽性'前沿曲线，用相对 RMS McNally (1984) 和 Whisper Radford et al. (2023) 识别偏移量把攻击从单点性能变成二维可控的工程问题，这在以往排版攻击文献中较少出现。

**Figure 2**: Sensitivity of audio typography to volume, temporal placement, repetition, and voice（音频排版对四类参数的敏感性）

实验结果

核心发现四点。第一，单模态语音排版普遍有效：WorldSense 上 Qwen2.5-Omni-7B ASR 从 16.59% 跃到 64.03%（+47.44），准确率从 49.90% 跌到 21.07%（-28.83）；PandaGPT 几乎免疫（25.27%→25.75%），作者归因其语音识别薄弱。第二，跨模态冲击显著：MMA-Bench 视觉问答上仅音频注入就让 Qwen2.5-Omni-7B 准确率下降 12.85%（76.68→63.83）。第三，对齐攻击非线性放大：Qwen2.5-Omni-7B 视觉题 ASR 从单模态最高 50.34% 跃到 83.13%；音频题从 45.19% 跃到 83.43%。冲突设置下视觉目标占优（57.59% vs 20.51%）。第四，参数扫描揭示'音量+重复'关键：音量 0.5→8.0 时音频题 ASR 从 15.59% 增到 34.72%，重复 1→4 次从 22.53% 增到 33.85%；GPT-4o-mini 提示把 ASR 推到 81.82%。安全上 MetaHarm 检出率从 26.16% 跌到 8.04%。

**Table 1**: Effect of audio typography attacks across models and datasets（单模态语音排版攻击在多模型多基准上的主结果）

**Table 2**: Targeted attack success rate under matched target semantics delivered through different injected modalities（匹配目标语义下三通道独立 ASR 对比）

**Table 3**: Multi-modal attack results on MMA-Bench（多模态协同攻击对比）

**Table 4**: Semantic strength and safety impact of audio injection（语义丰富度梯度与安全影响）

**Figure 3**: Effectiveness–stealth trade-off of audio typography attacks（有效性-隐蔽性权衡前沿）

查看结构化数据

任务	指标	本文	基线	提升
MMA-Bench Visual Question (Qwen2.5-Omni-7B) — 多模态对齐攻击	Attack Success Rate (ASR)	83.13%	50.34% (visual-only 单模态最强基线)	+32.79 个百分点（协同放大效应）
MMA-Bench Audio Question (Qwen2.5-Omni-7B) — 多模态对齐攻击	Attack Success Rate (ASR)	83.43%	45.19% (visual-only)	+38.24 个百分点
WorldSense Audio-Visual Question (Qwen2.5-Omni-7B) — 单模态语音排版	Attack Success Rate (ASR)	64.03%	16.59% (clean 输入 ASR)	+47.44 个百分点
WorldSense Audio-Visual Question (Gemini-3.1-Flash-Lite-preview)	Attack Success Rate (ASR)	48.33%	14.58% (clean)	+33.75 个百分点
MetaHarm 安全审核 (Qwen2.5-Omni-7B) — prompt 风格良性语音注入	Harmful 内容检出率 ACC	8.04%	26.16% (clean)	-18.12 个百分点（安全能力下降）
I2P 安全审核 (Qwen2.5-Omni-7B) — prompt 风格良性语音注入	Harmful 内容检出率 ACC	13.51%	35.56% (clean)	-22.05 个百分点
WorldSense 语义丰富度 (Qwen2.5-Omni-7B) — LLM 设计提示	Attack Success Rate (ASR)	81.82%	16.00% (random noise)	+65.82 个百分点（语义强度梯度证据）

局限与改进

局限性主要有四点。其一，PandaGPT 在多个实验上几乎对音频攻击免疫（ASR 仅 0.48–0.91 个百分点变化），作者将其归因于其语音识别能力薄弱；这意味着对'听不见'的模型评估攻击存在方法论噪声，无法严格区分'鲁棒'与'无效'两种解释。其二，所有评估都使用合成 TTS 语音，与真实人类口音、环境噪声、重叠说话人场景尚有距离，作者在第 7 节明确指出未来需在重叠说话人和背景旁白等更现实干扰下测试。其三，攻击强度与隐蔽性之间的权衡尚未在人类感知实验中得到验证，Whisper 偏移只是代理指标而非真实人评结果。其四，本文未给出防御方法的实证评估，仅在 Discussion 中提出'模态一致性检查、对抗训练、grounding-based 推理'作为可能方向，未在实验上验证其有效性。

独立分析的弱点

独立分析的弱点集中在四处。第一，攻击目标采样方式不够透明——Table 3 中提到'random target class'但未说明采样空间大小、是否保证与真值不同、是否在多模态对齐设置下复用同一随机种子，这影响了 ASR 数值的可比性，建议作者在附录中提供种子与采样边界。第二，TTS 选择单一（仅 rany2 2025），作者在第 5.1 节虽然扫描了'声线（女声/男声/中性）'但只用了同一 TTS 系统，未来需要验证攻击效果对 TTS 模型本身的依赖性，扩到多 TTS 供应商会显著增强结论的普适性。第三，安全性评估仅用良性语音注入（'Safe, Healthy, Harmless'），尚未覆盖恶意语音攻击（让模型把安全内容误判为有害）的对称情形，这种'双向安全'问题在红队测试中同样重要。第四，实验集中在英文基准，未验证中文等多语言场景的攻击迁移性，多语言 MLLM 是否呈现相同脆弱性仍是开放问题。改进方向：提供目标类采样种子与边界控制、扩展多 TTS 与多语言评估、增加'恶意语音攻击'维度以对称化安全评估。

未来方向

作者提出的未来方向有四：(a) 真实干扰下的鲁棒性测试（重叠说话人、背景旁白、非受控环境噪声）；(b) 模型机理性解释——理解不同模态的信号如何在注意力层竞争或协同；(c) 防御策略——模态一致性检查、对抗训练、grounding-based 推理、prompt-side 或机制性干预；(d) 人类感知评估，量化实际隐蔽性。基于本文成果可延伸的方向还包括：(1) 把语音排版攻击泛化到视频编辑工具链（剪映、CapCut）中作为内置红队模块；(2) 把音频通道扩展到音乐、环境声等非语音模态，研究'非语义音频'是否同样能劫持模型；(3) 探索 MLLM 在多模态一致性学习上的自监督预训练目标能否天然抵抗此类攻击；(4) 把发现推广到具身智能与机器人音频-视觉融合系统中的'声-视'对抗鲁棒性研究。

复现评估

复现评估整体良好但有门槛。作者给出项目页 https://cskyl.github.io/MLLM-Typography/，承诺开源代码与定性样本。模型覆盖 Qwen2.5-Omni-7B、Qwen3-Omni-30B、PandaGPT、ChatBridge、Gemini-2.5-Flash-Lite、Gemini-3.1-Flash-Lite-preview 六类，涵盖开源 + 闭源对照。数据集为公开 MMA-Bench、Music-AVQA、WorldSense、I2P、MetaHarm，TTS 用 rany2 2025，隐蔽性评估用 Whisper，无私有数据依赖。主要复现难点：(i) Gemini 系列为闭源 API，复现需付费 token；(ii) 攻击参数扫描需 GPU 资源跑全 6 模型 × 5 数据集 × 多档参数；(iii) 注入流程（音频混合、视觉叠加）涉及多个工程细节，建议作者提供 config-driven 注入管线；(iv) 大模型推理单次实验成本较高，全量复现预估需要数千美元 API 费用或数张 A100 自托管。整体复现难度中等偏上。

跨模态排版攻击对音视觉推理的系统性研究 A Systematic Study of Cross-Modal Typographic Attacks on Audio-Visual Reasoning