SpotSound：通过时间戳交织增强大音频-语言模型的细粒度时序定位能力

用文本时间戳交织和幻觉抑制训练，让大音频模型精准定位短事件

前置知识

Large Audio-Language Model (ALM)

大音频-语言模型（ALM）把音频编码器（Whisper-large-v3）与 LLM（Qwen2-7B/2.5-7B）耦合：音频→16kHz→128通道 mel 谱→编码器→约 40ms/帧的音频 token。代表：Qwen2-Audio、Audio Flamingo 3。

SpotSound 直接在这类 ALM 上做时序定位改造，理解它的"音频编码器 + LLM"结构是看懂时间戳如何被注入 LLM 输入序列的前提。

音频时序定位 (Audio Temporal Grounding)

给定一段音频流和一段自然语言查询（如"狗叫"），模型需要输出该事件出现的起始与结束时间戳 (s_k, e_k)。这是一个典型的检索+定位任务，评估指标通常使用 mIoU（平均交并比）和 Recall@1 在不同 IoU 阈值（0.3、0.5）下的命中率。

这是本文的核心任务定义，所有方法、实验和评测都围绕它展开；理解任务的"输出格式 = 时间区间"是判断模型表现的基础。

LoRA (Low-Rank Adaptation)

LoRA 是一种参数高效微调方法：冻结预训练权重，仅在每个线性层旁追加两个低秩矩阵（rank r、scaling α），通过训练这两个矩阵的少量参数来适配下游任务。SpotSound 设定 r=8、α=16，仅微调 LLM 部分、冻结音频编码器。

SpotSound 的训练策略明确依赖 LoRA，理解它才能明白为什么 7B 参数的 LLM 可以在单 epoch 内用一块消费级 GPU 完成微调。

幻觉 (Hallucination) 与负样本训练

在 MLLM 中"幻觉"常指模型编造输入中并不存在的内容。SpotSound 的应对方法是把每个训练样本改造成判别式四元组：音频 + 正向查询（事件存在） + 时间戳 + 负向查询（事件不存在），并以 Yes/No 形式让模型先判断事件是否存在，从而抑制时间戳幻觉。

负样本训练是本文抑制"无中生有时间戳"的核心机制，是它在多个 benchmark 上比 TimeAudio、Kimi-Audio 等模型更稳的关键。

研究动机

现有大音频-语言模型（ALM）虽然在整体音频理解（生成 caption、音频摘要）上表现不错，但在时序定位（temporal grounding）上仍不可靠，根本原因有两个：其一是训练数据以 clip-level 粗粒度标注为主，模型学到的是"事件 ↔ 整段音频"的关联，而非精确的起止时间；其二是现有 benchmark（AudioGrounding、Clotho-Moment、UnAV-100 subset）普遍选用持续时间长、彼此分离的孤立事件，target window 占比高达 26%-33%，搜索空间小，难以反映真实世界"短促事件淹没在密集背景声"的场景。这一缺陷直接阻碍了 ALM 在安防监控、媒体取证等需要精确时间戳的下游应用中的落地。

本文的目标是本文要解决两个问题：一是把 ALM 武装成"能精确定位任意长度音频中短促事件"的模型，二是提供一个真正能测出"细粒度定位 + 抗幻觉"能力的评测基准。具体目标包括在 Clotho-Moment、UnAV-100 subset、AudioGrounding 三个公开 benchmark 上达到 SOTA，并在自建的 SpotSound-Bench 上把 target event 占比压到 8.4%（即 < 10%），形成对"针在草垛中"场景的硬约束评测。

与已有工作不同的是，本文的独特切入角度是"显式把时间戳作为 LLM 可读的文本 token 注入输入序列"——之前的工作要么只给粗粒度 clip 标签（Qwen2-Audio、Kimi-Audio），要么在视频领域用隐式位置编码或时间标记（如 TimeChat、TimeMarker、Unitime），却没人把它迁移到音频并配合"判别式四元组"负样本训练来同步解决幻觉。SpotSound 同时回答了"怎么定位"（时间戳交织）和"怎么不瞎定位"（事件存在性判别）两个问题，并构建了更接近真实难度的 SpotSound-Bench。与显式时间标记（TimeMarker、Unitime）路线不同，SpotSound 的核心是 $S = [T_1; A_1; T_2; A_2; ...; T_n; A_n; I; Q]$ 这种"门牌号"序列——把时间定位重写为文本生成问题。

核心方法

SpotSound 的整体思路可以这样类比：把一段音频想象成一条很长的走廊，模型原本只知道"走廊里发生过事"，但不知道具体在哪。SpotSound 做两件事——第一，它在走廊每个 1 秒的位置放一个"门牌号"文本 token（如 "timestamp: 12s"），与对应时间窗的音频 token 交错排列，让 LLM 能像"看楼牌"一样精确读取时间位置；第二，它要求模型先回答"事件到底在不在走廊里"（Yes/No），再回答"具体在哪一段"，并通过给每个训练样本配一个负向查询（描述一个不存在的声学事件）来训练这种判别能力。技术上，SpotSound 兼容 Qwen2-Audio 和 Audio Flamingo 3 两种 ALM backbone（均基于 Whisper-large-v3 音频编码器），音频编码器保持冻结，LLM 部分用 LoRA（r=8, α=16）微调。

核心创新点是把"时间戳"从连续的位置编码升级为可被 LLM tokenizer 显式读出的"文本 token"，并以 1 秒为粒度与音频 token 交错排列——这相当于把时间定位任务重写成一个"看门牌号+读出区间"的纯文本生成问题。第二个本质创新是"判别式四元组训练目标"：每条训练样本 = (音频 A, 指令 I, 查询 Q, 目标 Y)，其中查询分正/负两种，目标是让模型先做二分类存在性判断再做区间回归；这等于在训练时把"幻觉抑制"和"时序定位"耦合进了同一个自回归目标 L = -Σ log P(y_i | S, y_{<i}; θ)。与 TimeAudio 等用"显式时间标记"但仍可能输出幻觉区间的方案相比，SpotSound 从训练目标层面切断了"无论事件是否存在都给出时间窗口"的捷径。

方法步骤详情

方法分四步：（1）音频特征提取：16kHz 重采样 → 128 通道 mel 谱（25ms/10ms 跳）→ Whisper-large-v3 编码 → 约 40ms/帧的 $A = \{A_1, ..., A_n\}$。（2）时间戳交织：对每个 $t_i$ 生成 $\tau_i = \text{"timestamp: } t_i \text{ seconds"}$（1 秒粒度），紧贴 $A_i$ 之前得到 $S = [T_1; A_1; T_2; A_2; ...; T_n; A_n; I; Q]$，统一 tokenize 送入 LLM。（3）两阶段推理：先用 $I_E$ 让模型输出 $B \in \{yes, no\}$，再用 $I_G$ 输出 $W = \{(s_k, e_k)\}$。（4）训练数据：5 个公开数据集（67.6k）+ 自建 10k 长形式合成（前景随机插入 Walking Tours 背景），负样本按"不在标注 + 无词汇重叠"采样；AdamW lr=1e-4 单 epoch，LLM 用 LoRA r=8/α=16 微调，音频编码器冻结。

技术新颖性

技术新颖性体现在三处：第一，将"时间戳文本化"这一视频领域的做法（TimeMarker、Unitime）首次系统性地迁移到音频模态，并证明了 1 秒粒度在长音频上能取得精度-效率的平衡；第二，把"判别式四元组 + 二阶段推理"作为统一的反幻觉机制嵌入自回归目标，避免了 TimeAudio 等模型"无论事件是否存在都输出时间区间"的崩溃行为；第三，自建的 SpotSound-Bench（300 个三元组，平均时长 52.9s、窗口 4.5s、target 占比仅 8.4%）首次把评测从"长事件 + 稀疏背景"翻转为"短事件 + 密集背景"，填补了针在草垛式评测资源的空白。

**Figure 2**: Model architecture and dataset generation pipeline

实验结果

SpotSound-A 全面 SOTA：Clotho-Moment 85.6、UnAV-100 subset 69.8、AudioGrounding 70.3、SpotSound-Bench 52.7 mIoU，分别 +4.7%、+27.0%、+2.9%、+20.4% 相对前 SOTA。"时间戳交织"是单点最大贡献：Qwen2-Audio 加这一招让 Clotho-Moment 从 68.5 拉到 85.4（+16.9）。负样本抗幻觉：Clotho-Moment 存在性判断从 Audio Flamingo 3 的 65.6/70.3 提到 85.4/85.4（+18.8%）。两阶段联合 F1：SpotSound-A 在 Clotho 91.4、SpotSound-Bench 83.8、AudioGrounding 85.6，相对 Audio Flamingo 3（30.4/21.0/69.2）有几十到上百点提升。通用 SED（TUT/DESED）mIoU 33.2/57.8 仍最佳。鲁棒性测试中平移 target 后 mIoU 仅 55.1→51.0；query 改写几乎不变。

**Table 1**: Statistics of the training set

**Table 3**: Audio temporal grounding results

**Table 4**: Hallucinations for non-existent events evaluated in accuracy

**Table 5**: Two-stage joint assessment results evaluated in F1-score

**Table 6**: Performance on sound event detection

**Table 7**: Ablation on different modules evaluated in mIoU

**Table 8**: Ablation results of hyperparameters

**Figure 3**: Qualitative comparison with other large audio-language models

查看结构化数据

任务	指标	本文	基线	提升
Audio Temporal Grounding on Clotho-Moment	mIoU	85.6 (SpotSound-A)	80.9 (AM-DETR)	+4.7%
Audio Temporal Grounding on UnAV-100 subset	mIoU	69.8 (SpotSound-A)	42.8 (AM-DETR)	+27.0%
Audio Temporal Grounding on SpotSound-Bench	mIoU	52.7 (SpotSound-A)	32.3 (WTATG)	+20.4%
Audio Temporal Grounding on AudioGrounding	mIoU	70.3 (SpotSound-A)	67.4 (TimeAudio)	+2.9%
Hallucination on AudioGrounding (Neg. accuracy)	Accuracy	87.9 (SpotSound-A)	76.0 (Audio Flamingo 3)	+11.9%
Two-stage Joint on Clotho-Moment	F1	91.4 (SpotSound-A)	30.4 (Audio Flamingo 3)	+61.0%
Two-stage Joint on SpotSound-Bench	F1	83.8 (SpotSound-A)	21.0 (Audio Flamingo 3)	+62.8%
SED on TUT-Sound Events 2017	mIoU	33.2 (SpotSound-A)	22.5 (TimeAudio)	+10.7%
SED on DESED	mIoU	57.8 (SpotSound-A)	53.7 (Audio Flamingo 3)	+4.1%

局限与改进

作者明确承认两点局限：第一，模型在"短促瞬时声音"上的时序精度仍是瓶颈——SpotSound-Bench 上的 mIoU 仅 52.7，远低于长形式 benchmark 上的 85+；第二，模型精度受限于训练语料的标注粒度和质量，未来需要更大规模、密集、细粒度的声学数据。作者没明说但可观察到的局限还有：i) 多实例召回不全——定性 case（Figure S3、S5）显示当同一 query 对应多个时间窗时，模型常在自回归解码中"过早停止"，漏掉次级实例；ii) 极短窗边界对齐偏差——Figure S4 显示 0.5 秒级事件即使 IoU 看起来只差 0.1，在 mIoU 这种"对边界敏感的指标"上会被严重惩罚；iii) backbone 仍是 7B Qwen 系列，扩展到更大 ALM（如 Gemini-2.5-Pro）的迁移性还未验证——论文只报告了 Gemini-2.5-Flash/Pro 作为对比而非扩展 SpotSound 的对象。

独立分析的弱点

独立分析可改进的弱点有四：（1）多实例召回缺失——目前在自回归解码中遇到第一个高置信区间就倾向终止，建议引入"非极大抑制 + 强制继续解码"的机制或显式的多区间 head（参考视频领域的 QD-DETR 思路）；（2）长尾短事件精度差——SpotSound-Bench 上 mIoU 52.7 远低于 Clotho-Moment 的 85.6，说明 1 秒粒度在 sub-second 事件上不够，建议增加 0.2 秒粒度的可学习位置偏置或在 1s 网格上做局部 refine；（3）负样本构造偏简单——目前仅用"词汇不重叠"做约束，可能漏掉"语义上相近但确实不存在"的难负例，可借鉴对比学习中 hard negative mining 的思路；（4）混合数据集仍以英文 YouTube/Walking Tours 为主，跨语言、跨声学环境（工业噪声、医疗声学）泛化未验证，建议补充多语种、多场景的合成数据。

未来方向

作者在 Limitations 与 Future Work 中提出两个方向：一是扩展到"多声源重叠（polyphonic）"场景，让模型能同时定位多个并发的声学事件；二是提高多实例召回率，避免在自回归解码中漏报次级时间窗。基于论文成果可延伸的方向还包括：i) 把时间戳交织思路迁移到视频/音乐领域，验证"文本化时间戳"的通用性；ii) 探索更细粒度（0.1s）的时间戳 token 化方案，结合坐标回归头提升边界精度；iii) 与检索增强（RAG）结合，让模型在长音频中先用稀疏检索定位大致区间、再用时间戳 token 精调；iv) 用 SpotSound-Bench 的合成管线（前景-背景混合 + 时间戳自动标注）做大规模自监督预训练，缓解"短事件+密集背景"数据稀缺。

复现评估

论文已开源代码、模型权重和 benchmark（项目页 https://loiesun.github.io/spotsound/），整体复现友好。训练侧：基于 Qwen2-Audio / Audio Flamingo 3（均为开源）+ Whisper-large-v3（开源），仅微调 LLM（LoRA r=8, α=16），音频编码器冻结，AdamW lr=1e-4、单 epoch、单卡 A100/H100 级别即可跑通；数据侧：67.6k 公开样本（AudioGrounding、Clotho-Moment、UnAV-100、ASSL）+ 10k 合成数据（管线已开源：DeepSeek-v3/Qwen2-Audio 生成 caption + Walking Tours 背景 + 前景随机插入），SpotSound-Bench 仅 300 条三元组。复现难度：低-中，主要门槛在 DeepSeek-v3 调用成本和 YouTube 原始音频下载（部分 Walking Tours 链接可能失效），建议复现者先用 ASSL 5k 公开子集做最小实验验证时间戳交织的有效性。

SpotSound：通过时间戳交织增强大音频-语言模型的细粒度时序定位能力 SpotSound: Enhancing Large Audio-Language Models with Fine-Grained Temporal Grounding