AuralSAM2: 通过金字塔音视觉特征提示让 SAM2 听见声音 AuralSAM2: Enabling SAM2 Hear Through Pyramid Audio-Visual Feature Prompting

方法分四步。(1) 编码：VGGish 压音频到 $z_a\in\mathbb{R}^{B\times L}$，RoBERTa 可选处理文本；Q-pooling 取 SAM2 三层 $\{z_v^{(k)}\}$，合并 $z_c=[z_a,z_t]$。(2) 金字塔：$k\in\{1,2,3\}$ 用 patch size $p^{(k)}\in\{4,2,1\}$ 做 embedding，1x1 卷积自顶向下累积。(3) 融合：每层 self-attention，再用基于 TPAVI 改造的 CrossFusion 输出稀疏提示 $R_a$ 与稠密提示 $R_v$。(4) 注入：按公式 (5) 叠加 $\tilde{p}_{mask}^k=p_{mask}^k+r_a^{(k)}$、$\tilde{p}_d^k=p_d^k+r_v^{(k)}$ 后送入 $g_\phi^{SAM2}$。训练目标 $L=\ell_{SAM2}+\ell_{ctrs}$，$\ell_{SAM2}$ 按 20:1:1:1 加权，AudioCon $\tau=0.10$。

技术新颖性体现在三个层次。第一是「外部提示」范式：把 AuralFuser 挂在 SAM2 之外，可在不修改图像 encoder 的前提下给 mask decoder 提供音频条件，等价于把音频变成 SAM 一类原生提示，避免了 adapter-based 方法必须二次前向的代价（在 V1m prompt engineering 上 FPS 14.1 vs SAMA-AVS 9.9）。第二是金字塔提示结构：通过 $k=1,2,3$ 三层独立融合 + 1x1 平滑卷积逐层累积，使音频信号在 early/middle/late 各层都保持非零注意力，与 Fig. 4 中显示的概率密度曲线从 SAMA-AVS 的 $\approx 0.01$ 移到 AuralSAM2 的 $\approx 0.075$ 一致。第三是 AudioCon：打破传统「视觉-视觉+音频-音频」对称对齐，让视觉 embedding 仅被音频锚点吸引而忽略视觉-视觉的相互吸引，从机制上对抗视觉 token 数量级压倒音频的本质不平衡。

独立分析三个潜在弱点。(i) Ref-AVS Unseen 子集 $\mathcal{S}$ (Null 错误率) 仍为 0.065，模型对「参考对象不存在」的判断仍有改进空间，可加 null-class 二分类头或在 AudioCon 中加入 null-aware 负采样。(ii) AudioCon 公式 (8) 中负样本仅从视觉侧采样，未明确处理多源 AVS (V1m) 中多发声物体并发，正样本集合 $E_a$ 包含全部 frame embedding，可能导致视觉特征被「和声」拉向平均锚点；可改为 per-source 聚类后做 prototype contrastive。(iii) 金字塔深度 $k=3$ 累计带来 +3.05 J&F 但也增加 $3 \times H' \times W' \times L$ 的稠密提示存储，对 64-frame 视频推理显存压力未报告，可能在边缘设备部署困难。改进方向：使用 top-k 选取最显著稠密 token 或对 $r_v^{(k)}$ 做 channel pruning，并在 AudioCon 中显式处理 Null 与多源场景。

作者在文末未单独列 future work，但结合结果可自然延伸三条线：(a) 把 AuralFuser 推广到其它 SAM 系列（如 SAM 3、EfficientSAM、SAM2Long）以及 4D 时空场景，借助提示注入的「外部化」特性避免再次 fine-tune 整个图像 encoder；(b) 引入 promptable audio input——目前音频以整段波形喂入，未来可以让用户在提示中圈选声源时间区间，让 AuralFuser 在 temporal pyramid 上也具备 prompted 能力；(c) 联合训练 AudioCon 与 promptable segmentation，把 promptable 推理 $\to$ 微调 $\to$ 部署的人类反馈闭环打通，配合 Online RLHF 让稀疏提示随用户偏好演化。此外，可以把 V2 semantic 任务的 +2.07 MJ 改进做更系统的「开放词汇音视觉分割」评测。

复现门槛中等偏上。代码开放在 https://github.com/yyliu01/AuralSAM2，依赖 SAM2 (Hiera-b+/l)、VGGish、RoBERTa；Adam 优化、学习率 $1e-4$，poly decay $(1-iter/max_{iter})^{0.9}$，单 batch=1。损失权重 20:1:1:1 与 $\tau=0.10$ 已明确。主要未知项：(1) Hiera-l 总 epoch/GPU 时长与 GPU 型号；(2) Q-pooling 窗口与 mixed precision 等预处理细节；(3) AudioCon 负样本的 background 过滤阈值。若公开 config.yaml，单卡 A100 80G 训练 Hiera-b+ 预期 1–3 天；Supp. Sec. 3 提到其他 backbone 结果，暗示作者至少跑了 PVT-v2、Swin-b 等多套。