JAEGER：模拟物理环境中的联合3D视听定位与推理 JAEGER: Joint 3D Audio-Visual Grounding and Reasoning in Simulated Physical Environments
首个将视听LLM扩展到3D空间，实现精确声源定位和推理的框架
前置知识
First-Order Ambisonics (FOA)
一种四通道空间音频格式，包含一个全向通道W和三个方向通道X、Y、Z。B格式编码通过声压和粒子速度捕捉空间音频的方向信息，相比双耳录音具有硬件无关性优势。FOA能够表示3D空间中的声音场，为声源定位和空间音频分析提供了基础信号表示。
本文的核心创新Neural IV就是基于FOA信号的改进表示，理解FOA的B格式编码原理是理解Neural IV的基础。
Intensity Vector (强度向量)
从FOA信号中提取空间方向信息的传统信号处理方法。通过计算全向通道W与方向通道X、Y、Z的交叉谱，再取实部得到各轴的强度分量。物理上，声强定义为声压和粒子速度的点积，对应于能量流动的方向，因此强度向量指向主要声源方向。
这是本文Neural IV方法的基础对比对象。论文详细展示了传统IV在混响和重叠声源场景下的局限性，以及Neural IV如何改进它。
RGB-D Visual Grounding
3D视觉定位任务，要求模型预测发声物体在3D空间中的精确边界框。给定RGB-D观测和音频输入，模型需要输出 bbox(c, x, y, z, sx, sy, sz) 结构，其中c是类别标签，(x,y,z)是相机坐标系下的盒子中心，(sx,sy,sz)是轴对齐盒子尺寸。
这是JAEGER的三大核心任务之一，需要显式的3D几何建模。理解3D边界框表示和相机坐标系转换是关键。
LoRA (Low-Rank Adaptation)
参数高效微调方法，通过在预训练模型的线性层中插入低秩分解矩阵来适配新任务。具体实现为 $W' = W + \Delta W = W + BA$，其中 $B \in \mathbb{R}^{d imes r}$，$A \in \mathbb{R}^{r imes k}$，$r \ll d, k$。这样只训练少量新增参数，保持原始权重冻结，大幅降低计算和存储开销。
JAEGER使用LoRA从Qwen2.5-Omni高效适配3D视听任务，理解LoRA有助于理解模型的训练策略和参数配置。
研究动机
现有的视听大语言模型（AV-LLMs）存在根本性的维度不匹配问题。它们主要依赖RGB视频和单声道音频，这种2D中心的架构无法可靠地在复杂3D环境中进行声源定位和空间推理。虽然3D定位研究有所进展，但大多数方法分别处理视觉或音频的空间线索，缺乏统一的框架。具体而言，在单源场景中传统方法可能有合理的表现，但在重叠声源场景下性能急剧下降。例如，实验显示专门的单模态模型BAT在重叠声源任务中MAE从2.16°恶化为19.09°，说明现有方法难以处理复杂声学环境。此外，主流的2D AV-LLMs如Qwen2.5-Omni在多扬声器空间推理任务上准确率仅约44%，几乎等于随机猜测，暴露了显式3D建模的缺失。
本文的目标是本文的目标是构建一个端到端的框架，将现有的2D视听LLM扩展到3D空间，实现联合的空间定位和推理。具体目标包括：（1）实现精确的声源到达方向估计，在单源和重叠声源场景下都达到度级精度；（2）实现发声物体的3D视觉定位，输出精确的3D边界框；（3）在多扬声器环境中实现基于空间音频-视觉线索的跨模态推理，准确识别声源对应的视觉对象。最终目标是验证显式3D建模对于在物理环境中进行可靠空间推理的必要性。
与已有工作不同的是，本文的独特切入角度是同时从视觉和音频两个模态引入显式的3D空间表示，而不是依赖隐式的2D特征。在视觉方面，引入RGB-D和深度感知的位置编码；在音频方面，使用多通道FOA而不是单声道，并提出Neural IV改进传统的强度向量方法。与现有工作如SAVVY使用级联管道依赖传统信号处理不同，JAEGER采用端到端学习，让LLM直接学习和整合空间线索。这种统一的范式让模型能够进行完全集成的空间推理，而不是分模块处理。
核心方法
JAEGER的整体思路是将预训练的2D视听LLM扩展到3D空间，通过在两个模态中引入显式的空间表示。视觉流使用RGB-D观测，将深度图转换为度量点云，然后将3D坐标投影到视觉token的维度，通过正弦位置编码注入几何先验。音频流采用双路径设计：语义路径从FOA的全向通道W提取内容信息；空间路径通过Neural IV提取方向线索。Neural IV替代了传统的STFT+强度向量流程，使用可学习的1D-CNN直接从原始波形中提取鲁棒的空间特征。所有多模态特征通过MLP适配器对齐后送入LLM骨干网络，使用LoRA高效微调以进行联合3D定位和推理。
核心创新点是Neural Intensity Vector（Neural IV），这是一个数据驱动的空间音频表示。传统IV依赖固定的STFT信号处理，在混响和重叠声源场景中表现不稳定。Neural IV将强度向量的物理原理泛化到潜在空间：用CNN编码器替换STFT，在潜在特征空间中计算全向特征 $f_W$ 与方向特征 $f_C$ 的逐元素积 $h_C = f_W \odot f_C$，然后通过MLP投影得到鲁棒的空间嵌入 $v_{NIV}$。这种可学习的方法能够适应复杂的声学环境，提取更稳定的方位线索。另一个关键创新是SPATIALSCENEQA数据集，这是首个大规模3D视听指令调优基准，包含61k高保真RGB-D场景与FOA音频及精细3D标注的配对数据。
方法步骤详情
完整方法包含以下步骤：（1）数据准备：使用Habitat-Sim和SoundSpaces 2.0模拟平台，从HM3D场景中采样源-接收器位置对，渲染同步的RGB-D观测和4通道FOA音频，插入3D生成的扬声器资产，导出校准的相机内外参和ground truth声源姿态。（2）视觉编码：从RGB图像提取语义特征，同时将深度图反投影到度量点云 $P_{uv} = D_{uv} \cdot K^{-1}[u, v, 1]^T$，通过自适应平均池化对齐到视觉特征的分辨率，对每个坐标分量应用正弦编码 $PE(?lpha, 2j) = \sin(?lpha/10000^{2j/\lfloor c/3 floor})$，最后将3D位置编码 $F_{3D}$ 与视觉特征 $F_{visual}$ 逐元素相加得到 $ ilde{F}_{visual} = F_{visual} + F_{3D}$。（3）音频编码：语义路径从FOA通道W提取内容特征；空间路径使用Neural IV，通过7层1D-CNN（核大小为10,3,3,3,3,2,2，步长为5,2,2,2,2,2,2）编码 $f_W$ 和 $f_{C\in\{X,Y,Z\}}$，计算交互特征 $h_C$，拼接并通过MLP得到 $v_{NIV}$。（4）特征对齐与推理：视觉和音频特征通过各自的MLP适配器投影到LLM的token空间，与文本prompt一起送入Qwen2.5-Omni骨干网络，使用LoRA（rank=64, alpha=128）微调，输出DoA角度、3D边界框或扬声器选择答案。
技术新颖性
技术新颖性体现在三个方面：（1）模态表示：首次将RGB-D视觉与多通道FOA音频同时引入AV-LLM框架，而不是分别处理或依赖级联管道。深度感知的位置编码使用反投影到度量空间的正弦编码，让视觉token显式知道其3D位置。（2）Neural IV：这是一个端到端可学习的空间音频表示，将传统强度向量的物理原理泛化到潜在空间。相比固定的STFT处理，CNN编码器能够学习适应混响、反射和重叠声源的鲁棒特征提取器。（3）数据集：SPATIALSCENEQA是首个度级精度（azimuth和elevation）的大规模3D视听基准，覆盖感知（DoA估计、3D视觉定位）和推理（单源/重叠源多扬声器匹配）两大类任务，61k样本支持大规模指令调优。相比STARSS23等现有数据集，它提供RGB-D而非仅RGB，包含更密集的3D标注。
实验结果
实验结果表明JAEGER在所有任务上显著优于基线。在音频DoA估计任务中，Neural IV变体在单源场景中达到中位角误差（MAE）2.21°，与专业模型BAT的2.16°相当；在更具挑战性的重叠声源场景中，Neural IV将MAE从BAT的19.09°降低到4.11°，这是4.6倍的改进。交叉评估显示Neural IV的泛化优势：在单源训练重叠源测试时，Classical IV的MAE从2.95°恶化到18.35°，而Neural IV仅从2.21°恶化到14.91°；反之亦然，Neural IV从4.11°略降到14.85°，而Classical IV从6.44°恶化到19.25°。在3D视觉定位任务中，JAEGER达到3D IoU 0.32和中位视觉偏移0.16米。消融研究表明深度编码将Mean 3D IoU从0.29提升到0.32，中位偏移从0.18米降低到0.16米。最显著的性能差距出现在联合视听推理任务上：2D中心的Qwen2.5-Omni在单扬声器和双扬声器任务上准确率仅35.8%和44.0%，接近随机猜测；而JAEGER（Neural IV）达到99.5%和99.2%，几乎完美。消融分析揭示了各个组件的贡献：移除FOA编码器导致推理准确率崩塌到43.8%-47.6%，移除深度编码也导致明显下降（单扬声器99.5%→96.9%，双扬声器99.2%→94.9%）。这些结果强有力地证明了显式3D建模对于可靠空间推理的必要性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 单源音频DoA估计 | 中位角误差（MAE） | 2.21° (Neural IV) | 2.16° (BAT专业模型) | 与专业模型相当，且是端到端LLM |
| 重叠源音频DoA估计 | 中位角误差（MAE） | 4.11° (Neural IV) | 19.09° (BAT) | 78.5%误差降低 |
| 3D视觉定位 | 3D IoU | 0.32 | 0.00 (Qwen2.5-Omni), 0.00 (N3D-VLM) | 从零到有效 |
| 3D视觉定位 | 中位视觉偏移 | 0.16米 | 2.40米 (Qwen2.5-Omni) | 93.3%误差降低 |
| 单扬声器多源匹配 | 准确率 | 99.5% | 35.8% (Qwen2.5-Omni) | 178%提升 |
| 重叠源多扬声器匹配 | 准确率 | 99.2% | 44.0% (Qwen2.5-Omni) | 125%提升 |
局限与改进
作者承认的局限性包括：当前评估主要基于仿真数据，性能可能无法干净迁移到真实声学环境。实际部署需要面对真实的麦克风、RGB-D传感器、同步管道和校准设置的挑战。更强的视听空间定位如果用于侵入性定位或监控，可能带来隐私风险，因此建议任何真实世界的部署都需要知情同意、数据最小化、有限保留、访问控制，并仔细记录传感器和领域限制。我观察到的额外局限性包括：Neural IV的CNN编码器增加了计算开销，相比传统IV方法更复杂；当前数据集主要使用LibriSpeech的清晰语音，在真实噪声环境中的鲁棒性尚未验证；FOA编码需要特定的麦克风阵列，硬件要求高于单声道或双耳录音。
独立分析的弱点
独立分析的弱点包括：（1）计算开销较大：Neural IV的7层CNN编码器相比传统IV的STFT计算量更大，可能限制实时应用。改进方向是探索更轻量的网络架构或使用知识蒸馏压缩模型。（2）声源类型有限：当前数据集主要使用LibriSpeech的清晰语音，对音乐、环境音、多说话人混叠等复杂声源缺乏覆盖。改进方向是扩展数据集的声源多样性，引入更真实的声学场景。（3）硬件依赖：FOA录音需要特定的四麦克风阵列，限制了在消费级设备上的部署。改进方向是探索从双耳或单通道音频中估计等效FOA信号的方法，或者研究phone-in-the-pocket等实际部署场景的适配方案。（4）泛化性验证不足：虽然交叉评估显示了Neural IV的鲁棒性，但跨数据集、跨麦克风阵列、跨声学环境的泛化性尚未充分验证。改进方向是引入更多样化的测试集，包括真实录音数据。
未来方向
作者提出的未来方向包括开发具有整体3D感知和交互能力的具身智能体。基于成果可延伸的方向包括：（1）时序推理扩展：当前模型处理静态帧和短时音频，未来可以扩展到时序视频和长时间音频，支持动态场景中的声源跟踪和时序推理。（2）真实环境适配：使用域自适应或自监督学习将模型适配到真实声学环境，减少仿真与现实的领域差距。（3）主动感知：让模型能够主动控制传感器（如旋转麦克风阵列或移动视角）以改善定位精度，这是具身AI的重要方向。（4）多模态扩展：引入文本（如字幕）、触摸、力反馈等其他模态，构建更丰富的物理环境感知系统。（5）下游任务：将JAEGER的能力应用到实际的下游任务，如机器人声源跟随、VR/AR中的空间音频渲染、辅助技术的声源定位等。
复现评估
复现评估：论文宣布代码、预训练模型检查点和数据集将在GitHub开源（https://github.com/liuzhan22/JAEGER），这有利于复现。数据集SPATIALSCENEQA 61k使用Habitat-Sim和SoundSpaces 2.0合成，配置细节和采样策略在论文中详细描述。训练使用NVIDIA A100（40GB）GPU，音频定位在8个GPU上以batch size 3训练6k步，视觉定位在24个GPU上以minibatch size 1训练3k步，联合推理在24个GPU上以minibatch size 1训练4k步。优化器使用余弦学习率调度器，峰值学习率 $1 imes 10^{-5}$，权重衰减0.05。这些细节足够详细，有助于复现。不过，真实复现可能面临计算资源要求高的挑战（需要多个A100 GPU），且合成数据的精确重建可能需要熟悉Habitat-Sim和SoundSpaces 2.0的使用。总体而言，开源承诺和详细的实验设置使复现性较好，但资源门槛较高。
论文图表
