OmniEcho：面向全模态具身智能体的空间视听理解 OmniEcho: Spatial Audio Understanding for Embodied Agents

第一步，语义预训练：约 11.9M 参数的 FOA 编码器（Conv 前端 8 倍下采样至约 12.5 token/s，5 层 Transformer，$d_{model}=384$）注意力池化出 512 维嵌入，与冻结 CLIP 文本嵌入做平衡 SigLIP 对齐（$s_{ij}=\alpha\tilde{a}_i^{\top}\tilde{t}_j+b$，10 万条合成片段、644 类），收敛到语义损失约 0.23、检索 Top-1 约 37%。第二步，定位微调：给定描述目标声源的文本查询，交叉注意力定位头输出 $(\hat{s}_a,\hat{c}_a,\hat{s}_e,\hat{c}_e,\hat{\ell})$，角度用 (sin,cos) 归一化避免 ±180° 跳变，距离在 log 域做 $\ell_1$，损失 $\mathcal{L}_{stage2}=\mathcal{L}_{ang}+0.5\mathcal{L}_{dist}+0.5\mathcal{L}_{sem}$，收敛到方位约 16°、仰角约 7°、距离误差约 1.1m。第三步，接入基座：FOA 片段双路处理——W 通道下混单声道进冻结的原生音频塔保留语义；4 通道进冻结 FOA 编码器得空间 token，经投影器（LayerNorm、384→2048→2048 GELU）映射后插值到 7Hz 音频 token 网格，写入 占位行，仅更新 LLM 与投影器。训练混 363,193 条样本（空间 AV QA 26,585、空间音频 QA 18,518，其余为 VLN 语料改造的导航数据），32 张 A100 约 4 天。

新颖性可从四个层面评估。任务层面：首个把空间音频作为具身智能体原生导航证据的工作——此前 VLN 系列（R2R 到 InternVLA-N1）全部依赖文本+视觉，音视频导航系列（SoundSpaces、AVLEN、CAVEN、RILA）依赖仿真声学且不做语音指令；本文首次用真实 FOA 录音构建闭环导航评测。数据层面：可控渲染管线把“LLM 导演—视频生成—视觉反推几何—FOA 渲染”串成可扩展流水线，并用分布对齐控制偏差（声源类型分布 JSD=0.14 bits，距离分布 KS 统计量 D=0.20，与真实基准中位数同为 2.8m）。模型层面：双通路设计证明空间信息与语义信息可解耦注入——去掉 FOA 编码器 Overall 从 28.5 掉到 19.8，去掉原生音频塔掉到 26.2，二者互补。评测层面：QA 答案由标注轨迹确定性计算而非 LLM 生成，配合“LLM 抽取 + 规则判分”两段式协议（方向精确匹配 8 方位、角度容差 ±45°、距离容差 ±2m），保证评分完全可复现。

独立分析的弱点及改进方向：(1) 距离估计几乎不可用（MAE 2.20m、r=0.27），因为单点 FOA 的距离线索主要靠响度与混响比，极易被增益归一化破坏——可引入房间声学先验（如 RT60 估计）或多视角声学记忆联合回归距离。(2) 停止失败占进入目标区回合的约 69%（36.67/52.89），根源是模型每 8 路标点才决策一次且缺乏距离置信度——可加近距离声学变化检测器或学习显式到达判据。(3) 合成数据与真实分布仍有残差（声源类型 JSD=0.14），sim-to-real 微调只是补丁——可建立小规模真实数据主动采样机制，按任务类别针对性补充。(4) 相机旋转类任务与 FOA 编码目标错位，或需显式输入自身运动状态（IMU/里程计 token）。(5) 导航评测的真实声场每场景只在 12-17 个离散步点采样，连续移动的声学插值未验证，未来需在线录制或声场插值。(6) 单声源假设贯穿始终，多声源竞争、动态声源与强噪声场景未系统评测（训练虽注入 0-20dB 定向噪声，但基准本身是安静录音）。

作者指出的方向：细粒度空间定位与距离估计是两大开放挑战；附录实验表明用少量真实数据修正训练分布切实可行（28.5→34.9），并提出更可靠的距离估计、目标附近自适应重规划、近期声学观察历史三个导航改进点。基于成果可延伸的方向：(1) 把 12,900 条声场录音升级为可插值的连续声场表示，支持任意位姿查询与移动声源仿真；(2) 融合声学记忆与认知地图，实现跨房间声源追踪（论文的 Cognitive Map 子任务已有雏形）；(3) 引入强化学习微调（如 VLN-R1 范式）专门优化停止决策与路径效率——GT 方向实验显示 SPL 上限可从 11.5 提到 22.1；(4) 真机演进：Figure 20 已展示机器人寻找视野外警报的 13 步闭环案例，可进一步研究动态声源、多声源与社交声学（谁在说话、语音指令的语义+空间联合理解）；(5) 把 FOA 空间通路推广到声学 SLAM、视听因果推理等更广的具身任务。

复现友好度较高但算力门槛不低。代码与数据承诺开源（github.com/PKU-VaLuE-Lab/OmniEcho）；基准含去标识真实数据（人脸打码），QA 答案由规则从标注轨迹确定性生成而非 LLM 生成，评分采用“LLM 抽取 + 规则判分”两段式协议，判分完全可复现。算力方面：FOA 编码器两阶段预训练仅需 2 张 GPU、各 10 个 epoch；Stage 3 需 32 张 A100 约 4 天（FSDP2 + Ulysses 序列并行 + 专家并行，bf16，序列长 32,768，全局 batch 128），完整复现大模型部分对普通实验室困难，但 11.9M 参数的编码器与数据管线可独立复现。数据方面：合成管线依赖 Seedance 视频生成、Qwen TTS 等闭源模型，完整重建存在外部依赖风险；评测侧（197 场景 QA + 30 场景导航 + Habitat 闭环）自包含，协议细节（成功半径 1m/3m、50 次决策上限、卡死检测、停止判据）在附录中描述得很充分。总体：评测与消融易复现，训练基座部分需要相当资源。