声呐时刻：音频语言模型在音频地理定位中的基准测试 The Sonar Moment: Benchmarking Audio-Language Models in Audio Geo-Localization
首个音频地理定位基准AGL1K，评估16个音频语言模型的地理推理能力
前置知识
音频语言模型（ALM）
音频语言模型是能够处理音频输入并生成文本输出的多模态大语言模型。这类模型通常基于Transformer架构，通过大规模音频-文本对预训练，学习音频信号与语义描述之间的映射关系。代表模型包括GPT-4o、Gemini系列、Qwen-Omni等。这些模型不仅能够进行语音识别，还能理解环境声音、音乐、动物叫声等非语音内容，并基于音频内容进行推理和问答。
本文评估的核心对象就是音频语言模型的地理定位能力，理解ALM的工作原理和现有能力边界是理解本文实验设计和结果分析的基础。
地理定位（Geo-localization）
地理定位是指根据信号（图像、音频等）推断其地理位置的任务。在计算机视觉领域，图像地理定位已经得到广泛研究，通常采用分类、检索或视觉语言模型等方法。音频地理定位则是利用环境声音、语言线索、文化声音等音频特征来推断录音位置，这是一个更具挑战性的任务，因为音频信号的地理信息通常更加隐晦和间接。
本文首次系统性地研究音频语言模型的地理定位能力，填补了该领域的空白，理解地理定位任务的定义和挑战对把握论文价值至关重要。
可定位性（Localizability）
可定位性是本文提出的新概念，用于量化音频片段包含地理信息的程度。高可定位性的音频通常包含语言线索（如特定语言或口音）、地域性声音（如特定鸟类叫声、交通工具声音）或文化声音（如宗教音乐）。低可定位性的音频则主要是全球普遍存在的声音（如雨声、雷声）。该指标通过分析音频中不同声音类别的贡献强度来计算。
可定位性是本文方法论的核心创新，它不仅用于数据过滤，还为理解音频地理定位的难度提供了理论框架。
组合推理（Compositional Reasoning）
组合推理是指整合多个独立线索来进行综合判断的能力。在音频地理定位中，模型需要同时考虑语言、环境声音、文化背景、交通模式等多种线索，并将它们组合起来推断具体位置。例如，结合伊斯兰教宣礼声、海鸥叫声、法语对话和狭窄街道的摩托车声，可以推断出摩洛哥的沿海城市。
音频地理定位本质上是一个组合推理任务，本文通过评估模型的推理过程来分析其组合推理能力，这是理解模型能力和局限性的关键视角。
研究动机
音频地理定位领域面临两个核心挑战。首先，缺乏公开的、带有地理位置标注的音频数据集。与图像地理定位可以利用社交媒体上的海量地理标签照片不同，音频领域没有类似的资源。即使存在一些众包音频平台，但这些数据质量参差不齐，且缺乏系统的过滤标准。其次，缺乏量化音频地理信息含量的方法。即使能获取大量音频-位置对，如何识别其中真正携带地理信息的录音也是一个非平凡的问题。没有这样的度量标准，研究者无法系统性地构建和评估音频地理定位系统。
本文的目标是本文旨在建立第一个系统性的音频地理定位基准测试（AGL1K），用于评估音频语言模型的地理推理能力。具体目标包括：构建一个包含1,444个高质量音频片段的数据集，覆盖72个国家和地区；提出一个可量化的音频可定位性指标；对16个最先进的音频语言模型进行全面评估；分析模型的推理模式、地域偏见和错误原因，为未来研究提供指导。
与已有工作不同的是，本文的独特视角在于将音频地理定位视为评估音频语言模型组合推理能力的测试平台。与现有音频基准测试（如语音识别、声音分类）不同，音频地理定位要求模型整合多种弱线索进行推理，这更能体现模型的高级认知能力。此外，本文提出的可定位性概念填补了理论空白，为理解和量化音频的地理信息含量提供了新框架。
核心方法
本文的方法可以类比为一个'地理侦探'系统：首先从海量众包音频中筛选出'有破案价值'的线索（可定位音频），然后评估不同'侦探模型'（音频语言模型）利用这些线索推断地理位置的能力。技术路线包括四个主要阶段：数据采集、初始过滤、可定位性计算和后处理。数据来自Aporee平台，这是一个全球性的众包环境声音地图；初始过滤使用四个声学指标去除低质量录音；可定位性计算是核心创新，通过分析声音类别的地理信息贡献来筛选高价值样本；后处理包括模型输出标准化和结果分析。
本文的核心创新是提出了'音频可定位性'（Audio Localizability）指标，这是一个量化音频片段地理信息含量的新度量。与简单的声学质量指标不同，可定位性从'信息论'角度评估音频：高可定位性的音频包含能缩小地理位置范围的声音线索（如特定语言、地域性动物叫声），而低可定位性的音频主要是全球普遍存在的声音（如雨声、雷声）。该指标通过分析音频中不同声音类别在模型推理中的贡献强度来计算，具体公式为 $l_k = \sum_{i \in P} a_i t_{k,i} - \sum_{i \in N} \bar{a}_i t_{k,i}$，其中 $P$ 和 $N$ 分别是正类和负类声音类别集合，$t_{k,i}$ 是类别 $i$ 在样本 $k$ 中的时间占比，$a_i$ 和 $\bar{a}_i$ 分别是正类和负类的贡献强度。
方法步骤详情
方法分为四个主要步骤：第一步是数据采集，从Aporee平台获取数万条带地理标签的音频-位置对。第二步是初始过滤，使用四个声学指标（RMS能量、频谱平坦度、削波比、声学复杂度）去除低质量录音，保留约3000个样本。第三步是可定位性计算，这是核心步骤：首先使用EfficientAT模型对每个录音进行声音标签；然后让强音频语言模型（Gemini 2.5 Pro）对每个样本进行地理定位并生成推理链；接着让三个语言模型（Gemini、Claude、Qwen）评估每个声音类别对推理的贡献；最后通过线性回归确定正类和负类，计算可定位性分数。第四步是后处理，从高可定位性样本中人工筛选1,444个高质量片段，平衡有无语音的样本，形成最终数据集。
技术新颖性
本文的技术新颖性主要体现在三个方面：首先，首次提出了音频可定位性的量化概念，这不同于传统的声学质量评估，而是从信息论角度评估音频的地理信息含量。其次，建立了第一个专门针对音频语言模型的地理定位基准，填补了该领域的空白。第三，设计了一个创新的贡献评估框架，利用强模型的推理链来自动学习声音类别的地理信息贡献，避免了人工定义规则的主观性。这种'用模型评估数据'的方法具有很好的可扩展性，可以适应不同文化和地理背景下的声音特征。
实验结果
实验评估了16个音频语言模型（8个闭源，8个开源），发现音频语言模型已经展现出初步的音频地理定位能力，但该任务仍然极具挑战性。Gemini 3 Pro表现最强，平均距离误差为2180.57公里，19%的样本定位在10公里以内，大洲准确率0.82，国家准确率0.51。然而，闭源和开源模型存在显著差距：最佳开源模型Mimo-audio的平均误差为4853.25公里，是Gemini 3 Pro的两倍多。语言线索是主导因素：对于Gemini 3 Pro，语音音频的平均误差从3727公里降至1548公里。实验还发现音频地理定位性能与模型容量系统相关：在Gemini系列中，距离误差从Gemini 2.0 Flash-Thinking的2992公里降至Gemini 3 Pro的2181公里。值得注意的是，某些Gemini 2.0 Flash变体优于Gemini 2.5 Flash，表明蒸馏模型可能优先考虑效率而非特定任务性能。推理增强变体（如'思考'模式）并未带来一致改进，表明单纯增加推理能力对音频地理定位的收益有限。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 音频地理定位 | 平均距离误差（km） | Gemini 3 Pro: 2180.57 | 随机基线: 9869.01 | 降低77.8% |
| 音频地理定位 | 大洲准确率 | Gemini 3 Pro: 0.82 | 随机基线: 0.14 | 提升485.7% |
| 音频地理定位 | 国家准确率 | Gemini 3 Pro: 0.51 | 随机基线: 0.01 | 提升5000% |
| 音频地理定位 | <10km准确率 | Gemini 3 Pro: 0.19 | 随机基线: 0.00 | 从0提升至19% |
局限与改进
本文存在几个明显的局限性：首先，由于原始数据分布不均，样本在不同大洲间分布不平衡。欧洲、亚洲和北美显著过度代表，而非洲、大洋洲和南美的样本较少，这可能导致模型在这些代表性不足的地区表现不佳。其次，声音标签的多样性和正负属性归因结果部分受限于标注模型的选择和收集的数据。使用EfficientAT进行声音标签可能无法捕捉所有地理相关的声音特征，特别是对于非西方文化背景的声音。第三，人工筛选阶段可能存在主观性，尽管有明确的指导原则，但'可定位'的判断仍带有主观色彩。
独立分析的弱点
本文的主要弱点包括：第一，可定位性计算依赖强模型（Gemini 2.5 Pro）的推理链，这引入了'用被评估对象评估数据'的循环依赖问题。改进方向是引入人类专家标注作为更可靠的参考标准，或开发独立的地理信息检测模型。第二，数据集规模较小（1,444样本），限制了统计显著性和泛化能力。可以通过半自动化的数据收集流程扩大规模，同时保持质量控制。第三，评估指标主要基于地理距离，但没有考虑文化或行政边界的合理性。例如，预测在邻国但文化相似的地区可能比预测在同一国家但文化差异大的地区更合理。可以引入基于文化相似性的加权指标。第四，错误分析类别定义较粗，'语言歧义'和'过度承诺'等类别可以进一步细化，以提供更具体的改进指导。
未来方向
未来研究可以从以下几个方向展开：首先，增强细粒度感知能力，特别是提高模型对多语言语音和微妙声学线索的识别精度。其次，缓解地域预测不平等，可以通过数据增强或专门针对代表性不足地区的训练来实现。第三，加强组合推理能力，开发能够有效整合多个弱线索的架构，避免过度依赖单一线索。第四，扩展基准测试的多样性，包括更多文化背景和地理区域，特别是发展中国家和偏远地区。第五，探索音频地理定位的下游应用，如假新闻检测、音频取证和文化遗产保护。第六，研究多模态融合方法，结合音频和视觉信息进行更准确的地理定位。
复现评估
本文的复现性较好：代码已在GitHub开源（https://github.com/Rising0321/AGL1K），数据集在HuggingFace上公开。复现需要的主要资源包括：访问Aporee平台获取原始音频数据，使用EfficientAT进行声音标签，调用强音频语言模型API进行推理评估。对于开源模型，作者在单张RTX 4090上运行推理，每个模型约需12个GPU小时。闭源模型通过OpenRouter API访问。主要复现挑战包括：获取与作者相同版本的模型和API，处理音频预处理中的细节差异，以及人工筛选阶段的主观性。数据集的构建流程相对清晰，但可定位性计算中的阈值选择（α=1/3, γ=1000km, θ=1）是经验性的，可能需要针对不同数据分布进行调整。
论文图表
