VoxMem：大型音频语言模型的多模态记忆评测基准 VoxMem: Benchmarking Multimodal Memory in Large Audio Language Models
构建声学证据×记忆操作双轴分类的多会话语音记忆基准，揭示15个音频大模型均低于40%准确率
前置知识
LALM（大型音频语言模型）
以原始音频（而非 ASR 转写）为输入的多模态大模型，通常用音频编码器把波形离散化为 token，与文本 token 一起送入 LLM 主干，从而端到端地“听”语音。代表包括 Qwen-Omni、Gemini、Audio-Flamingo、Ultravox 等。相比“先转写再理解”的级联方案，它理论上保留了转写会丢失的副语言与环境声信息，这正是本文要考察的能力基础。
本文的评测对象就是 15 个 LALM，它们的音频接口、上下文预算与失败模式是全部结论的载体。
副语言线索（Paralinguistic cues）
语音中附着在文字之外的信息：犹豫、惊讶、强调、语速、笑声等说话方式特征。它们由声学信号承载，不出现在转写文本中，属于本文定义的四类声学证据之一，也是所有被测模型表现最差的证据类型之一。
副语言证据上模型的惨淡表现（32K 平均仅 20.0%，TET 操作仅 3.4%）是论文“非词汇记忆缺失”论点的核心证据。
上下文窗口与大海捞针（NIAH）测试
上下文窗口是模型单次能处理的最大 token 数；大海捞针测试把关键信息埋进长上下文的深处，检验模型能否把它检索出来。VoxMem 借鉴了这一范式：用同话题干扰会话（haystack）和无关填充会话把证据会话埋住，但用真实结构的多会话对话与音频证据替代人造句子。
理解 8K–64K 受控长度扩展、证据位置均匀分布等设计动机，需要先懂 NIAH 范式及其长度与难度混淆的问题。
LLM-as-Judge 评分
对开放式自由文本回答，用另一个 LLM 按答案类型规则判对错。VoxMem 用 Gemini-3.7-Flash 做裁判，用 GPT-5.6-Luna 复判，一致性达 $\kappa=0.95$；因能力不足或安全策略导致的拒答计为错误。相比精确字符串匹配，它能容忍同义改写。
论文所有准确率数字都出自裁判模型，理解其评分协议与一致性校验方式才能正确解读实验结果。
多会话记忆（Multi-session memory）
对话系统跨多次独立交互（不同时间、不同话题、有时间间隔）累积并调用信息的能力。与单段长录音不同，多会话历史天然包含同话题但细节不同的竞争会话和大量无关会话，要求模型精确定位并绑定证据，而不能靠主题匹配蒙混过关。
VoxMem 是首个建立在多会话历史之上的口语基准，这一设定是它与长音频理解评测的本质区别。
TTS 语音合成与受控数据生成
文本转语音技术。VoxMem 用 Higgs-TTS-3 合成全部用户语音，每个用户固定一个 VCTK 音色贯穿所有会话，通过风格控制注入副语言线索，并把 ESC-50 环境声以 $10\,\mathrm{dB}$ SNR 混入，从而按需构造“答案只存在于音频中”的证据。
受控合成是数据可控性的来源，也是理解配对 rendition 质检与声学必要性验证的前提。
研究动机
现有口语记忆评测在三个维度上同时缺位。第一是证据维度：SpokenWOZ、ContextDialog 等只考“说了什么”的词汇内容；AudioMarathon（90–300 秒独白）、LongSpeech（约 10 分钟）、VoiceGiraffe（平均 55.2 分钟）、Vox-Infinity（约 23 分钟）虽然测音频，但声学证据类型零散、靠人工挑选，很少测“谁说的、怎么说的、周围有什么声音”。第二是操作维度：多数基准只考信息抽取（IE）与多会话推理（MSR），极少覆盖时间演化跟踪（TET）与答案拒绝（AR），操作集合是 ad hoc 拼凑的。第三是历史结构维度：所有已有基准都把记忆当成单条长录音或 3–8 轮的连续对话，没有跨会话、跨 episodes 的设置，而真实语音助手恰恰是在多次交互间积累记忆的。更糟的是，已有工作分析上下文长度时在不同长度上使用不同题目，把“历史变长”与“题目变难”混在一起，无法把性能衰减归因到长度本身。缺乏一个统一分类法说明“该记什么”与“记了怎么用”，声学记忆就无法被系统评测，模型失败也无法归因。
本文的目标是本文的目标是建立一套“有声学依据”的口语对话记忆评测体系。具体分三步：首先提出同时刻画“要记住什么声学证据”（语音语义、说话人身份、副语言线索、环境声）与“记忆操作”（信息抽取 IE、多会话推理 MSR、时间演化跟踪 TET、答案拒绝 AR）的二维分类法，组合出 15 个有效评测场景（IE×语音语义因设计被排除）；其次据此构建 VoxMem 基准：799 个问题、3,196 个评测实例、34,743 段语音会话（共 177 小时）、1,326 段证据会话，覆盖 20 个日常话题（归为 5 大类），每个问题固定不变地嵌入 8K/16K/32K/64K（Whisper token，约 2.5–20 分钟音频）四种嵌套历史长度中，使性能变化只能归因于上下文增长；最后系统评测 15 个 LALM（10 开源 + 5 闭源），并做细粒度错误归因，量化“谁说了什么、怎么说的、周围有什么声音”这类转写无法恢复的信息是否被模型真正记住并正确使用。
与已有工作不同的是，本文的独特切入角度有三。其一，把“音频原生性”作为硬约束而非事后检查：先规划好题目、金答案与所需证据，再独立撰写不泄露答案的对话文本，然后合成语音，使答案关键证据只存在于音频中（某句话是谁说的、语气如何、背景有什么声音），并用“配对 rendition”（同词同声、去掉线索）做声学必要性校验——纯转写输入下音频原生题准确率从 46.2% 崩到 4.4%，证明这些题真的无法靠文字作答。其二，多会话历史结构：每个实例由证据会话、同话题不同细节的干扰会话（haystack）和无关填充会话构成，纯文本分类器区分证据与干扰会话只有 51–56% 准确率（打乱标签基线 47–49%），逼模型跨会话定位与绑定证据而不是做主题匹配。其三，受控长度扩展协议：长历史严格包含短历史的全部会话，题目与证据跨长度不变，8K 到 64K 只增加干扰与填充会话，从而把上下文长度效应与题目难度干净地解耦。
核心方法
直觉上，真实语音助手跨多次通话积累记忆，而语音里“谁说的、怎么说的、背景有什么”只存在于音频信号中。VoxMem 把评测形式化为 4×4 分类矩阵（IE×语音语义按设计排除，共 15 个场景）：给定多会话历史和一个问题，模型读入历史后生成简短开放式回答。每个实例的历史由三类会话组成：含答案的证据会话（共 1,326 段）、同话题不同细节的干扰会话、以及取自 InstructS2S 的无关填充会话；每会话约 9 轮、约 4.4 个音频片段、每片段约 190 token。用户语音用 Higgs-TTS-3 合成，每人固定一个 VCTK 音色；副语言线索经风格控制注入，环境声从 ESC-50 以 $10\,\mathrm{dB}$ 信噪比混入；用户轮为音频、助手轮为文本，并附会话边界与时间戳。历史按 Whisper 编码器 token 统一计为 8K/16K/32K/64K 四档，对应约 2.5–20 分钟、每实例 9→66 段会话。自由文本回答由 Gemini-3.7-Flash 裁判评分（与 GPT-5.6-Luna 一致性 $\kappa=0.95$），拒答计为错误。
核心创新是把“该记什么”与“记了怎么用”联合形式化，并用构造手段保证每道题只考它声称要考的能力。与已有工作的本质区别有四点。第一，声学证据被构造为答案的必要条件：先规划题目与金答案，再独立撰写用户侧与助手侧对话以防答案泄漏进文字，音频原生性由配对 rendition 与转写-only 校验双重保证（音频原生题在纯转写下从 46.2% 掉到 4.4%）。第二，答案拒绝（AR）首次成为一等操作：从 IE/MSR/TET 题系统性地删除或中和证据——语音里词还在、线索没了——派生出“应拒答”题，并复用源题历史，唯一变量就是证据是否存在。第三，受控扩展设计：长历史严格嵌套短历史，位置与时间戳不泄露证据所在，题目跨长度完全一致，性能衰减只能归因于历史增长。第四，两层质检（会话级 QC-1、问题族级 QC-2）系统性过滤“线索不可感知、答案不唯一、转写可答、历史泄漏答案”等构造错误，且质检与裁判用 Gemini-3.7-Flash，不在被评的 15 个模型之列。
方法步骤详情
流程五步：第一步规划：从结构化计划开始，写明问题、金答案、所需证据及约束（答案唯一、音频原生题不可由转写恢复），共生成 30,000 多个计划，问题经 Gemini-3.7-Flash/GPT-5.6-Luna 渲染；证据按操作分配——IE 单会话、MSR 多会话、TET 有序序列。第二步对话撰写：两侧独立创作用户-助手对话、互不提及说话人/语气/背景声，答案只能来自音频；填充文本取自 InstructS2S。第三步语音合成：用户轮用 Higgs-TTS-3 合成，每用户固定一个 VCTK 音色；副语言线索经风格控制注入，环境声从 ESC-50 以 $10\,\mathrm{dB}$ SNR 混入，并保留同词同声而去掉线索的配对版本供质检。第四步添加干扰与填充：干扰会话借用同话题证据会话或专门撰写，验证不提供替代答案。第五步组装与质检：按 8K–64K 四档嵌套组装，证据均匀分布防位置偏置，TET 保持顺序；QC-1 会话级验证转写保真、说话人一致与线索可感知性；QC-2 问题族级验证答案与操作有效性、声学必要性与全历史有效性（无泄漏/替代答案、AR 不可答），不合格项修改重检或丢弃。
技术新颖性
技术新颖性体现在评测学而非模型侧。第一，它是首个建立在多会话历史之上的口语记忆基准：此前只有单条长录音（AudioMarathon、LongSpeech、VoiceGiraffe 最长约 55.2 分钟）或单段连续对话（Audio MultiChallenge 仅 3–8 轮），而多会话带来“同话题竞争会话+大量无关会话”的干扰结构，要求跨 episode 绑定证据。第二，用二维分类法替代零散的 ad hoc 设计，15 个有效组合全覆盖，使失败可归因到证据类型、操作或二者交互——正因如此才能发现“MSR 反而比 IE 更耐受非词汇证据（43.1% 对 8.8%）”这类单轴设计发现不了的结论。第三，受控扩展协议（题目固定、历史嵌套、Whisper token 统一计量）把长度效应与题目难度解耦，修正了以往“不同长度不同题”的混淆。第四，方法论贡献：配对 rendition 的声学必要性检验（转写下音频原生题 46.2%→4.4%）与两层 QC 构成一套可复用的合成基准质控模板；助手轮以文本给出的设计还使不接受音频输出的模型也能在同历史下被评测。
实验结果
核心发现：1）32K 下无一模型超过 40%：最强 Qwen3.8-Omni-Flash 38.5%，闭源均值 33.0%、开源仅 21.9%。2）非词汇声学证据远难于语义：32K 闭源模型语义 55.6% vs 说话人 32.7%、副语言 20.0%、环境声 21.9%；转写-only 校验（说话人/副语言/环境声 $\Delta$59.5/39.6/27.8，语义仅 $\Delta$4.9）证实音频原生性成立。3）操作×证据强交互：MSR 较稳健（43.1%），TET 在副语言/环境声近乎崩溃（3.4%/1.2% vs 语义 44.5%），瓶颈在非词汇状态保持。4）拒答与作答倒挂：AR 在副语言/环境声 34.3%/34.2% 高于语义 19.9%，拒答源于用不了证据而非察觉缺失。5）长度效应：8K→32K 闭源 40.1%→33.0%；64K 时仅保留 8K 水平的 63–70%，低基线与长度敏感是独立失败模式。6）错误画像质不同：IE 错在绑定 46%、TET 错在定位 55%；说话人错在绑定 48%，副语言错在定位 63%，环境声分裂为定位 41% 与无证据作答 39%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多会话语音记忆（32K 预算，整体 799 题） | LLM-judge 准确率（%） | 最强模型 Qwen3.8-Omni-Flash：38.5 | 闭源 5 模型均值 33.0；开源 10 模型均值 21.9；最低 Baichuan-Omni-1.5-7B 17.8 | 基准揭示型结果：无任何模型超过 40%，最强与最弱相差 20.7 个百分点，任务远未解决 |
| 声学必要性校验（Gemini-3.7-Flash，8K，669 个可答题） | 全音频 vs 仅转写准确率（%） | 整体 54.9 → 23.8（$\Delta$31.0） | 语音语义（转写充分对照组）75.9 → 71.0（仅降 4.9） | 说话人 $\Delta$59.5、副语言 $\Delta$39.6、环境声 $\Delta$27.8，证明音频原生题不可由转写作答 |
| 时间演化跟踪 TET×副语言线索（32K，15 模型均值） | 平均准确率（%） | 3.4 | TET×语音语义 44.5 | 相差 41.1 个百分点，暴露非词汇状态保持与更新的根本缺失 |
| 答案拒绝 AR×副语言 / 环境声（32K，15 模型均值） | 平均准确率（%） | 34.3 / 34.2 | AR×语音语义 19.9；AR×说话人身份 16.2 | 拒答分布与作答能力倒挂，说明拒答源于能力缺失而非证据感知 |
局限与改进
作者承认的局限：评测上限 64K（约 20 分钟音频），远小于真实助手跨越数天、数十小时的记忆跨度；数据全部由 TTS 合成（Higgs-TTS-3、固定 VCTK 音色、ESC-50 声音以固定 $10\,\mathrm{dB}$ SNR 混入），与真实录音的信道差异、远场混响、重叠语音有差距；助手轮以文本给出，因此语音输出能力与“记住助手声线”未被测试；IE×语音语义组合因设计被排除。我自己的观察：其一，裁判与构建/质检同为 Gemini-3.7-Flash，虽然不在被评之列，但与被评的三个 Gemini 变体同家族，可能存在家族性偏差，自由文本评分即使 $\kappa=0.95$ 也有系统性宽严风险；其二，基准只测“整段历史塞进上下文”的单体范式，没有 RAG、说话人分离摘要等记忆增强基线，无法判断失败有多少可被简单工程手段缓解；其三，仅英语、20 个话题家族，用户音色池小且都是干净合成音，说话人身份题可能偏易；其四，未报告随机猜测水平与人类基线，“40% 天花板”的含义缺少参照系。
独立分析的弱点
独立分析的弱点与改进方向：1）合成语音分布窄——所有用户均为录音室式的干净 TTS 音色，结论对真实场景（远场麦克风、信道噪声、重叠对话、口音）的迁移性未知，改进方向是混入真实多人录音并重测核心结论；2）缺少记忆系统基线——若把历史转写成文本加说话人分离再加 RAG 检索，语义类题目可能大幅回升，改进方向是加入“转写检索”“音频向量检索”“说话人绑定存储”等对照，把失败定位到声学感知层还是存储检索层；3）评测成本高——15 个模型×4 长度×3,196 个实例（每实例最多 20 分钟音频、288 个片段），建议发布分层子集（如每个场景 20 题）供快速筛查；4）裁判单模型——建议多裁判集成并在人工标注子集上校准，特别是对拒绝类回答的判定规则；5）上下文预算只有 8K/16K/32K/64K 四个点，衰减曲线的形状（断崖还是平滑）无法分辨，可加密采样并拟合衰减函数 $a(L)$；6）AR 题由源题派生，模型可能学到“构造伪迹”而非真正学会证据感知，改进方向是让派生方式多样化。
未来方向
作者指出，可靠的口语对话记忆需要的不只是更长的音频上下文，未来系统必须保留非词汇声学信息及其与说话人、事件、会话的关联。可延伸的方向：1）音频原生记忆架构——为说话人身份与副语言状态设计显式存储（如说话人绑定的事实三元组、语气状态机），在解码时检索注入；2）面向记忆的训练目标——在预训练或后训练中加入跨会话证据绑定与状态跟踪任务，缓解 TET 在副语言/环境声上 3.4%/1.2% 的近崩溃；3）音频历史的检索与压缩——研究哪类证据可以摘要压缩、哪类必须保留原始音频；4）把 VoxMem 协议扩展到真实多会话日志、多语言与天级长度的历史，并补充人类基线校准天花板；5）错误画像驱动的诊断——利用图 7 的定位/绑定/执行三类错误构建自动诊断器，指导模块化改进；6）拒答校准——训练模型学会“因缺少声学证据而拒答”，而不是因能力不足而弃权，这本身就是有价值的研究问题。
复现评估
复现评估：代码在 github.com/swagshaw/voxmem，数据在 huggingface.co/datasets/AudioMemory/voxmembench，随基准发布答案类型规则与裁判提示词（附录 C.4、F），每个实例自带四种长度，评测协议完全透明。复现“跑评测”属中等难度：开源模型需 GPU 推理，长历史下音频编码的显存与时间开销不小（每实例 2.5–20 分钟音频、最多 288 个片段）；闭源模型需调用 Gemini/Qwen API。总音频 177 小时，全量 15 模型×4 长度的成本较高，建议先跑 8K 子集（669 个可答题）再扩展。复现“重建数据集”更难：需要 Gemini-3.7-Flash 与 GPT-5.6-Luna 做计划生成与质检、Higgs-TTS-3 做合成，还需 VCTK、ESC-50、InstructS2S 素材授权，且两层 QC 涉及大量模型调用与人工复核。好在论文给出了完整流水线描述（图 3）与失败模式清单，方法论本身可复用。
论文图表
