Duplex-MPE：全双工对话中的多方交互基准

首个评估语音助手在多人对话中何时开口、保持沉默与让出话轮的全双工基准。

前置知识

全双工语音对话（Full-Duplex Dialogue）

指语音模型在自身合成语音的同时持续监听输入音频的交互范式。传统「半双工」语音助手必须等用户说完再回答，而全双工模型（如 Moshi、MiniCPM-o）边听边说，可以被打断、可以插话、可以在用户改主意时及时收口。其核心是流式输入-流式输出，模型每个时刻都在决定「继续说还是闭嘴」。

本文评测的对象就是五类开源全双工语音系统；只有理解全双工协议才能明白为什么基准要求模型接收连续房间音频、自行决定何时发声，而不是等待系统给定的调用点。

说话人寻址识别（Addressee Recognition / Device-Directed Speech Detection）

判断一句话是对谁说的：对在场某个人、对另一个设备、对助手，还是自言自语。经典工作在 AMI 会议语料上基于转写文本预测每句话的寻址对象；设备导向语音检测则判断用户是否在唤醒某个设备。传统方法把输入限定为已切分、已标注说话人的独立语句。

本文的核心问题是：当寻址判断不再是一个显式分类任务，而是隐藏在端到端语音模型的「说/不说」决策中时，模型能否做对。理解这个领域才能看出本文把分类问题转化为行为测试的独到之处。

语音活动检测（VAD，Silero VAD）

VAD 从连续音频流中检测哪些片段含有人声。Silero VAD 是一个轻量级因果模型，逐帧输出语音概率，常被用作端点检测。本文用它解析模型输出波形：至少 120 ms 的语音才算发声，短于 800 ms 的停顿在同一个发声事件内合并，从而把「模型什么时候开始说话、什么时候停下」变成可测量的时间戳。

基准的全部计时指标（5 秒内新起音、N4R 后 2 秒内停止等）都建立在 VAD 解码出的时间戳上，理解 VAD 的参数才能理解指标的判定逻辑与边界情况。

LLM-as-Judge 与 ASR 组成的自动评分流水线

语音模型输出的音频无法直接与标准答案比对，本文先用 Qwen3-ASR-1.7B 把模型回答转成文本，再让 Claude Opus 5 将其语义与标准答案比较，忽略语气词、礼貌用语和转写噪声，给出正确/错误判定；沉默保持分数中，被检出的短语音也经 ASR+LLM 判断是「简短附和」还是「抢话」。人工抽检显示裁判与标注员一致率 99/100。

本文四个能力分数中有两个依赖这条 ASR+LLM 流水线，理解其工作方式和人工校验结果，才能判断实验数字的可信度以及「裁判模型」可能引入的偏差。

配对实验设计与 McNemar 检验

配对设计指同一场景构造两个版本（显式点名助手 vs 隐式寻址），其余条件尽量不变，从而把响应率差异归因于「是否点名」这一个操纵变量。McNemar 检验针对成对的二元结果（响应/不响应），只统计两版本结论不一致的对子，检验响应概率是否相等，是配对比例比较的标准非参数方法。

论文最 striking 的对照——转写参考模型对显式请求响应率高 64.3 个百分点而语音模型无显著差异——完全依赖这一配对统计框架，不懂 McNemar 就无法理解「未检测到显著差异」这句话的证据强度。

研究动机

真实场景中的语音助手往往身处多人环境——会议室、客厅、车内——在场的人可能互相交谈、对别的设备说话，也可能向助手提问、在助手回答中途由他人把问题解决掉。但现有评测体系覆盖不了这种「共享对话中的选择性参与」：大多数语音基准（Dynamic-SUPERB、AIR-Bench、VoiceBench 等）评测孤立输入，每条数据都期待一个回答，沉默从来不是正确输出；Full-Duplex-Bench v1.5 虽然测试了打断、附和、旁侧对话和背景语音，但其非寻址语音条件只考察模型能否过滤干扰并恢复之前的回复；HumDial 包含第三方语音，但仍假定有一个被服务的「指定用户」；而寻址识别研究（如 Fukuda 等人在 AMI 会议语料上的工作）把每句话和说话人 ID、对齐转写都喂给模型，让它输出一个显式的寻址标签。也就是说，没有任何基准检验过：当任何一个参与者都可能求助、补充证据或替助手解决问题时，端到端语音系统能否只凭连续音频就判断出该不该开口、开口后该不该停。

本文的目标是本文的目标是构造 Duplex-MPE：一个评测多方全双工对话中「选择性参与」能力的基准。具体而言，用 2,000 个包含三到四个人类说话人与助手 Aria 的连续语音场景，每个场景恰好含一个需要回答的请求（T）和多个要求沉默的话轮（N1–N3），并用 N4 事件检验助手能否在别人替它解决问题后停止说话；每个场景构造显式点名/隐式寻址两个版本形成 2,000 对、共 4,000 条被评音频流；用四个独立分数分别度量「发起新回应」「回答正确」「保持沉默」「让出话轮」，全部模型只接收口述职责前言加连续房间音频，不提供转写、说话人标签、话轮边界或任何候选端点。

与已有工作不同的是，本文的独特切入是把寻址识别从「给定语句的分类任务」变成「控制端到端语音输出的潜在决策」：模型唯一的可观测输出就是它选择发出的波形，寻址对错完全通过说/不说、何时说、何时停来体现。第二个独特设计是「寻址反转配对」——同一场景、同一任务、同一标准答案，仅改变 T 是否点名 Aria，从而可以像做对照实验一样隔离「名字作为寻址线索」的影响；第三个设计是拒绝聚合分数，坚持四个能力各用各自分母分别报告，避免「话多」掩盖「答错」，避免「响应覆盖率高」掩盖「从不保持沉默」。

核心方法

直觉上，这个基准就像把语音助手拉进一间有几个人的房间：有人跟它说话（T），有人提到它的名字但没让它做事（N1），有人在跟别人或别的设备讲话（N2），有人自言自语（N3），还有人事先向它提问、随后又被人解决了（N4）。助手必须全程听着，并在正确的时刻做正确的事。技术路线上，整条流水线分五步（Figure 2）：第一步指定场景五属性（地点、共同活动、社会关系、设备背景、说话风格）；第二步由 Claude Opus 5 生成带话轮标签和标准答案的对话脚本，约束恰好一个 T、T 不出现在开头且其后必有后续对话；第三步做寻址反转改写得到显式/隐式配对脚本；第四步用 Qwen3-TTS 按确定性的说话人-音色映射逐话轮合成语音，逐话轮合成同时提供了构造层面的标准话轮边界；第五步由调度器向前缀+连续音频流式播放给被测模型，用因果 Silero VAD 在解码波形上测时间，用 Qwen3-ASR-1.7B 转写、Claude Opus 5 做语义判定，产出四个能力分数。

核心创新有三点。其一，「寻址反转配对」：每个场景的 T 请求生成显式（点名 Aria）和隐式（需从上下文推断）两个版本，场景任务、标准答案、说话人顺序、事件标签序列全部保持不变，仅当 T 无法自然携带识别线索时才同时微调其前一句话。这使「名字是否影响响应决策」成为一个可检验的干预变量。其二，「分母分离的四分数体系」：fresh-onset response rate 只统计 T 结束时未在说话、5 秒内新起音的比例；conditional answer accuracy 只在已发声的 T 上评正确率；silence preservation 覆盖全部 N1–N3 窗口（简短附和可豁免）；answering-window yield 只在「提问时沉默、3 秒内开口、N4R 开始时仍在说」的事件上评停止能力。论文明确论证了响应存在率（response presence）与这些分数的排名相关性为 -0.4303，证明单一响应率会完全掩盖行为差异。其三，纯音频协议：无转写、无说话人标签、无话轮边界，计时全部基于 VAD 而非模型内部 token 时间戳。

方法步骤详情

第一步，场景规格：从五个属性的组合（如「大学宿舍公共休息室 + 选聚餐地点 + 同学 + 房间里还有另一个智能音箱 + 轻松开玩笑的语气」）出发。第二步，脚本生成：Claude Opus 5 产出多人对话脚本，为每个话轮打标签——T（指向 Aria 的未解决请求，每场景恰一个，通过位置分桶控制出现位置且永远不在开头）、N1（提到 Aria 但无请求）、N2（对他人/他物说话）、N3（无明确对象的独白，N1–N3 都要求沉默），并给出 T 的标准答案；N4 由提问句 N4Q 和人声解决句 N4R 构成，二者之间留 3 秒作答窗口。第三步，配对改写：把 T 中的名字替换为上下文线索（而非简单删除，避免句子看起来像对人说的），保持话轮数与标签序列不变。第四步，语音合成：Qwen3-TTS 逐话轮合成，61.10 小时不重复人声片段，4,000 条对话共 110.93 小时，平均每条 99.8 秒。第五步，评测执行：模型从全新流式状态接收「口述职责前言 + 连续场景音频」，T 结束后 5 秒内需新起音，回答后调度器等 2 秒确认静音再推进；N4Q 结束后播放 3 秒静音再播 N4R，若模型仍在说话则检测其在 N4R 开始 2 秒后是否闭嘴并保持沉默；所有计时用 Silero VAD（≥120 ms 判语音，<800 ms 停顿合并），输出经 ASR+Opus 5 判定语义。

技术新颖性

与既有工作的本质区别可以从三个层面看。评测对象层面：Talking Turns、Full-Duplex-Bench、FD-Bench、MTR-DuplexBench 都围绕单一用户与助手的交互（打断、附和、停顿、多轮），HumDial 和 WearVox 只考察「拒绝非指定用户的语音」，而 Duplex-MPE 首次要求助手在同一房间内跟随所有参与者并独立决策自己的参与时机（Table 1 显示它是唯一同时满足流式、非寻址语音、无固定用户、打断让位四项的基准）。任务构造层面：寻址识别文献输出显式标签，本文将其转化为潜在变量，用配对反转设计做因果式干预，并用 McNemar 检验对比文本参考与语音系统对同一干预的敏感度——结果发现转写条件下的 Gemini 3.1 Pro 对显式寻址响应率高 64.3 个百分点（$p<10^{-371}$），而五个语音系统的差异仅 $-1.75$ 到 $+0.60$ 个百分点且不显著，这本身就是方法学上的重要发现。度量层面：四分数分母分离的设计纠正了以往基准用单一响应率或聚合分的误导，论文用 Freeze-Omni（响应存在率 0.9955 但沉默保持仅 0.0002）等反例证明覆盖类指标与能力类指标必须分开。

**Figure 2**: Duplex-MPE dataset construction.

**Figure 3**: Schematic speech timelines for the response-timing metrics.

实验结果

第一组实验（Table 3，显式寻址条件）揭示了五种系统截然不同的行为画像。MiniCPM-o 4.5 在三个计分能力上领先：fresh-onset response rate 0.9500、conditional answer accuracy 0.4730、silence preservation 0.9242，且其响应存在率与 fresh-onset 只差 0.0045，说明它几乎总是在请求结束后新起音而非靠延续旧语音覆盖窗口。Freeze-Omni 则展示了最极端的反差：响应存在率最高（0.9955）、窗口响应 1.0000，但 fresh-onset response rate 仅 0.2525——其 T 话轮中 0.7430 的语音是早已开始的延续——沉默保持在 20,360 个要求沉默的窗口中只通过 5 个（0.0002），近乎不间断说话。FLM-Audio 响应存在率 0.9505，但条件回答正确率仅 0.0011：1,901 个有语音的请求中只答对 2 个。Voila 的画像相反：沉默保持 0.8351、让位分数最高（0.8484），但发起率只有 0.6465，经常错失请求。第二组实验是配对寻址对照：转写条件参考 Gemini 3.1 Pro 在显式寻址下响应率 0.9470、隐式下 0.3040，配对差 0.6430（McNemar $p<10^{-371}$），证明改写确实操纵了决策；而五个语音系统的显式-隐式响应率差仅 $-1.75$ 到 $+0.60$ 个百分点，最小的 $p$ 值 0.2365，均不显著——它们对「是否被点名」不敏感，可能是学会了从语境推断，也可能是根本没把名字当寻址线索。第三组实验（Table 14、15）分析停止行为：显式条件下各模型进入让位分母的事件数为 MiniCPM-o 1,633、Moshi 219、FLM-Audio 977、Voila 620、Freeze-Omni 1（不报告），对应 yield 0.596/0.192/0.008/0.848；FLM-Audio 在 977 个计分事件中 968 个在 N4R 后 2 秒仍在说话，Moshi 177 次失败中 97 次是「到了截止线已静音但又开口」。第四组实验（Table 13）发现请求出现越晚表现越差：Voila 显式条件响应存在率从 71.64% 降到 59.55%，MiniCPM-o 回答正确率从 50.69% 降到 46.82%。鲁棒性方面，沉默保持排名在 0–500 ms 语音时长阈值下不变，自助法 95% 置信区间支持 MiniCPM-o 比 Voila 高 8.25–9.58 个百分点。

**Table 1**: Protocol comparison. ✓: included; ×: absent; n/a: not applicable.

**Table 3**: Results by T addressing condition. Bold marks the highest reportable value per condition and scored metric.

**Table 4**: A complete scenario with explicit T addressing: four classmates choosing a venue, 13 turns, 99.2 s.

**Table 14**: Events entering answering-window yield. Q and R denote the N4 question and resolution; the answering interval is the 3 s gap between them.

**Table 15**: Stopping outcomes among scored N4 events. Still voicing: speaking at the 2 s deadline; resumed: silent then, but speaking again before observation ends.

查看结构化数据

任务	指标	本文	基线	提升
请求响应发起（T 请求后新起音，显式寻址）	Fresh-onset response rate	MiniCPM-o 4.5：0.9500	Freeze-Omni：0.2525（其余：Voila 0.6465，Moshi 0.6340，FLM-Audio 0.5380）	+69.75 个百分点（相对 Freeze-Omni）
回答正确率（已发声的 T 请求上，显式寻址）	Conditional answer accuracy	MiniCPM-o 4.5：0.4730	Moshi：0.0123（FLM-Audio 0.0011，Voila 0.0031，Freeze-Omni 0.0035）	+46.07 个百分点；其余模型均低于 2%
沉默保持（N1–N3 窗口，显式寻址）	Silence preservation	MiniCPM-o 4.5：0.9242	Freeze-Omni：0.0002（20,360 窗口仅 5 个通过）	+92.40 个百分点
回答后让位（N4 事件，显式寻址）	Answering-window yield	Voila：0.8484（n=620）	FLM-Audio：0.0082（n=977；Moshi 0.1918，MiniCPM-o 0.5964）	+84.02 个百分点（相对 FLM-Audio）
显式 vs 隐式寻址响应率（配对对照）	Paired response-rate difference (McNemar)	Gemini 3.1 Pro（转写参考）：+64.3 pp，p < 10^-371	五个语音系统：-1.75 至 +0.60 pp，最小 p = 0.2365（均不显著）	文本模型对名字线索极其敏感，语音系统普遍不敏感

局限与改进

作者明确承认的局限：所有对话均为合成数据、纯英语场景，不代表真实人群、房间声学与社会规范，可能继承生成模型（Claude Opus 5、Qwen3-TTS）的偏差，结论只适用于基准场景本身；转写参考 Gemini 3.1 Pro 既非声学系统也非语音模型的上界。我自己的观察：其一，普通话轮之间以静音分隔、无真实重叠语音和串音，比真实多人房间（CHiME、AMI 类条件）简单得多，模型表现可能被高估；其二，语义判定依赖 Claude Opus 5 裁判，且「简短附和不抢话」的豁免判断本身由同一裁判做出，虽有 99/100 的人工一致性抽检，仍存在系统性裁判偏差风险；其三，answering-window yield 是覆盖条件化的指标，Freeze-Omni 只剩 1 个合格事件导致其让位能力实际不可评，各模型分母差异悬殊（620 vs 977 vs 219）使横向比较需谨慎；其四，只评了五个开源系统，缺少闭源全双工模型（如 GPT-4o 实时语音）的对照；其五，每个场景只有一个标准答案，衡量开放性回答的语义正确性可能低估措辞合理但表述不同的回答。

独立分析的弱点

弱点一：合成语音+话轮间静音的理想化音频。真实客厅和会议室充满重叠语音、笑声、背景噪音和远场衰减，五个人声由 Qwen3-TTS 以确定性音色合成，模型可能学会依赖干净的换话轮静音来定位话轮边界；改进方向是引入混响、噪声叠加和真实重叠片段的消融版本。弱点二：沉默保持与让位的判定粒度依赖 VAD 阈值与 LLM 裁判的复合流水线，例如 Moshi 的 97 次「静音后又开口」失败说明 2 秒截止规则可能与模型自然的收尾拖音冲突；改进方向是报告多套 VAD/阈值下的敏感度曲线（论文已在附录做了 0–500 ms 阈值实验，可推广为标准做法），或引入双人标注。弱点三：条件回答正确率把「没回答」排除在外，一个响应率 0.25 的模型可能因只在有把握时才开口而获得虚高的正确率；改进方向是同时报告把沉默计为错误的整体请求解决率。弱点四：缺少延迟与流式开销的刻画——分数未反映响应时延分布，而实时助手的体验高度依赖发起延迟；改进方向是报告起音时间分布（论文已记录 5 秒窗口内的时间戳，可直接复用）。弱点五：语言与文化单一，全部场景为英语，寻址习惯（称呼名字、称呼角色）因语言差异很大，多语言版本才能支撑普适结论。

未来方向

作者方向：同一套分类学与自动生成/评测流水线支持更大规模或新鲜抽取的评测集，而不是固定的人工标注集；可扩展到更多场景属性组合。基于成果可延伸的方向：其一，把 N4 协议推广到更细粒度的话轮释放——如助手被打断后让位、被纠正后改口、被问后续问题时接续；其二，在训练侧利用该流水线合成带话轮标签的多方对话数据，直接优化语音模型的选择性参与能力（当前五个模型在条件回答正确率上的惨淡表现——除 MiniCPM-o 外全部低于 2%——说明现有训练目标几乎不包含这类能力）；其三，研究「隐式寻址推断」的机制：语音系统对名字不敏感究竟是成功推断还是完全忽视，可通过操纵语境线索强度做梯度实验；其四，将评测扩展到真实录音（AMI、自然家庭录音）与多模态（视线、朝向是寻址识别的重要线索）；其五，建立响应时延、打断行为与正确率的联合 Pareto 分析。

复现评估

复现条件相当好。作者承诺公开：场景清单（manifests）、逐话轮音频与构造边界、职责前言文本、调度器与 VAD 检测器参数、逐场景随机种子和全部评分代码；所有报告值均由脚本从固定清单和判定文件计算。被测系统全部为开源权重模型（MiniCPM-o 4.5、Moshi、FLM-Audio、Voila、Freeze-Omni），仅转写参考 Gemini 3.1 Pro 需 API。评测是纯推理任务：4,000 条对话平均 99.8 秒音频流过每个模型，主要成本是推理时间和 API 调用（TTS 预计算一次，ASR 用 1.7B 小模型，语义裁判用 Claude Opus 5），无需训练算力。生成侧依赖 Claude Opus 5（脚本+改写+裁判）和 Qwen3-TTS，需注意 API 版本漂移可能影响可再生性。人工校验流程有完整记录（100 条对话有效性检查通过率 98%–100%，1,282 条 TTS 话轮全部可懂，200 条 ASR 转写保义，裁判与人工一致率 99/100 与 98/100）。总体难度中等：具备多 GPU 推理环境与少量 API 预算的团队可在数天内复现主表；主要工程量在调度器与 VAD 计时逻辑的精确对齐。

Duplex-MPE：全双工对话中的多方交互基准 Duplex-MPE: Benchmarking Multi-Party Interaction in Full-Duplex Dialogue