HIPLEX：面向全双工语音语言模型的分层策略因子分解 HiPLEX: Hierarchical Policy Factorization for Full Duplex Speech Language Models
把全双工语音RL的“何时说”与“说什么”拆成两级策略，用事件因果掩码精确分配信用。
前置知识
全双工语音语言模型（Full-Duplex SLM）
能同时听和说的语音模型：以固定帧率（Moshi 为 12.5 Hz，每帧 80 ms）流式生成音频，同时持续接收用户音频输入，而不是等用户说完再回答。典型代表 Moshi 在生成音频的同时并行输出一条对齐的“内心独白”文本流，PersonaPlex 在同一骨干上增加了角色与音色提示控制。
本文的全部机制都建立在 Moshi 式“音频+文本同钟流式生成”架构上，pad/epad 文本流正是控制时机的载体，不理解全双工架构就无法理解为何“何时说”可以成为一个独立的决策层。
Moshi 文本流中的 pad 与 epad
pad 是填充 token，表示当前帧模型不产出新内容（可能在听，也可能在持续说话中）；epad 标记一个填充段的结束，即“即将开口说话”；其余所有词表 token 称为内容 token。单个文本 token 本身并不可靠地指示模型此刻是否在出声，需要结合音频来判断。
HIPLEX 的控制策略就是对 {pad, epad, cont} 三个 token 组做三选一，这个分组是从 Moshi 原生词表里直接“读出”的层级结构，是整个方法零新增参数的关键。
GRPO（组相对策略优化）
DeepSeekMath 提出的 RL 算法：对同一 prompt 采样一组 G 个 rollout，每个 rollout 的奖励减去组均值再除以组标准差得到优势 $A_i=(r_i-\bar r)/\max(s_r,\delta)$，从而去掉 critic 网络。它用 PPO 式裁剪的重要性比率更新策略，是本文的基础估计器。
HIPLEX 明确定位为“GRPO 目标层面的修改而非新架构”：奖励组件都先在组内独立标准化，掩码选中哪些决策才是它与扁平 GRPO 的区别。附录 C 还严格刻画了何种条件下该方法退化为 GRPO。
层级强化学习与信用分配
传统 HRL 用 options、manager-worker 等结构把不同时间尺度的决策交给不同组件（Sutton 的 options、FeUdal 网络、HiPER 的子目标分段优势）。信用分配问题问的是：一条轨迹拿到奖励后，该归功/归咎于哪些过去决策？RUDDER 和事后信用分配都试图让奖励落到真正“导致”结果的步骤上。
本文把全双工语音 RL 看作层级信用分配问题，但其层级不是学出来的，而是预训练 softmax 的词表分区；信用掩码不是学出来的，而是从模型自己生成的语音 episode 推导的，这是理解其新颖性的背景。
Silero VAD 与语音 episode
Silero VAD 是一个轻量预训练语音活动检测器，能从音频中提取语音段区间。本文把间隔不超过 1 秒的相邻语音段合并为语音 episode：时长 ≤1 秒的为 short（附和类，如“嗯”“对”），>1 秒的为 sustained（话轮类，真正的接话/回复）。
事件因果掩码完全由这些从模型自己生成音频中提取的 episode、标注事件时间和优势符号共同决定——它们是把“模型实际做了什么”和“该奖励/惩罚哪些控制决策”连接起来的时间基准。
Full-Duplex-Bench v1
评估全双工语音模型话轮行为的流式基准，含四个任务：用户犹豫时保持沉默（pause，137 个合成 + 216 个 CANDOR 自然片段）、不打断地附和（backchannel，55 个）、用户让出话轮后接话（smooth turn，119 个）、被打断后让出并在结束后重新响应（interruption，200 个），指标包括抢话率 TOR、附和频率、响应延迟和 GPT-4o 打的内容质量分。
所有主结果都在该基准上报告；论文还发现其中两个官方指标（Syn TOR、smooth-turn TOR）在流式协议下退化饱和，这一评估批判本身是论文的重要贡献之一。
研究动机
全双工语音语言模型（如 Moshi、PersonaPlex）虽然能边听边说地流式生成语音，但要在实时对话中协调话轮转换、附和、让出话轮等行为非常困难：模型不仅要决定说什么，还要决定何时说、说多久、在什么话轮状态下说。强化学习是改进这些行为的自然手段，但现有方法只解决了一半。ASPIRin 把动作空间投影为二值的“活跃/非活跃语音状态”，DuplexPO 只在标注事件附近的固定动态窗口内用纯时机奖励跑 GRPO，把语义完全排除在 RL 目标之外；Kyutai 团队则把多面奖励直接施加在扁平 token 策略上。这留下两个结构性问题。第一，事件内的信用该落在哪？固定窗口给窗口内每个 token 广播同一个优势，但导致“回复过晚”的帧（犹豫的等待帧）与导致“回复及时”的帧（开口帧）根本不同，错误归因会把时机学反。第二，内容必须被排除在 RL 之外才能保住吗？论文用实验给出否定答案：纯时机训练虽提升时机，却让内容退化——HIPLEX 去掉语义奖励后，interrupt 任务的三元组重复率从 0.002 恶化到 0.098（一个数量级），GPT-4o 判断质量分从 4.083 跌到 2.332；扁平 GRPO 中时机奖励同样流经选择内容 token 的同一策略，加语义奖励也只从 3.859 微升到 3.942。
本文的目标是本文目标是构建一个不改动架构、不新增参数的 RL 后训练框架，同时改进全双工语音模型的时机与内容：把预训练文本策略分解为高层控制策略 $\pi^{\theta}_{\mathrm{ctrl}}$（每帧在 pad/epad/cont 三个 token 组中选择，决定是否以及何时调用内容发射）和低层条件内容策略 $\pi^{\theta}_{\mathrm{cont}}$（仅在 cont 被选中时决定发射哪个内容 token）；把各交互行为的时机奖励经“事件因果掩码”路由到控制决策，把 LLM 评审的语义奖励路由到内容决策。验证目标是在 Moshi 和 PersonaPlex 两个模型家族上，相对扁平 GRPO 基线降低自然停顿和附和机会时的抢话率、缩短被打断后的响应延迟，同时保持甚至提升语义质量，并让模型的时机分布更接近真实人类对话的边际分布；同时揭示现有评估指标的退化问题并给出分布级诊断。
与已有工作不同的是，本文的独特切入是把全双工语音 RL 重新表述为层级信用分配问题（精神上借鉴 HiPER 对 LLM agent 的层级优势估计），但用流式语音特有的机制实现。与 options、manager-worker 等学习式层级不同，这里的层级是“条件式每帧动作层级”：高层 pad/epad/cont 决定该帧是否调用低层内容决策，而且它不是新模块，是直接从预训练 softmax 用 log-sum-exp 聚合读出的词表分区，零新增参数。信用分配也不是学习的：事件因果掩码是从策略自己生成的语音 episode（Silero VAD 提取）加标注事件时间和优势符号推导的符号依赖资格规则——正面优势强化起始帧，负面优势惩罚等待区间而放过开口帧，这是任何固定窗口做不到的区分。与 ASPIRin 的二值动作投影相比，HIPLEX 保留完整内容词表；与 DuplexPO 的固定窗口相比，掩码的位置由模型实际行为决定且随优势符号翻转。论文还带来评估视角的切入：指出 Full-Duplex-Bench v1 的 Syn TOR 与 smooth-turn TOR 在严格流式协议下退化，主张用与人类时机边际分布的 Wasserstein 距离和“边界后词活动”等诊断作为补充。
核心方法
直觉上，一次得体的语音回应由两类性质迥异的决策共同决定——“现在该不该开口”（时机）和“开口后说什么”（内容），它们的反馈来源不同（事件计时 vs. 语义评审）、错误模式也不同，理应各拿各的梯度。技术上，HIPLEX 以 12.5 Hz 帧时钟的 Moshi 式模型为载体。先把文本 logits 除以采样温度 $T_{\mathrm{text}}=0.7$，把词表划分为单元素组 $V_{\mathrm{pad}}=\{\mathrm{pad}\}$、$V_{\mathrm{epad}}=\{\mathrm{epad}\}$ 和内容组 $V_{\mathrm{cont}}$。控制策略对每组计算 $g_t(c)=\log\sum_{v\in V_c}\exp\ell_t(v)$，再对三组做 softmax 得到 $\pi^{\theta}_{\mathrm{ctrl}}(c_t|s_t)$；当 $c_t=\mathrm{cont}$ 时，内容策略在 $V_{\mathrm{cont}}$ 内做条件 softmax：$\pi^{\theta}_{\mathrm{cont}}(w_t|s_t,c_t=\mathrm{cont})=\exp\ell_t(v)/\sum_{u\in V_{\mathrm{cont}}}\exp\ell_t(u)$。两个因子相乘精确重构原 token 概率（float32 下最大重构误差 $7.6\times10^{-6}$），因此完全复用预训练文本头。训练时每个标注交互窗口采样 $G=16$ 个 rollout，时机奖励组件组内标准化后经掩码 $M_t^{(k)}$ 路由：$A^{\mathrm{ctrl}}_t=\sum_k w_k A^{(k)}M_t^{(k)}$；语义优势只加到内容帧 $A^{\mathrm{cont}}_t=A^{(\mathrm{sem})}\mathbf{1}[c_t=\mathrm{cont}]$。最后对两个因子分别做 PPO 裁剪更新，各自带对冻结参考模型的 KL 正则，单阶段更新全部参数。
核心创新有两点。第一，条件式每帧动作层级：高层决定“是否/何时”调用内容发射，低层只在 cont 被选中时决定“发射什么”。它与 option 层级或独立双网络有本质区别——这是同一个 softmax 的精确因式分解，控制概率就是原分布中三个组的概率质量（论文用例子验证：三组 logits 经 log-sum-exp + softmax 后 cont 组的 0.40 恰好等于三个内容 token 的原始概率质量之和），不引入任何新参数，且音频流的时序结构天然赋予高层时机语义。第二，事件因果信用掩码：信用跟随事件结构而非 token 邻近性，且随优势符号翻转。回复及时的正面优势只强化起始帧 $[t^\star, t^\star+0.08\,\mathrm{s})$；回复过晚的负面优势选中等待区间 $[\tau, t^\star)$ 而刻意放过开口帧——惩罚的是“继续等这么久”而不是“开始说话”，若惩罚后者会教模型干脆不说话。插话惩罚只落在实际说出的语音帧上，沉默正确的 rollout 则用正优势强化标注停顿窗口内的沉默决策。论文的消融（Table 4）证明既不是因子化本身也不是稀疏性本身起作用：等稀疏的随机掩码让模型坍缩到近沉默（turn 响应率仅 0.067），只有事件对齐的路由同时保住响应率与克制。这同时解决了扁平 GRPO 中“时机奖励流经选择内容 token 的同一策略导致内容退化”的耦合问题。
方法步骤详情
第一步，数据准备：从 Seamless Interaction 语料只保留对话型交互（naturalistic 与 improvised 子集），按规则提取四类标注交互窗口共 73,561 个（每轴 18.3–18.4k，共 271 小时）：pause 取含内部停顿的 ≥4 s 话轮；turn 取相邻两说话人各 ≥5 s、onset 间隙 ≤0.4 s 的边界；backchannel 取 ≥5 s 话轮内嵌入的 ≤1 s 他人语音；interruption 取 x,y,x,y 四段模式且第三段与第二段重叠（barge-in）、第四段越过其结束 1 s 以上。第二步，rollout：每窗口从 $\pi_{\theta_{\mathrm{old}}}$ 流式采样 $G=16$ 个 rollout，逐帧记录组标签 $c_t$ 与内容 token $w_t$。第三步，语音事件提取：Silero VAD 提取语音段、间隔 ≤1 s 合并为 episode，≤1 s 为 short、>1 s 为 sustained。第四步，时机奖励：turn 用 3 个组件——起始分 $r^{(\mathrm{on})}=\exp(-(t^\star-\tau)^2/2\sigma^2)+\beta\exp(-(t^\star-\tau)/\kappa)$（$\sigma=0.8$ s、$\kappa=4$ s、$\beta=0.3$，缺失响应 −0.5）、线性延迟 $r^{(\mathrm{delay})}$、提前开口罚 $r^{(\mathrm{early})}=-0.5\rho_{\mathrm{early}}$；pause 用插话二值罚和语音占比罚；backchannel 用 F1、软邻近、漏附和、误报、过长 5 项；interruption 用 0.16 s 宽限的重叠罚加重新开口的 onset/delay。每个组件独立组内标准化为 $A^{(k)}_i=(r^{(k)}_i-\bar r^{(k)})/\max(s^{(k)}_r,\delta)$，全员失败的稀疏组用固定负值（−1.5/−1.0）逃生。第五步，掩码路由：按优势符号选帧（正 onset 选起始帧、非正选 $[\tau,t^\star)$ 等，共约选中扁平更新 20–30% 的帧），多组件同帧加权相加。第六步，语义奖励：生成的音频经 Parakeet-TDT-0.6B-v2 转写后由 Gemini 2.5 Flash-Lite 按 0–2 rubric 打分，组内标准化为 $A^{(\mathrm{sem})}$，只加到内容帧。第七步，更新：两因子各自 PPO 裁剪损失（$\epsilon=0.2$）按各自选中决策数归一化，$\mathcal{L}=\alpha_c\mathcal{L}^{\mathrm{ctrl}}+\alpha_l\mathcal{L}^{\mathrm{cont}}+\beta_c\mathrm{KL}(\pi^{\mathrm{ctrl}}_\theta\|\pi^{\mathrm{ctrl}}_{\mathrm{ref}})+\beta_l\pi^{\mathrm{ctrl}}_\theta(\mathrm{cont})\mathrm{KL}(\pi^{\mathrm{cont}}_\theta\|\pi^{\mathrm{cont}}_{\mathrm{ref}})$，AdamW + cosine 调度，学习率 Moshi $4\times10^{-6}$、PersonaPlex $2\times10^{-6}$，16×H100 约 13 小时跑 100 epochs。
技术新颖性
技术新颖性体现在四个层面。对扁平 GRPO：把一个广播到整条 token 流的优势换成两条分别路由、分别归一化、分别裁剪、分别 KL 正则的因子目标，并首次把语义信号与时机信号在 RL 目标内解耦——语义优势只触内容帧，时机优势只触控制帧，从机制上阻断了“时机梯度伤内容”的通路（Table 14 显示加语义奖励后三元组重复率 0.098→0.002，低于所有扁平基线）。对动作空间投影类方法（ASPIRin）：不需要把词表压缩成二值状态，保留完整内容分布。对固定窗口类方法（DuplexPO）：掩码位置由策略自身生成的 episode 决定且随优势符号翻转，“晚回复罚等待、准回复奖开口”的符号依赖规则是固定窗口在数学上无法表达的。对 LLM agent 层级方法（HiPER）：层级不是学出来的而是从预训练词表分区精确读出的，分段价值不是学习的而是音频接地的确定性规则，使整个方法成为 GRPO 的目标级修改而非架构修改。论文还给出严格的数学保证（附录 C）：因子化精确重构原分布、KL 满足链式分解（最大偏差 $5.8\times10^{-7}$）、并刻画了与 GRPO 梯度等价的充分条件（两因子接收相同固定优势、等权、相同资格、共同归一化时退化为 GRPO）。此外，“同一训练配方在不同模型家族上需要不同步长与奖励平衡”的稳定性发现（PersonaPlex 在 $4\times10^{-6}$ 下坍缩为近沉默）本身也是新的实证贡献。
实验结果
主实验在 Full-Duplex-Bench v1 上进行（Moshi 为 seed-42 终点 checkpoint，100 epochs）。Moshi 家族：HIPLEX 相对 GRPO 把 CANDOR 自然停顿抢话率从 0.454 降到 0.306，附和抢话率从 0.309 降到 0.127（附和频率还从 0.110 升到 0.134，即更会附和又更少抢话），被打断后响应延迟从 0.660 s 缩到 0.439 s，GPT-4o 判断质量从 3.942 升到 4.083，平滑话轮响应率 1.000 vs 0.992。配对 bootstrap 给出 CANDOR pause 差异 −0.148 [95% CI −0.222, −0.074]、backchannel TOR 差异 −0.182 [−0.327, −0.036]，均显著。三种子（42/43/44）复现一致：pause 0.329±0.083 vs 0.495±0.050、BC TOR 0.109±0.018 vs 0.297±0.011、延迟 0.466±0.061 vs 0.631±0.026，每次配对比较中克制指标都占优，judge 均值与 GRPO 相当（3.914 vs 3.927）。PersonaPlex 家族：pause TOR 0.218 vs 0.444、BC TOR 0.018 vs 0.236 的克制提升更大，但官方 smooth-turn TOR 降至 0.714、打断延迟略升至 0.590；补充诊断显示 HIPLEX 边界后词活动 47.1% vs 36.1%、首词偏移 0.57 s vs 0.70 s、提前开口比例 79.8% vs 89.9%，说明官方 TOR 低估了其真实参与度。人类分布匹配（Wasserstein-1，Moshi）：turn taking 0.902（GRPO 1.781、base 4.698）、附和频率 0.327（1.512）、附和时长 0.238（0.266）全面最接近人类；GRPO 仅 pause intrusion 更近（0.012），但原因是它几乎从不插话，而人类插话率小而非零。消融方面：语义反馈让 HIPLEX 的 judge 从 2.332 升到 4.083 且时机同步改善，GRPO 加语义仅 3.859→3.942；信用路由消融中 all-frame 使 turn 率跌至 0.958、延迟升至 0.874 s，等稀疏随机掩码崩溃为近沉默（turn 0.067、延迟 3.277 s），fixed-window 牺牲克制换取条件质量 4.273，只有 event-causal 达到 turn 1.000 + pause 0.306 + 延迟 0.439 + judge 4.083 的最佳综合权衡。训练稳定性上，同一 $4\times10^{-6}$ 学习率下 Moshi 稳定收敛而 PersonaPlex 坍缩为近沉默（抑制奖励压过发起奖励），减半学习率只延缓同样结局，需向发起倾斜的重平衡（delay 权重 2.0、yield 权重 0.5、$\beta=0.5$、$\eta=2\times10^{-6}$）才能保持健康训练。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 停顿处理（CANDOR 自然停顿，Moshi） | 抢话率 TOR ↓ | 0.306（三种子均值 0.329±0.083） | GRPO 0.454（0.495±0.050）；base 模型 0.579 | 绝对 −0.148（95% CI [−0.222, −0.074]），相对降低约 33% |
| 附和（Backchannel，Moshi） | 抢话率 TOR ↓ | 0.127（三种子均值 0.109±0.018） | GRPO 0.309（0.297±0.011）；base 模型 0.473 | 绝对 −0.182（95% CI [−0.327, −0.036]），相对降低约 59%，同时附和频率 0.134 > 0.110 |
| 用户打断（Moshi） | 打断后响应延迟（秒）↓ | 0.439（三种子均值 0.466±0.061） | GRPO 0.660（0.631±0.026）；base 模型 3.773 | 缩短 0.221 s，相对约 33% |
| 用户打断（Moshi） | GPT-4o 判断质量（0–5）↑ | 4.083 | GRPO 3.942；base 模型 0.772 | +0.141，且条件于合格响应（192/200 个片段被评分） |
| 平滑话轮转换（Moshi） | 响应率 TOR ↑ | 1.000 | GRPO 0.992；base 模型 0.387 | +0.008（该官方指标接近饱和，区分度有限） |
| 停顿处理（CANDOR，PersonaPlex） | 抢话率 TOR ↓ | 0.218 | GRPO 0.444；base 模型 0.426 | 绝对 −0.226，相对降低约 51% |
| 附和（Backchannel，PersonaPlex） | 抢话率 TOR ↓ | 0.018 | GRPO 0.236；base 模型 0.218 | 绝对 −0.218，相对降低约 92%，judge 2.938 vs 2.712 同升 |
| 人类时机分布匹配（Moshi） | Wasserstein-1 话轮时机距离 ↓ | 0.902 | GRPO 1.781；base 模型 4.698 | 约为 GRPO 的一半；附和频率距离 0.327 vs 1.512（4 倍以上更近） |
| 信用路由消融（Moshi，因子化+奖励固定） | 多指标综合 | event-causal：turn 1.000 / pause 0.306 / 延迟 0.439 s / judge 4.083 | 等稀疏随机掩码 turn 0.067、延迟 3.277 s；fixed-window pause 0.463、turn 0.933 | 证明事件对齐而非稀疏性或因子化本身是效果来源 |
局限与改进
作者明确承认的局限：其一，官方指标部分退化——Syn TOR 对会话起始行为和服务设置高度敏感（移除服务栈静默预热后连 base 模型都 greet 出 0.985 的抢话率，而发布 checkpoint 在不同协议下得分从 0.139 波动到 1.000），smooth-turn TOR 只报告“模型是否说了 ≥1 s 语音”，无法区分提前抢话，两者在复现协议下接近饱和（多个 RL 模型得 1.000），因此作者把主张建立在 CANDOR pause、backchannel 和打断延迟等有区分度的轴上；其二，judge 质量是条件指标（200 个打断片段中仅 191–192 个被判定有合格响应），必须与响应倾向一起读，不能单独比较；其三，PersonaPlex 结果混合，官方 turn TOR 下降、打断延迟略升，且需要更小学习率和奖励重平衡才能避免坍缩为近沉默；其四，控制与内容因子共享同一骨干参数，二者并非行为独立，强化语义反馈会出现“质量升、参与度降”（Table 17 中某 checkpoint judge 4.488 但附和抢话 58.3%、turn 响应率几天后跌到 3.3%）；其五，Wasserstein 距离只比较一维边际分布，不代表联合或上下文条件分布。我自己的观察：语义奖励依赖 ASR 转写加 LLM 评审，转写错误会传播且 0–2 rubric 粗糙（0–5 rubric 反而恶化多数指标）；事件因果掩码的“因果”只是结构资格而非可证伪的反事实量；1 s 的 short/sustained 阈值、0.16 s 宽限等常数均从英语语料标定，跨语言泛化未验证；训练依赖闭源 LLM 评审 API，其版本漂移会威胁长期可复现性。
独立分析的弱点
弱点一：语义奖励信号粗糙且间接。0–2 rubric 只有三个离散档位，附录 O 显示换成 0–5 rubric 反而恶化 pause/BC TOR（0.306→0.407、0.127→0.200），说明训练信号对评分粒度敏感且没有明确的设计原则；且奖励经由 Parakeet ASR 转写间接获得，转写错误会直接污染评审。改进方向：改用成对偏好比较或对相关性/连贯性/信息量分维度打分，并对 ASR 置信度加权过滤。弱点二：事件因果掩码是全套手工规则。附录 E 为四个行为轴的每个组件定义了详细的符号依赖掩码和大量边界情况（跨锚 episode、空掩码回退、帧量化等），新增交互行为（如话题切换、修复、道歉）需要重新人工设计，工程成本高且难以保证最优。改进方向：用反事实扰动或可学习的 credit 模块自动定位因果帧，保留符号依赖原则但自动化。弱点三：训练稳定性对学习率与奖励平衡高度敏感。PersonaPlex 在 $4\times10^{-6}$ 下约 1.75k 步后坍缩为空文本流的连续音频，减半学习率只延缓结局；重平衡配方是逐家族手工调出的。改进方向：动态监测发起/抑制两组奖励的健康度并自适应调整权重或步长，理论上分析抑制梯度占优的条件。弱点四：因子共享参数带来的耦合无保证。两个因子的损失都更新同一骨干，Table 17 证明加大语义权重会同时改变时机行为。改进方向：为内容因子加 LoRA 适配器或梯度投影，使更新在参数空间部分解耦。弱点五：只在英语双人录音语料上训练评估，噪声环境、多人对话、跨语言场景完全未覆盖。改进方向：在多语言和多说话人数据上重复掩码常数与奖励标定。
未来方向
作者在讨论部分（附录 Q）明确提出两个方向：其一，交互偏好条件化——不同人、不同情境对时机的偏好差异巨大（有人希望被听完，有人喜欢快节奏高重叠的交流），既然 HIPLEX 已把发射控制暴露为一个显式概率因子，就可以用显式设置（附和频率、抢话意愿参数）或口头请求（“让我把话说完”“你可以随时插话”）去条件化控制策略，但两因子共享参数下这种条件化是否保住内容质量有待验证；其二，评估端需要能测“模型能否按请求在交互风格间切换”的数据与指标。基于论文成果可自然延伸的方向还有：把事件因果掩码框架推广到更多交互轴（话题转换、修复、情感支持场景的沉默语义）；研究流式/在线 RL 版本（当前是离线 episode 级训练，掩码在 rollout 后固定）；把因子化与 PersonaPlex 式角色控制深度结合，让不同人设带不同交互风格先验；理论上分析双因子裁剪目标的收敛性与两因子梯度干扰的刻画；用更强评审模型或真实人类反馈替代 Gemini 0–2 打分，并与分布级指标（Wasserstein、边界后词活动）一起构成多维评估协议，弥补官方 v1 指标的退化。
复现评估
复现基础较好但门槛不低。有利条件：两个基座模型均为公开 checkpoint（kyutai/moshika-pytorch-bf16 与 nvidia/personaplex-7b-v1），评估基准 Full-Duplex-Bench v1 公开，训练语料 Seamless Interaction 公开可得（只需下载双声道音频与 VAD 标注，约 22.1k 对话、1.6k 小时）；论文附录复现细节极为完整——附录 B 给出逐步训练伪代码，附录 D/E 给出每个奖励组件的精确定义、权重（Table 5）、全部掩码规则与边界情况，附录 F 给出四类窗口的提取规则与统计（73,561 训练窗口、271 小时），附录 G 给出完整超参（$G=16$、每 epoch 32 组、100 epochs、温度 0.7/0.8、audio top-k 250、AdamW β=0.9/0.95、weight decay 0.1、梯度裁剪 2.0、clip 0.2），附录 H 公开全部评审提示词。算力需求：单次训练 16×H100（bf16）约 13 小时，但论文报告了 3 种子复现、学习率扫描、四组信用规则消融、多组语义敏感性实验，完整复现全部表格需要可观的算力预算。主要风险点：一是评估对推理协议敏感——Table 9 显示不同服务设置下 Syn TOR 在 0.139 到 1.000 之间波动，严格对齐流式协议（实时播放、不裁剪、无静默修改）是复现数字的前提；二是训练与评估分别依赖 Gemini 2.5 Flash-Lite 和 GPT-4o 两个闭源 API，版本漂移会改变奖励与 judge 数字；三是论文未明确声明代码开源，RL 训练管线可能需要按附录自行实现，综合难度评估为中高。
论文图表
