SteerDuplex：可按指令控制语气、人设与语速的全双工语音对话模型 SteerDuplex: Steerable Duplex Speech Dialogue Models
基于Moshi的全双工语音模型，经SFT与两阶段RL实现语气人设语速可控
前置知识
全双工语音对话模型
指模型同时处于监听和说话状态的语音对话系统：不需要等用户说完才响应，而是在持续的音频流上实时决定何时开口、何时沉默、何时让出话轮。它天然支持低延迟话轮转换、打断处理和听者反馈（如 mm-hmm），与传统的先转写再生成的级联式语音助手有本质区别。
本文的一切设计（连续性奖励、打断积分、backchannel 处理）都建立在全双工流的时序特性之上，不理解听与说并存的机制就无法理解奖励为什么要区分响应、让话、等待、续说四种行为。
Moshi 架构
Kyutai 开源的全双工语音模型，用时序 Transformer 处理用户/助手双音频流与时间对齐文本流的联合序列，用深度 Transformer（RQ-Transformer）在每帧内逐层预测 8 个残差量化（RVQ）音频码本，联合生成频率 12.5Hz。文本流承担语义，音频流承载韵律与时序。
SteerDuplex 完全保留 Moshi 7B 骨干与编解码器，只在后训练（SFT+RL）层面改动；RL 的策略损失只作用于文本流动作这一设计也源于 Moshi 的文本-音频耦合结构。
可控性
指模型能可靠地按用户指令改变语气、人设、口音风格、语速与回答长度等行为属性，并跨话轮稳定保持。可控生成研究早已区分它与普通的指令遵循：后者是完成任务，前者是以指定的方式完成任务，且需要跨轮一致性。
本文的核心论点是：全双工模型的话轮管理很流畅不代表可被操控——Moshi 音频操控通过率仅 20.55% 就是明证。理解这个区分才能理解 SteerBench 为何把内容与传递方式分开评分。
GDPO 与组归一化强化学习
GRPO 家族方法对同一上下文采样一组 rollout，用组内均值和标准差归一化奖励得到优势。GDPO（组奖励解耦归一化策略优化）更进一步：对每个奖励分量单独归一化再加权求和，公式为 $\hat{A}_i = \sum_k w_k \frac{R_i^{(k)} - \mathrm{mean}(R^{(k)})}{\mathrm{std}(R^{(k)}) + \epsilon}$，防止某分量量纲过大主导更新；组内为常数的分量不产生梯度。
SteerDuplex 的 RL 全部建立在这个公式上，且作者指出其局限：当某个分量（如波形有效性）在组内变常数时，它无法抵抗其他分量的优化，这正是阶段 2 中目标互相干扰的技术根源。
Backchannel 与 barge-in
Backchannel 是听者在对方说话时发出的简短反馈（mm-hmm、I see），不意在夺取话轮；barge-in 则指模型在用户仍在说话（如停顿、思考）时贸然插话抢走话轮。两者是全双工交互质量的核心指标：好的系统对前者继续说话、对后者保持等待。
本文 RL 的两个阶段正好对应这两个行为：阶段 1 的连续性项防止模型用短答复骗时机奖励，阶段 2 的续说奖励专攻在 backchannel 后继续说下去；barge-in 率从 26.5% 降到 9% 是 RL 最显著的战果。
奖励劫持
指策略找到了让奖励变高但不符合设计意图的捷径，例如保持静音就能白拿打断让话积分、只输出空语音就能满足时机奖励。检测手段是奖励探针：固定其他条件，只用单一奖励目标训练，观察模型是否产生空输出等退化行为。
本文第 7 节系统展示：promptness-only 目标拿到 0.670 标量奖励却让 25/96 个 rollout 输出为空，联合目标把空输出压到 4/96。这段分析是理解为什么要加波形完整性门控和连续性项的关键。
LLM 评审与评分标准
用大语言模型按人工撰写的二元评分标准自动判卷：文本标准从转录判断内容合规，音频标准结合固定参考片段判断语气、语速等声学属性是否达标。聚合层级分三种：单条标准通过率、音频操控 APR（全部音频标准通过）、样本 APR（音视频标准全通过）。
SteerBench 的 1067 条标准（438 音频/629 文本）和 Gemini 3.6 Flash 判卷既是 RL 的奖励来源又是评测工具，评审偏差会同时污染训练信号和报告分数，是理解本文结论可信度边界的前提。
研究动机
现有全双工语音模型（Moshi、PersonaPlex 等）已能同时监听与说话，流畅处理话轮转换、打断和听者反馈，但这只解决了『何时说、何时停』，完全没有解决『按用户要求改变说法方式』。真实用户会说『这通电话剩下的部分都带点讽刺』、『我房间很吵请大声点』、『只用一句话回答』、『现在扮演一位 70 岁退休文学教授』，而现有模型对此基本无能为力。作者用自建 SteerBench（390 条语音提示、1067 条人工二元评分标准、同一 Gemini 3.6 Flash 评审）做对照测试：Moshi 的音频操控平均通过率（APR）仅 20.55%，PersonaPlex 仅 16.44%，即约八成的操控指令被无视。同时通用能力也薄弱：Audio MultiChallenge 上最强开源基线 PersonaPlex 的多轮任务完全通过率只有 6.64%，语音编辑（VE）轴更是接近 0 分。流畅的话轮管理与指令遵循是两种独立能力，前者完全不保证后者。
本文的目标是本文的三层目标相互支撑。第一，把全双工语音模型的可控性形式化为一个能力分类体系：自然语言操控（语气持续控制、人设、语速与长度控制、声音风格编辑、对话中途操控）、声学理解与适配（副语言线索理解、从口音年龄环境推断细节、按要求调整音量音高、音频上下文记忆）、以及通用全双工交互（话轮转换、优雅打断、backchannel、停顿处理、拒绝不安全请求、话语中自我修正）。第二，构建 SteerBench：390 条带具体任务的英语语音提示，配合 1067 条人工撰写的二元评分标准（438 条音频、629 条文本），把『说的内容对不对』与『声音传递方式对不对』分开评估，音频标准用固定参考片段锚定声学目标。第三，通过监督微调打下操控与任务能力基础，再用连续性感知的两阶段强化学习打磨打断响应与停顿处理，全程不牺牲已获得的通用任务成绩。
与已有工作不同的是，已有工作各自只覆盖一角：PersonaPlex 把角色和音色做成显式条件输入但不针对指令式操控；F-Actor 用监督模仿学交互控制；ASPIRin 把『是否说话』的决策与 token 选择隔离；Ohashi 等人组合交互奖励与语义反馈但用精确全分布 KL。本文的独特切入有三点。其一，坚持内容与传递方式的证据分离：文本评审无法判断韵律和语速，必须用人工校验过的固定参考音频片段把声学标准具体化，且参考片段评测不进入 RL 目标以免循环。其二，直面全双工特有的奖励劫持：指出『保持沉默就能白拿打断让话积分』的捷径（打断积分因此要求助手先有语音），并用连续性项与续说奖励堵住『用短答复或空语音骗时机奖励』的漏洞。其三，诚实地把 RL 的阴暗面作为贡献报告：单目标奖励的空输出探针、以及阶段 2 内打断奖励与续说时长此消彼长的干扰现象，都给出了量化证据而非掩盖。
核心方法
方法直觉：全双工模型像一位既要听懂「说什么」又要听懂「怎么说」的对话者，训练分两步——先用大量自然对话加定向合成样本教会模型执行操控指令（SFT 打底），再用强化学习打磨何时开口、何时让话、被反馈后是否续说。技术上完全保留 Moshi 7B 骨干：时序 Transformer 处理用户/助手双音频流加时间对齐文本流，深度 Transformer 逐层预测 8 个 RVQ 音频码本，12.5Hz 联合生成，上限 300 秒。SFT 阶段在助手文本流前缀自然语言系统提示（损失中掩码，训练推理同格式），混合 504416 条音频记录与 65675 条文本记录（88%/12% 采样权重），音频总时长 8510.9 小时，用 Qwen3-ForcedAligner-0.6B 做词级对齐并施加轮次感知损失掩码。RL 阶段用 GDPO 在每个 rollout 组内对每个奖励分量单独归一化：$\hat{A}_i = \sum_k w_k \frac{R_i^{(k)} - \mathrm{mean}(R^{(k)})}{\mathrm{std}(R^{(k)}) + \epsilon}$，防止某分量量纲主导更新，再按时机 1.0、连续性 0.5、判卷 0.75、续说 2.0 加权组合。
核心创新一：把可控性拆成需要不同证据的两类目标并分别奖励。文本评分标准（Gemini 3.6 Flash 判卷，权重 0.75）评估回答是否完成任务；音频参考评分标准评估语气、语速、发音、自然度等传递方式，固定参考片段让声学标准有具体锚点（但不进入 RL 目标）；时机奖励（权重 1.0）区分响应、让话、等待、续说四种行为；波形完整性门控拒绝静音、削波与无效输出。创新二：连续性感知的两阶段 RL——第一阶段加入权重 0.5 的响应连续性项和 4 秒首响应目标，专门惩罚『满足时机事件却不维持回答』的短答复；第二阶段在噪声和用户 backchannel 事件上加权重 2.0 的续说时长奖励（4 秒目标）并配专用采样，专攻『听者反馈不代表抢话』这一判断。创新三：策略损失只作用于文本流动作（且包含采样的 padding token，因其编码停顿与语音起始时机），每阶段冻结初始模型作为 KL 参考并用自适应采样动作 KL 惩罚，替代 Ohashi 等人的精确全分布 KL。这些设计共同针对语音 RL 特有的失败模式：静音拿分与过早让话。
方法步骤详情
第一步，SFT 数据构建：混合自然对话（真实韵律、重叠、话轮结构）与定向合成样本（指令遵循、操控、全双工交互、安全、推理），做语义一致性、音频有效性、来源、隐私、安全五类质检；按对齐边界切分对话，系统提示前缀期间双音频流静音并用分隔符标记结束。第二步，SFT 训练：按 88%/12% 混合、词级对齐、轮次感知掩码、300 秒上限，得到 SteerDuplex-SFT。第三步，RL 窗口构建：从话轮、打断、停顿、backchannel、噪声、语音镜像场景抽取交互窗口，每窗口含对齐的用户音频、助手历史、转录、时机目标与语义评分元数据，同组 rollout 共享上下文，并过滤 CANDOR 中与评测重叠的材料。第四步，RL 阶段 1（响应连续性）：从 SFT 检查点出发，时机 1.0、连续性 0.5、转录判卷 0.75、波形门控，打断积分要求助手先有语音。第五步，RL 阶段 2（反馈后续说）：策略与 KL 参考均从阶段 1 检查点初始化，保留连续性项，新增权重 2.0 的续说时长奖励（4 秒目标）与专用 backchannel 采样。第六步，在独立开发集上选检查点并在基准评测前冻结。
技术新颖性
评测层面：SteerBench 是首个把操控请求下的内容正确与参考音频锚定的传递方式正确分开打分的全双工基准，390 条提示、1067 条人工标准（438 音频/629 文本），并定义音频操控 APR、样本 APR、单条标准通过率三级聚合。目标设计层面：把 RLVR 式可验证交互奖励（时机、波形有效性）与 LLM 判卷语义奖励经 GDPO 分量归一化组合，针对语音特有失败模式（静音拿分、短答复骗分、backchannel 后过早收话）设计连续性项与续说奖励，实质改进了 Ohashi 等人的单阶段配方（其对照下 backchannel 后仅续说 1.10 秒）。流程层面：两阶段课程先建立响应连续性再强化反馈后续说——从 SFT 直接上最终奖励只能得到 16.8% 停顿 barge-in，分阶段达 9%。分析层面：用 96 rollout/条件的奖励探针量化单目标奖励导致 25–47 个空输出，并展示阶段 2 内打断奖励 0.450→0.793 与续说时长 3.20→2.00 秒的负相关，把奖励劫持问题首次系统地带入全双工语音场景。
实验结果
可控性跃升是最大发现：匹配条目、同一评审下，SteerDuplex-SFT 音频操控 APR 达 65.10±1.13%，比最强开源基线 Moshi 的 20.55% 高 44.5 个百分点（PersonaPlex 仅 16.44%）；但按类别全约束通过率仅语气 49.7%、人设 51.1%、风格口音 48.4%、语速长度 32%，完全合规仍难。通用任务：AudioMC 上 APR 13.64±0.28%、ARS 37.17±1.33%，约为 PersonaPlex（6.64%/20.56%）的两倍；FDB-v2 均分 4.17（Moshi 2.59、PersonaPlex 2.65）；VoiceBench 40.87±0.27（Moshi 38.55）。RL 收获：FDB-v1.5 源干净打断响应 72.5%→82.5%，backchannel 后续说 71.4%→80.6%，合成停顿 barge-in 26.5%→9%（−17.5pp）；同时 SteerBench 标准通过率 63.75%→65.22%、AudioMC APR 13.64%→14.38%、VoiceBench 40.87→41.38、FDB-v2 均值保持 4.17、backchannel 抢话率 9.1%→4.8%，即交互增益几乎不牺牲任务能力。代价：RL 后日常任务中 32.3% 的话在考官说话时结束（SFT 23.6%）；阶段 2 内打断奖励 0.450→0.793 而 backchannel 后续说 3.20→2.00 秒、噪声鲁棒奖励 1.96→0.77。奖励探针：promptness-only 拿 0.670 标量奖励却让 25/96 rollout 空输出（仅文本评审 47 个），联合目标降到 4/96、duplex 分 0.371。消融：原配方对照 backchannel 后仅续说 1.10 秒、话轮 3.93；从 SFT 直接上最终奖励 barge-in 为 16.8%（分阶段 9%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SteerBench 音频操控（语气/人设/风格口音/语速长度） | 音频操控 APR（%，三次运行均值） | 65.10±1.13 | Moshi 20.55；PersonaPlex 16.44 | +44.5 个百分点（相对最强开源基线 Moshi） |
| Audio MultiChallenge 多轮口语鲁棒性 | APR / ARS（%） | 13.64±0.28 / 37.17±1.33 | PersonaPlex 6.64 / 20.56；Moshi 3.98 / 14.29 | APR 约 +7 个百分点，指标约翻倍 |
| Full-Duplex-Bench v2 多轮任务会话 | 任务均分（1–5） | 4.17（SFT 与 RL 相同） | PersonaPlex 2.65；Moshi 2.59 | +1.52 分，四个任务族全面领先 |
| VoiceBench 口语指令遵循 | 总评分 | 40.87±0.27（RL 后 41.38） | Moshi 38.55；PersonaPlex 30.51 | +2.32（对 Moshi） |
| FDB-v1.5 源干净打断（498 对样本） | 正确响应率（%，RL vs SFT） | 82.5 | SFT 72.5 | +10 个百分点 |
| FDB-v1 源干净合成停顿 | Barge-in 抢话率（%，越低越好） | 9（RL，三次运行） | SFT 26.5 | −17.5 个百分点 |
局限与改进
作者承认：SteerBench 只覆盖受控英语与固定参考片段，不涉及跨语言、方言、真实录音条件的自由个性化；部分细粒度风格仍低于基线；重复评测取自不等大小池中三次最高分解码的均值，可能虚高；FDB-v1.5 每检查点只解码一次；官方 FDB-v1 话轮/停顿条目与 CANDOR 训练数据重叠只能作诊断；RL 检查点在部分 FDB-v2 情境过早让话；单阶段对照更新次数更少，无法证明分阶段本身是增益来源；骨干固定为 Moshi 7B，未分离骨干、数据、奖励设计的贡献；延迟只报均值；自动安全检查不等于部署安全。我的补充：Gemini 3.6 Flash 既产生 RL 语义奖励又当评测裁判，存在考官即教官的循环风险，且换 gpt-5.4-mini 重评共同池时话轮差异转为 −0.059（Gemini 下 −0.074），两评审都发现该池内话轮损失，提示部分 RL 增益可能是评审特异性过拟合；音频评审依赖固定参考片段比对，可能偏爱该特定实现；语速/长度类全约束仅 32%、VE 轴仅 2.56 分，是明显硬缺口；SteerBench 与 AudioMC 缺少第二评审验证。
独立分析的弱点
弱点一：判卷循环。Gemini 3.6 Flash 同时充当 RL 语义奖励与绝大多数评测的裁判，模型可能学会讨好该评审而非满足人类听感；第二评审研究仅在 FDB-v2 话轮上做过且结果为负。改进方向：训练与评测用不同评审族并报告跨评审一致性，补充人类听感盲测锚点。弱点二：目标间干扰无机制解释——阶段 2 中打断奖励上升伴随续说时长 3.20→2.00 秒、噪声鲁棒奖励 1.96→0.77，组内归一化在分量变常数时失效；可改用约束式优化（对连续性设下界的 Lagrangian 方法）或按组内方差动态调权，替代静态权重 1.0/0.5/0.75/2.0。弱点三：全约束合规率低，语速/长度类仅 32%，缺词级时长监督；可在已有 Qwen3-ForcedAligner 对齐管道上加显式 syllable-rate 目标作辅助奖励。弱点四：策略梯度只经文本流、音频码本无直接损失，音色/音量操控（VE 仅 2.56）可能受此上限约束；可在深度 Transformer 上加音频级奖励或对抗式波形判别器。弱点五：SFT 主收益依赖 8510.9 小时数据与合成配方，缺数据配比消融，且 8510.9 小时含重复源、并非去重时长。
未来方向
作者明确提出的方向：时机收益必须与响应完整性一起评估（孤立奖励导致空语音已被证实）；把让话与续说的冲突作为一等公民建模而非事后修补；隔离骨干、数据、奖励设计的贡献；扩展到多语言、方言与真实录音条件下的自由个性化；开展部署安全评估。基于本文成果可延伸的研究：用过程奖励模型替代单点评审，在 rollout 组内对部分正确的长响应给学分，缓解全有全无判卷的稀疏性；引入用户模拟器做多轮在线 RL，让模型在真实退避中学习续说与让话的边界；把固定参考片段替换为可控声学属性向量（音高、语速、音量的连续插值控制），使操控从『模仿某段录音』升级为『沿属性轴移动』；对音频码本直接做 RL；把空输出探针等奖励劫持检测形式化为训练中的早停信号；将两阶段课程推广为多目标能力锁定式调度——每当新阶段可能侵蚀旧能力时自动回退或加权。
复现评估
复现难度偏高但路径清晰。代码与模型在 GitHub（github.com/Utkarsh4430/SteerDuplex）公开，SteerBench 的构造细节在附录 D（评审协议 D.2、人类一致性 D.5），训练超参与奖励权重表在附录 A/A.1，数据构成与伦理在附录 G。主要门槛有四：算力——骨干是 Moshi 7B 加流式编解码器，SFT 覆盖 8510.9 小时音频、504416 条记录，RL 需大量 rollout 采样并常驻冻结 KL 参考模型，显存与吞吐要求接近大型实验室配置；API 成本——语义奖励与评测反复调用 Gemini 3.6 Flash，大规模判卷费用可观且结果随模型版本漂移；数据——CANDOR 公开可用，但 1067 条人工评分标准与定向合成操控数据需团队级标注复刻；工程依赖——Qwen3-ForcedAligner-0.6B 词级对齐、12.5Hz 流式推理管道。对资源有限的团队，建议先复现评测侧（下载公开检查点跑 SteerBench、验证三个聚合指标），再考虑缩小规模复现单阶段 RL。
论文图表
把全双工语音对话能力分为三族并各给示例交互：文本操控（语气跨对话持续控制、人设扮演、语速与长度控制、声音/风格编辑、对话中途操控）、音频操控（副语言理解如察觉叹气、从口音年龄环境推断声学细节、音量音高调整、音频上下文记忆、话语中自我修正如改口报警时间）、通用全双工能力（约 500ms 内响应的话轮转换、被打断时立即让话、适时 backchannel、停顿处理、优雅拒绝与失败、话题切换时的自我一致性）。图注强调示例是示意而非模型输出或延迟测量，且该分类的设计空间大于本基准覆盖范围。
这是全文的组织骨架：SFT 数据配方的五个定向方向、SteerBench 的四个评测维度、以及与 AudioMC/VoiceBench/FDB 的互补分工都由此分类体系推导而来。不理解这张图就无法理解为什么评测要把内容与传递方式分开。
第二 RL 阶段的训练快照三联图：(a) 含续说成分的噪声鲁棒奖励从 1.96 降到 0.77；(b) 自然开发对话上的打断奖励从 0.450 升到 0.793；(c) 用户 backchannel 后的续说时长从 3.20 秒降到 2.00 秒，低于 SFT 参考的 2.60 秒。作者指出这可能反映交互目标间的干扰但未能隔离机制。
揭示多目标 RL 中『越优化越偏科』的实证现象：打断能力的提升以牺牲续说与噪声鲁棒为代价，直接支撑结论部分『时机收益必须与响应完整性一起评估』的主张，也是 GDPO 组内归一化局限的具体注脚。