投机监听：先于音频到达的分块交错全双工语音模型解码加速 Decode Before You Hear: Speculative Listening for Chunk-Interleaved Full-Duplex Speech Language Models

完整流程分六步。（1）起草：块 t-1 的计算一结束就进入 idle window，模型在自身 KV cache 上按 $\tilde{y}_i = \arg\max_{y \in V} p_\theta(y \mid x_{<t}, a_{\text{sil}}, \tilde{y}_{<i})$ 贪心解码，直到出现块结束 token 或窗口时间用尽，得到主草稿 $\tilde{y} = (\tilde{y}_1, \ldots, \tilde{y}_\gamma)$；起草超出窗口预算的部分会计入下一块的后音频延迟。（2）备选分支：若窗口还有剩余时间，从第一 token 的次优候选 $\arg\max_{y \in V \setminus \{\tilde{y}_1\}} p_\theta(y \mid x_{<t}, a_{\text{sil}})$ 再解码一条 runner-up 分支，覆盖'决定听还是说'这一常见分歧点。（3）入池：本块草稿连同会话中所有更早的草稿存入按 N-gram 索引的 hypothesis pool。（4）一次前向验证：真实音频 $a_t$ 到达，KV cache 回滚到 $x_{<t}$ 末尾，单次前向吞入 $(a_t, \tilde{y})$，同时完成音频 prefill 和各位点的目标分布 $p_i = p_\theta(\cdot \mid x_{<t}, a_t, \tilde{y}_{<i})$ 计算；按 $n = \min(\{i-1 \mid 1 \le i \le \gamma,\ \tilde{y}_i \neq \arg\max p_i\} \cup \{\gamma\})$ 接受前 n 个草稿 token，并提交修正 token $\arg\max p_{n+1}$。（5）池查找续写：若输出尚未结束，后续每次前向先在池中查找与已输出后缀匹配的最长 N-gram，把其延续拼进输入，于是后音频前向次数只随'所有草稿都没覆盖的 token 数'增长。（6）随机采样时改用 speculative sampling 验证，保证输出分布与自回归解码一致。整条流水线保证每次前向至少提交一个 token，后音频前向次数永不超过自回归解码。

技术新颖性体现在四个方面。其一，input-time speculation 是范式级挪动：把投机解码的输入从'已到达的真实输入'换成'假设输入'，这在文本投机解码文献中没有先例，与 PredGen 这类级联流水线的预生成也不同——本文没有第二条流水线，草稿和验证用的是同一个模型和同一份上下文。其二，观察驱动的系统设计：论文先做了无时间限制的 oracle 探针（每块用真实音频和静音各解码一次对比），用 95.3% 匹配率和 87.7% 首 token 分歧率这两个数字反推出 runner-up 分支和草稿池两个机制，属于'先测性质再设计机制'的少见做法。其三，跨块 hypothesis pool 利用了全双工对话特有的结构：工具调用横跨多个块、用户说话期间的静音草稿已包含调用的前缀（case study 中 chunk 2 起的草稿就含 find(TYO, Fri)），这使几十 token 的调用在真实音频到达时几乎整个已在池中，带来 23.41 倍的极端加速——文本投机解码没有这种跨请求复用结构。其四，TickTock-Bench 首次为分块全双工模型建立了以块截止期为核心度量的统一解码评测协议，类似 Spec-Bench 之于文本投机解码。

弱点一：静音假设在声学条件偏离假设时退化。具体场景：咖啡馆背景音乐、键盘声、用户抢话（overlap speech）都会让 $a_{\text{sil}}$ 与真实输入差异巨大，Realtime-Venus 用户说话时 37.9% 的验收率已经预示了这一点——此时草稿几乎全废，方法退化为普通 AR 甚至因浪费的起草前向略慢。改进方向：用流式声学特征而非数字静音作输入假设（作者已提出），或维护按音频能量门控的多个假设分支（静音/低能量/高能量），音频到达后选择最接近的分支验证。弱点二：并发可扩展性。具体场景：云端客服同时服务数百路会话时，每路会话独占 GPU 的 idle window 不存在，预计算与实时块互相争抢。改进方向：设计草稿预算调度器，按会话延迟优先级动态分配 idle window；或用 chunked prefill 把多会话的音频 prefill+验证合并进同一批，摊薄验证成本。弱点三：机制建立在'分歧集中于第一 token'的经验观察上，缺少理论保证。若未来模型带显式推理 token、中途反转决定（先说后改听）比例上升，runner-up 的边际收益会缩水。改进方向：按第一 token 的 top-k 建树形草稿（spec tree），一次性覆盖多个可能起点。弱点四：评测口径只计 Thinker，未把 Talker 合成延迟计入端到端体感；且在单卡 bfloat16 batch=1 下测得，对生产环境（量化、vLLM 类服务框架、多卡）的外推性未知。改进方向：补测 BF16/INT8、torch.compile 或 vLLM 下的端到端（含合成）延迟。

作者明确提出的方向：在静音之外的输入假设下起草，例如用流式声学特征（streaming acoustic features）作假设输入，让起草时已有部分声学信息，进一步提高高噪声和用户连续说话场景的验收率。基于本文成果可延伸的方向：（1）把 hypothesis pool 思想移植到 Moshi 式并行流架构的轻量版本，在帧级解码中做短窗口预解码；（2）树形/多分支草稿覆盖更分散的分歧分布，结合高温采样场景做自适应分支预算；（3）多会话服务下的草稿预算调度与抢占式验证，研究预计算与批处理调度器的协同；（4）推广到带书面通道的多通道模型（LWS 已涉及）以及更长的结构化 agentic 输出（代码、多步 API 调用序列），这些输出重复模式更强、草稿池收益可能更大；（5）与 Chronological Thinking 这类训练方法正交结合：训练时鼓励模型在倾听时产出与最终响应一致的中间表示，可同时提高草稿命中率与推理质量；（6）把 TickTock-Bench 扩展出更多 agentic 任务和噪声条件，形成解码方法的标准竞技场。

复现条件总体较好。作者声明发布 session manifests、replay harness 和评测脚本；四个模型中 Gander、Realtime-Venus、LWS 是公开模型并使用其官方发布的 runtime，Streaming SLM 基于 Qwen2.5-Omni-7B Thinker 自行训练，权重未必开放，这一支的精确复现可能受影响，但其余三个公开模型足以验证主要结论。数据全部来自公开数据集：WebQuestions、Llama Questions、TriviaQA（OpenAudioBench）、AlpacaEval（VoiceBench）、Big Bench Audio、Full-Duplex-Bench v1/v1.5/v3，合计 760 会话、15,883 个块。算力需求为单块 A100、bfloat16、batch size 1、7B 级模型，学术实验室完全可负担。方法 training-free，无需训练环节，核心工程量在于对接各模型自有 runtime、实现 KV cache 回滚、逐块截止期计时与草稿池 N-gram 索引；附录 A 给出了滞后递推公式 $b_t = \max(0, b_{t-1} + \ell_t - \text{chunk duration})$ 和起草预算的定义等协议细节，透明度较高。综合评估：复现难度中等，对做过推理系统/投机解码工程的人来说约一到两周可跑通公开模型部分；需要留意作者提示的'其他硬件或 CPU 负载下延迟数字会不同'。