边说边想：推理时知识转移实现响应灵敏且智能的对话语音智能体 Thinking While Speaking: Inference-Time Knowledge Transfer for Responsive and Intelligent Conversational Voice Agents
通过Talker-Reasoner双模型架构实现低延迟高能力的语音智能体
前置知识
自然语言推理 (NLI)
自然语言推理是判断两个句子之间逻辑关系的任务，包括蕴含、矛盾和中立三种关系。在本文中，NLI用于验证Talker模型的响应是否与Reasoner模型的知识块存在语义一致性。例如，如果Reasoner输出'店铺晚上10点关门'，Talker响应'他们一直营业到午夜'就会被检测为矛盾。本文使用DeBERTaV3模型 fine-tuned on MNLI进行NLI验证，设置矛盾概率阈值为0.20（per-pair gate）和0.30（whole-turn gate）。
本文使用NLI作为核心评估指标来衡量Talker模型是否忠实地整合了Reasoner的知识。理解NLI有助于评估Talker是否扭曲了原始信息或产生了幻觉，这是Conversational Infill任务成功的关键。
Retrieval-Augmented Generation (RAG)
检索增强生成是一种结合信息检索和文本生成的方法。系统先从外部知识库中检索相关文档，然后将检索到的文档作为上下文提供给语言模型，让模型基于检索到的信息生成响应。本文的RAG任务使用两阶段retrieve-then-rerank管道，FAISS索引包含367个预嵌入文档块，使用OpenAI text-embedding-3-large（3,072维）进行嵌入，top 3 reranked块传递给下游语言模型。
RAG任务在本文的用户研究中作为三个任务之一，用于评估ConvFill系统在需要外部检索的场景下的性能。RAG通常会增加响应延迟（Reasoner平均延迟4852ms），因此是测试Conversational Infill延迟-能力权衡的理想场景。
Model Context Protocol (MCP)
模型上下文协议是一种标准化协议，允许语言模型通过结构化调用与外部工具和服务进行交互。例如，模型可以通过MCP调用邮件服务读取邮件、查询数据库或执行其他操作。MCP使模型能够超越纯文本对话，与真实世界的工具和数据源交互。本文的MCP任务连接到IMAP邮件服务器，让模型查询收件箱信息。
MCP任务是本文用户研究中的三个任务之一，代表需要工具调用的高延迟场景（Reasoner平均延迟7242ms）。ConvFill系统需要隐藏MCP调用的延迟，同时确保Talker模型能够准确传达工具返回的信息。Base SLM模型无法执行MCP调用，因此MCP任务只包含Frontier和ConvFill配置。
双模型协作架构
双模型协作架构是将任务分配给两个不同模型共同完成的系统设计模式。本文中的Talker-Reasoner架构是典型例子：Talker是小而快的模型（135M-1.7B参数），负责与用户交互和生成自然对话；Reasoner是大而强的模型（如Claude Opus 4.7、GPT-5.5），负责复杂推理、检索和工具调用。两个模型通过知识流异步协作，优势互补。ConvFill使用两个队列实现：一个缓冲Reasoner知识块，一个缓冲Talker响应供TTS消费。
理解双模型协作是理解本文核心创新的基础。这种架构巧妙地将响应能力和智能能力解耦，为解决语音智能体的延迟-能力权衡提供了新思路。ConvFill的模块化设计还允许Talker和Reasoner模型独立训练和部署，降低了系统复杂度和部署成本。
Time-to-First-Response (TTFR)
首字响应时间是从接收到用户的转录消息到第一个生成的完整句子准备被TTS系统语音输出的时间。本文选择这种粒度是因为它反映了完整句子何时准备好被TTS系统语音化，而不是第一个token生成的时间。ConvFill在Direct任务上的Talker TTFR为542ms，在RAG任务上为976ms，在MCP任务上为478ms，而对应的Reasoner延迟分别为2947ms、4852ms和7242ms。
TTFR是衡量语音交互响应性的关键指标。ConvFill的核心贡献之一是在保持Reasoner能力的同时实现毫秒级TTFR，这对于自然流畅的语音对话至关重要。理解TTFR有助于评估ConvFill在延迟方面的优势和实际部署的可行性。
研究动机
语音智能体面临一个根本性的矛盾：让模型具备能力的多步推理、检索和工具调用等技术本质上是迭代且耗时的，而语音交互要求毫秒级响应速度来保持自然流畅的对话。现有解决方案要么牺牲响应性使用大型前沿模型（如GPT-5.5、Claude Opus 4.7），要么牺牲能力使用小型实时模型（如SmolLM、Gemma）。级联系统（ASR→LLM→TTS）会叠加延迟并引入中断对话流程的间隙，而全双工语音模型（如Moshi、Moshika）虽然通过直接生成音频减少了延迟，但通常使用单个LLM骨干网络，限制了灵活性，且实时约束限制了模型规模。例如，在用户研究中，Reasoner模型的平均延迟从Direct任务的2947毫秒到MCP任务的7242毫秒不等，这在语音对话中是不可接受的等待时间。此外，简单的填充短语（如'我正在思考'）虽然可以短暂掩盖延迟，但重复的修正或不一致性已经被证明会损害用户信任、信心和参与度。
本文的目标是本文的目标是在保持语音交互响应速度的同时，通过推理时知识转移技术使小型模型能够利用前沿模型的知识和推理能力，实现低延迟高能力的语音智能体。具体而言，希望Talker模型的响应准确率能够接近对应的Reasoner模型（差距在6.3%以内），同时保持毫秒级的首字响应时间（TTFR），并且在真实用户交互中，用户对ConvFill的感知质量与直接使用Frontier模型相当，在响应速度方面更好。
与已有工作不同的是，本文的独特切入角度是将推理时知识转移形式化为一个严格可学习的任务，即'对话填充'，并为此构建了高质量的ConvFill数据集。与现有方法（如Mini-Omni-Reasoner的token级思考时说话、SplitReason将推理卸载到后端、Qwen2.5-Omni的Thinker-Talker架构、投机解码等）不同，ConvFill的Talker模型生成的是上下文相关的填充响应，而不是通用填充或思考过程。ConvFill使用特殊的控制令牌（如[KNOWLEDGE]和）明确标记知识块和沉默位置，使模型能够区分何时应该使用外部知识，何时应该生成上下文相关的填充。ConvFill的模块化架构还允许自由替换Talker和Reasoner模型，而不需要重新训练或更改提示，为实际部署提供了灵活性。此外，ConvFill通过四阶段验证流程确保训练数据的可靠性，解决了合成数据常见的问题，如顺序错误、矛盾、专有名词泄漏等。
核心方法
ConvFill采用Talker-Reasoner双模型架构，其中Talker是一个轻量级的小语言模型（135M-1.7B参数），Reasoner是一个强大的前沿模型（如Claude Opus 4.7、GPT-5.5、Gemini 3.1 Pro）。用户语音通过faster-whisper转录后并发地发送给Talker和Reasoner。Talker立即开始生成响应，如果Reasoner的知识块尚未到达，则生成上下文相关的填充短语。Reasoner异步生成知识块流，Talker持续消费这些知识块并将它们融入到后续响应中。所有Talker响应都传递到TTS队列并通过macOS Speech Synthesis Manager处理为语音输出。这种架构确保用户只与Talker交互，Talker经过训练整合外部知识而不是逐字传递，从而在多轮对话中保持一致的语音。ConvFill使用两个队列实现：一个缓冲Reasoner知识块供Talker消费，另一个缓冲Talker响应供TTS消费。系统使用Silero VAD进行语音活动检测，过滤非语音区域。
核心创新点包括三个方面。首先，提出了'对话填充'这一可学习的任务，Talker模型的输入是用户话语、对话历史和可选的Reasoner知识块，输出是流畅的对话响应。当Reasoner知识可用时（ei=ri），Talker应该基于ri生成ti；当Reasoner知识不可用时（ei=si，silence token），Talker应该仅基于用户话语和对话历史生成上下文相关的填充短语。其次，ConvFill使用特殊的控制令牌（[USER]、[KNOWLEDGE]、[ASST]、[END]）和新的特殊令牌来明确标记知识块和沉默位置，使模型能够区分不同类型的响应。例如，Gemma 3模型使用user、knowledge、model和作为控制序列。第三，ConvFill的模块化设计允许Talker和Reasoner模型独立训练和部署，降低了系统复杂度和部署成本。七个Talker模型（SmolLM2 135M、Gemma 3 270M、SmolLM2 360M、Qwen3 0.6B、Gemma 3 1B、Llama 3.2 1B、SmolLM2 1.7B）和三个Reasoner模型（Claude Opus 4.7、GPT-5.5、Gemini 3.1 Pro）可以任意组合，形成21种不同的ConvFill系统配置。
方法步骤详情
ConvFill的方法包括三个主要步骤：数据集生成、模型训练和推理流程。数据集生成采用双轨制方法：话题种子自由生成轨道和DSTC8脚手架生成轨道。自由生成轨道覆盖六个对话领域（建议、助手查询、活动策划、客户服务、教育、医疗），每个领域约1000个对话话题，生成7-10轮对话，每轮0-3个占位符后跟1-5个实质性句子。DSTC8轨道重新利用现有的任务导向对话，保留原始用户和系统内容，同时让LLM创作填充和响应交付。生成的对话经过四阶段验证流程：结构验证（检查JSON格式、字段完整性、数组长度匹配、silence contiguity、filler diversity等）、NLI语义验证（使用DeBERTaV3模型检查矛盾关系，per-pair contradiction概率>0.20或whole-turn contradiction概率>0.30时拒绝）、BERTScore对齐验证（确保响应与对应thought的对齐，F1>=0.70且必须与配对thought最相似）和脚手架保护验证（仅适用于DSTC8轨道，检查thought一致性F1>=0.95和专有名词可见性窗口）。模型训练使用控制令牌序列来标记角色和轮次边界，包括[USER]、[KNOWLEDGE]、[ASST]和[END]令牌，以及新的特殊令牌来表示Reasoner知识尚未可用的情况。训练采用90/10训练评估分割，学习率为1×10^-4，使用余弦调度和预热（200 steps），权重衰减为0.01，梯度累积为4，训练1个epoch。所有模型在4个NVIDIA RTX 6000或A40 GPU上训练，总成本为133.70美元。推理流程使用两个队列：一个缓冲Reasoner知识块供Talker消费，另一个缓冲Talker响应供TTS消费。用户语音转文本后并发发送给Talker和Reasoner。Talker执行贪婪推理处理所有可用知识块。如果流式知识队列为空且TTS队列非空，Talker等待直到另一个知识块可用。然而，如果TTS队列为空，ConvFill动态生成令牌供Talker消费，导致其生成上下文相关的填充短语。在Apple M2 SoC上，Talker模型以INT8量化格式运行，模型大小从136MB到1.69GB不等。
技术新颖性
ConvFill的技术新颖性体现在多个方面：首先，它将推理时知识转移形式化为一个严格可学习的任务，而不是启发式方法。通过使用控制令牌明确标记知识块和沉默位置，ConvFill使模型能够区分不同类型的响应，这是与现有'thinking-in-speaking'方法的本质区别。其次，ConvFill通过四阶段验证流程生成了高质量的数据集，确保训练数据的可靠性。这解决了合成数据常见的问题，如顺序错误（响应i的内容属于thought j）、矛盾（响应与thought矛盾）、专有名词泄漏（响应在专有名词出现前就引用它）等。第三，ConvFill的模块化架构允许Talker和Reasoner模型独立优化和部署，为实际应用提供了灵活性。这与级联系统或全双工语音模型不同，后者通常将多个组件紧密耦合。第四，ConvFill在用户研究中展示了系统在实际语音交互中的有效性，而不仅仅是基准测试上的性能。用户研究包括三个任务（Direct、RAG、MCP）和18名参与者，是ConvFill在真实场景下的全面评估。最后，ConvFill将能力与行为解耦：Talker模型负责对话行为和自然性，Reasoner模型负责能力和推理。这种解耦使得可以在不改变用户界面或对话行为的情况下升级Reasoner模型，这对于快速变化的模型格局具有重要价值。
实验结果
ConvFill在保持准确率的同时显著降低了响应延迟。在单轮QA评估中，ConvFill Talker模型在LLAMA1数据集上的准确率比基线SLM提高了高达51%（SmolLM2 135M: 34.7% → 83.7%），在SimpleQA数据集上提高了高达63.4%（Gemma 3 270M: 0.9% → 61.9%）。ConvFill Talker模型的准确率与对应的Reasoner模型相差在0-6.3%以内。对于LLAMA1数据集，Reasoner相对于Frontier模型的独立准确率：Claude低2.3%，Gemini高0.7%，GPT-5.5高1.3%。对于SimpleQA数据集：Claude低2.0%，Gemini低7.4%，GPT-5.5低1.4%。在用户研究中（n=18），ConvFill在Clarity、Fluency、Response Length、Coherence、Task Completion和Satisfaction方面与Frontier模型等效（TOST test, p<0.01），在Latency方面显著优于Frontier模型（ConvFill: 4.24±0.85 vs Frontier: 3.46±1.28, p<0.01），但在Naturalness方面略低（ConvFill: 3.83±1.08 vs Frontier: 4.41±0.74, p=0.459，未达到等效）。ConvFill的首字响应时间（TTFR）在Direct任务上为542ms，在RAG任务上为976ms，在MCP任务上为478ms，而对应的Reasoner延迟分别为2947ms、4852ms和7242ms，平均加速比分别为7.4倍、9.2倍和19.1倍。ConvFill Talker TTFR在Direct任务上与Base SLM相当（542ms vs 617ms），但在RAG任务上明显更快（976ms vs 3812ms），因为Base SLM需要承担处理检索上下文的负担。用户排名显示，ConvFill在Direct任务上与Frontier模型相当（8个第一名vs10个第一名，p=0.740），在RAG任务上明显更受偏好（12个第一名vs5个第一名，p=0.044），在MCP任务上也与Frontier模型相当（11个第一名vs7个第一名，p=0.481）。Base SLM在Direct和RAG任务上被15/18用户排在最后。多轮对话评估显示，ConvFill在MultiWOZ和Everyday Conversations数据集上的Coverage（4.83-5.00）、Faithfulness（4.57-4.97）和Helpfulness（0.91-1.00）指标均表现出色，表明模型能够有效整合Reasoner知识并保持对话连贯性。在MultiWOZ上，ConvFill在Coverage、Faithfulness和Helpfulness上显示出显著的正向缩放趋势，表明更大的Talker模型在更长、任务导向的对话中能够更好地使用Reasoner知识。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LLAMA1 QA | 准确率 | 83.7%-86.0% (Talker) | 34.7%-72.0% (Base SLM), 85.7%-87.0% (Reasoner/Frontier) | 最高51% vs Base SLM, 差距0-6.3% vs Reasoner |
| SimpleQA QA | 准确率 | 55.2%-65.1% (Talker) | 0.4%-2.5% (Base SLM), 61.3%-73.1% (Reasoner/Frontier) | 最高63.4% vs Base SLM, 差距0-9.8% vs Reasoner |
| MultiWOZ | Coverage | 4.83-4.89 | 无 | 接近完美 |
| MultiWOZ | Faithfulness | 4.57-4.74 | 无 | 高忠实度 |
| Everyday Conversations | Coverage | 4.99-5.00 | 无 | 接近完美 |
| Everyday Conversations | Faithfulness | 4.77-4.97 | 无 | 高忠实度 |
| Direct任务 | TTFR | 542ms (Talker) | 617ms (Base SLM), 2947ms (Reasoner) | 7.4倍加速 vs Reasoner, 与Base SLM相当 |
| RAG任务 | TTFR | 976ms (Talker) | 3812ms (Base SLM), 4852ms (Reasoner) | 9.2倍加速 vs Reasoner, 3.9倍加速 vs Base SLM |
| MCP任务 | TTFR | 478ms (Talker) | N/A (Base SLM不支持), 7242ms (Reasoner) | 19.1倍加速 vs Reasoner |
局限与改进
ConvFill的局限性包括：首先，当Reasoner知识不可用时，Talker模型独立运行，可能无法立即遵守安全约束。填充响应是在Reasoner响应可用之前生成的，因此如果Reasoner内容需要安全过滤，Talker可能已经生成了不安全的填充。其次，评估没有捕获Reasoner超时或过度延迟的情况，实践中，过长的填充序列可能变得具有破坏性。在用户研究中，MCP任务平均每轮2.35个 token，如果Reasoner延迟进一步增加，填充序列可能变得过于冗长。第三，ConvFill在Naturalness指标上略低于Frontier模型（3.83±1.08 vs 4.41±0.74），部分原因是部分用户不习惯模型使用填充短语，认为这些填充不够自然。第四，Non-Contradiction指标在不同模型家族中表现出不一致的趋势：跨模型比较显示与模型大小没有明显关系，但在SmolLM家族中观察到显著正相关，而在Gemma家族中观察到负相关。这表明模型架构、训练方法和数据集组成等其他因素可能在此指标上发挥更大作用。第五，ConvFill数据集仅包含英语对话，未评估在其他语言上的适用性。最后，ConvFill假设Reasoner模型能够可靠地生成有用的知识块，如果Reasoner输出错误或有害的信息，Talker可能会整合这些信息并传递给用户，尽管填充响应通常不太可能引起严重问题。
独立分析的弱点
ConvFill的独立分析弱点包括：首先，当Reasoner延迟非常长时，持续的填充可能变得单调且干扰对话流程，影响用户体验。例如，如果Reasoner需要超过5秒才能返回结果，Talker可能需要生成多个填充短语，这些填充可能开始重复或失去上下文相关性。改进方向是实现延迟自适应填充策略，根据上下文和预期延迟调整填充内容和长度。例如，当预期快速响应时，ConvFill可以推迟非基于知识的填充，稍等片刻从Reasoner知识回答；对于更长延迟，ConvFill可以动态生成由Talker填充内容指示的停顿（例如'让我花点时间检查你的收件箱...'），而不是持续填充直到响应到达。其次，Talker模型可能无法完全理解复杂的上下文和细微的含义，导致响应不够准确或适当。例如，在MultiWOZ数据集上，Coverage、Faithfulness和Helpfulness指标相对较低，表明Talker在复杂、任务导向的对话中可能面临挑战。改进方向是增加Talker模型的容量或改进训练数据以包含更多复杂的对话场景，特别是任务导向的对话。第三，ConvFill系统目前假设Reasoner模型始终返回正确或有用的知识，这在实践中不一定成立。如果Reasoner输出错误信息，Talker可能会整合并传递这些错误。改进方向是增加对Reasoner输出的验证和过滤机制，确保Talker模型不会整合错误或有害的信息。这可以通过在Talker和Reasoner之间添加一个验证层或使用多个Reasoner模型进行交叉验证来实现。第四，ConvFill在需要多步推理或复杂工具调用的场景中可能表现不佳，因为这些场景可能需要更长的推理时间。改进方向是优化Reasoner模型的推理效率或使用更强大的硬件来减少推理延迟，或者设计更智能的填充策略，在推理过程中提供有意义的更新。第五，Non-Contradiction指标的不一致行为表明不同模型架构在此任务上存在差异。SmolLM模型显示出正向缩放趋势，而Gemma模型显示出负向趋势。这可能是由于模型训练数据、架构差异或训练方法不同造成的。改进方向是进一步研究这些差异的根本原因，并开发更鲁棒的训练方法以确保所有模型架构都能在此任务上表现良好。
未来方向
未来的研究方向包括：首先，探索更精细的延迟自适应填充策略，根据上下文和预期延迟调整填充内容和长度。这可以通过预测Reasoner延迟或使用强化学习来优化填充策略来实现。其次，加强Talker和Reasoner之间的安全协作，确保Talker模型在Reasoner响应之前能够遵守安全约束。这可以通过在Talker训练中添加安全约束或使用预填充的安全响应来实现。第三，评估ConvFill在英语之外的语言上的适用性，扩展到多语言场景。这需要生成多语言版本的ConvFill数据集，并评估Talker和Reasoner模型在不同语言上的性能。第四，探索ConvFill在更复杂的推理任务中的应用，如数学问题解决、代码生成、科学推理等。这些任务可能需要更长的推理时间，因此ConvFill的延迟隐藏能力将更加重要。第五，研究如何将ConvFill架构扩展到多模态场景，如视觉-语音交互或文本-语音-视觉交互。这需要设计如何在不同模态之间传递知识，以及如何处理多模态输入和输出。第六，探索如何将ConvFill与现有的语音识别和语音合成技术集成，构建完全端到端的语音智能体系统。这包括优化STT和TTS的延迟，以及如何在这些组件之间传递上下文信息。第七，研究如何使用ConvFill架构来改善其他类型的交互，如文本聊天、游戏、虚拟现实等。在这些场景中，延迟和能力的权衡可能同样重要。第八，探索如何将ConvFill应用于模型更新和版本管理，通过保持Talker模型不变，只更新Reasoner模型来升级系统能力，从而保持用户界面和对话行为的一致性。最后，研究ConvFill在实时协作和人机团队中的应用，例如在智能客服、虚拟助手、教育等领域。
复现评估
ConvFill的可复现性评估：作者已公开发布了ConvFill数据集（290,571个训练示例，111,552个silence-based填充示例和179,019个知识整合示例）、生成和验证管道、端到端ConvFill系统的训练和推理代码，以及所有七个Talker模型的微调权重。数据集使用Claude Opus 4.6生成，API成本约为2400美元，包括因验证失败而进行的重试。训练成本从每个模型2.8到48.9 GPU小时不等，所有7个Talker模型的总成本为133.70美元。评估在配备Apple M2 SoC和16GB内存的MacBook Pro上进行，使用INT8量化模型。所有Talker模型都转换为INT8 MLX格式，使用MLX-LM启用在目标硬件上的基准测试和评估。Talker模型大小从136MB到1.69GB不等（INT8量化），使其能够在消费级硬件（如智能手机）上运行。用户研究包括18名参与者（10名男性，8名女性，年龄20-63岁），经过机构审查委员会批准（研究编号STUDY00023284）。研究包括三个任务（Direct、RAG、MCP），使用拉丁方设计平衡顺序效应。评估指标包括Latency、Clarity、Fluency、Response Length、Coherence、Task Completion、Naturalness、Satisfaction（1-5 Likert量表）和系统排名。评估还包括LLM-as-a-Judge指标（Coverage、Faithfulness、Helpfulness），使用GPT-4o作为评估器。人类评估者与LLM评估者之间显示出中等一致性（Kendall's τb = 0.55 for Coverage and Faithfulness, point-biserial r = 0.69 for Helpfulness）。ConvFill系统的部署相对简单，可以在消费级硬件上运行，使其对研究人员和开发人员易于访问。总体而言，ConvFill的可复现性良好，所有必要的资源和代码都已公开，包括数据集、模型权重、训练和推理代码、评估管道和用户研究协议。
论文图表
