RelayGen：推理生成过程中的模型切换实现高效推理

无需训练的段级运行时模型切换框架，显著降低推理延迟

前置知识

Large Reasoning Models (LRMs)

大型推理模型是通过推理时扩展（inference-time scaling）实现强大推理能力的语言模型，典型代表包括 OpenAI o1、Qwen3-32B、DeepSeek-R1 等。这类模型通过生成长序列的多步推理轨迹来解决复杂问题，推理轨迹通常包含探索、反思、验证等环节，长度可达数万 token。LRM 的核心特点是将推理过程外部化，使得模型能够通过延长生成长度来提升推理准确率，但这也带来了显著的推理成本。

本文的核心目标是降低 LRMs 的推理成本，理解 LRMs 的生成结构和特点是本文方法设计的基础。

概率边际（Probability Margin）

概率边际是本文定义的用于量化生成难度的指标，定义为生成步骤 $t$ 时刻 top-1 token 概率与 top-2 token 概率之差：$m_t = p_{t,(1)} - p_{t,(2)}$，其中 $p_{t,(1)}$ 和 $p_{t,(2)}$ 分别是最大和次大的 token 概率。概率边际越大，表示模型对其最可能选择的 token 越确信，生成难度越低；边际越小，表示模型在多个候选 token 之间犹豫，生成难度越高。

概率边际是本文方法的核心度量工具，用于识别推理轨迹中的难度转折点，指导模型切换决策。

话语层线索（Discourse-level Cues）

话语层线索是指在推理过程中标记语篇结构转变的词汇标记，如表示推进的 now、then，表示反思的 wait、however，表示推理的 thus、therefore，以及表示总结的 so、verify 等。这些线索不引入新的问题内容，而是标志推理过程中的阶段性转变，如从活跃推理转向反思检查或结论形成。本文对这些线索进行了系统分类和实证分析。

话语层线索是 RelayGen 实现段级模型切换的关键信号，理解这些线索与生成难度的关系是方法设计的核心。

投机解码（Speculative Decoding）

投机解码是一种通过联合使用小模型和大模型来加速推理的方法。在该范式中，小模型或学习到的推测模块生成候选 token 序列，然后由大模型进行验证，批量接受或拒绝这些 token，从而摊销大模型的计算成本。代表性工作包括 Eagle-3、Medusa 等。投机解码与路由或切换方法正交，可以与它们组合使用以进一步加速。

本文证明 RelayGen 与投机解码完全兼容，两者组合可实现高达 2.2 倍的端到端加速，这是本文的重要优势之一。

Prefix Caching

Prefix caching 是 vLLM 等推理框架提供的一种优化机制，它缓存已计算的 key-value 状态，避免在切换模型时重新计算整个 prompt 的前缀。在模型切换场景中，当从大模型切换到小模型时，只有新生成的未被目标模型处理过的 token 需要进行 prefill，而非整个上下文，这使得切换开销在实践中非常小。

Prefix caching 是 RelayGen 能够以极低开销实现运行时模型切换的技术基础，使得频繁的段级切换在实际部署中可行。

研究动机

大型推理模型（LRMs）通过生成长序列的多步推理轨迹在复杂推理任务上取得了卓越性能，但推理时扩展带来了巨大的部署成本。以 Qwen3-32B 和 R1-Distill-Qwen-32B 为代表，这些 32B 参数模型已成为长形式推理任务的事实标准，但其长推理轨迹的计算开销往往主导了整体部署成本，限制了 LRMs 的可扩展性。现有提升推理效率的方法存在根本性局限：输入级路由方法（如 FrugalGPT、RouteLLM）为整个生成过程分配单一模型，无法利用单一输出内部的难度变化，对于需要长推理轨迹的 LRMs 适用性有限；token 级路由方法（如 R2R、R-Stitch）虽然能进行逐 token 的难度感知决策，但需要训练额外的路由模型，引入监督需求和系统复杂性，阻碍实际部署；步级切换方法（如 Speculative Thinking）依赖启发式线索，缺乏对模型特定推理行为的详细分析，导致所选段落可能与实际难度分布不一致。

本文的目标是本文的具体目标是设计一种无需训练、段级运行时模型切换框架，能够利用长形式推理中固有的难度变化来动态分配模型容量。具体而言，该框架需要：（1）识别推理轨迹中难度转换的可靠信号；（2）在检测到低难度段时，将后续生成委派给更小的模型；（3）在保留大模型高难度推理能力的同时，显著降低推理延迟；（4）与投机解码等现有加速技术兼容，实现进一步的加速效果。

与已有工作不同的是，本文的独特切入角度在于从实证难度分析出发，证明了粗粒度的段级控制足以捕获长形式推理中的难度变化，这一发现挑战了当前对细粒度学习路由的主流依赖。现有工作要么忽略生成内部的难度变化，要么依赖需要训练的 token 级路由，而本文通过离线分析 token 概率边际，发现话语层线索与生成难度的系统性转换相关，并据此设计了无需学习的切换机制。这种方法的核心洞察是：推理轨迹中的反思、释义和后推理续写段通常表现出比核心推理段更低的不确定性，因此不需要大模型的全部容量。

核心方法

RelayGen 的整体思路基于一个关键观察：长推理轨迹中的生成难度并非均匀分布，而是呈现系统性变化。推理阶段的核心推理部分需要大模型的全部容量，而反思、检查和后推理部分的难度显著降低。基于此，RelayGen 实现了段级运行时模型切换：推理阶段主要由大模型生成以保持准确率，当检测到选定的切换线索时，后续续写段暂时委派给小模型；推理阶段向答案阶段转换后，输出的其余部分完全由小模型生成。整个过程完全在运行时进行，既不需要额外训练，也不需要辅助路由组件。

RelayGen 的核心创新点在于使用离线实证分析来识别模型特定的切换线索（switch cues），而非依赖启发式规则或学习到的路由模型。具体而言，对于每个话语层线索，计算其出现后句子剩余部分的平均概率边际（post-sentence probability margin），并与全局平均概率边际进行比较。只有当某一线索的后句子边际比全局平均值高出至少一个标准误时，该线索才被选为切换线索，表明其对应的续写对模型而言持续更简单。这与 Speculative Thinking 使用预定义线索不同，也与 R2R 需要学习 token 级路由器不同，RelayGen 仅使用从现有推理轨迹中提取的经验统计信息，完全无需学习或参数更新。

方法步骤详情

RelayGen 的实现包含三个主要步骤。首先是离线校准阶段：使用校准数据集（如 AMC 2023，包含 40 个问题），让大模型为每个问题生成 4 个独立推理轨迹（共 160 个校准样本），然后将这些轨迹输入小模型计算 token 级概率边际，最后对每个话语层线索聚合统计信息，选择满足阈值条件的线索作为切换线索集。这一过程是一次性的，约需 100 分钟（大模型推理轨迹生成约 80 分钟，概率边际提取和聚合约 20 分钟）。其次是运行时切换实现：生成从大模型开始，请求中包含选定切换线索对应的 stop token 以及标记推理/答案阶段边界的特殊 token（如）。当生成过程中遇到切换线索时，生成暂时停止，后续 token 委派给小模型；小模型使用句末标点作为 stop token，到达句边界时控制权返回大模型（如果推理仍在进行）。最后是答案阶段处理：当被生成后，输出的其余部分完全由小模型生成，不再进行切换。整个过程利用 vLLM 的 prefix caching 机制，只有新生成的未被目标模型处理过的 token 需要进行 prefill。

技术新颖性

RelayGen 的技术新颖性体现在多个方面。首先，它挑战了当前对细粒度学习路由的主流依赖，证明了粗粒度的段级控制足以捕获长形式推理中的难度变化，这一发现具有重要的理论和实践意义。其次，切换线索的选择完全基于实证分析而非启发式规则，不同模型对有不同反应（如 Thus 通常后跟高边际的结论性语句，而语义相似的 so 则不具有一致的行为），因此需要模型特定的校准。第三，与投机解码的兼容性是独特的技术优势：token 级路由破坏了投机解码所需的连续 draft 块，而段级切换自然保持了长连续段，使得投机解码可以在大模型活跃时无缝应用。第四，答案阶段委派实验表明，当以大模型的推理轨迹为条件时，即使使用能力远弱的小模型（如 Qwen3-0.6B），答案生成也几乎完全稳定（728 个样本中仅 1 个答案不同，匹配率 99.86%），这一发现为后推理段的模型切换提供了坚实实证基础。

实验结果

本文在多个推理基准上进行了全面实验，结果表明 RelayGen 在准确率和效率之间取得了优越的平衡。在准确率方面，对于 Qwen3-32B/1.7B 模型对，RelayGen 在 MATH500 上达到 94.80（大模型 95.27），在 AIME 2025 上达到 68.33（大模型 70.00），在 GPQA-Diamond 上达到 63.64（大模型 64.58），显著优于 Speculative Thinking（40.83/41.29）和 R2R（62.50/61.62）。对于 R1-Distill-Qwen-32B/1.5B 模型对，RelayGen 在 MATH500 上达到 91.70（大模型 93.50），在 GPQA-Diamond 上达到 56.82（大模型 60.61），同样优于其他基线。在效率方面，RelayGen 单独使用时实现 1.29× 加速，大模型利用率 69.80%；与 Eagle-3 组合使用时实现 2.20× 加速，大模型利用率 69.49%，而 Speculative Thinking 虽然达到 2.21× 加速但大模型利用率仅 25.54%，伴随显著的准确率下降。消融研究表明，使用所有候选线索（而非选定线索）在 AIME 2025 上将 pass@1 从 68.33 降至 60.00，验证了精确线索选择的重要性。校准集大小敏感性实验表明，即使将校准样本从 160 减少到 10 或 40，性能也不会显著下降，部分情况下甚至略有提升。

**Table 1**: 从 Qwen3-32B 委派答案生成给 Qwen3-0.6B 时的答案阶段一致性

查看结构化数据

任务	指标	本文	基线	提升
MATH500 数学推理	Pass@1	RelayGen: 94.80	大模型: 95.27, Spec. Think.: 91.35, R2R: 94.30	比 Spec. Think. 高 3.45，比 R2R 高 0.50，仅比大模型低 0.47
AIME 2025 数学推理	Pass@1	RelayGen: 68.33	大模型: 70.00, Spec. Think.: 40.83, R2R: 62.50	比 Spec. Think. 高 27.50，比 R2R 高 5.83，仅比大模型低 1.67
GPQA-Diamond 科学推理	Pass@1	RelayGen: 63.64	大模型: 64.58, Spec. Think.: 41.29, R2R: 61.62	比 Spec. Think. 高 22.35，比 R2R 高 2.02，仅比大模型低 0.94
推理加速（单模型）	端到端加速比	RelayGen: 1.29×	Eagle-3: 1.79×, Spec. Think.: 2.21×, R2R: 1.30×	与 R2R 相当，但大模型利用率（69.80%）远高于 R2R（19.27%）
推理加速（组合投机解码）	端到端加速比	RelayGen + Eagle-3: 2.20×	Eagle-3: 1.79×	比单独 Eagle-3 快 1.22 倍，且准确率保持完整
答案阶段委派稳定性	答案匹配率	99.86%（728 样本中仅 1 个不同）	N/A	证明后推理段可安全委派给小模型

局限与改进

作者承认了 RelayGen 的几个关键局限性。首先，RelayGen 针对的是推理过程被显式外部化的场景（如现代 LRMs），对于不需要持续推理或输出缺乏清晰长序列结构的任务，有效段级模型切换的机会可能有限。其次，RelayGen 假设大小模型之间存在适度的能力差距，如果小模型即使对相对低难度的段也缺乏足够的推理能力，委派可能导致整体性能下降。第三，实验仅聚焦于英语推理数据，虽然底层原理（在推理难度降低时切换模型）并非语言特定，但多语言扩展需要系统性探索。从个人观察来看，RelayGen 的校准过程虽然是离线的，但仍需要 100 分钟的 GPU 时间，对于频繁更换模型对的场景可能不够灵活；此外，切换线索的选择依赖于校准数据集的代表性，对于分布外的问题类型可能存在泛化风险；最后，段级切换的粒度相对粗糙，可能在某些推理轨迹中错过更细粒度的优化机会。

独立分析的弱点

尽管 RelayGen 取得了令人印象深刻的结果，但仍存在几个值得深入探讨的弱点。首先，切换线索的选择完全基于校准数据集上的统计信息，这一方法假设校准数据的分布能够代表实际部署场景，但对于分布外的问题（如校准使用数学问题而部署面对科学推理），线索的有效性可能下降，改进方向包括引入在线自适应机制或分布鲁棒的线索选择。其次，段级切换的粒度是固定的（以话语层线索为切换点），无法根据具体推理轨迹的难度变化进行自适应调整，一种可能的改进是结合轻量级的在线难度估计来动态调整切换点。第三，小模型的选择对整体性能有显著影响，当小模型能力不足时（如 Qwen3-0.6B），即使对低难度段也可能引入错误，改进方向包括设计小模型能力评估机制或自适应选择小模型。第四，当前实验仅在两个模型对上进行验证，对更广泛模型架构（如不同家族、不同规模）的泛化性需要进一步探索。

未来方向

作者提出了几个值得探索的未来研究方向。首先，多语言扩展是一个自然的延伸方向，虽然底层原理并非语言特定，但不同语言的推理模式和话语结构可能存在差异，需要系统性研究。其次，与更先进的投机解码方法的深度集成可能带来更大的加速效果，当前实验仅展示了与 Eagle-3 的组合，与 Multi-Token Prediction 等方法的组合值得探索。第三，将 RelayGen 的思路扩展到其他长生成任务（如代码生成、长文档摘要）可能发现新的应用场景。此外，基于本文的发现，几个延伸方向值得关注：设计自适应校准机制以减少对固定校准数据集的依赖；探索 token 级和段级切换的混合策略，在保持投机解码兼容性的同时捕获更细粒度的难度变化；研究不同推理模式（如链式推理、树搜索）下的最优切换策略；以及将 RelayGen 与模型压缩技术（如量化、蒸馏）结合，实现更全面的效率优化。

复现评估

从复现评估角度来看，RelayGen 的复现条件相对友好。代码已在 GitHub 开源（https://github.com/jiwonsong-dev/RelayGen），基于 vLLM 0.13.0 实现，使用 OpenAI 兼容 API，降低了实现门槛。实验使用标准基准数据集（AIME 2025、MATH500、GPQA-Diamond），这些数据集公开可获取。校准数据集 AMC 2023 同样公开，包含 40 个问题，校准过程约需 100 分钟在两块 NVIDIA A100 80GB GPU 上完成。主要的复现挑战在于算力需求：实验在两块 A100 GPU 上进行，对于资源有限的研究者可能存在门槛；此外，需要部署大模型（32B 参数）和小模型（1.7B 参数）的推理服务，对 GPU 显存有较高要求。论文提供了详细的实验设置（温度 0.6、top-p 0.95、top-k 20、最大生成长度 32768），但消融实验表明校准集大小可以从 160 减少到 10 而不显著影响性能，这降低了复现的计算成本。整体而言，复现难度中等，主要受限于算力而非实现复杂性。

RelayGen：推理生成过程中的模型切换实现高效推理 RelayGen: Intra-Generation Model Switching for Efficient Reasoning