HRBench：混合推理大语言模型中思维模式切换策略的基准测试与理解

系统评估混合推理LLM中三种思维模式切换策略在不同规模和任务领域的效率-有效性权衡

前置知识

Chain-of-Thought (CoT) 推理

CoT是一种提示技术，通过要求模型生成中间推理步骤来增强其解决复杂问题的能力。模型在给出最终答案之前，会输出详细的思考过程，这类似于人类解决复杂问题时的逐步推理。CoT通常通过特定的提示词（如'Let's think step by step'）触发，模型会在推理块中展示完整的思维链条。这种方法特别适用于数学、逻辑推理等需要多步骤思考的任务，已被证明能显著提升LLM在这些任务上的表现。

本文研究的混合推理模型本质上就是围绕CoT展开的，理解CoT的工作原理是理解'思考模式'切换机制的基础。

混合推理LLM (Hybrid-Reasoning LLM)

混合推理LLM是一类新型大语言模型，它们允许用户或系统显式控制模型的推理深度，在直接回答（no_think）和深度思考（think）之间进行选择。这类模型提供三种控制形式：二值开关（think/no_think）、离散推理层级（High/Medium/Low）、数值预算（≤4096 tokens）。例如Qwen3.5提供``块控制，gpt-oss提供High/Medium/Low三种推理力度，Seed-OSS允许直接指定token预算。这种设计让用户可以在推理质量和计算成本之间进行灵活权衡。

这是本文的研究对象，理解混合推理模型的工作方式是理解三种切换策略（PT/RT/SPEC）的前提。

Pareto前沿

Pareto前沿是多目标优化中的一个概念，指的是在多个优化目标之间达到最优权衡的解的集合。在两个目标的情况下（如本文的准确率和token成本），如果一个解在准确率上不比另一个差，同时token成本也不比另一个高，那么它就支配另一个解。Pareto前沿就是所有不被其他解支配的解的集合，代表了在给定约束下无法进一步改进任何目标而不损害另一个目标的最优解集。在本文中，Pareto前沿用于展示不同策略在有效性-效率平面上的最佳可达区域。

本文核心发现之一是PT策略能够达到Pareto最优，理解这个概念有助于把握论文对策略比较的评估标准。

GRPO (Group Relative Policy Optimization)

GRPO是一种强化学习算法，属于PPO (Proximal Policy Optimization)的变体。它通过在每次训练中对多个样本（通常是8个）进行分组，计算相对于组平均奖励的优势值，从而优化策略。与PPO相比，GRPO不需要显式的价值函数估计，直接从样本奖励中计算优势，这使得训练过程更加稳定和高效。在本文中，GRPO被用于训练路由器和 speculative 机制的触发策略，奖励函数结合了正确性（权重α=1.0）和效率（权重β=0.5）两个维度，公式为R(r)=α·⊮[correct(r)]+β·⊮[correct(r)]·max(0,1-t/tref)。

GRPO是本文四种训练方式之一（Online RL），且在路由策略中实现了最高的token节省率，理解它是理解训练对策略影响的关键。

Shannon熵

Shannon熵是信息论中衡量信息不确定性或随机性的指标，公式为H = -∑p(x)log p(x)。在语言模型的上下文中，熵被用来衡量模型对下一个token预测的不确定性程度。当模型对下一个token非常确定时（某个token的概率接近1），熵接近0；当模型对多个token都不确定时（多个token的概率相近），熵较高。本文中，Speculative策略使用熵作为触发信号：通过计算归一化的Shannon熵H_t = (-∑v∈top-k ˆp_t(v)log ˆp_t(v))/log k（top-k=20），当连续≥3个token或超过5%的输出token熵超过阈值τ时，就触发模式切换到深度思考。

熵是Speculative策略中Entropy变体的核心机制，理解它有助于把握这种策略如何检测模型的不确定性并决定是否升级推理模式。

研究动机

现有方法在不同模型、不同数据集、不同实现假设下评估，使得无法直接比较它们的实际行为。例如，S1在Qwen2.5-72B上评估，TALE在Llama-3-70B上评估，MixReasoning在DeepSeek-V2上评估——这种碎片化的评估环境导致了一个根本性问题：哪种策略真正有效？训练过程对每种策略有多大帮助？更重要的是，现有的12+种思维模式切换方法各自声称有优势，但在统一基准下这些结论是否成立？例如，某些方法可能在简单任务上表现好但在复杂任务上失败，或者在小模型上有效但无法扩展到大模型。这种缺乏统一比较的局面严重阻碍了该领域的进展，因为研究者和实践者无法基于可靠证据选择合适的策略。

本文的目标是本文的目标是建立一个统一的评估框架HRBench，用于系统性研究混合推理LLM中思维模式切换策略的行为。具体而言，作者希望回答三个核心问题：(1) 不同的切换策略（PT/RT/SPEC）在有效性（准确率）和效率（token成本）之间如何权衡？(2) 不同的训练方式（SFT/DPO/GRPO）如何影响这三种策略？(3) 最优的策略-训练组合如何随着模型规模（从2B到1.1T参数）和任务领域（数学、科学、代码）而变化？通过回答这些问题，作者希望为社区提供一个可靠的选择指南，帮助研究者和实践者根据他们的具体场景（模型大小、任务类型、效率需求）选择最合适的策略。

与已有工作不同的是，本文的独特切入角度在于提供了一个系统的、可复现的评估框架，而不是提出一种新的切换方法。之前的12+种方法都是在孤立环境中开发和评估的，使用了不同的模型、数据集、指标和解码配置，这导致无法进行可靠的跨方法比较。HRBench通过正交组合三种策略（PT/RT/SPEC）和四种训练方式（Training-Free/SFT/DPO/GRPO），产生了12种评估配置，然后在一个统一的流水线上评估——6个LLM（从Qwen3.5-2B到Kimi-K2.5-1.1T）、5个基准（覆盖数学、科学、代码）、统一的度量标准。这种系统性、受控的比较是之前的任何工作都没有做到的。此外，作者还将12+种外部方法重新实现并集成到同一流水线中，提供了前所未有的统一比较。这种'基准测试'而非'提出新方法'的定位是本文的独特之处。

核心方法

HRBench的方法设计围绕两个正交轴展开：三个思维模式切换策略家族（Prompt-Tuning、Routing、Speculative）和四个训练方式（Training-Free、SFT、DPO、GRPO），形成12种受控的评估配置。Prompt-Tuning策略通过精心设计的提示词，让模型在单次推理过程中自主决定是否以及如何深入思考；Routing策略采用'分类-生成'的两阶段过程，先由一个路由器评估问题难度并选择合适的思维模式，然后模型在该模式下生成回答；Speculative策略让模型先在快速模式（通常是no_think）下开始推理，并在检测到不确定性信号时动态切换到深度思考。对于每种策略，作者提供了训练-free和三种基于训练的实现（SFT/DPO/GRPO），并在统一的数据管道（MathLightEval）和评估流水线上进行比较。整体框架提供了参考实现和统一评估平台，支持受控的跨策略比较。

本文的核心创新点在于建立了第一个系统性的基准测试框架，用于比较不同思维模式切换策略的实际行为。与之前提出新方法的工作不同，本文的贡献是提供一个可复现、可扩展的评估平台。关键技术创新包括：(1) 统一的训练数据构建管道：基于Rejection Fine-Tuning (RFT)，对每个问题在所有可用思维模式下生成K个响应，选择既正确又token最小的响应作为训练样本，这为所有三种策略提供了公平的起点。(2) 模型特定的提示设计：针对不同模型的native思维模式接口（如Qwen3.5的``块、gpt-oss的High/Medium/Low、Seed-OSS的token预算）设计特定的系统提示，确保策略利用模型的原生能力而非通用接口。(3) 统一的评估协议：所有方法在相同的解码参数（greedy decoding，temperature=0）、相同的度量标准（Pass@1准确率、平均输出token数）、相同的数据集下评估，确保公平比较。这种系统性的、受控的评估方法揭示了之前碎片化评估无法发现的规律。

方法步骤详情

HRBench的评估流程包含以下完整步骤：(1) 数据准备阶段：选择5个基准数据集（MATH500、AIME 2025用于数学，GPQA-Diamond用于科学，LiveCodeBench和Codeforces用于代码），为每个数据集构造领域特定的用户消息模板和答案格式指令。(2) 模型配置阶段：准备6个混合推理LLM（Qwen3.5-2B/9B、gpt-oss-20B、Seed-OSS-36B、DeepSeek-V3.1-671B、Kimi-K2.5-1.1T），针对每个模型的native思维模式接口设计特定的提示模板。(3) 策略实现阶段：对于12种配置（3策略×4训练方式），实现参考代码。Training-Free实现包括PT-TF（模型特定提示让模型自主选择推理深度）、RT-TF（两阶段：LLM-as-router评估问题难度后分发）、Spec-TF（Trigger变体扫描不确定性关键词库，Entropy变体监控token级熵）。Training-Based实现使用统一的RFT数据构建管道：对每个问题在所有模式下生成K个响应，选择正确且token最小的响应作为SFT目标；自然生成偏好对用于DPO（正确token最小响应 vs 更长正确或错误响应）；使用复合奖励R(r)=α·⊮[correct(r)]+β·⊮[correct(r)]·max(0,1-t/tref)进行GRPO训练。(4) 评估阶段：对所有方法在统一流水线下进行评估，使用greedy decoding（temperature=0）和相同的max_tokens=32768，计算Pass@1准确率和平均输出token数。(5) 分析阶段：从三个维度分析结果：策略级别的有效性-效率权衡、模型规模的调制效应、任务领域的调制效应。

技术新颖性

本文的技术新颖性主要体现在三个方面：第一，提出了第一个系统性的思维模式切换策略基准测试框架。之前的工作都在孤立环境中提出和评估方法，HRBench通过正交设计（3策略×4训练方式）和统一流水线，提供了前所未有的受控比较。第二，揭示了策略级别的权衡规律。研究发现三种策略有根本不同的权衡特征：PT实现'双赢'（更高准确率+更少token），RT提供适度的token节省且保持准确率，SPEC以额外token成本提升准确率。这种规律性的发现是本文的原创贡献。第三，发现了策略-训练-规模-领域的交互效应。作者发现训练收益是策略依赖的（GRPO为RT实现65%的token节省，而PT和SPEC分别只有31%和23%），最优策略随模型规模变化（2B时三者相似，9B和1.1T时PT领先，20B和671B时SPEC超越），最优策略随任务领域变化（数学和科学中PT占优，代码中SPEC通过'try-then-verify'机制获得最大准确率提升）。这些系统性的发现为实践者提供了可靠的选择指南，是之前碎片化评估无法实现的。

**Figure 1**: Overview of HRBENCH. Left: Three thinking-mode switch strategies—Prompt-Tuning, Routing, and Speculative. Right: Training pipeline spanning training-free to online RL. Bottom: Our evaluation coverage across 6 models spanning from 2B to 1.1T scale, 5 datasets, totaling 527 experiment runs.

实验结果

论文的核心发现可以总结为三个主要方面。首先，三种策略表现出根本不同的有效性-效率权衡特征。在Qwen3.5-9B上，PT-TF达到47.6%准确率同时实现24%的token节省，实现了'双赢'；RT-TF保持44.1%准确率（接近Full-Think的40.9%）同时实现12.5%的token节省；Spec-TF达到45.8%准确率但token成本增加29.6%，因此SPEC是有效性增强而非效率导向的策略。其次，训练收益是策略依赖的。对于三种训练方式（SFT/DPO/GRPO），训练普遍提升切换能力，效率提升（12%-65%）大于准确率提升（1-2个百分点）。特别是RT从GRPO中受益最大（65% token节省），而PT和SPEC分别只有31%和23%。这是因为RT的二元路由决策与训练信号（正确性反馈直接反映路由质量）高度匹配，而PT和SPEC涉及更细粒度的决策（推理深度、触发时机）更难用粗粒度奖励信号优化。第三，最优策略随模型规模和任务领域变化。在模型规模方面，2B时三者相似（13.2-14.1%），9B和1.1T时PT领先（47.6%和80.8%），20B和671B时SPEC超越（36.8% vs. 32.9%在20B；75.8% vs. 74.7%在671B）。在任务领域方面，数学和科学中PT是最优选择（PT-TF在数学上+5.2%准确率+20.5%节省，在科学上+8.6%准确率+23.2%节省），代码中SPEC获得最大准确率提升（+13.9%准确率）。这些发现表明没有单一策略在所有场景下占优，实践者需要根据模型规模和任务领域选择合适的策略。

**Table 1**: The evaluation taxonomy of the HRBENCH. Each cell represents a unique (strategy, training regime) configuration. Representative external methods are listed for each cell. Ours marks 2 configurations without prior baselines, first explored in this work.

**Table 2**: Overall dataset statistics for the five benchmarks used in HRBench.

**Table 3**: Strategy-level trade-off on Qwen3.5-9B. PT achieves the best accuracy with 24% token reduction; RT preserves accuracy with 13% saving; SPEC boosts accuracy at extra token cost.

**Table 4**: Model scale modulation: effectiveness and efficiency of fixed baselines and three Training-Free strategies across 6 models (2B–1.1T), averaged over five benchmarks. Spec-TF reports the Entropy variant.

**Table 5**: Domain modulation on Qwen3.5-9B. ΔAcc: accuracy change (percentage points) vs. Full-Think; Red%: token reduction vs. Full-Think.

**Table 6**: Fair comparison of methods under unified evaluation on Qwen3.5-9B. All methods use an identical model, datasets, and evaluation pipeline. Red%: token reduction relative to Full-Think (positive = saving).

**Table 7**: Full per-dataset training results (Qwen3.5-9B). Acc: Pass@1 (%); Tok: average output tokens.

**Figure 2**: Efficiency–effectiveness trade-off on Qwen3.5-9B. Each point represents a method averaged over 5 datasets; dashed line shows the Pareto frontier.

**Figure 3**: Strategy effectiveness (left) and efficiency (right) across model scales (2B–1.1T). All three strategies are evaluated across 6 models.

**Figure 4**: Training effect on switching capacity (Qwen3.5-9B). (a) Accuracy across training regimes, averaged over five benchmarks. (b) Token reduction relative to TF baseline.

**Figure 5**: Fair comparison of 12 methods under unified evaluation on Qwen3.5-9B. (a) Average accuracy across five benchmarks. (b) Token reduction relative to Full-Think (positive = saving). Methods grouped by strategy.

查看结构化数据

任务	指标	本文	基线	提升
数学推理（MATH500）	准确率/平均token数	PT-TF: 85.4% / 6.5k tokens; RT-TF: 85.8% / 6.2k tokens; Spec-TF: 84.8% / 11.1k tokens	Full-Think: 85.0% / 9.1k tokens; No-Think: 86.8% / 1.7k tokens	PT在保持准确率的同时减少29% tokens（85.4% vs 85.0%, 6.5k vs 9.1k），RT减少32% tokens（6.2k vs 9.1k），SPEC增加22% tokens换取微小准确率损失
数学竞赛（AIME 2025）	准确率/平均token数	PT-TF: 80.0% / 20.2k tokens; RT-TF: 73.3% / 22.4k tokens; Spec-TF: 63.3% / 32.7k tokens	Full-Think: 70.0% / 23.1k tokens; No-Think: 53.3% / 12.8k tokens	PT实现+10%准确率提升（80.0% vs 70.0%）同时减少13% tokens，RT保持准确率但增加3% tokens，SPEC准确率下降但token成本增加42%
科学问题（GPQA-Diamond）	准确率/平均token数	PT-TF: 63.1% / 12.2k tokens; RT-TF: 52.0% / 11.1k tokens; Spec-TF: 55.6% / 18.4k tokens	Full-Think: 54.5% / 15.9k tokens; No-Think: 53.0% / 3.1k tokens	PT实现+8.6%准确率提升（63.1% vs 54.5%）同时减少23% tokens，RT准确率略降但减少30% tokens，SPEC准确率提升但增加16% tokens
代码生成（LiveCodeBench + Codeforces平均）	准确率/平均token数	PT-TF: 29.7% / 11.5k tokens; RT-TF: 29.6% / 16.0k tokens; Spec-TF: 39.7% / 20.9k tokens	Full-Think: 22.6% / 16.9k tokens; No-Think: 34.4% / 4.9k tokens	SPEC实现+17.1%准确率提升（39.7% vs 22.6%）但token成本增加24%，PT准确率提升+7.1%同时减少32% tokens，RT准确率提升+7.0%但减少5% tokens
跨模型规模（2B-1.1T）	平均准确率	PT-TF: 13.2% (2B) → 47.6% (9B) → 32.9% (20B) → 46.3% (36B) → 74.7% (671B) → 80.8% (1.1T); Spec-TF: 14.1% (2B) → 45.8% (9B) → 36.8% (20B) → 43.9% (36B) → 75.8% (671B) → 74.5% (1.1T)	Full-Think: 11.8% (2B) → 40.9% (9B) → 36.4% (20B) → 51.5% (36B) → 67.4% (671B) → 73.9% (1.1T); No-Think: 18.7% (2B) → 42.4% (9B) → 24.5% (20B) → 27.0% (36B) → 63.7% (671B) → 72.3% (1.1T)	最优策略随规模变化：2B时三者相似；9B和1.1T时PT领先（+6.7%和+6.9% vs Full-Think）；20B和671B时SPEC超越（+0.4%和+8.4% vs PT）；36B时PT略优（+2.4% vs SPEC）

局限与改进

作者在论文中明确指出了几个局限性。首先，基于训练的评估仅限于Qwen3.5-9B，由于计算约束无法扩展到20B+模型。这限制了关于训练-规模交互效应的结论——作者无法确定在大模型上训练是否能带来类似的效率提升。其次，评估聚焦于单轮推理场景，没有探索多轮对话和agent场景中模式切换决策如何跨步骤复合影响。在实际应用中，很多任务是多轮交互的，模型可能在后续步骤中需要基于之前的推理结果重新评估是否需要深入思考，这种场景下的策略行为完全未知。第三，虽然涵盖了数学、科学和代码三个领域，但其他领域（如创意写作、多语言任务、常识问答等）可能表现出不同的权衡模式。例如，创意写作可能更受益于SPEC的'try-then-verify'机制，而多语言任务可能对不同的推理深度更敏感。此外，作者还观察到一些策略特定的失败模式：PT在困难问题上过度压缩（在AIME上PT-GRPO偶尔产生过度简化的推理，平均4.1k tokens vs PT-TF的6.5k），RT在GPQA上难度误校准（路由器将93%的GPQA问题路由到think模式但准确率仍低于Full-Think），SPEC在AIME上产生自信但错误的初始答案（所有30个AIME问题都进入'mixed'模式但重触发没有纠正根本推理错误）。这些失败模式揭示了策略在特定场景下的固有局限性。

独立分析的弱点

基于论文的分析，可以识别出几个独立的弱点及其改进方向。首先，PT策略的过度压缩问题——在困难问题上模型可能会'总结'而非完整推理。在AIME等需要4+步推理的问题上，PT-GRPO偶尔生成过度简化的推理（MATH500上平均4.1k tokens vs PT-TF的6.5k），跳过关键中间步骤导致错误。改进方向可以是引入最小推理长度约束，或者在训练中增加对复杂问题完整推理的奖励，使模型学会区分需要详细推理和可以简化推理的问题。其次，RT策略的难度误校准问题——路由器无法提升两个模式都无法产生正确答案的任务性能。在GPQA-Diamond上，RT-TF仅达到52.0%准确率 vs Full-Think的54.5%，路由器将93%的问题路由到think模式但仍失败。这表明问题不是路由质量而是模型在该任务上的固有局限性。改进方向可以是开发更细粒度的路由器（考虑问题类型、领域知识需求等），或者在路由失败时回退到其他策略（如SPEC的动态切换）。第三，SPEC策略的'自信错误'问题——当模型产生自信但不正确的初始答案时，熵触发机制失效。在AIME上，所有30个问题都触发重触发但重触发发生在模型已经投入错误方法之后，无法纠正根本推理错误。改进方向可以是早中期触发（在模型完全投入某方法前就检测不确定性），或者使用多个触发信号（不仅是熵，还包括输出结构、时间戳等）的集成机制。第四，训练数据来源的局限性——仅使用MathLightEval作为训练数据，可能无法泛化到其他领域。改进方向是扩展训练数据到科学、代码等领域，或者开发跨领域的通用训练数据构建管道。

未来方向

作者提出了几个未来研究方向，基于本文成果可以进一步延伸。作者明确指出扩展训练到20B+模型可以加强关于训练-规模交互的结论，探索大模型上训练是否能带来类似的效率提升。另一个方向是探索多轮和agent场景中的模式切换，研究模式切换决策如何在跨步骤交互中复合影响——例如，在agent场景中，模型可能需要基于之前推理的结果动态调整当前步骤的推理深度。此外，扩展评估到其他领域（创意写作、多语言任务、常识问答等）可以发现不同的权衡模式，例如创意写作可能更受益于SPEC的验证机制。基于本文的成果，还可以探索自适应策略选择——开发一个元路由器，根据模型规模、任务领域、问题难度动态选择PT/RT/SPEC三种策略之一，或者设计混合策略（例如先用RT做粗粒度路由，对于路由到think的问题用PT进行细粒度深度控制）。另一个有趣的方向是研究推理预算的动态分配——不仅决定是否思考，还决定给每个问题分配多少token预算，这可能需要学习一个价值函数来估计推理的边际收益。最后，探索训练信号的改进设计——例如，为PT和SPEC设计更细粒度的奖励函数（如中间推理步骤的质量、触发时机的合理性等），可能进一步提升这些策略的性能。

复现评估

论文在可复现性方面表现良好。作者已经开源了所有实现和统一评估平台，代码和数据可在https://github.com/usail-hkust/HRBench获取。论文的附录D提供了详细的实现细节，包括所有方法的训练超参数（SFT/DPO/GRPO的学习率、batch size、epochs等）、模型特定的参数映射、提示模板的完整文本（附录A）。所有12+种外部方法都在统一流水线中重新实现，作者还记录了与原始论文的任何偏差（附录D）。数据集都是公开的（MATH500、AIME 2025、GPQA-Diamond、LiveCodeBench、Codeforces），使用标准评估协议（Pass@1准确率）。然而，复现难度主要来自计算资源——运行完整实验需要访问6个LLM（从2B到1.1T参数）和大量的计算资源（527个实验运行）。特别是训练基于训练的配置（SFT/DPO/GRPO）需要GPU集群。对于单个研究者或小型实验室，复现完整实验可能具有挑战性。作者已经通过开源所有实现和提供详细文档降低了这个门槛，但计算资源的需求仍然是实际的限制。此外，论文没有提供详细的随机种子设置和运行时间信息，这可能影响实验的完全可复现性。总的来说，论文在方法论和开源代码方面达到了较高的可复现性标准，但计算资源的需求限制了广泛复现的可能性。

HRBench：混合推理大语言模型中思维模式切换策略的基准测试与理解 HRBench: Benchmarking and Understanding Thinking-Mode Switch Strategies in Hybrid-Reasoning LLMs