Falcon-H1R：通过混合模型实现高效测试时扩展的推理前沿推进

7B参数混合架构模型实现SOTA推理性能

前置知识

混合Transformer-Mamba架构

混合架构结合了Transformer的注意力机制和Mamba（状态空间模型）的线性复杂度特性。Transformer擅长捕捉长距离依赖，但计算复杂度为$O(n^2)$，而Mamba将复杂度降至$O(n)$，更适合处理超长序列。Falcon-H1架构通过并行设计，在保持推理质量的同时大幅提升吞吐量和内存效率，特别适合需要大量并行推理的场景。

本文的核心优势源于这种混合架构，它使7B参数模型在处理长推理链时具有接近更大模型的效率，这是理解Falcon-H1R为何能在小规模下达到SOTA性能的关键。

测试时扩展

测试时扩展（Test-Time Scaling, TTS）是一种在推理阶段而非训练阶段增加计算资源来提升模型性能的技术。典型方法包括生成多个推理链并通过一致性检查或投票选择最优答案。DeepConf方法进一步引入动态置信度过滤，在生成过程中提前终止低置信度的推理路径，从而在不损失准确性的前提下减少计算开销。

本文展示了Falcon-H1R在TTS场景下的卓越表现，这是其相对于纯Transformer架构模型的核心优势之一，理解TTS对于评估模型的实际部署价值至关重要。

GRPO强化学习

GRPO（Group Relative Policy Optimization）是一种基于可验证奖励的强化学习方法。它通过在每组$G$个生成样本中计算相对优势函数来指导策略优化。相比传统PPO，GRPO不需要显式的价值函数估计，更适合基于确定性奖励（如数学题答案正确性）的场景。

本文使用GRPO进行推理能力增强，理解这一方法对于把握论文中RL阶段的技术细节和训练策略至关重要。

冷启动监督微调

冷启动SFT指在基础模型上直接进行监督微调，不依赖预训练阶段的推理能力。这种方法通过向模型展示长推理链的完整标注来学习推理模式。关键在于数据筛选策略，包括难度感知加权、多rollout采样（每个问题生成$n$个不同推理路径）和正确性验证。研究表明，RL训练虽然能提升平均准确率，但其发现的推理路径已存在于基础模型分布中，因此SFT阶段对推理能力提升贡献更大。

本文强调SFT阶段是推理能力提升的主要来源，理解冷启动SFT的作用机制对于把握整体训练策略的合理性至关重要。

研究动机

当前大语言模型在推理任务上的性能提升主要依赖两个方向：训练时扩展（增加模型规模和训练数据）和测试时扩展（推理时生成多个推理链并聚合）。然而，纯预训练进展因极端计算需求和高质量人类数据稀缺而放缓。即使采用TTS方法，高昂的推理成本仍然是主要瓶颈——生成和评估多个候选解决方案需要大量计算资源，特别是在处理大规模并行批次和长序列时。论文指出，现有SOTA推理模型（如Qwen3-32B、GPT-OSS-20B）参数规模在14B-47B之间，虽然性能出色但推理开销巨大，难以在实际部署中平衡效率与准确性。

本文的目标是本文的目标是构建一个仅7B参数的推理优化模型，通过精心设计的混合架构和训练策略，在推理密集型基准测试上达到或超越2-7倍更大的SOTA模型性能。具体而言，作者希望在不增加模型规模的情况下，通过数据筛选、高效SFT和RL扩展等训练策略实现显著性能提升，同时利用Falcon-H1的混合Transformer-Mamba架构在高吞吐量和低内存使用方面的优势，使模型成为需要广泛并行思维链生成和并行测试时扩展场景的实用骨干网络。

与已有工作不同的是，本文的独特切入点在于同时关注推理能力的三个维度：准确性、token效率和推理速度。大多数工作只优化其中一两个维度，而Falcon-H1R通过混合架构设计实现了更快的推理，通过训练策略实现了更高的准确性和更好的token效率。与现有混合架构模型（如Nemotron-H-47B-Reasoning）相比，Falcon-H1R在更小的参数规模（7B vs 47B）下实现了 competitive performance，证明了小语言模型可以通过合适的架构选择和训练策略达到SOTA推理性能。此外，本文首次系统研究了SFT阶段和RL阶段的相对贡献，发现SFT阶段贡献了大部分推理能力提升，这与社区对RL作用的认知形成了重要补充。

核心方法

Falcon-H1R的训练pipeline分为两个核心阶段：冷启动监督微调（SFT）和基于可验证奖励的强化学习（RLVR）。SFT阶段从Falcon-H1-7B-Base开始，使用覆盖数学、代码、科学等领域的长推理链数据进行训练。关键创新包括使用大学习率、高rollout数量（n=12）、难度感知数据加权，以及平衡数据并行token归一化策略来处理长序列训练中的梯度不平衡问题。RL阶段采用GRPO框架，仅使用数学数据进行优化，群体大小G=16，最大响应长度48K tokens，采样温度为0.85。训练过程中移除了KL散度和熵正则项以鼓励探索，并引入截断重要性采样（TIS）来减少训练-推理不匹配。最终，论文通过集成DeepConf方法实现测试时扩展，利用模型自身的置信度估计动态过滤并行推理链，在保持高准确性的同时显著降低计算开销。

本文的核心创新点在于三个方面：首先，通过混合Transformer-Mamba架构实现推理效率的三维提升——更高准确性、更少token使用和更快推理速度，这与传统纯Transformer架构相比具有根本性优势。其次，系统性的训练策略设计揭示了SFT阶段对推理能力提升的主导作用，作者发现多rollout数据（n=12）、大学习率、难度感知加权以及单教师模型训练（避免跨教师推理风格冲突）是关键因素。第三，数据并行token归一化策略通过平衡的损失计算确保每个token对全局优化步骤的贡献均等，有效解决了长短推理链混合训练导致的梯度方差问题。这些创新共同使得7B参数模型能够在不牺牲准确性的前提下实现卓越的计算效率。

方法步骤详情

完整训练流程包含以下步骤：SFT阶段的数据准备首先从数学、代码、科学、指令跟随、工具调用等多样领域收集长推理链数据，然后进行严格验证，包括数学解答的正确性检查（使用math-verify和LLM验证器）、代码语法和功能正确性验证，以及科学问题的事实交叉验证。质量过滤移除空推理内容、缺乏boxed{}答案的数学解答、有语法错误的代码等。多轮对话数据只保留最后一轮的推理内容以匹配推理时行为。SFT训练使用FSDP + 上下文并行（CP=2）在256张H100 GPU上进行，最大上下文长度36K tokens（部分样本可达48K tokens后右截断），有效批大小512，学习率1024乘以10的负6次方（使用缩放），训练3个epochs共3.1M样本。RL阶段首先对数学数据进行去重和难度过滤：生成8个rollouts计算通过率作为难度代理，移除100%成功率的简单问题，对0%成功率问题进行欠采样。RL训练使用自定义GRPO框架，群体大小16，采样温度0.85，最大响应长度48K tokens，批大小128，学习率2乘以10的负6次方（10步线性warmup）。奖励系统针对不同领域设计：数学使用基于最终答案正确性的二元奖励，代码使用Sandbox-Fusion执行的通过/失败奖励，科学使用LLM评判器。最后，推理阶段采用DeepConf方法，固定trace预算K=512，初始生成16个traces确定停止阈值s（取最低群体置信度的10%分位数），然后对剩余496个traces应用早期停止。答案提取使用math_verify框架优先解释最终数学表达式，失败时回退到boxed表达式提取器。

技术新颖性

本文的技术新颖性体现在多个方面：混合架构与推理优化的结合是首创的，此前混合架构模型（如Nemotron-H系列）在推理任务上表现不佳，而Falcon-H1R证明了这种架构非常适合TTS场景。数据并行平衡token归一化是针对长推理链训练的新颖技术，解决了标准数据并行中各rank处理token数差异导致的梯度不平衡问题，实验显示该策略在AIME-25上带来4-10%的准确率提升。RL阶段的backfill策略配合生成缓存系统（有界缓冲区+定期刷新）减少了约30%的生成调用，这是对标准GRPO训练效率的重要改进。系统性的消融研究揭示了多个反直觉发现：单教师模型优于多教师模型混合、数学推理技能比代码更易迁移到其他领域、SFT阶段贡献了大部分推理能力提升。DeepConf集成展示了Falcon-H1R的校准优势，其置信度估计支持激进的早期停止而不损失准确性，在AIME25上实现了96.7%准确率的同时减少38%的token使用量。这些技术贡献共同推动了小语言模型在推理任务上的性能边界。

**Figure 2**: Distribution of response token counts per domain in the SFT stage

**Figure 3**: Distribution of data categories in the SFT stage

**Figure 4**: Effect of enabling Data-Parallel Balance on downstream reasoning task

**Figure 5**: Math prompts difficulty distribution relative to the Falcon-H1R-SFT checkpoint

实验结果

Falcon-H1R在多个推理密集型基准测试上取得了卓越成绩，充分证明了其参数效率优势。在数学推理方面，模型在AIME24上达到88.1%（超越所有基线），AIME25上达到83.1%（仅次于GPT-OSS-20B的84.4%），HMMT25上达到64.9%（超越除Apriel-1.5-15b-Thinker外的所有基线），AMO-Bench上达到36.3%（超越次优模型GPT-OSS-20B超过10个百分点），MATH500上达到97.4%（与Qwen3-8B并列第一）。在代码生成方面，LiveCodeBench v6达到68.6%（仅次于GPT-OSS-20B的72.0%），SciCode子问题/全问题达到28.3%/3.9%，在领域特定基准（TB Hard、τ2-Telecom）上保持与相似规模模型的竞争性。在一般推理方面，HLE达到11.1%（第二），IFBench达到53.4%（第二），GPQA-Diamond达到61.3%，MMLU-Pro达到72.1%。测试时扩展实验使用DeepConf@512方法，Falcon-H1R在AIME24上达到96.7%（仅生成89.8M tokens），AIME25上达到96.7%（95.1M tokens），GPQA-D上达到70.2%（452.3M tokens），AMO-Bench parser-verifiable子集上达到35.9%（216.8M tokens）。对比基线，Falcon-H1R在AIME25上比DeepSeek-R1-0528-Qwen3-8B减少38%的token使用量同时提升准确率。消融研究揭示了关键发现：SFT阶段使用高rollout数量（n=12）比低数量（n=4,8）更有效，特别是在困难问题上；单教师模型训练优于跨领域教师混合；难度感知数据加权（困难问题1.25-1.75倍上权重、中等问题1倍、简单问题0.5倍或移除）显著提升性能；数学主导的数据混合（数学55.9%、代码29.8%、科学6.4%、其他7.9%）优于更平衡或代码中心的混合。RL阶段消融表明数学优先训练提供了最强的推理性能和泛化能力，代码优先训练在代码基准上表现最佳但泛化较弱，科学优先训练使用LLM评判器未带来显著改进。顺序训练（数学→代码）提供适度收益但降低平均性能，混合域训练未优于单一域训练。数据并行平衡token归一化在SFT训练的前3750步中在AIME-25上持续带来4-10%的准确率提升。这些发现系统性地揭示了构建高效推理模型的关键因素。

**Table 1**: Hyper-parameters used for the Supervised Fine-Tuning (SFT) stage

**Table 2**: Hyperparameters used for the RL stage

**Table 3**: RL ablation results across different task domains

**Table 4**: Mathematical reasoning evaluations

**Table 5**: Code generation with reasoning evaluations

**Table 7**: Test-Time Scaling Performance with DeepConf@512

**Figure 1**: DeepConf@512 of 7B-32B reasoning models

查看结构化数据

任务	指标	本文	基线	提升
AIME24	准确率	88.1%	Qwen3-8B 77.9%, GPT-OSS-20B 83.3%	超越Qwen3-8B 10.2个百分点，超越GPT-OSS-20B 4.8个百分点
AIME25	准确率	83.1%	Qwen3-32B 71.0%, GPT-OSS-20B 84.4%	超越Qwen3-32B 12.1个百分点，仅比GPT-OSS-20B低1.3个百分点
AMO-Bench	准确率	36.3%	GPT-OSS-20B 26.0%, Apriel-1.5-15b-Thinker 22.2%	超越GPT-OSS-20B 10.3个百分点
LiveCodeBench v6	准确率	68.6%	Qwen3-8B 53.0%, GPT-OSS-20B 72.0%	超越Qwen3-8B 15.6个百分点，仅比GPT-OSS-20B低3.4个百分点
AIME25 (DeepConf@512)	准确率	96.7%	DeepSeek-R1-0528-Qwen3-8B 82.8%, Qwen3-32B 86.7%	超越DeepSeek-R1-0528-Qwen3-8B 13.9个百分点，同时减少38%的token使用

局限与改进

作者在论文中承认了一些局限性。首先，模型在知识密集型任务（如GPQA-Diamond和MMLU-Pro）上的表现相对较弱，这是推理优化训练策略的合理trade-off。其次，RL阶段使用LLM评判器评估科学问题的奖励信号质量有限，未带来显著的性能提升。第三，虽然Falcon-H1R在推理任务上表现出色，但其通用能力可能不如同等规模的全能模型。从我的观察来看，论文还存在其他局限性：训练数据规模未明确披露，难以评估数据规模对性能的贡献；只在有限基准上评估了TTS性能，缺乏更广泛任务的验证；代码生成性能在SciCode上相对较弱（子问题28.3%，全问题仅3.9%），可能意味着代码推理能力仍有提升空间；安全性评估仅在附录E中简要提及，缺乏详细的安全对齐讨论；虽然声称极低的数据污染率（MMLU-Pro的0.0005%），但未提供详细的污染分析方法。此外，模型的超长推理链生成能力（最长48K tokens）虽然 impressive，但实际应用中的延迟和成本未进行深入分析。

独立分析的弱点

Falcon-H1R存在几个可以改进的弱点。首先，科学推理性能提升有限，这可能是由于LLM评判器的奖励信号质量不高。改进方向可以是开发更可靠的科学问题验证方法，或引入基于规则的检查器（如用于物理、化学问题的计算验证）。其次，代码生成在SciCode全问题上的准确率仅3.9%，远低于子问题级别的28.3%，说明模型在处理复杂多步骤编程任务时仍有困难。改进方向包括增加更多多步骤编程任务的训练数据，或引入基于测试用例的梯度反馈。第三，知识密集型任务（GPQA-Diamond 61.3%）相对较弱，可以通过在SFT阶段增加更多领域知识的长推理链数据来改进，平衡推理和知识能力。第四，混合架构虽然提升了推理效率，但其长上下文能力（最大48K tokens）仍有限，对于需要处理超长文档的场景可能不足。改进方向可以是进一步优化状态空间组件的上下文扩展能力。最后，模型的安全性和对齐能力未得到充分评估，可以增加专门的RLHF阶段来改善这一方面。

未来方向

作者在结论中提出了几个未来方向。首先是训练更小的推理模型（小于7B参数），探索推理能力在小规模模型中的下限。其次是研究架构创新以最大化测试时扩展的效率和可靠性，例如探索更激进的早期停止策略或更智能的置信度估计方法。基于论文成果，可以延伸的研究方向包括：将Falcon-H1R的混合架构与MoE（Mixture of Experts）结合，进一步优化推理效率和模型容量的平衡；开发跨模态的推理能力（如视觉-语言推理），利用混合架构处理多模态长序列；研究如何将本文的训练策略迁移到其他模型架构，验证其普适性；探索更复杂的TTS方法，如树状搜索或进化算法，与Falcon-H1R的高效推理能力结合；开发专门的推理评估工具，更好地衡量模型在不同难度和领域上的推理能力分布；研究如何将长推理链的知识蒸馏到短推理链，以减少推理开销；探索多任务RL训练，同时优化多个领域的推理能力。此外，深入分析SFT和RL阶段的交互机制，理解为何SFT贡献了大部分推理能力，这可能为未来训练策略设计提供重要洞察。

复现评估

Falcon-H1R的复现性评估需要从多个角度考虑。从开源情况来看，论文提到模型将在HuggingFace上发布（https://huggingface.co/tiiuae [Falcon-H1R collection]），这提供了模型权重访问。然而，训练代码和数据的开源情况未明确说明。从数据角度来看，论文描述了数据来源（数学、代码、科学等），但未提供具体的数据集名称、规模或下载链接，这使得精确复现训练过程变得困难。从算力需求来看，SFT阶段使用256张H100 GPU训练3个epochs，RL阶段同样使用256张H100 GPU，这对大多数研究机构来说是不可承担的。从技术细节来看，论文提供了详细的超参数（学习率、批大小、训练步数等）和消融研究结果，这有助于理解训练过程。然而，一些关键实现细节可能缺失，如混合架构的具体实现方式、GRPO框架的代码修改、奖励系统的具体实现等。从验证角度来看，论文提供了详细的基准测试结果和消融研究，但未提供置信区间或多次运行的方差分析，这使得评估结果的稳定性变得困难。总体而言，完全复现训练过程的可能性较低，但复现推理基准测试是可行的，前提是模型权重公开发布。建议作者在后续工作中开源训练代码、详细的数据收集和筛选脚本、以及基准测试的评估代码，这将显著提升研究的可复现性。

Falcon-H1R：通过混合模型实现高效测试时扩展的推理前沿推进 Falcon-H1R: Pushing the Reasoning Frontiers with a Hybrid Model for Efficient Test-Time Scaling