← 返回 2026-02-17

南备哥4.1-3B：一个能推理、对齐和行动的通用小模型 Nanbeige4.1-3B: A Small General Model that Reasons, Aligns, and Acts

Chen Yang, Guangyue Peng, Jiaying Zhu, Ran Le, Ruixiang Feng, Tao Zhang, Xiyun Xu, Yang Song, Yiming Jia, Yuntao Wen, Yunzhi Xu, Zekai Wang, Zhenwei An, Zhicong Sun, Zongchao Chen 📅 2026-02-13 👍 36 2026-07-13 08:35
代码生成 奖励建模 小语言模型 强化学习 智能体
arXiv HuggingFace PDF

3B参数模型同时实现推理、编程和长程智能体能力

前置知识

SFT (Supervised Fine-Tuning)

监督微调是大语言模型训练流程中的关键阶段，使用人工标注的高质量问答对来指导模型生成符合期望格式和质量的回复。在本文中，SFT阶段不仅包含常规的指令跟随数据，还引入了代码、深度搜索、STEM和工具使用等多种领域的数据混合，并将上下文长度从64K扩展到256K以支持长程推理场景。SFT阶段还包括解决方案精炼(Solution Refinement)和思维链重建(CoT Reconstruction)框架，通过多轮迭代改进来生成更高质量的训练数据。

SFT是整个后训练流程的基础，论文对SFT数据配方的精心设计直接决定了模型的初始能力上限，后续的RL阶段都建立在SFT成果之上。

GRPO (Group Relative Policy Optimization)

GRPO是一种强化学习算法，通过在每个提示词上采样多个回复（本文中为8个rollout），然后使用奖励模型对每个回复进行评分，基于组内相对排名来优化策略。与传统的PPO算法不同，GRPO不需要单独训练价值函数模型，而是直接利用组内采样的奖励信号来估计基线。这大大简化了训练流程，同时保持了有效的策略优化能力。在本文的Point-wise RL阶段，GRPO被用来优化模型生成高质量回复的能力。

GRPO是论文中RL训练的核心算法，理解它对于把握论文的技术细节至关重要，特别是如何从点奖励信号中学习策略改进方向。

Point-wise RL vs Pair-wise RL

Point-wise RL（逐点强化学习）使用单一奖励模型对每个生成的回复独立评分，关注回复本身的绝对质量。而Pair-wise RL（成对强化学习）则基于对比学习的思想，训练奖励模型来判断两个回复中哪个更优，提供相对比较的监督信号。本文创新性地将两者结合：先用Point-wise RL消除格式错误和冗余推理，再用Pair-wise RL通过强弱模型对比来进一步锐化偏好边界。成对奖励模型还引入了交换一致性正则化器来缓解位置偏差。

这两种RL范式的结合是论文的核心创新之一，理解它们的区别和互补关系是把握论文技术路线的关键。

深度搜索 (Deep Search)

深度搜索是指模型在复杂多跳推理和极长上下文设置下，通过迭代地与环境交互来获取信息，解决具有挑战性的搜索问题。与简单的单次检索不同，深度搜索需要模型能够规划长期策略、调用多种工具（如搜索引擎、网页内容提取器、沙箱环境），并根据中间结果动态调整搜索方向。本文中的深度搜索任务涉及多达600轮的工具调用，要求模型在Extended Horizons内维持稳定的推理能力。

深度搜索是论文评估智能体能力的关键场景，也是论文最具突破性的成果之一，展示了小模型在长程任务上的潜力。

时间复杂度奖励 (Time-complexity Reward)

在代码生成的强化学习训练中，传统方法仅以功能正确性（通过测试用例）作为奖励信号。本文创新性地引入了门控的时间复杂度奖励机制：只有当模型生成的代码通过所有测试用例时，才会激活时间复杂度奖励 $R_{time}$，否则只提供正确性奖励。奖励计算公式为 $R = R_{format} + R_{correctness}$（未全部通过）或 $R = R_{format} + R_{correctness} + R_{time}$（全部通过）。这种设计确保模型首先学习生成正确代码，然后在正确基础上优化效率。

这个奖励设计解决了代码生成中正确性和效率的权衡问题，是论文代码能力提升的核心技术。

研究动机

现有小语言模型（SLM）普遍面临能力碎片化的问题：专注于推理的模型在长程交互（如深度搜索）场景下表现挣扎，而专注于代码或智能体任务的模型则缺乏通用推理能力（如创意写作或人类偏好对齐）。以Qwen3-4B和Qwen3-8B为代表的同规模模型，在深度搜索任务上无法维持超过几轮的有效探索。在GAIA基准上，Qwen3-4B仅达到28.33分，Qwen3-8B更只有19.53分。在BrowseComp任务上，这些模型的表现更是低于10分。这表明当前3B规模的模型在长程工具交互和复杂推理任务上存在显著瓶颈。

本文的目标是本文的目标是构建一个真正的统一通用模型，仅用3B参数同时实现强大的智能体行为、代码生成和通用推理能力。具体而言，论文希望解决三个关键问题：（1）如何在3B规模下实现强推理和偏好对齐；（2）如何让小模型具备稳定的长程深度搜索能力；（3）如何在代码生成中同时优化正确性和计算效率。这是首次在开源小模型中实现如此全面的能力整合。

与已有工作不同的是，本文的独特切入角度在于系统性地整合了多种训练信号和奖励机制。与以往单独优化某一能力的方法不同，论文提出了一套完整的训练配方：通过Point-wise和Pair-wise RL的渐进结合来实现精确的偏好对齐，通过门控时间复杂度奖励来优化代码效率，通过轮次级和轨迹级的监督信号来支持长程智能体规划。这种多阶段、多目标的训练策略使模型能够在严格参数约束下维持各领域的强表现，打破了小模型只能专注于单一任务的传统认知。

核心方法

Nanbeige4.1-3B的训练采用了一套精心设计的多阶段流程。从Nanbeige4-3B-Base出发，首先通过扩展的SFT阶段建立基础能力，然后依次进行通用RL（包括Point-wise RL和Pair-wise RL）、两阶段代码RL和轻量级智能体RL。整体思路是先通过SFT让模型获得广泛的基础能力，再通过针对性的RL训练来精化各个专业领域的能力。在SFT阶段，模型的上下文长度从64K扩展到256K，并采用精心设计的数据混合（代码27%、深度搜索26%、STEM 23%、工具使用13%、通用领域10%）。这种渐进式的训练方式确保模型在获得新能力的同时不会遗忘已有技能。

论文的核心创新在于将Point-wise和Pair-wise奖励建模巧妙结合用于通用能力优化，这是与已有方法的本质区别。传统方法通常只使用其中一种奖励信号，而本文发现两种信号具有互补作用：Point-wise RL能有效消除格式错误和冗余推理（将LiveCodeBench-v6上的超长截断率从5.27%降至0.38%），但受限于高质量偏好数据的数量；Pair-wise RL则能通过强弱模型对比来充分利用偏好信息，进一步锐化决策边界。在代码领域，创新点在于门控时间复杂度奖励机制——只有当代码通过所有测试用例时才激活效率奖励。在深度搜索领域，核心创新是基于维基百科实体-关系图的随机游走数据合成管道和轮次级质量判断机制。

方法步骤详情

完整的训练流程包含以下步骤：（1）扩展SFT阶段：在256K上下文长度下，使用混合数据（代码27%、深度搜索26%、STEM 23%、工具使用13%、通用领域10%）进行监督微调，采用解决方案精炼和思维链重建框架生成高质量训练数据。（2）Point-wise RL阶段：训练通用奖励模型评估生成回复，使用GRPO算法在每个提示词上采样8个rollout进行策略优化，主要消除冗余和格式问题。（3）Pair-wise RL阶段：在代码和对话数据上训练成对奖励模型，通过强弱模型对比生成配对数据，使用交换一致性正则化器缓解位置偏差，将奖励公式化为二元结果判断生成回复是否优于参考答案。（4）代码RL第一阶段：优化通过率奖励，最大化测试用例的执行正确性。（5）代码RL第二阶段：在全部通过的基础上激活时间复杂度奖励，优化算法效率。（6）智能体RL阶段：轻量级的工具使用和搜索行为优化。

技术新颖性

论文的技术新颖性体现在多个层面。首先，将Point-wise和Pair-wise RL结合用于小模型的通用能力优化是首创，这打破了以往单一奖励范式的局限。其次，门控时间复杂度奖励设计新颖地解决了代码生成中正确性与效率的矛盾——传统方法要么只追求正确性，要么过早引入效率约束导致学习不稳定。第三，基于维基百科实体-关系图随机游走的深度搜索数据合成管道，配合轮次级三维度判断机制（逻辑连贯性、工具调用准确性、信息增益），是构建长程智能体训练数据的创新方案。最后，将256K上下文长度与专门的长程场景数据混合相结合，使小模型首次具备了处理600轮工具交互的能力。

深度搜索数据构建流程，包括复杂多跳QA采样和长程推理轨迹合成
Figure 2: 深度搜索数据构建流程，包括复杂多跳QA采样和长程推理轨迹合成
代码RL中的门控时间复杂度奖励设计
Figure 3: 代码RL中的门控时间复杂度奖励设计

实验结果

Nanbeige4.1-3B在所有评估领域都展现出显著优势。在通用推理方面，该模型在LiveCodeBench-V6上达到76.9，远超Qwen3-4B的57.4和前代Nanbeige4-3B-2511的46.0。在Arena-Hard-V2对齐基准上取得73.2分，相比Qwen3-4B的34.9有巨大提升。更令人瞩目的是，尽管只有3B参数，该模型在多个基准上超越了30B-32B规模的模型，包括Qwen3-30B-A3B和Qwen3-32B。在深度搜索任务上，性能提升尤为惊人：GAIA从19.42提升到69.90，BrowseComp从0.79提升到19.12，xBench-DeepSearch-05从33.00提升到75.00。在LeetCode周赛中，模型解决了20道题中的17道，达到85%的通过率，在虚拟参赛模式下获得了Weekly Contest 487的第1名和488的第3名。这些结果证明了小模型通过精心的后训练可以实现大模型级别的能力。

从Nanbeige4-3B-SFT到Nanbeige4.1-3B-SFT的性能提升
Table 1: 从Nanbeige4-3B-SFT到Nanbeige4.1-3B-SFT的性能提升
通过通用RL训练的改进（SFT → Point-wise RL → Pair-wise RL）
Table 2: 通过通用RL训练的改进（SFT → Point-wise RL → Pair-wise RL）
合成QA数据的初步评估结果
Table 3: 合成QA数据的初步评估结果
跨多种深度搜索基准的性能对比
Table 5: 跨多种深度搜索基准的性能对比
LeetCode周赛484-488的通过率对比
Table 6: LeetCode周赛484-488的通过率对比
两阶段代码RL的训练动态
Figure 4: 两阶段代码RL的训练动态
查看结构化数据
任务指标本文基线提升
代码生成 - LiveCodeBench-V6 通过率 76.9 Qwen3-4B: 57.4, Nanbeige4-3B-2511: 46.0 较Qwen3-4B提升34%，较前代提升67%
代码生成 - LiveCodeBench-Pro-Medium 通过率 28.1 Qwen3-4B: 5.3, Qwen3-32B: 3.5 较Qwen3-4B提升430%
数学推理 - AIME 2026 I 得分 87.40 Qwen3-4B: 81.46, Qwen3-30B-A3B: 87.30 与30B模型持平，较Qwen3-4B提升7.3%
对齐 - Arena-Hard-V2 得分 73.2 Qwen3-4B: 34.9, Qwen3-32B: 56.0 较Qwen3-4B提升110%，较Qwen3-32B提升30.7%
工具使用 - BFCL-V4 得分 56.50 Qwen3-4B: 44.87, Qwen3-32B: 47.90 较Qwen3-4B提升25.9%
深度搜索 - GAIA 得分 69.90 Qwen3-4B: 28.33, Nanbeige4-3B-2511: 19.42 较Qwen3-4B提升147%，较前代提升260%
深度搜索 - xBench-DeepSearch-05 得分 75.00 Qwen3-4B: 34.00, Nanbeige4-3B-2511: 33.00 较Qwen3-4B提升121%
LeetCode周赛 通过率 85.0% Qwen3-4B: 55.0%, Qwen3-32B: 50.0% 较Qwen3-4B提升54.5%

局限与改进

论文存在几个值得关注的局限性。首先，虽然模型在大多数基准上超越了30B-32B规模的模型，但在部分数学任务上仍略逊于更大的模型，例如在AIME 2026 I上Qwen3-Next-80B-A3B达到89.24而本模型为87.40。其次，深度搜索评估受限于特定的工具框架（Mindflow）和工具集（Serper、Jina、E2B），这些工具的可用性和性能可能会影响结果的泛化性。第三，论文没有详细讨论模型的推理延迟和计算成本，600轮工具调用的实际应用场景中的效率问题值得进一步研究。第四，模型在HLE（人类最后考试）基准上的表现（12.60）虽然优于前代，但与更大模型相比仍有差距。最后，论文缺乏对模型在真实生产环境中部署效果的评估，以及对模型幻觉和安全性的系统性分析。

独立分析的弱点

论文存在几个可以改进的方面。第一，深度搜索能力的评估高度依赖特定工具生态，论文未验证模型在不同工具框架下的泛化能力，这可能导致实际应用中的性能下降。建议在更多样化的工具环境中进行评估。第二，600轮工具调用虽然展示了模型的长程能力，但论文缺乏对推理效率的分析，包括总token消耗、端到端延迟和成本效益比。第三，Point-wise RL和Pair-wise RL的结合虽然有效，但两种训练阶段的顺序敏感性和最优配比未被充分探索。第四，论文在评估中禁用了HuggingFace相关的工具，这可能人为地限制了某些基准的难度。第五，模型的鲁棒性评估不足，缺乏对抗性测试和边界情况分析。

未来方向

论文提出的训练框架为多个研究方向打开了大门。作者提到未来将在复杂编码和研究智能体场景下继续突破小模型的边界，同时专注于提高推理效率——让任务用更短的输出和更少的工具调用就能解决。基于论文成果，可以延伸以下方向：（1）探索更小参数规模（如1B或1.5B）下类似的多阶段训练策略是否仍然有效；（2）将门控时间复杂度奖励思想扩展到其他资源约束优化问题，如内存使用或能耗；（3）研究Point-wise和Pair-wise RL的自动化混合策略，根据训练进度动态调整两种信号的比例；（4）将深度搜索数据合成管道应用于其他领域的智能体训练，如科学发现或代码调试；（5）探索模型架构创新，进一步释放3B规模模型的潜力。

复现评估

论文在可复现性方面做得较好。模型checkpoint已在HuggingFace开源（https://huggingface.co/Nanbeige/Nanbeige4.1-3B），深度搜索的合成数据集也已公开（https://huggingface.co/datasets/Nanbeige/ToolMind-Web-QA）。评估使用的Mindflow框架也是开源的（https://github.com/MiroMindAI/MiroThinker）。然而，复现仍面临一些挑战：首先，SFT和多阶段RL训练需要大量计算资源，论文未详细说明具体的GPU小时数；其次，高质量的偏好数据和强弱模型对比数据的构建过程较为复杂；第三，深度搜索评估依赖的外部工具（Serper、Jina、E2B）可能需要付费或有使用限制。总体而言，技术路线清晰，开源程度较高，但完整的复现仍需要相当的工程投入。

论文图表

Nanbeige4-3B-Thinking与Qwen模型系列的性能对比
Figure 1: Nanbeige4-3B-Thinking与Qwen模型系列的性能对比

该图展示了Nanbeige4-3B-Thinking与Qwen模型系列在多个基准上的性能对比，直观地体现了小模型通过优化训练策略可以达到的性能水平。

这张图是论文的核心成果展示，直观地说明了3B规模模型能够达到的能力上限，为后续方法论的详细介绍提供了动机。

Table 4: 跨代码、数学、科学、对齐和工具使用基准的评估结果

这是论文最重要的结果表格，全面展示了Nanbeige4.1-3B与各基线模型的对比。在代码、数学、科学、对齐和工具使用五个领域的多个基准上，Nanbeige4.1-3B均显著超越Qwen3-4B和前代模型，并在多数基准上超越30B-32B规模的模型。

这是论文核心实验结果的汇总，直接支撑了论文的主要贡献声明，是评估模型整体能力的关键参考。