Youtu-LLM：释放轻量级大语言模型的原生代理潜力 Youtu-LLM: Unlocking the Native Agentic Potential for Lightweight Large Language Models
1.96B参数模型通过代理预训练，在代理任务上超越4B模型
前置知识
Multi-Latent Attention (MLA)
MLA是一种通过低秩压缩KV Cache来优化注意力机制的架构技术。与传统的多头注意力（MHA）不同，MLA引入了潜在维度压缩，将键值对投影到更低维的空间，从而减少内存占用。具体而言，MLA使用一个低秩矩阵将KV Cache从原始维度压缩到更小的潜在维度（如512维），同时保持较大的中间投影矩阵（如Q的低秩维度为1536），这使得模型在有限参数下能够获得更强的表达能力。DeepSeek-V3首先采用了这一架构。
Youtu-LLM采用密集MLA架构作为其核心设计，这是其实现128k长上下文支持同时保持1.96B参数的关键技术。理解MLA有助于理解为什么该模型能在轻量级条件下实现强大的长上下文推理能力。
Agent Mid-training
代理中间训练是指在预训练后期阶段，专门使用代理轨迹数据对模型进行训练的策略。这些轨迹数据包含完整的代理行为序列，如规划、执行、反思和总结等步骤。与传统的指令微调不同，代理中间训练发生在预训练阶段，旨在从根本上培养模型的代理能力，而不是通过后训练来调整输出行为。这种训练通常在模型已经获得基本语言能力之后进行，使用更高质量、更具针对性的数据。
这是本文的核心创新之一。作者发现，在通用中期训练之后进行代理中间训练能带来更大的性能提升，因为长上下文模型能更好地捕获轨迹任务中的跨段关键信息。理解这一概念对于把握本文的方法论至关重要。
Agentic-CoT (代理思维链)
代理思维链是一种结构化的推理范式，将传统线性的思维链分解为五个明确的阶段：分析（Analysis）、计划（Plan）、行动（Action）、反思（Reflection）和总结（Summary）。每个阶段用XML标签封装，形成完整的推理轨迹。与传统CoT相比，Agentic-CoT更强调先思考再行动的模式，通过明确的反思环节来检查错误、考虑替代方案或评估结果的有效性和完整性。
Agentic-CoT是本文提出的关键数据构建方法，实验证明它能显著提升模型的规划能力（从65.1%提升到82.9%）。理解这一概念有助于理解本文如何将代理行为模式注入到预训练数据中。
原子能力分解
原子能力分解是将复杂任务（如数学推理、编码）拆解为独立且不可再分的基本能力单元的方法。例如，数学推理被分解为11个原子能力：符号识别、概念理解、计算执行、空间感知、形式化数学语言、演绎和归纳推理、反证和构造、建模转换、定理应用、自我反思和新知识获取。这些原子能力可以自然映射到代理模块的规划、行动和反馈过程中。
本文的数学轨迹数据构建基于原子能力分解框架，这使得合成的轨迹能够全面覆盖各种代理行为和数学技能。理解这一概念有助于理解本文如何系统性地构建高质量的轨迹数据。
APTBench
APTBench是一个专门为评估基础模型代理能力而设计的基准测试。它采用组合评估机制，包括少样本多选题（MCQ）、文本补全（TC）和判断题，涵盖代码、深度研究、工具和数学四个领域。与传统的端到端评估不同，APTBench通过代理能力维度（规划、行动、反馈）来评估模型，使其适用于预训练/中间训练阶段的高效评估，无需额外的后训练或端到端评估。
APTBench是本文评估代理能力的主要工具，理解其评估机制和维度划分对于解读实验结果至关重要。本文的所有代理能力分析都基于APTBench的四个维度：代码、深度研究、数学和工具。
研究动机
当前大语言模型的进展与参数规模扩展紧密耦合，最先进的模型通常依赖数百亿甚至数千亿参数，在训练和部署过程中产生巨大的计算、财务和环境成本。这些约束显著限制了模型的可访问性和实际应用，特别是在延迟敏感或资源受限的场景中。现有的轻量级模型改进方法主要依赖于蒸馏、指令调优或架构简化，这些方法主要是对齐输出行为，而不是系统性地培养底层认知能力。因此，轻量级模型通常缺乏鲁棒性、泛化能力和规划能力。更重要的是，随着深度研究、编码和工具增强工作流等复杂任务的快速出现，轻量级LLM的这些局限性在真实世界的代理场景中变得更加明显。社区的共识表明，有效的代理不仅需要强大的语言理解能力，还需要内在的规划、工具执行、状态感知和基于反馈的反思能力。
本文的目标是本文的具体目标是证明轻量级LLM通过预训练可以获得强大的代理能力，而不是依赖后训练增强或外部代理框架。作者提出Youtu-LLM，一个2B大小的轻量级开源模型，旨在平衡紧凑性与强大的通用和代理性能。具体而言，目标包括：（1）在通用基准测试中，与Qwen3-4B等更大模型具有竞争力；（2）在代理特定任务上，显著超越现有SOTA基线；（3）通过可扩展的代理中间训练范式，使模型能够内化规划和反思行为；（4）提供系统性的实证证据，证明代理预训练可以在轻量级LLM中释放代理潜力。
与已有工作不同的是，本文的独特切入角度在于早期且系统性地注入代理信号。与现有的后训练或代理框架方法不同，本文主张在预训练阶段就开始培养代理能力。作者认为，现有的轻量级模型改进方法主要是对齐输出行为，而不是系统性地培养底层认知能力。本文抓住了一个被忽视的点：代理能力应该是原生的（native），而不是通过后训练附加的。通过创新的词汇表设计、数据分配和多阶段学习策略，本文在预训练阶段就将代理能力注入模型，这与Jerome Bruner的螺旋课程理论和David Ausubel的渐进分化原则相一致。
核心方法
Youtu-LLM的方法可以类比为从小培养一个有潜力的孩子：不是通过后期补习（后训练）来弥补能力不足，而是从一开始就提供系统性的、循序渐进的教育（预训练）。技术路线分为四个阶段：首先，构建一个STEM导向的词汇表，专门为推理场景优化；然后，采用密集MLA架构，支持128k长上下文；接着，实施常识-STEM-代理课程学习策略，从通用常识逐步过渡到复杂STEM和代理任务；最后，构建大规模的代理轨迹数据（200B tokens），覆盖数学、编码、深度研究和工具使用等领域。整个过程遵循螺旋课程理论，确保模型逐步获得深层认知能力，而不是表面的对齐。
本文的核心创新点是原生代理能力诱导，即通过代理预训练系统性地培养模型的代理能力。与已有方法最本质的区别在于：现有方法主要是通过后训练或外部代理框架来增强代理能力，这相当于给模型穿上代理外衣；而本文则是在预训练阶段就将代理能力植入模型的DNA中。具体而言，本文提出了三个关键创新：（1）STEM导向的词汇表，通过多阶段训练策略优化推理场景的tokenization效率（比Qwen3提升约10%）；（2）常识-STEM-代理课程学习，从8.16T tokens的通用数据逐步过渡到200B tokens的代理轨迹数据；（3）可扩展的代理轨迹构建框架，涵盖Agentic-CoT、数学轨迹、代码轨迹、深度研究轨迹和工具使用轨迹五类数据。这些创新使得1.96B参数的模型能够在代理任务上超越4B参数的模型。
方法步骤详情
Youtu-LLM的方法步骤如下：第一步，构建STEM导向的词汇表。从o200k词汇表出发，保留前100k ASCII tokens，移除所有中文字符tokens，然后使用多域中文语料库继续训练中文特定tokens，最后添加代码和数学/技术内容的专业tokens，最终词汇表大小为128,256。第二步，采用密集MLA架构。使用32层，隐藏大小2048，Q/KV头数16/16，KV低秩维度512，Q低秩维度1536，支持128k上下文窗口。第三步，实施四阶段预训练。Stage 1消耗8.16T tokens，序列长度8192，网页和百科数据占75%；Stage 2将STEM和编码数据比例提高到60%；Stage 3是衰减和长上下文扩展阶段（8k到32k到128k），学习率从4e-4降至4e-5；Stage 4将衰减数据主要调整为代理轨迹（约60%），学习率进一步降至1e-7。第四步，构建代理轨迹数据。包括25B Agentic-CoT轨迹、20B数学轨迹、70B代码执行轨迹、60B深度研究轨迹和25B其他轨迹。第五步，后训练。包括监督微调（SFT）和强化学习（RL），SFT采用两阶段策略：推理SFT（数学40%、编码30%、科学推理20%、代理任务10%）和通用SFT。
技术新颖性
Youtu-LLM的技术新颖性体现在以下几个方面：首先，词汇表设计的创新。采用多阶段训练策略，先训练基础语言能力，再添加推理场景的tokens，这比传统的一次性混合训练更有效，在STEM任务上实现了约10%的tokenization效率提升。其次，代理轨迹构建的创新。提出了Agentic-CoT结构化推理范式，将传统线性的思维链分解为分析、计划、行动、反思和总结五个阶段，显著提升了规划能力（从65.1%到82.9%）。第三，代理中间训练的创新。发现长上下文模型能更好地捕获轨迹任务中的跨段关键信息，因此在通用中期训练之后进行代理中间训练能带来更大的性能提升。第四，训练动态的创新。发现FP16精度比BF16更能维持训练-推理一致性，并引入基于GRPO的一致采样策略，显著增强了训练稳定性。
实验结果
Youtu-LLM在多个维度上取得了显著成果。在通用基准测试中，Youtu-LLM 2B Base在MMLU-Pro（5-shot）上达到48.4%，显著超越Qwen3-1.7B（34.9%）和SmolLM3-3B（35.3%），甚至接近Qwen3-4B（46.1%）。在STEM任务上，MATH（4-shot）达到44.4%，超越Qwen3-1.7B（28.1%）和SmolLM3-3B（40.8%），与Qwen3-4B（44.8%）相当。在编码任务上，HumanEval（0-shot）达到64.6%，显著超越所有基线，包括Qwen3-4B（57.6%）。在代理任务上，Youtu-LLM 2B Base在APTBench的四个维度上都表现出色：代码37.9%（接近Qwen3-4B的41.9%）、深度研究38.6%（接近Qwen3-4B的40.5%）、数学68.0%（接近Qwen3-4B的70.5%）、工具64.2%（接近Qwen3-4B的65.8%）。对于指令模型，Youtu-LLM 2B在大多数基准上超越DeepSeek-R1-Distill-Llama-8B，在HumanEval上达到88.1%（vs 95.9%），在MATH-500上达到90.8%（vs 93.7%），在AIME 24上达到52.5%（vs 65.4%）。在SWE-Bench-Verified上，Youtu-LLM 2B达到17.7%，显著超越Qwen3-1.7B（0.6%）和SmolLM3-3B（7.2%），甚至超越Qwen3-4B（5.7%）。代理中间训练的消融实验显示，在340B tokens的训练预算上，APTBench平均分提升了6%以上，在SWE-Bench-Verified上的pass@1提升了42.7%（从12.4%到17.7%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 通用知识推理 | MMLU-Pro (5-shot) | 48.4% | Qwen3-4B: 46.1%, SmolLM3-3B: 35.3% | 超越Qwen3-4B 2.3%，超越SmolLM3-3B 13.1% |
| 数学推理 | MATH (4-shot) | 44.4% | Qwen3-4B: 44.8%, Qwen3-1.7B: 28.1% | 接近Qwen3-4B，超越Qwen3-1.7B 16.3% |
| 代码生成 | HumanEval (0-shot) | 64.6% | Qwen3-4B: 57.6%, SmolLM3-3B: 34.8% | 超越Qwen3-4B 7.0%，超越SmolLM3-3B 29.8% |
| 代理代码能力 | SWE-Bench-Verified | 17.7% | Qwen3-4B: 5.7%, SmolLM3-3B: 7.2% | 超越Qwen3-4B 12.0%，超越SmolLM3-3B 10.5% |
| 深度研究 | GAIA | 33.9% | Qwen3-4B: 25.5%, SmolLM3-3B: 11.7% | 超越Qwen3-4B 8.4%，超越SmolLM3-3B 22.2% |
| 指令遵循 | IFEval (0-shot) | 81.2% | Qwen3-4B: 83.6%, SmolLM3-3B: 60.4% | 接近Qwen3-4B，超越SmolLM3-3B 20.8% |
局限与改进
作者承认了几个主要局限性。首先，与大型专有LLM相比，代理能力仍存在差距，这主要受计算资源限制。其次，模型效率仍是一个挑战，长推理轨迹不可避免地增加了推理延迟。第三，当前范围局限于文本环境，尚未扩展到多模态场景。从我的观察来看，还有一些值得注意的局限性：（1）虽然模型在代理任务上表现优异，但在需要复杂多步推理的数学竞赛问题上（如AIME 25），与更大的模型仍有明显差距（49.8% vs Qwen3-4B的64.2%）；（2）代理中间训练虽然有效，但需要大量的计算资源（340B tokens的训练预算），这对于资源受限的研究者可能是一个障碍；（3）论文提到在SWE-Bench-Verified上使用了8次试验取平均，这可能掩盖了模型在单次尝试中的不稳定性；（4）工具使用能力（BFCL V3）相对其他代理能力提升较小（58.0% vs Qwen3-4B的61.7%），表明通用工具使用可能不是代理预训练的主要受益者。
独立分析的弱点
基于对论文的深入分析，我识别出以下几个弱点：首先，代理轨迹构建的成本问题。构建200B tokens的高质量代理轨迹数据需要大量的计算资源和人工验证，特别是深度研究轨迹的逆合成方法需要依赖高质量的学术论文和法律文档，这限制了方法的可扩展性。改进方向是探索更高效的轨迹生成方法，如使用小模型生成轨迹后由大模型验证，或者开发自动化的质量评估机制。其次，多阶段预训练的复杂性。四阶段预训练策略需要精心设计数据配比和学习率调度，这增加了超参数调优的难度。改进方向是探索更简单的训练策略，如课程学习的自动化调整。第三，长上下文处理的效率。虽然模型支持128k上下文，但长推理轨迹仍然会增加推理延迟。改进方向是探索更高效的注意力机制，如稀疏注意力或线性注意力。第四，代理能力的可解释性。虽然论文提供了案例研究，但缺乏对模型内部代理行为的系统性分析。改进方向是开发代理行为的可视化和分析工具。
未来方向
作者提出了三个主要的未来研究方向。首先，将模型演进为世界模型，模拟执行动态，以环境理解为基础进行推理。其次，探索更高效的模型架构，如扩散LLM（Diffusion LLMs），以优化推理速度。第三，将模型扩展到多模态场景，赋予模型原生的全模态感知能力，以处理复杂的现实世界任务。基于本文的成果，还可以延伸出以下研究方向：（1）探索代理预训练在更大规模模型（如7B、13B）上的效果，验证代理能力的缩放规律；（2）研究代理轨迹数据的自动质量评估和筛选方法，降低数据构建成本；（3）开发针对特定领域（如医疗、法律）的代理预训练策略；（4）探索代理预训练与强化学习的结合，进一步提升代理能力；（5）研究代理能力的迁移学习，将在一个领域学到的代理能力迁移到新领域。
复现评估
从复现性角度来看，Youtu-LLM提供了较好的开源支持。代码已在GitHub开源（https://github.com/TencentCloudADP/youtu-tip/blob/master/youtu-llm），模型已在HuggingFace发布（https://huggingface.co/collections/tencent/youtu）。然而，完全复现仍面临一些挑战：（1）数据方面，虽然论文详细描述了数据构建流程，但原始数据（10T tokens的预训练语料）并未开源，研究者需要依赖公开数据集重建；（2）算力方面，四阶段预训练需要大量的GPU资源，特别是代理中间训练阶段需要340B tokens的训练预算，这对于大多数研究机构可能难以承受；（3）时间方面，完整的训练流程（从词汇表训练到四阶段预训练再到后训练）需要数周甚至数月的时间；（4）技术细节方面，虽然论文提供了详细的超参数设置，但一些关键实现细节（如数据配比的具体计算方法、质量评分模型的训练细节）可能需要进一步澄清。总体而言，对于有充足计算资源的研究机构，复现是可行的；但对于资源受限的研究者，建议从预训练好的模型开始进行微调实验。
论文图表
