Foundation-Sec-8B-Reasoning：首个面向网络安全的开源原生推理大语言模型 Llama-3.1-FoundationAI-SecurityLLM-Reasoning-8B Technical Report
首个开源网络安全推理模型，8B参数媲美70B模型性能
前置知识
原生推理模型（Native Reasoning Model）
原生推理模型是一类专门训练的大语言模型，其核心特征是在生成最终答案之前必须先产生显式的推理链（reasoning trace），通常包裹在 ... 标签中。与传统的指令微调模型直接生成答案不同，原生推理模型从训练初期就被教导「先思考再回答」。这种设计使得模型的决策过程完全透明，安全分析师可以审计其推理逻辑。在本文中，Foundation-Sec-8B-Reasoning 就是这样一个原生推理模型，它不是从已有的指令模型改编而来，而是从基础模型开始就按照推理范式进行训练。
理解原生推理模型是理解本文核心贡献的前提。网络安全领域要求高度可解释的决策过程，传统的黑盒模型无法满足这一需求。
GRPO（Group Relative Policy Optimization）
GRPO 是一种强化学习算法，由 DeepSeek-R1 团队首次提出。其核心思想是：对每个提示（prompt）生成一组（group）响应，然后通过比较组内响应的相对质量来计算优势函数（advantage function），而非依赖外部的评论家模型（critic model）。具体而言，给定提示 $x$，GRPO 生成 $n$ 个响应 $\{y_1, y_2, ..., y_n\}$，通过验证器计算每个响应的奖励 $r_i$，然后计算标准化优势 $\hat{A}_i = \frac{r_i - \text{mean}(\mathbf{r})}{\text{std}(\mathbf{r})}$。这种相对比较方式简化了训练流程，同时保持了稳定的策略更新。
GRPO 是本文强化学习阶段的核心算法，理解其工作原理对于理解模型如何通过可验证奖励进行优化至关重要。
可验证奖励的强化学习（RLVR）
RLVR（Reinforcement Learning from Verifiable Rewards）是一种利用可客观验证的奖励信号来训练语言模型的方法。与基于人类偏好的 RLHF 不同，RLVR 使用程序化的验证器（verifier）来判断模型输出是否正确。例如，在数学问题中，验证器可以检查答案的数值是否正确；在网络安全任务中，可以验证漏洞分类是否准确。这些奖励信号是确定性的、可重复的，不受人类主观判断的影响。本文使用 RLVR 来优化模型在网络安全分析、指令遵循和数学推理三个领域的能力。
RLVR 是本文训练管道第二阶段的核心方法，理解其与 RLHF 的区别有助于把握本文方法论的独特之处。
KL 散度正则化
KL 散度（Kullback-Leibler Divergence）是衡量两个概率分布差异的指标。在强化学习训练中，KL 散度正则化用于约束新策略不要偏离参考策略（通常是 SFT 模型）太远。具体实现方式是在损失函数中添加一个惩罚项 $\beta \cdot D_{\text{KL}}(\pi_{\theta} \| \pi_{\text{ref}})$，其中 $\beta = 0.02$ 是本文使用的系数。这种正则化可以防止模型在 RL 训练过程中遗忘 SFT 阶段学到的知识，同时避免策略更新过于激进导致训练不稳定。
KL 散度正则化是本文保持模型稳定性和避免灾难性遗忘的关键技术手段。
CTIBench（网络威胁情报基准测试）
CTIBench 是一套专门评估大语言模型网络威胁情报能力的基准测试套件，包含四个子任务：CTIBench-MCQA（多选题，2500题）、CTIBench-RCM（CVE到CWE映射，1000题）、CTIBench-VSP（严重性预测，1000题）、CTIBench-ATE（攻击技术提取，60题）。这些任务覆盖了网络安全分析的核心能力：知识理解、漏洞分析、风险评估和威胁行为推理。该基准由 Cisco Foundation AI 团队开发，已成为评估安全领域 LLM 能力的标准测试集。
CTIBench 是本文评估模型网络安全能力的主要基准，理解其构成对于解读实验结果至关重要。
SFT（Supervised Fine-Tuning）
监督微调（SFT）是大语言模型训练的第一阶段，通过在带有正确答案的标注数据上进行监督学习来调整模型参数。在本文中，SFT 阶段使用了约 200 万个合成样本，这些样本由 Gemini-2.5-Flash 模型生成，包含推理链和 ... 标签。数据涵盖网络安全（26.8%）、数学（19.2%）、编码（13.5%）、安全（8.9%）、科学（10.9%）、聊天（4.1%）和指令遵循（20.9%）等多个领域。SFT 的目标是教会模型推理的基本结构和跨领域能力，为后续的 RL 训练奠定基础。
SFT 是本文两阶段训练管道的第一阶段，理解其数据构成和训练目标对于理解模型的能力来源至关重要。
奖励黑客（Reward Hacking）
奖励黑客是强化学习中的一种病态现象，指模型学会了以非预期的方式获取高奖励，而非真正完成目标任务。在本文的场景中，奖励黑客表现为：模型能够生成正确的最终答案，但推理链却是空的或无意义的（例如 No）。这是因为验证器只检查最终答案的正确性，而不验证推理过程的质量。由于 GRPO 损失随输出长度减小，模型倾向于生成最短的有效回答，这反而抑制了有意义的推理链生成。
奖励黑客是本文需要解决的核心技术挑战之一，理解这个问题有助于把握本文方法论的创新点。
研究动机
当前网络安全领域的大语言模型存在一个根本性的能力缺口。尽管已经有多款网络安全专用模型（如 Lily-Cybersecurity-7B-v0.2、DeepHat-V1-7B、Foundation-Sec-8B-Instruct）被开发出来，但这些模型都是指令遵循型（instruction-following）模型，它们只能处理直接的查询请求，而在面对复杂的多步骤分析任务时表现不佳。网络安全的核心功能——威胁情报分析、漏洞评估、事件响应——都需要超越简单答案的推理能力。例如，一个模型可能正确地将一个入侵指标（indicator of compromise）映射到 MITRE ATT&CK 技术，但如果推理过程存在缺陷，就可能导致分析师误解对手的战术并部署无效的对策。在高风险的安全决策中，黑盒式的推荐往往是不够的，安全专业人员需要审计模型的逻辑、建立对其输出的信任、并与模型协作来完善分析。然而，目前尚无一个原生推理模型专门为网络安全领域设计，这构成了一个亟待填补的空白。
本文的目标是本文的核心目标是开发 Foundation-Sec-8B-Reasoning，这是首个面向网络安全领域的开源原生推理模型。该模型基于之前发布的 Foundation-Sec-8B 基础模型（从 Llama-3.1-8B-Base 衍生），通过两阶段训练管道（SFT + RLVR）培养原生推理能力。具体而言，研究团队希望实现以下目标：首先，让模型在 10 个网络安全基准测试上达到与大型模型（如 Llama-3.3-70B-Instruct，参数量大 9 倍）相竞争的性能；其次，在 10 个通用基准测试上保持或超越基础模型的能力，证明领域专业化不会损害通用智能；第三，通过 HarmBench 评估确保模型在部署时的安全性；最后，通过公开模型权重和训练方法论，为网络安全 AI 社区提供一个可复现的范例。
与已有工作不同的是，本文的独特切入角度在于其「从基础模型开始训练推理能力」的方法论。与之前的工作不同（如 Foundation-Sec-8B-Instruct 从基础模型训练为指令模型），本文的方法是从基础模型直接训练为推理模型，而非在已有的指令模型上进行微调。这种原生推理的设计使得模型从训练初期就被教导「先思考再回答」，而不是事后添加推理能力。此外，本文的方法论创新体现在三个方面：第一，解决了异构 RL 数据导致的训练不稳定问题，发现样本级损失聚合（而非 token 级）能有效防止长序列低质量样本主导优化过程；第二，设计了格式惩罚机制来对抗奖励黑客，确保模型生成有意义的推理链；第三，通过 KL 散度正则化和小规模 RL 训练，防止模型偏离 SFT 初始化太远，保持跨基准的稳定性。这些技术创新使得 8B 参数的模型能够在网络安全推理任务上与 15 倍大的模型竞争。
核心方法
本文的方法论采用两阶段训练管道，其核心思路是：先通过大规模监督微调建立广泛的基础推理能力，再通过强化学习进一步优化网络安全和推理能力。具体来说，训练流程如下：首先，从 Foundation-Sec-8B 基础模型开始（该模型已经在 80 亿个网络安全数据 token 上进行了持续预训练），使用约 200 万个合成样本进行 SFT。这些样本由 Gemini-2.5-Flash 生成，包含显式的推理链和 ... 标签，涵盖网络安全、数学、编码、指令遵循等多个领域。SFT 阶段的目标是教会模型推理的基本结构和格式。然后，进入 RL 阶段，使用 GRPO 算法和可验证奖励（来自任务特定的验证器）进一步优化模型。RL 训练数据聚焦于网络安全、指令遵循和数学推理三个领域，通过生成 5 个响应并计算相对优势来更新策略。整个过程使用 KL 散度正则化（$\beta = 0.02$）来约束策略更新，防止灾难性遗忘。
本文的核心创新点在于解决 RL 训练中的两个关键技术挑战：数据异构性和奖励黑客。第一个创新是关于损失聚合策略。在异构 RL 数据上训练时，不同任务的输出长度和准确率差异巨大，这导致长序列中的 token 对总损失的贡献不成比例。作者发现，DeepSeek-AI 提出的 DAPO 方法中的简单 token-mean 聚合在本文的设置中会导致退化失败模式。相反，原始 GRPO 的样本级损失聚合（先在每个样本内平均 token 损失，再跨样本聚合）以及 Dr.GRPO 的方法能有效防止长低质量序列主导优化。第二个创新是格式惩罚机制。作者观察到，未经正则化的 GRPO 会导致模型学会生成正确答案但空推理链的现象（例如 No 对所有提示），因为验证器只检查答案正确性。通过在奖励函数中添加格式验证，确保推理标签存在且推理内容非平凡（不过短或重复），从而强制模型生成有意义的推理过程。
方法步骤详情
本文的训练方法包含以下具体步骤：第一阶段（SFT）：使用约 200 万个合成样本，数据构成为网络安全 26.8%、数学 19.2%、编码 13.5%、安全 8.9%、科学 10.9%、聊天 4.1%、指令遵循 20.9%。训练进行 3 个 epoch，使用余弦学习率调度器，初始学习率为 $2 \times 10^{-5}$。第二阶段（RL）：使用 GRPO 算法，数据构成为网络安全 39.7%、数学 14.9%、指令遵循 41.1%。对每个提示生成 $n=5$ 个响应，通过任务特定验证器计算二元奖励信号。训练 2 个 epoch，使用余弦学习率调度器，学习率为 $10^{-6}$，包含预热阶段。策略更新通过 KL 散度惩罚（系数 0.02）对原始 SFT 模型进行正则化。在损失聚合方面，采用样本级方法：先在每个样本内计算平均 token 损失，再跨样本聚合。在奖励函数中，除了任务特定奖励外，还添加了格式惩罚，验证响应格式是否符合要求（推理标签存在、推理内容非平凡）。
技术新颖性
本文的技术新颖性体现在多个层面。首先，在方法论层面，这是首个专门为网络安全领域设计的原生推理模型训练管道。不同于以往在指令模型基础上添加推理能力的做法，本文从基础模型开始直接训练推理能力，这种原生推理范式确保了模型从底层就具备「先思考再回答」的行为模式。其次，在技术实现层面，本文对 GRPO 算法进行了重要改进：通过系统比较不同的损失聚合策略（token-mean vs 样本级 vs Dr.GRPO），发现了在异构数据上训练的最佳实践；通过设计格式惩罚机制，有效解决了奖励黑客问题，这在以往的 RLVR 工作中尚未被充分讨论。第三，在评估层面，本文不仅展示了模型在网络安全基准上的优异表现，还通过详尽的消融研究（SFT 检查点 vs 最终 RL 模型）揭示了每个训练阶段的具体贡献，这种分析方法为后续研究提供了宝贵的参考。最后，本文使用的数据生成方法（利用 Gemini-2.5-Flash 生成带推理链的合成数据）也为领域专用模型的训练提供了新的思路。
实验结果
本文的实验结果揭示了几个重要发现。在网络安全基准测试上，Foundation-Sec-8B-Reasoning 展现了强大的性能：在 CTIBench-RCM（CVE 到 CWE 映射）上达到 75.3%，超越所有其他模型，包括参数量大 15 倍的 GPT-OSS-120B（71.2%）；在 CTIBench-MCQA 上达到 69.1%，与 Llama-3.3-70B-Instruct（69.2%）相当；在 CWE-Prediction 上达到 70.4%，展示了强大的漏洞分类能力。在通用基准测试上，模型表现同样出色：在 AlpacaEval 2.0 上达到 62.6%，比 Llama-3.1-8B-Instruct（25.4%）提升了 146%；在 BBH 上达到 69.9%；在 GSM8K 上达到 82.3%。消融研究显示，RL 训练带来了显著的间接收益：在 2WikiMultihopQA 上提升了 +36.1 个百分点（24.4% 到 60.5%），在 HotpotQA 上提升了 +45.1 个百分点（9.6% 到 54.8%），这些任务并未包含在 RL 训练数据中。安全评估方面，使用系统提示时 HarmBench 通过率达到 93.00%，结合 Llama-Guard-3-8B 后达到 98.25%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CTIBench-RCM（CVE到CWE映射） | 准确率（Accuracy） | 75.3% | Llama-3.3-70B-Instruct: 68.4%, GPT-OSS-120B: 71.2% | 超越70B模型6.9pp，超越120B模型4.1pp |
| CTIBench-MCQA（网络威胁情报多选题） | 准确率（Accuracy） | 69.1% | Llama-3.3-70B-Instruct: 69.2%, Foundation-Sec-8B-Instruct: 65.0% | 与70B模型持平，比8B指令模型高4.1pp |
| CWE-Prediction（漏洞分类） | 准确率（Accuracy） | 70.4% | Foundation-Sec-8B-Instruct: 61.6%, GPT-4.1: 68.2% | 比8B指令模型高8.7pp，超越GPT-4.1 |
| AlpacaEval 2.0（人类偏好对齐） | 长度控制胜率（Length-Controlled Win Rate） | 62.6% | Llama-3.1-8B-Instruct: 25.4%, Foundation-Sec-8B-Instruct: 33.1% | 比基线提升146%，比指令模型提升89% |
| 2WikiMultihopQA（多跳问答） | F1分数 | 60.5% | Llama-3.1-8B-Instruct: 49.6%, SFT检查点: 24.4% | 比基线提升22%，比SFT检查点提升36.1pp |
| HarmBench（安全评估） | 通过率（Pass Rate） | 93.00%（有系统提示） | Llama-3.1-8B-Instruct: 62.75%, Foundation-Sec-8B-Instruct: 95.00% | 比基线提升30pp，接近指令模型水平 |
局限与改进
尽管本文取得了显著成果，但仍存在一些局限性。首先，模型在某些基准测试上的表现仍有提升空间：在 CTIBench-ATE（攻击技术提取）上达到 49.1%，虽然比 SFT 检查点（39.4%）有显著提升，但仍低于 GPT-4.1（69.6%）和 Llama-3.3-70B-Instruct（51.9%）。在 CTI-Reasoning 上达到 41.1%，比 SFT 检查点（44.0%）反而下降了 2.9 个百分点，这表明 RL 训练可能在某些多跳推理任务上产生了负面影响。其次，模型的通用能力虽然保持得较好，但在某些任务上仍有轻微下降：在 MMLU 上（68.3%）略低于 Llama-3.1-8B-Instruct（69.8%），在 HumanEval 上（79.9%）略低于基线（82.3%）。第三，安全评估显示，虽然使用系统提示后通过率达到 93.00%，但仍有 7% 的对抗性提示未能成功拒绝，这在高安全要求的场景中可能构成风险。此外，本文使用的合成数据由 Gemini-2.5-Flash 生成，其质量和多样性可能受到源模型能力的限制。最后，本文的评估主要集中在英文网络安全场景，对于其他语言和文化背景的适用性尚未验证。
独立分析的弱点
从独立分析的角度来看，本文存在以下几个值得关注的弱点。首先，关于数据生成方法，本文依赖 Gemini-2.5-Flash 来生成 SFT 数据，这意味着数据质量受限于源模型的能力。如果源模型在某些网络安全子领域存在知识盲区或偏见，这些缺陷可能会被传递到训练数据中，进而影响最终模型的表现。改进方向是引入多个不同的源模型进行交叉验证，或者结合人工专家审核来提高数据质量。其次，关于 RL 训练的稳定性，虽然本文发现了样本级损失聚合的优势，但并未充分探索其他可能的解决方案，如课程学习（curriculum learning）或自适应采样策略。第三，关于评估的全面性，本文主要关注选择题和分类任务，对于开放式的网络安全分析任务（如撰写威胁情报报告、进行漏洞分析）的评估不足。此外，本文的评估框架（FAITH）使用正则表达式提取答案，这种方法对于答案格式有严格要求，可能对某些模型不公平。改进方向是引入更灵活的答案评估方法，如语义相似度匹配或人工评估。
未来方向
基于本文的成果，未来研究可以在以下几个方向展开。首先，可以探索更大规模的网络安全推理模型，研究本文的方法论在 13B、34B 甚至 70B 参数规模上的表现，特别是考虑到本文已经证明 8B 模型可以与 70B 模型竞争，那么更大规模的推理模型可能会带来进一步的性能突破。其次，可以将原生推理范式扩展到其他安全相关的领域，如恶意软件分析、网络取证、安全审计等，验证本文方法论的通用性。第三，可以研究更先进的 RL 技术，如基于过程的奖励模型（process-based reward model），来进一步提升推理质量并减少奖励黑客的风险。第四，可以探索多模态推理能力，例如结合代码、网络流量数据、系统日志等多种数据源进行综合安全分析。最后，可以研究如何将本文的推理能力与外部知识库（如 CVE 数据库、MITRE ATT&CK 框架）进行更紧密的集成，实现检索增强推理（Retrieval-Augmented Reasoning），从而在保持推理能力的同时获取最新的安全知识。
复现评估
从复现评估的角度来看，本文具有较高的可复现性。首先，模型权重已在 HuggingFace 上公开发布（huggingface.co/fdtn-ai/Foundation-Sec-8B-Reasoning），研究者可以直接下载使用。其次，评估框架（FAITH）也已开源（github.com/cisco-foundation-ai/faith），提供了标准化的评估流程。第三，本文详细描述了训练的超参数设置：SFT 阶段使用 3 个 epoch、学习率 $2 \times 10^{-5}$、余弦调度器；RL 阶段使用 2 个 epoch、学习率 $10^{-6}$、KL 散度系数 0.02、每提示生成 5 个响应。然而，复现的挑战主要在于数据方面：本文使用的 SFT 数据（约 200 万个样本）和 RL 数据是专有的，未公开发布，这使得完全复现训练过程存在困难。此外，RL 训练需要大量的计算资源来生成和评估多个响应，这可能超出了许多研究团队的算力预算。改进方向是公开部分训练数据的样本或提供数据生成的详细指南，以便其他研究者能够构建类似的训练数据集。
论文图表