← 返回 2026-02-11

基于漏洞奖励模型的在线强化学习安全代码生成框架 SecCoderX Secure Code Generation via Online Reinforcement Learning with Vulnerability Reward Model

Tianyi Wu, Mingzhe Du, Yue Liu, Chengran Yang, Terry Yue Zhuo, Jiaheng Zhang, See-Kiong Ng 📅 2026-02-07 👍 22 2026-07-13 08:35
代码安全 代码生成 大语言模型 强化学习 漏洞检测
arXiv HuggingFace PDF

在线强化学习框架，在提升代码安全性的同时保持功能完整性

前置知识

强化学习 (Reinforcement Learning, RL)

强化学习是机器学习的一个分支，通过让智能体在环境中执行动作并获得奖励信号来学习最优策略。本文使用的是在线强化学习，即智能体在训练过程中实时生成代码并获得安全性和功能性的反馈奖励，而非仅依赖离线数据。具体地，本文采用GRPO（Group Relative Policy Optimization）算法进行训练，该算法通过对同一提示生成多个回复并进行组内相对比较来优化策略，避免了传统PPO算法需要单独训练价值函数的复杂性。

理解在线强化学习是理解本文核心方法的基础，因为SecCoderX的核心创新就是将安全代码生成问题建模为在线RL问题，通过奖励模型引导模型探索既安全又功能正确的代码生成策略。

漏洞检测数据集 (Vulnerability Detection Datasets)

这类数据集包含大量真实世界的安全漏洞代码片段，每个样本标注了漏洞代码、修复后的代码以及对应的CWE（Common Weakness Enumeration）漏洞类别。本文使用的数据集包括PrimeVul、CrossVul和R2Vul，它们覆盖了多种编程语言和CWE类别。传统上这些数据集仅用于训练漏洞检测分类器，但SecCoderX创新性地将其用于安全代码对齐。

漏洞检测数据集是SecCoderX框架的重要资源基础，论文的核心创新之一就是将这些传统用于检测任务的数据资源重新利用于代码生成对齐，解决了安全对齐数据稀缺的问题。

CWE（Common Weakness Enumeration）

CWE是MITRE维护的软件漏洞分类标准，为常见的软件安全弱点提供统一的分类编号和描述。例如CWE-79代表跨站脚本攻击（XSS），CWE-117代表日志注入，CWE-89代表SQL注入。本文使用CWE作为安全标准，要求生成的代码不包含任何已知的CWE漏洞模式。CWE-conditioning的设计使得奖励模型能够针对特定漏洞类别进行精准检测。

CWE分类体系是本文评估代码安全性的标准框架，理解CWE有助于理解论文中提到的具体漏洞类型及其对应的检测和奖励机制。

奖励模型 (Reward Model, RM)

奖励模型是强化学习中的关键组件，用于评估智能体生成的输出质量并提供奖励信号。本文提出的漏洞奖励模型（Vulnerability RM）是一个基于推理的8B参数模型，它不仅判断代码是否存在漏洞，还能生成结构化的推理过程（理解-推测-分析三个阶段），然后输出漏洞检测结果。该模型经过三阶段训练：数据收集、推理链SFT和GRPO强化学习，最终在多个基准测试上超越GPT-4.1和Gemini-2.5-Flash。

漏洞奖励模型是SecCoderX在线RL框架的核心组件，提供可靠的安全信号来引导模型学习安全的代码生成行为，理解其训练方式和工作原理对于把握论文技术路线至关重要。

功能安全悖论 (Functionality-Security Paradox)

这是本文识别的关键问题现象：现有的安全代码对齐方法在提升代码安全性的同时，往往导致代码功能性大幅下降。具体表现为对齐后的模型虽然在安全率上有所提升，但有效安全率（ESR，综合考虑功能性和安全性的指标）反而下降14%-54%。这意味着开发者可能因为代码功能失效而拒绝使用对齐后的模型，使得安全性提升变成'空洞的胜利'。

功能安全悖论是本文研究的核心动机，理解这一问题是理解SecCoderX方法设计选择的关键前提，也是论文评估其贡献的重要视角。

有效安全率 (Effective Safety Rate, ESR)

ESR是本文采用的综合评估指标，它通过将安全性与功能性相乘来惩罚'安全但无用'的代码生成。形式上定义为 ESR = (1/N) * sum(f_i * I_safe(y_i))，其中 f_i 是功能性得分（取值0到1），I_safe(y_i) 表示代码 y_i 是否安全（二值指标）。ESR比单纯的安全率更能反映模型的实际部署价值，因为代码的功能正确性是部署的前提条件。

ESR是本文用来衡量方法实际效果的核心指标，理解ESR的计算方式有助于理解为什么某些对齐方法虽然提升了安全率却被认为是失败的。

研究动机

现有安全代码对齐方法面临严重的功能安全悖论。以ProSec和SafeCoder为代表的方法虽然能够提升代码的原始安全率（Safety Rate），但这种提升往往以牺牲代码功能性为代价。具体数据显示，这些方法在CyberSecEval和CWEval基准测试上的有效安全率（ESR）相比未对齐模型下降14%-54%。例如，在Qwen2.5-Coder-7B模型上，ProSec的ESR仅为20.53%，而未对齐的基础模型为32.45%。更严重的是，这些方法通常需要额外混合通用编码数据集（如Code Evol-Instruct或Infinity-Instruct）来缓解功能下降，但即便如此，功能性指标仍然远低于基线。静态应用安全测试（SAST）工具如CodeQL虽然可用于安全检测，但存在三大限制：CWE覆盖范围有限导致高假阴性率、计算开销大（需要多次规则执行）、要求代码可编译（不适用于函数级代码任务）。这些问题使得现有方法难以在实际开发中部署。

本文的目标是本文旨在提出一种新的安全代码生成框架SecCoderX，能够在提升代码安全性的同时保持甚至改善其功能性。具体目标包括：第一，实现功能保留的安全代码对齐，使对齐后的模型在ESR指标上超过未对齐模型；第二，建立可扩展的安全监督机制，通过训练漏洞奖励模型替代传统SAST工具，提供更可靠、更高效的安全信号；第三，将漏洞检测数据资源重新利用于代码生成对齐，解决安全对齐数据稀缺的问题；第四，在多个模型和基准测试上验证方法的通用性和有效性，确保在不同规模的代码模型（3B、7B、14B）上都能实现安全与功能的平衡。

与已有工作不同的是，本文的独特切入角度在于将漏洞检测与安全代码生成两个原本独立的研究领域进行桥接。核心洞察是：大规模漏洞检测数据集（如PrimeVul、R2Vul）包含丰富的安全监督信号，但这些信号在安全代码对齐的背景下被严重低估和未充分利用。传统方法要么依赖昂贵的人工标注安全数据，要么使用规则匹配的SAST工具，而SecCoderX创新性地将漏洞检测资源重新用于两个目的：一是合成多样化的、贴近现实的漏洞诱导编码任务用于在线RL训练，二是训练基于推理的漏洞奖励模型提供可扩展的安全监督。此外，本文首次采用在线强化学习框架进行安全代码对齐，区别于之前的监督微调（SFT）和直接偏好优化（DPO）方法，使模型能够通过主动探索策略空间来内化安全编码行为。这种在线探索+奖励引导的方式使模型能够发现SFT和DPO无法捕捉的潜在安全知识。

核心方法

SecCoderX的整体思路可以概括为'资源重组+在线探索'。首先，论文观察到漏洞检测数据集中蕴含着丰富的安全知识，但这些数据缺乏对应的编码任务提示，无法直接用于代码生成对齐。因此，SecCoderX设计了一个两阶段合成流程：先让强语言模型（Gemini-2.5-Pro）推断每个漏洞代码片段可能出现的'合理仓库上下文'，再基于这些上下文生成能诱导特定漏洞类型的编码任务提示。这个直觉是：同一个漏洞模式可能出现在具有相似功能的不同软件上下文中，因此可以通过映射到多种高层仓库上下文来增加多样性。然后，论文训练一个基于推理的漏洞奖励模型，它不仅判断代码是否安全，还能输出结构化的'理解-推测-分析'推理链，使得安全监督更加可靠和可解释。最后，这些组件被整合到在线RL循环中：模型根据合成提示生成代码，奖励模型评估其安全性，同时配合长度奖励、AST相似度奖励和格式奖励，形成复合奖励函数引导模型学习。

SecCoderX的核心创新在于两个关键设计：一是将漏洞检测资源从'检测'用途重新定位到'生成对齐'用途，二是通过精心设计的复合奖励函数实现安全性与功能性的平衡。与已有方法的本质区别在于：SafeCoder和ProSec采用离线方式（SFT或DPO）进行对齐，模型只能被动学习数据中的模式；而SecCoderX采用在线RL，模型可以主动探索策略空间并获得实时反馈。更重要的是，论文设计了一个交互项 r_interact = r_vul * [r_len * (1 + r_ast)]，它显式地耦合了安全性和功能性：只有当代码既安全又保持了参考代码结构时，才能获得高奖励；安全但无用的输出（如空代码）会收到负的交互奖励。这种设计巧妙地避免了模型学习'捷径'（如生成空代码来'解决'安全问题），同时鼓励模型在保持原有逻辑结构的基础上寻找安全修复。

方法步骤详情

SecCoderX的训练流程包含三个主要阶段：第一阶段是漏洞诱导编码任务合成。输入是漏洞检测数据集 D_VD = {(y_i, c_i, v_i)}，其中 y_i 是漏洞代码片段，c_i 是CWE类别，v_i 是漏洞标签。步骤1：使用Gemini-2.5-Pro为每个漏洞片段推断N个合理仓库上下文 {R_i,j}，将同一漏洞模式映射到不同软件场景；步骤2：为每个仓库上下文随机分配目标编程语言，生成编码任务提示 x_i,j，最终得到24k个提示的RL对齐数据集 D_RL。第二阶段是漏洞奖励模型训练。步骤1：收集PrimeVul、CrossVul、R2Vul等高质量漏洞检测数据集；步骤2：从GPT-4.1蒸馏结构化推理链 r = (r_under, r_spec, r_ana)（理解-推测-分析），在Qwen3-8B上进行SFT；步骤3：使用GRPO在R2Vul上进行强化学习，通过二值奖励信号 v 对比预测 v_hat 与真值来提升泛化性。第三阶段是在线RL对齐。使用GRPO算法，复合奖励包括：漏洞奖励 r_vul（安全则+2，否则0）、长度奖励 r_len（基于与参考代码的行数差异）、AST相似度奖励 r_ast（抽象语法树结构匹配）、格式奖励 r_fmt（输出格式检查），最终通过交互项将安全性与功能性耦合。

技术新颖性

SecCoderX的技术新颖性体现在多个层面。首先，它首次将在线强化学习应用于安全代码生成对齐，区别于之前的监督微调（ProSec）和直接偏好优化（SafeCoder）方法，使模型能够通过主动探索内化安全编码行为。论文发现，安全编码知识已经潜在于LLM的参数表示中，适当的奖励信号足以激发这种能力。其次，论文创新性地将漏洞检测与代码生成两个独立领域桥接，将漏洞检测数据集从'检测'用途重新定位到'生成对齐'用途，通过合成漏洞诱导提示解决了安全对齐数据稀缺的问题。第三，论文设计了CWE条件化的漏洞奖励模型，通过显式条件化于目标漏洞类别，将开放式的漏洞检测问题转化为有针对性的验证问题，提高了检测的准确性和效率。第四，复合奖励函数的设计尤其是交互项 r_interact 的引入，巧妙地耦合了安全性与功能性目标，避免了模型学习'捷径'，这在之前的安全代码对齐工作中是没有的。第五，论文证明了在线RL相比离线方法（SFT/DPO）在安全代码对齐上的优势，模型能够发现SFT和DPO无法捕捉的潜在安全知识。

Overview of the SecCoderX Training Pipeline
Figure 2: Overview of the SecCoderX Training Pipeline
Comparison of Execution Time vs. F1 score on multiple vulnerability detection benchmarks
Figure 3: Comparison of Execution Time vs. F1 score on multiple vulnerability detection benchmarks

实验结果

论文的实验结果表明SecCoderX成功解决了功能安全悖论。在Qwen2.5-Coder-7B模型上，SecCoderX实现了54.03%的安全率、56.31%的功能性得分和35.82%的ESR，而ProSec和SafeCoder的ESR分别仅为20.53%和20.15%。更重要的是，SecCoderX相比未对齐的基线模型（ESR 32.45%）提升了约10%，而ProSec和SafeCoder则分别下降了约37%和38%。在CodeLlama-7B上，SecCoderX的ESR为21.94%，超过基线的19.96%，而ProSec和SafeCoder的ESR分别降至11.60%和17.15%。在Qwen2.5-Coder-3B上，SecCoderX的ESR为31.91%，超过基线的28.44%，而ProSec和SafeCoder分别降至13.08%和19.49%。这些结果一致表明，SecCoderX是唯一能够在所有测试模型上提升ESR的方法。此外，论文的漏洞奖励模型在四个基准测试（PrimeVul、SVEN、ProSec、R2Vul）上平均F1分数达到67.90%，超越GPT-4.1（66.34%）和Gemini-2.5-Flash（65.09%），证明了8B参数模型在漏洞检测上的竞争力。消融实验进一步验证了各组件的重要性：移除漏洞奖励导致ESR下降2.61%，移除长度奖励导致ESR下降2.30%，移除AST匹配导致功能性下降5.55%。

Performance comparison on vulnerability detection benchmarks
Table 1: Performance comparison on vulnerability detection benchmarks
Evaluation results on secure code generation and general coding benchmarks
Table 2: Evaluation results on secure code generation and general coding benchmarks
Ablation study of the Vulnerability Reward Model components
Table 3: Ablation study of the Vulnerability Reward Model components
Ablation study of the reward design for Online RL
Table 4: Ablation study of the reward design for Online RL
查看结构化数据
任务指标本文基线提升
安全代码生成 (Qwen2.5-Coder-7B) ESR (%) 35.82 32.45 (Base), 20.53 (ProSec), 20.15 (SafeCoder) +10.4% (vs Base), +74.5% (vs ProSec), +77.8% (vs SafeCoder)
安全代码生成 (Qwen2.5-Coder-3B) ESR (%) 31.91 28.44 (Base), 13.08 (ProSec), 19.49 (SafeCoder) +12.2% (vs Base), +143.9% (vs ProSec), +63.7% (vs SafeCoder)
安全代码生成 (CodeLlama-7B) ESR (%) 21.94 19.96 (Base), 11.60 (ProSec), 17.15 (SafeCoder) +9.9% (vs Base), +89.1% (vs ProSec), +27.9% (vs SafeCoder)
漏洞检测 (平均F1) Avg F1 (%) 67.90 66.34 (GPT-4.1), 65.09 (Gemini-2.5-Flash), 66.68 (R2Vul 7B) +2.3% (vs GPT-4.1), +4.3% (vs Gemini-2.5-Flash)
通用编码 (HumanEval+, Qwen2.5-Coder-7B) Pass@1 (%) 82.74 79.88 (Base), 59.51 (ProSec), 62.07 (SafeCoder) +3.6% (vs Base), +39.0% (vs ProSec), +33.3% (vs SafeCoder)

局限与改进

论文存在若干局限性。首先，SecCoderX的训练流程相对复杂，涉及三个主要阶段（任务合成、奖励模型训练、在线RL对齐），每个阶段都需要大量计算资源和多个强语言模型（Gemini-2.5-Pro用于合成，GPT-4.1用于推理蒸馏），这增加了方法的实现门槛和成本。其次，论文主要在函数级代码任务上进行评估，对于更复杂的仓库级或系统级代码安全对齐的有效性尚未验证。第三，漏洞奖励模型的泛化能力存在边界，它主要在C/C++、Java、JavaScript和Python五种语言上训练，对于其他编程语言（如Rust、Go）或新兴漏洞类型的支持需要进一步验证。第四，论文承认合成的漏洞诱导提示可能无法完全代表真实开发场景中的安全需求，因为真实漏洞往往与特定业务逻辑和系统架构紧密耦合。第五，在线RL训练的不稳定性可能导致模型在某些情况下学习到次优策略，论文未详细讨论训练过程中的失败案例和应对策略。最后，ESR指标虽然比单纯的安全率更全面，但仍无法完全捕捉开发者对代码质量的所有期望，如代码可读性、可维护性和性能等因素未被纳入评估。

独立分析的弱点

SecCoderX存在几个值得改进的弱点。第一，漏洞诱导提示的合成质量高度依赖于强语言模型（Gemini-2.5-Pro）的能力，如果该模型存在偏见或知识盲区，可能导致合成的提示缺乏多样性或现实性。改进方向包括引入人工验证机制或多模型交叉验证来提升合成质量。第二，奖励模型的训练需要多个阶段（数据收集、推理SFT、GRPO），流程繁琐且计算成本高。可以探索更高效的训练方法，如直接在大规模数据上进行端到端RL训练，或使用知识蒸馏从更大模型快速获得推理能力。第三，复合奖励函数中的超参数（如长度奖励的阈值）是启发式设定的，缺乏理论依据。可以引入自适应奖励调整机制，根据训练动态自动平衡各奖励分量。第四，论文未讨论模型在对抗性提示下的鲁棒性，攻击者可能精心构造提示来诱导模型生成看似安全但实际包含隐藏漏洞的代码。第五，在线RL训练的计算开销大，论文未提供详细的训练时间和资源消耗，限制了方法的可复现性评估。

未来方向

基于SecCoderX的成果，未来研究可以在多个方向展开。第一，将框架扩展到仓库级和系统级代码安全对齐，处理更复杂的软件架构和跨文件依赖中的安全问题。第二，探索无需强语言模型辅助的任务合成方法，如直接从漏洞代码自动生成提示，或利用程序分析技术构建更精确的漏洞诱导场景。第三，研究奖励模型的持续学习机制，使其能够随着新漏洞类型的出现而不断更新，保持对最新安全威胁的检测能力。第四，将SecCoderX与其他代码质量目标（如性能优化、代码可读性）结合，构建多目标优化的安全代码生成框架。第五，探索更高效的在线RL算法替代GRPO，减少训练成本的同时保持或提升对齐效果。第六，研究如何将SecCoderX的漏洞奖励模型应用于代码审查和漏洞修复等下游任务，扩展其应用价值。第七，探索跨语言和跨漏洞类型的迁移学习，使在一种语言或漏洞类型上训练的奖励模型能够泛化到其他场景。

复现评估

论文在可复现性方面做出了积极努力。作者在GitHub上开源了代码、数据集和模型检查点（https://github.com/AndrewWTY/SecCoderX），这大大降低了复现门槛。数据方面，论文使用了公开的漏洞检测数据集（PrimeVul、CrossVul、R2Vul），并发布了合成的24k漏洞诱导提示数据集，涵盖了24个CWE类别和5种编程语言。模型方面，8B参数的漏洞奖励模型基于Qwen3-8B训练，属于可获取的开源模型。然而，复现面临的主要挑战包括：第一，训练流程涉及多个阶段和多个强语言模型（Gemini-2.5-Pro、GPT-4.1），需要相应的API访问权限和计算预算；第二，在线RL训练需要较大的GPU显存和较长的训练时间，论文未提供详细的硬件配置和训练时长信息；第三，部分评估依赖商业模型（如Gemini-2.5-Flash作为功能性评判器），增加了评估成本。总体而言，论文的开源策略使得核心方法可以复现，但完整的训练流程可能需要中等规模的计算资源。

论文图表

Average Effective Safety Rate (ESR) of secure code alignment methods across multiple models on secure code generation benchmarks
Figure 1: Average Effective Safety Rate (ESR) of secure code alignment methods across multiple models on secure code generation benchmarks

该图展示了不同安全代码对齐方法在多个模型上的平均有效安全率（ESR）对比。图中包含四个模型的结果：CodeLlama-7B、Qwen2.5-Coder-3B和Qwen2.5-Coder-7B，每个模型上比较了四种方法：ProSec、SafeCoder、Base（未对齐基线）和SecCoderX。图中用不同颜色区分了安全性和功能性两个维度的贡献，深色部分表示功能保留的贡献，浅色部分表示安全提升的贡献。关键观察是：SecCoderX在所有模型上都实现了最高的ESR，而ProSec和SafeCoder虽然提升了安全率（浅色部分增加），但功能性大幅下降导致ESR低于基线。

这张图直观地展示了本文的核心论点——功能安全悖论，以及SecCoderX如何解决这一问题。通过ESR的分解，读者可以清晰地看到安全性与功能性的权衡关系，理解为什么单纯提升安全率不足以解决实际问题。