TriPlay-RL：面向大语言模型安全对齐的三角色自博弈强化学习框架 TriPlay-RL: Tri-Role Self-Play Reinforcement Learning for LLM Safety Alignment
通过攻击者-防御者-评估者三角色闭环强化学习，实现LLM安全对齐的自动协同进化
前置知识
LLM安全对齐
大语言模型安全对齐是指通过训练使模型在面对有害、敏感或恶意查询时，能够拒绝生成危险内容，同时对正常请求提供有帮助的回复。主流方法经历了从大规模人工反馈RLHF（Ouyang et al., 2022）到利用AI自动评估的发展历程。安全对齐的核心挑战在于平衡安全性（拒绝有害请求）和实用性（不因过度拒绝而降低模型的一般能力），即所谓的Safety Tax问题。
本文提出的三角色框架正是为了解决安全对齐中安全性与实用性的传统权衡，理解安全对齐的基本范式和挑战是理解本文创新点的前提。
自博弈（Self-Play）
自博弈是一种训练范式，最早由AlphaZero（Silver et al., 2018）在棋类游戏中展示其变革性潜力，通过模型与自身对弈来持续提升能力。近年来该范式已扩展到LLM领域，如数学推理（R-Zero）和智能体系统（Search Self-Play）。自博弈的关键优势在于无需大量外部标注数据，通过角色间的交互实现自主能力进化。
本文将自博弈从两角色扩展到三角色，并创新性地引入评估者角色作为闭环反馈的关键组件，理解自博弈范式有助于把握本文的核心创新。
GRPO（Group Relative Policy Optimization）
GRPO是一种基于组相对比较的策略优化算法，最初由DeepSeek-R1（Guo et al., 2025）提出用于激励推理能力。与传统PPO需要单独的价值网络不同，GRPO通过在同一提示下采样多个响应并进行组内相对排序来估计优势函数，简化了训练流程。本文使用GRPO作为三个角色共同的强化学习优化算法。
GRPO是本文三个角色训练的核心优化算法，理解其工作原理有助于理解训练过程的技术细节。
攻击成功率（ASR）
攻击成功率（Attack Success Rate）是衡量LLM安全性的核心指标，计算公式为 $ASR = N_{succ} / N_{total}$，其中 $N_{succ}$ 为成功攻击样本数，$N_{total}$ 为总测试样本数。ASR越高说明模型越容易被攻破，安全性越差。在本文中，ASR同时用于评估MRed的攻击能力和MBlue的防御能力。
ASR是贯穿全文的核心评估指标，MRed和MBlue的训练目标直接与ASR相关，理解该指标是解读实验结果的基础。
奖励黑客（Reward Hacking）
奖励黑客是指强化学习中的智能体找到获得高奖励的捷径，而非真正完成预期任务的现象（Skalse et al., 2022）。在安全对齐场景中，奖励黑客可能表现为评估模型被攻击者利用漏洞欺骗，给出错误的安全评估。本文通过多专家投票策略和异质评估者设计来缓解奖励黑客问题。
奖励黑客是闭环自博弈系统面临的核心风险，本文对MEval的设计和消融实验都围绕缓解奖励黑客展开。
多专家多数投票
多专家多数投票是一种提高评估鲁棒性的策略，通过引入多个异质安全专家模型对同一数据进行标注，最终以多数投票结果作为标签。这种方法的直觉是：单一模型可能有系统性偏差，但多个异质模型同时犯相同错误的概率较低。本文在MEval训练数据的构建中采用了该策略，并结合安全多方计算系统进行二次验证。
多专家投票是保证MEval评估质量的关键机制，直接影响整个闭环系统训练信号的可靠性。
研究动机
当前LLM安全对齐方法面临三大核心挑战。第一，对昂贵人工标注或人工审核的依赖严重限制了方法的可扩展性和迭代效率（Gao et al., 2023）。大多数现有研究仅优化单一角色而缺乏协作闭环机制，这可能导致红队训练中的熵崩溃（Lee et al., 2024）或防御过拟合（Qi et al., 2024），即模型在增强安全性的同时牺牲了一般推理能力。第二，红队攻击模式在训练过程中趋于收敛，导致对抗多样性不足。这种收敛削弱了对防御系统的持续压力（Xie et al., 2019），阻碍了安全能力的系统性进化。第三，虽然AlphaZero展示了自博弈的变革性潜力，但与具有明确胜负条件的游戏或具有客观正确性标准的数学任务不同，LLM的安全评估标准本质上是灵活且依赖上下文的——有害内容的评估在很大程度上依赖主观判断和语境解读，固定评估器难以提供可靠且长期的安全对齐信号。
本文的目标是本文的具体目标是构建一个统一的三角色强化学习闭合框架（TriPlay-RL），通过引入评估者角色到双角色协同进化范式中，实现稳定且可扩展的闭环系统。该框架需要达成三个具体目标：MRed应保持高输出多样性的同时将攻击成功率提升20%-50%；MBlue应在安全性能上获得10%-30%的提升而不降低一般推理能力；MEval应通过迭代持续精化其细粒度判断能力，准确区分不安全回复、简单拒绝和有用指导。整体目标是以近零人工标注建立高效的LLM安全对齐范式。
与已有工作不同的是，本文的独特切入角度在于将评估者（MEval）从静态裁判提升为与攻击者和防御者共同进化的动态角色，构建三方博弈闭环。现有方法如DuoGuard仅构建了攻击者-防御者的双角色RL框架，而R-Zero和Search Self-Play虽然展示了自博弈的潜力，但未涉及安全领域的评估进化。本文的关键洞察是：由于安全评估标准本质上是上下文依赖的，固定评估器无法为红蓝双方的持续进化提供可靠信号。通过让MEval与MRed、MBlue同步迭代训练，并采用多专家投票和安全多方计算的双重验证机制来构建高质量评估数据集，TriPlay-RL从根本上解决了评估器可靠性不足的问题，实现了三方能力的螺旋上升。
核心方法
TriPlay-RL的整体思路是构建一个三角色闭环系统，通过交替更新实现协同进化。直觉上，这类似于一个持续升级的攻防演练：攻击者不断寻找新的攻击策略，防御者根据最新攻击调整防御能力，而评估者则在观察大量攻防交互后越来越准确地判断安全性。技术路线是将三个角色分别用MRed（攻击者）、MBlue（防御者）和MEval（评估者）表示，每个训练阶段仅更新一个角色模型，三个训练阶段 P_Red -> P_Blue -> P_Eval 依次进行。所有角色均使用基于GRPO的强化学习进行优化。启动框架仅需最小量的输入数据——200个基础攻击提示和9种提示包装技术作为种子数据。MRed将基础提示包装为对抗性提示后传递给MBlue，MBlue的回复再由MEval进行评估，评估结果分别作为MRed和MBlue的奖励信号。同时，所有对抗性提示和回复对都积累为MEval的训练数据。
本文的核心创新在于三方协同进化的闭环机制，其本质区别于已有方法在于三个方面。首先，与DuoGuard等双角色框架不同，本文引入MEval作为进化角色而非固定裁判，解决了固定评估器无法为红蓝双方持续进化提供可靠信号的根本问题。其次，与AlphaZero等自博弈方法中明确的胜负条件不同，本文设计了针对LLM安全特性的三级评估机制（负向/拒绝/正向），使评估标准能够随训练动态调整。第三，创新性地将多模型对抗训练和多样性惩罚结合——MRed不仅攻击主防御模型MBlue，还同时攻击其他异构模型（如Llama、ChatGLM），并通过Self-BLEU和余弦相似度的非线性惩罚函数维持输出多样性，从根本上缓解了传统红队训练中的模式收敛问题。
方法步骤详情
TriPlay-RL的训练分为三个交替进行的阶段。在P_Red阶段，MRed使用定制模板将基础攻击提示包装为对抗性提示，其奖励函数由三部分加权组成：(1) 语义奖励 $R_{sem}$——基于LLM判断模型评估包装后的提示是否保持了原始提示的核心语义和攻击意图；(2) 多样性惩罚 $P_{div}$——通过Self-BLEU度量 $B_{selfBLEU}(x) = -\sum_{n=1}^{K} SelfBLEU_X(x, n)$ 和平均余弦相似度 $B_{Cos}(x)$ 计算，采用非线性惩罚函数 $y(x) = e^{kx}-1$（其中 $k = \ln(11/6)$）；(3) 多模型攻击奖励——对多个防御模型的攻击结果加权求和。在P_Blue阶段，MBlue接收MRed最新迭代生成的对抗性提示，其回复由MEval进行三级分类评估（负向 $s_i=0$、拒绝 $s_i=1$、正向 $s_i=2$），奖励值分别为-1、0、1，鼓励模型不仅拒绝有害请求还要提供安全的建设性指导。在P_Eval阶段，训练数据积累自MRed-MBlue对抗过程，采用多专家多数投票策略：多个异质安全专家模型标注三元组，再经安全多方计算系统二次验证，仅保留两次标注一致的样本，最终构建3000个数据点的评估数据集。
技术新颖性
TriPlay-RL的技术新颖性体现在多个层面。在架构层面，这是首个将攻击者、防御者、评估者三角色统一到单一强化学习闭环中的框架，且所有角色均通过GRPO进行优化，实现了近零人工标注的目标。在奖励设计层面，MRed的奖励函数创新性地将语义保持、输出多样性和多模型攻击有效性三个维度统一，其中多样性惩罚采用Self-BLEU和语义嵌入余弦相似度的双重约束，并通过指数惩罚函数 $y(x) = e^{kx}-1$ 对高相似度施加更大惩罚。MBlue的三级奖励机制（-1/0/1）突破了传统二元安全评估的局限，鼓励模型在安全前提下提供有用回复。在数据构建层面，安全多方计算系统与多专家投票的双重验证机制为MEval提供了高质量训练信号，有效缓解了奖励黑客问题。消融实验表明，去掉闭环训练会导致多样性分数从0.588暴跌至0.156，去掉多样性惩罚会使其降至0.514，而两者都去掉则仅得0.004，证明了每个设计组件的必要性。
实验结果
实验结果表明TriPlay-RL在三个角色上均取得了显著的协同进化效果。对于MRed，经过16次迭代训练（共3200步）后，MRed-14B对DeepSeek-R1-0528-Qwen3-8B的ASR从13.0%提升至32.0%（提升约19个百分点），对Qwen3-8B的ASR从21.84%飙升至67.75%（提升约46个百分点），对Llama-3.1-Nemotron-Nano-8B-v1更是达到90%的ASR（从60%提升）。对于MBlue，经过10次训练迭代后，Qwen3-14B在AIR-Bench 2024上的ASR从13.9%降至4.4%，在JailBreakBench上从31.5%降至4.6%。更令人惊喜的是，尽管训练过程中未使用任何推理或通用数据，MBlue的一般推理能力不仅没有显著下降，在近一半的测试中甚至出现了轻微提升——例如MBlue-8B在GPQA上从61.27%提升至62.72%，在AIME25上从68.12%提升至70.73%，在LiveCodeBench上从49.71%提升至51.00%。对于MEval，评估准确率稳步上升：MEval-4B从48.2%提升至56.2%，MEval-8B从54.9%提升至64.3%，MEval-14B从97.0%提升至98.2%。消融实验表明，多防御模型设计显著增强了MRed的泛化攻击能力——使用多模型训练的MRed对三个测试模型的ASR均高于单模型训练版本。多样性消融进一步验证了闭环训练和多样性惩罚的必要性，两者缺一都会导致严重的模式收敛或泛化能力下降。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 安全-对抗攻击（MRed vs DeepSeek-R1-0528-Qwen3-8B） | ASR | 32.0%（MRed-14B, 16次迭代） | 13.0%（初始模型） | +19.0个百分点（约2.5倍提升） |
| 安全-对抗攻击（MRed vs Qwen3-8B） | ASR | 67.75%（MRed-14B, 16次迭代） | 21.84%（初始模型） | +45.91个百分点（约3倍提升） |
| 安全-对抗攻击（MRed vs Llama-3.1-Nemotron-Nano-8B） | ASR | 90%（MRed-14B, 16次迭代） | 60%（初始模型） | +30个百分点（1.5倍提升） |
| 安全防御（MBlue-14B, AIR-Bench 2024） | ASR（越低越好） | 4.4%（10次迭代） | 13.9%（初始模型） | ASR降低9.5个百分点（降幅68%） |
| 安全防御（MBlue-14B, JailBreakBench） | ASR（越低越好） | 4.6%（10次迭代） | 31.5%（初始模型） | ASR降低26.9个百分点（降幅85%） |
| 一般推理保留（MBlue-14B, LiveCodeBench-v5） | 准确率 | 56.15% | 55.87%（Qwen3-14B基线） | +0.28个百分点（无退化） |
| 一般推理保留（MBlue-14B, GPQA） | 准确率 | 64.93% | 64.33%（Qwen3-14B基线） | +0.60个百分点（轻微提升） |
| 评估能力（MEval-14B） | 三分类准确率 | 98.2%（10次迭代） | 97.0%（初始模型） | +1.2个百分点 |
| 评估能力（MEval-8B） | 三分类准确率 | 64.3%（10次迭代） | 54.9%（初始模型） | +9.4个百分点 |
| 评估能力（MEval-4B） | 三分类准确率 | 56.2%（10次迭代） | 48.2%（初始模型） | +8.0个百分点 |
局限与改进
本文在局限性方面既有作者明确承认的问题，也有值得进一步讨论的观察。作者承认的第一个局限是三个角色使用相同的基模型初始化（Qwen3系列），未探索角色间使用异构能力模型的场景，也未研究单个模型实例是否能迭代优化三个角色——目前MRed、MBlue和MEval是三个独立的模型实例，存在较大计算开销。第二个局限是未考虑在训练中引入外部数据（如额外的安全相关SFT数据）的影响，外部数据与三角色框架的交互方式尚不清楚。第三个局限是未深入分析三模型交互的博弈论性质，如纳什均衡的存在性和帕累托前沿，也未提出细粒度的能力增长控制机制——如果一个模型进步过快或过慢，可能导致训练不稳定。此外，作者在伦理考量中也指出自动化红队存在双用风险，评估模型的错误可能在闭环训练中被放大，且安全判断本身具有文化和语境依赖性。从技术角度看，本文仅在8B到32B规模的模型上验证了方法，更大规模模型上的效果尚不确定；评估中使用的GPT-5.2作为裁判模型引入了外部依赖；训练计算开销较大（需要8块H800 GPU），限制了方法的可及性。
独立分析的弱点
基于对论文的深入分析，可以识别出几个值得改进的方向。首先，闭环训练的计算开销较高——三个角色交替训练，每次迭代MRed需要200步、MBlue和MEval各50步，16次迭代累计计算量可观。一个改进方向是研究共享参数的轻量级训练方案，例如通过LoRA等参数高效方法让同一模型在不同阶段扮演不同角色。其次，多样性惩罚机制虽然有效，但Self-BLEU和余弦相似度的计算依赖已有的攻击成功池（ASP），在训练初期ASP较小可能导致多样性评估不准确。可以考虑引入基于扩散或对抗性的多样性度量。第三，MBlue的三级奖励机制虽然鼓励提供有用回复，但正向指导的边界难以精确定义——对于某些高度敏感话题，任何详细回复都可能存在风险。可以引入基于风险等级的动态阈值机制。第四，MEval仅在3000个数据点上训练，数据规模偏小，且分布可能与实际部署场景存在差距，可能导致评估模型在某些长尾攻击模式上的泛化能力不足。
未来方向
作者提出了几个有前景的未来研究方向。第一是探索异构模型初始化的三角色系统——例如使用不同能力水平的模型分别充当攻击者和防御者，研究能力差距对协同进化动力学的影响。第二是研究单个模型实例同时优化三个角色的可能性，这将大幅降低计算开销。第三是引入外部数据（如安全SFT数据集）与三角色框架的交互，理解外部数据如何影响训练动态。第四是深入分析三方博弈的理论性质，包括纳什均衡、帕累托前沿以及能力增长的控制机制。基于本文成果，还可以延伸的方向包括：将框架扩展到多语言和多模态安全对齐场景；将MEval的评估能力与人类偏好对齐，构建更可靠的自动化安全评估基准；以及将三角色范式应用到其他需要多角色协作的LLM训练场景，如代码安全、医疗安全等垂直领域。
复现评估
在复现性方面，本文提供了较为有利的条件。代码已在匿名开源地址公开，使用开源框架TRL实现，基于开源基模型Qwen3系列（4B/8B/14B）。论文附录提供了详细的超参数设置（学习率 1e-6、批大小256、裁剪 epsilon=0.2、KL权重 beta=0.01、温度1.0、最大token数8192等）和计算基础设施规格（8块NVIDIA H800 GPU）。种子数据仅需200个基础攻击提示和9种包装技术模板，数据需求量低。然而，复现仍面临一些挑战：(1) 需要8块H800 GPU的算力，中小团队可能难以获得；(2) 使用GPT-5.2作为评估裁判模型引入了闭源API依赖，其版本迭代可能影响结果一致性；(3) 安全多方计算系统的具体实现细节未完全公开；(4) 消融实验中涉及的Meta-Llama-3.1-8B-Instruct和GLM-4.6等模型的访问权限可能因地区而异。总体而言，在具备充足算力的条件下，复现难度为中等。
论文图表