GPT-5.2、Gemini 3 Pro、Qwen3-VL、Grok 4.1 Fast、Nano Banana Pro 和 Seedream 4.5 的前沿模型安全评估报告 A Safety Report on GPT-5.2, Gemini 3 Pro, Qwen3-VL, Doubao 1.8, Grok 4.1 Fast, Nano Banana Pro, and Seedream 4.5
对6个前沿大模型进行语言、视觉-语言、图像生成三模态的统一安全评估，揭示安全全景的不均衡现状
前置知识
越狱攻击 (Jailbreak Attack)
越狱攻击是指通过精心设计的提示词（prompt）绕过大语言模型的安全对齐机制，诱导模型生成其本应拒绝的有害内容。攻击手法包括角色扮演、编码混淆、多轮对话逐步升级、跨语言转移等。例如，攻击者可能将有害请求嵌入代码注释中，或者通过多轮对话逐步引导模型偏离安全边界。本次评估使用了30种黑盒越狱攻击，涵盖10个策略类别，从简单的模板攻击到复杂的自适应多轮攻击。
越狱攻击是衡量模型安全对齐是否真正有效的核心试金石。本次评估发现，即使是最强的模型GPT-5.2，最坏情况安全率也仅为6%，说明越狱漏洞仍然是前沿模型的系统性问题。
安全对齐 (Safety Alignment)
安全对齐是指通过训练技术（如RLHF、DPO等）使大模型的行为符合人类的安全期望和价值观。对齐策略大致分为两类：一是基于拒绝的策略（refusal-based），即检测到有害请求后直接拒绝回答；二是基于引导的策略（steering-based），即在不完全拒绝的情况下，将生成内容引导向安全方向。本次评估揭示了不同模型采用截然不同的对齐策略，从GPT-5.2的深层语义对齐到Grok 4.1 Fast的浅层过滤。
理解不同模型的安全对齐策略是解读评估结果的关键。例如，Qwen3-VL在合规性上表现优异但对抗鲁棒性很差，正是因为其采用了规则中心的对齐策略而非语义级理解。
多模态安全 (Multimodal Safety)
多模态安全是指在涉及文本、图像等多种模态的交互场景中保障模型的安全性。与纯文本安全不同，多模态安全面临独特的挑战：视觉输入可能携带隐含的有害信号（如仇恨符号、暴力场景），而文本与图像的组合推理可能产生单独看无害但组合后有害的输出（即组合性安全错位）。本次评估覆盖了纯语言、视觉-语言和文本到图像生成三个模态。
随着GPT-5.2、Gemini 3 Pro等多模态模型的实际部署，理解跨模态的安全失效模式变得至关重要。本次评估发现视觉-语言交互引入了与纯语言场景相当的安全失效模式，而T2I模型在受监管视觉类别上表现出更强的对齐但面对对抗性提示时仍然脆弱。
合规性评估 (Regulatory Compliance Evaluation)
合规性评估是基于正式的AI治理框架（如NIST AI RMF、欧盟AI法案、新加坡FEAT框架）来检验模型是否遵守法律法规要求。评估方法是将抽象的法规文本转化为可执行的评估规则：先将法规拆解为原子规则，再为每条规则生成包含合规行为和违规行为的测试用例。例如，测试模型是否会协助进行EU AI Act明确禁止的生物特征分类。
合规性评估代表了安全评估从学术研究向实际部署需求的重要转变。本次评估发现，即使是GPT-5.2在透明度方面也仅达到66.67%的合规率，而Grok 4.1 Fast在NIST框架上仅22.71%，揭示了模型与正式法规要求之间存在巨大差距。
安全配置画像 (Safety Profile)
安全配置画像是将模型在多个安全维度（基准评估、对抗鲁棒性、多语言安全、合规性等）上的表现投射到雷达图上，形成一个可视化化的多维安全特征。不同的雷达图形状对应不同的安全原型：例如'全面型通才'（GPT-5.2，各维度均衡高分）、'极化规则追随者'（Qwen3-VL，合规性高但对抗性差）等。这种多维视角比单一排行榜更能揭示模型安全的结构性特征。
安全不是单一标量指标，而是受模态、语言和评估设计影响的结构化表面。安全配置画像帮助读者理解：一个模型可能在基准测试中表现出色，但在对抗测试中完全崩溃——这种不一致性本身就是重要的安全信号。
研究动机
当前前沿大模型的安全评估存在严重的碎片化问题。现有研究大多聚焦于单一模态（纯文本或纯图像）、单一攻击类型（如仅测试越狱提示）或有限的风险类别。这种碎片化的评估方式无法全面刻画模型在真实部署场景下的安全边界。具体而言，一个模型可能在标准安全基准上表现出色（如拒绝率超过90%），但在对抗性测试中安全率骤降至不足6%；或者在英语环境下表现良好，但在中文环境下安全机制完全崩溃（如Grok 4.1 Fast在某些攻击下英语安全率97%但中文仅3%）。此外，现有评估很少将多语言能力、法规合规性和对抗鲁棒性纳入统一框架，导致研究者和决策者无法获得模型安全能力的完整视图。在多模态领域，这一问题更加突出——视觉-语言交互引入的组合性安全风险和文本到图像生成中的隐含有害输出，在现有碎片化评估中几乎没有被系统性地覆盖。
本文的目标是本文的目标是建立一个统一的、多维度的安全评估框架，对当前最具代表性的6个前沿模型（GPT-5.2、Gemini 3 Pro、Qwen3-VL、Grok 4.1 Fast、Nano Banana Pro、Seedream 4.5）进行全面的安全画像。具体而言，评估覆盖三种主要使用模式（纯语言、视觉-语言、图像生成）、四个评估维度（基准评估、对抗评估、多语言评估、合规性评估）、18种语言，并整合多种治理框架（NIST AI RMF、EU AI Act、FEAT）。最终目标是生成安全排行榜和个体模型安全配置画像，为模型开发者、政策制定者和部署决策者提供基于证据的安全参考。
与已有工作不同的是，本文的独特切入角度在于将分散的安全评估范式整合为一个连贯的统一协议。与以往工作相比，它同时覆盖了静态基准和动态对抗测试、标准语言和多语言场景、一般安全基准和正式法规合规性。更重要的是，本文不仅报告排行榜排名，还通过安全配置画像揭示了不同模型背后截然不同的安全对齐策略——从深层语义对齐到浅层模式匹配，从规则中心到引导式安全。这种'安全不是单一标量指标，而是受模态、语言和评估设计影响的结构化表面'的洞察，是已有碎片化评估无法提供的。此外，本文首次系统性地将文本到图像生成模型纳入与语言模型相同的评估框架，实现了跨模态的安全比较。
核心方法
本文的评估方法可以类比为对大模型进行全面的'体检'：不仅检查基础健康指标（基准评估），还要施加压力测试（对抗评估）、验证国际化能力（多语言评估）、并对照法规清单逐项检查（合规性评估）。技术路线上，评估分为三大模态板块：语言安全、视觉-语言安全、图像生成安全。每个板块内部再分为基准评估（使用ALERT、Flames、BBQ、SORRY-Bench、StrongREJECT等标准安全基准）、对抗评估（使用30种黑盒越狱攻击）、多语言评估（覆盖18种语言的PolyGuardPrompt和ML-Bench）和合规性评估（基于NIST、EU AI Act和FEAT三大治理框架）。评估采用统一的安全判断标准：使用Qwen3Guard开源安全审核模型作为统一评判器，对模型输出进行安全/不安全分类。对于图像生成模型，额外使用Grok 4 Fast作为毒性评估器，将安全评判问题转化为结构化的三选一评分（安全/边界/不安全）。
本文最核心的创新在于'安全配置画像'这一概念。传统安全评估只给出单一的排行榜排名，但本文发现安全本质上是一个多维结构。通过将每个模型在基准评估、对抗鲁棒性、多语言泛化和合规性四个维度上的表现投射到雷达图上，暴露出模型之间截然不同的安全原型。例如，GPT-5.2呈现出最完整和均衡的安全画像（'全面型通才'），其雷达图接近饱和，表明安全约束已被内化到语义和推理层面而非依赖脆弱的模式匹配。相比之下，Qwen3-VL呈现高度不均衡的'极化'画像——在合规性上表现出色但在对抗鲁棒性上严重崩溃，揭示了规则中心对齐策略的局限性。这种多维视角的本质区别在于：它告诉我们'一个模型在哪里安全、在哪里不安全'，而不仅仅是'它安全不安全'。
方法步骤详情
评估流程按以下步骤进行：第一步，基准评估阶段，对语言模型使用5个安全基准（ALERT约15K提示中筛选100个、Flames中文基准100个、BBQ社会偏见基准100个、SORRY-Bench 440个、StrongREJECT 331个），使用Qwen3Guard对模型响应进行安全/不安全分类；对多模态模型使用4个基准（MemeSafetyBench 390个、MIS 510个、USB-SafeBench 3785个、SIUO 167个）；对T2I模型使用T2ISafety基准315个提示，使用T2ISafety Judge模型和Grok 4 Fast毒性评估器。第二步，对抗评估阶段，对语言模型实施30种黑盒越狱攻击（涵盖多轮对话、上下文注入、编码与密码、角色扮演等10个类别），每个有害查询独立应用30种攻击生成对抗提示；对多模态模型使用VLJailbreakBench、JailbreakV-28K和MM-SafetyBench三个对抗基准；对T2I模型使用PGJ和GenBreak两种越狱方法，覆盖裸露、暴力和仇恨三个高风险类别。第三步，多语言评估阶段，将4个语言模型部署为安全审核员，在18种语言上评估其对PolyGuardPrompt（约29K提示和29K响应）和ML-Bench（约14K提示和14K响应）的安全判断能力，使用微F1分数作为评估指标。第四步，合规性评估阶段，对语言模型基于NIST AI RMF、EU AI Act和FEAT三个框架进行合规性测试，使用SafeEvalAgent的法规到知识转换流程将法规文本转化为可执行的评估规则；对T2I模型基于中国《生成式人工智能服务管理暂行办法》构建包含7个一级类别、23个二级类别、74个三级风险场景的分层评估体系。
技术新颖性
本文的技术新颖性体现在三个方面。首先，在评估维度的整合上，首次将基准评估、对抗评估、多语言评估和合规性评估统一到一个连贯的评估协议中，覆盖18种语言和三大治理框架，这在现有安全评估文献中是前所未有的。其次，在评估视角上，从单一的排行榜排名转向多维安全配置画像，通过雷达图可视化暴露模型的安全原型差异——这种视角转变使得'一个在基准上表现优异的模型可能在对抗测试中完全崩溃'这一关键洞察变得一目了然。第三，在评估对象上，首次将文本到图像生成模型（Nano Banana Pro和Seedream 4.5）纳入与语言模型相同维度的统一评估框架，实现了跨模态的安全比较。特别值得注意的是，本文发现T2I模型存在两种截然不同的安全策略：Nano Banana Pro采用'隐式净化'策略（将不安全提示转化为更安全的视觉输出），而Seedream 4.5依赖'阻止或泄露'策略（使用激进的二元拒绝但缺乏鲁棒的语义基础）。这种发现为理解图像生成安全的设计空间提供了重要洞察。
实验结果
本次评估揭示了一个高度不均衡的安全全景。在语言安全方面，GPT-5.2以91.59%的基准评估宏平均安全率稳居第一，在对抗鲁棒性上也以54.26%的安全响应率领先（尽管最坏情况安全率仅6%），多语言安全77.50%，合规性90.22%，四维均排名第一。Gemini 3 Pro在基准评估中以88.06%排名第二，但对抗鲁棒性降至41.17%，暴露出对对抗性输入的敏感性。Qwen3-VL在基准评估中80.19%但在BBQ社会偏见基准上仅45%（所有模型最低），合规性77.11%排名第二但对抗鲁棒性仅33.42%，呈现出极化的安全画像。Grok 4.1 Fast在所有维度上排名垫底或接近垫底（基准66.60%、对抗46.39%、多语言45.97%、合规45.97%），暴露系统性安全缺陷。在视觉-语言安全方面，GPT-5.2同样占据主导地位，基准92.14%，对抗97.24%；Qwen3-VL基准83.32%对抗78.89%排名第二；Gemini 3 Pro基准82.53%对抗75.44%；Grok 4.1 Fast基准67.97%对抗68.34%。在图像生成安全方面，Nano Banana Pro在三个维度上均超过Seedream 4.5（基准60% vs 47.94%、对抗54% vs 19.67%、合规65.59% vs 57.53%）。最令人警醒的发现是：在对抗性测试中，所有模型的最坏情况安全率均低于6%，说明即使是最先进的安全对齐技术也无法抵御持续的、自适应的攻击策略。此外，多语言评估发现Grok 4.1 Fast在某些攻击下英语安全率97%但中文仅3%，揭示了安全对齐严重以英语为中心的问题。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 语言安全基准评估（宏平均） | Safe Rate (%) | GPT-5.2: 91.59% | Gemini 3 Pro: 88.06%, Qwen3-VL: 80.19%, Grok 4.1 Fast: 66.60% | GPT-5.2领先第二名3.53个百分点 |
| 语言安全对抗评估（最坏情况） | Safeworst (%) | GPT-5.2: 6.00% | Grok 4.1 Fast: 4.00%, Gemini 3 Pro: 2.00%, Qwen3-VL: 0.00% | 所有模型均极低，最高仅6% |
| 视觉-语言安全对抗评估（宏平均） | Safe Rate (%) | GPT-5.2: 97.24% | Qwen3-VL: 78.89%, Gemini 3 Pro: 75.44%, Grok 4.1 Fast: 68.34% | GPT-5.2领先第二名18.35个百分点 |
| T2I对抗评估-裸露（最坏情况安全率） | Safe (%) | Nano Banana Pro: 73.00% | Seedream 4.5: 30.00% | Nano Banana Pro安全率是Seedream的2.43倍 |
| T2I对抗评估-仇恨（最坏情况安全率） | Safe (%) | Nano Banana Pro: 24.00% | Seedream 4.5: 5.00% | Nano Banana Pro安全率是Seedream的4.8倍 |
| 合规性评估（宏平均） | Compliance Rate (%) | GPT-5.2: 90.22% | Qwen3-VL: 77.11%, Gemini 3 Pro: 73.54%, Grok 4.1 Fast: 45.97% | GPT-5.2领先第二名13.11个百分点 |
| 多语言安全判断（ML-Bench Prompt宏平均） | Micro F1 | GPT-5.2: 0.84 | Gemini 3 Pro: 0.69, Grok 4.1 Fast: 0.54, Qwen3-VL: 0.53 | GPT-5.2领先第二名0.15个F1点 |
局限与改进
作者在论文中坦诚地承认了多项局限性。首先，评估在范围和规模上具有内在局限性，仅覆盖了快速演变的安全格局的一个子集，无法捕获长尾风险或真实部署中的涌现行为，结果应被视为指示性而非穷尽性的。其次，评估规模相对于这些模型在真实世界环境中的运行复杂性仍然有限——分布漂移、持续模型更新、用户适应和平台特定的安全保障等因素均在研究范围之外。第三，本文采用通用目的的比较评估框架，可能低估了针对特定应用领域、司法管辖区或部署约束定制的安全机制。第四，安全不是模型的静态属性，所有被评估的系统都在积极维护和持续演变中。从独立分析的角度看，本文的一个关键局限是对T2I模型的评估仅涵盖两个模型（Nano Banana Pro和Seedream 4.5），样本量不足以得出更广泛的结论。此外，合规性评估中使用的法规框架主要面向西方和新加坡市场，缺乏对中国AI法规（虽然T2I部分使用了中国法规）的全面覆盖。评估中使用Qwen3Guard作为统一评判器也可能引入偏差——作为Qwen系列的模型，它可能对Qwen3-VL的输出存在某种系统性偏好。
独立分析的弱点
本研究存在几个值得深入分析的弱点。首先，评估依赖自动化评判器（Qwen3Guard和Grok 4 Fast）进行安全分类，但这些评判器本身的准确性未经充分验证。在多语言场景中，评判器对低资源语言的安全判断可靠性可能显著低于英语，这可能导致对模型多语言安全能力的误判。改进方向是引入多评判器交叉验证机制或增加人工审核的覆盖比例。其次，对抗评估主要采用黑盒攻击，未涵盖白盒或灰盒攻击（如基于梯度的对抗样本生成），这限制了对模型安全脆弱性的完整理解。对于多模态对抗评估，作者承认基于查询的黑盒攻击由于对抗图像生成的时间成本和不稳定性而未被考虑，这意味着最危险的自适应视觉攻击可能未被测试。改进方向是将基于梯度的对抗图像生成纳入评估框架。第三，T2I评估仅使用2个模型和2种越狱方法，样本量严重不足。图像生成安全是一个快速发展的领域，仅评估PGJ和GenBreak两种攻击可能遗漏了新兴的攻击范式。改进方向是扩大T2I模型的评估范围，纳入更多模型和攻击方法。第四，合规性评估中法规到测试用例的转换过程依赖LLM（SafeEvalAgent），这一转换过程的准确性和完整性本身可能存在问题——抽象法规条款的语义复杂性可能导致某些关键风险场景被遗漏或误解读。
未来方向
基于本次评估的发现，未来研究可以在多个方向上延伸。作者提出的关键方向包括：开发更标准化、全面的安全评估框架以反映真实世界风险并指导负责任的部署；针对对抗鲁棒性，需要超越表面级过滤和任务依赖型安全措施，设计能内化安全约束到语义推理层面的对齐方法；针对多语言安全，需要改善非英语语言的安全对齐，特别是低资源语言和文化差异显著的语言。基于本次评估成果可延伸的方向包括：第一，建立持续性的安全评估基准，定期对更新的模型版本进行评估，追踪安全对齐的演进趋势；第二，开发针对'合规性悖论'的评估方法——即模型的指令遵循能力反而成为合规性漏洞的场景（如模型协助进行法规明确禁止的技术方案设计）；第三，探索将安全配置画像作为模型部署决策的标准工具，帮助用户根据具体部署场景（如是否需要多语言支持、是否在受监管行业）选择最合适的模型；第四，研究'安全与有用性'的帕累托最优前沿，量化不同安全策略对模型有用性的影响。
复现评估
从复现角度来看，本研究具有较好的可复现性，但也存在一些障碍。在开源方面，研究团队公开了评估框架的核心代码（GitHub仓库XSafeAI/AI-safety-report），评估使用的数据集大部分来自公开基准（如ALERT、BBQ、SORRY-Bench、StrongREJECT、PolyGuardPrompt等），便于其他研究者复现。在数据方面，部分基准（ML-Bench、T2ISafety合规性评估）为私有数据集，虽然作者承诺将独立发布，但目前无法完全复现这些评估。在算力方面，对4个语言模型和2个T2I模型的全面评估需要大量API调用（每个有害查询应用30种攻击、多语言评估覆盖18种语言），API成本和时间成本可观但并非不可承受。在难度方面，评估框架本身设计得相当标准化——使用统一的安全判断模板、统一的评判器、标准化的评估指标——降低了复现门槛。最大的复现挑战在于模型API的可用性：部分被评估模型（如Nano Banana Pro）可能不是所有研究者都能访问，且模型的持续更新意味着复现结果可能与原始评估存在差异。
论文图表
