← 返回 2026-02-13

DeepSight: 一站式大模型安全工具包 DeepSight: An All-in-One LM Safety Toolkit

Bo Zhang, Jiaxuan Guo, Lijun Li, Dongrui Liu, Sujin Chen, Guanxu Chen, Zhijie Zheng, Qihao Lin, Lewen Yan, Chen Qian, Yijin Zhou, Yuyao Wu, Shaoxiong Guo, Tianyi Du, Jingyi Yang, Xuhao Hu, Ziqi Miao, Xiaoya Lu, Jing Shao, Xia Hu 📅 2026-02-12 👍 15 2026-07-13 08:35
前沿AI风险 可解释性 多模态 大模型安全 安全评估
arXiv HuggingFace PDF

整合安全评估与内部诊断的开源工具包，实现从黑盒测试到白盒洞察的范式转变

前置知识

大语言模型安全对齐 (LLM Safety Alignment)

本文的核心研究对象就是安全对齐的有效性

表示空间几何结构 (Latent Space Geometry)

DeepScan的核心诊断维度，理解安全概念如何在模型内部编码

前沿AI风险 (Frontier AI Risks)

本文首次在开源工具中支持此类风险评估

多模态大模型 (MLLM)

视觉模态引入显著扩大了攻击面

研究动机

当前大模型安全工作流程存在严重的割裂问题。评估工具（如OpenAI Evals、Inspect、OpenCompass、HELM）主要关注行为层面的量化测试，只能发现"什么出了问题"，却无法解释"为什么出问题"。另一方面，诊断研究（如探测潜在几何边界、识别安全特定神经元、分析信息流）虽然能深入理解内部机制，但往往作为独立的学术研究存在，与标准化基准测试脱节。这种割裂导致安全对齐缺乏对内部机制变化的专门解释，可能在修复过程中意外损害模型的通用能力。

本文的目标是提出并实现一个安全评估-诊断一体化的新范式。通过统一任务和数据协议，将评估阶段（识别外部风险）与诊断阶段（理解内部机制）连接起来，形成可验证的工程闭环。使研究人员不仅能识别出错的地方，还能理解安全概念是如何在内部编码的，从而实现更可靠、更可解释的修复。

与已有工作不同的是，DeepSight的独特切入角度在于：(1) 首个支持前沿AI风险评估的开源工具包；(2) 首个将安全评估与诊断整合的统一框架；(3) 通过配置驱动的架构实现低成本、可复现、高效、高度可扩展的大规模安全评估。这种"评估-诊断"一体化范式将安全研究从被动的补丁式修复转变为主动的、可验证的安全工程。

核心方法

DeepSight采用双引擎架构：DeepSafe负责行为层面的安全评估，DeepScan负责表示层面的内部诊断。两者通过统一的任务和数据协议连接，形成完整的评估-诊断工程流水线。整体思路是：先用DeepSafe在20+个基准上全面评估模型的安全表现（"发生了什么"），再用DeepScan的4个诊断工具深入分析模型内部的表示结构（"为什么会这样"），最终将两者的结果关联起来提供可操作的洞察。

核心创新点是将安全评估从黑盒测试转变为白盒洞察的统一范式。传统方法中，评估只能告诉你"模型在这个基准上得分70%"，但无法解释为什么。DeepSight通过DeepScan的诊断工具（X-Boundary分析潜在空间几何、TELLME度量表示解耦、SPIN分析神经元级目标冲突、MI-Peaks追踪推理动态），能够揭示安全表现背后的内部机制。例如，可以发现"模型安全得分低是因为安全和有害表示的分离度不足"或"过度的表示分离反而破坏了边界推理能力"。

方法步骤详情

DeepSafe评估流程（4阶段）：(1) 配置阶段 - 用户在YAML文件中定义目标模型、数据集和评估参数；(2) 推理阶段 - Runner初始化模型和数据集，执行批量推理生成响应；(3) 评估阶段 - Evaluator处理生成的响应，使用原生协议、规则匹配或ProGuard专用评估器产生判断；(4) 报告阶段 - Summarizer聚合判断结果，导出可视化报告和结构化JSON。DeepScan诊断流程（3阶段）：(1) 配置 - 指定模型、默认数据集和一个或多个评估器；(2) 执行 - 加载模型，对每个评估器加载对应数据集并调用evaluate()，结果按run_id/model_id/evaluator_id组织；(3) 汇总 - 生成summary.json和summary.md，支持跨运行和模型的快速比较。

技术新颖性

技术新颖性体现在多个层面：(1) ProGuard专用安全评估器 - 基于87k安全对微调，能检测通用模型可能遗漏的微妙风险和对抗攻击；(2) 四个互补的诊断工具 - X-Boundary（几何结构分析）、TELLME（表示解耦度量）、SPIN（神经元级目标冲突量化）、MI-Peaks（推理动态信息论分析），覆盖从表示几何到信息流的多个诊断维度；(3) 配置即执行范式 - 单个YAML文件驱动整个流程，无需编写代码；(4) 统一的注册表系统 - 新模型、数据集、诊断方法只需实现接口并注册，无需修改执行引擎。

DeepSafe架构图
Figure 1: DeepSafe架构图
DeepScan架构图
Figure 2: DeepScan架构图

实验结果

论文对14个LLM和13个MLLM进行了全面评估，揭示了多项关键发现：(1) 视觉模态显著扩大攻击面 - 所有模型层级在多模态场景下安全对齐均下降，闭源与开源模型的性能差距在多模态场景下被放大（文本场景差距1.4%，多模态场景差距扩大到5.5%）；(2) 推理能力的复杂权衡 - 在文本场景中推理与非推理模型安全表现相当（0.713 vs 0.732），但在多模态场景中推理模型展现可测量的防御优势（0.563 vs 0.538）；(3) 安全优势的不可迁移性 - 没有单一模型在所有维度上占优，例如Kimi-K2-Thinking总体得分最高（74.93%）但在Manipulation维度得分最低（1.11%）；(4) 有效的安全依赖于潜在空间的精确几何结构 - 过度和不足的表示分离都有害于模型鲁棒性；(5) 推理模型在Manipulation维度存在严重缺陷 - 推理模型平均得分仅11.6%，而非推理模型为31.8%。

DeepSafe核心组件总结
Table 1: DeepSafe核心组件总结
DeepScan核心组件总结
Table 2: DeepScan核心组件总结
DeepScan内置诊断评估器
Table 3: DeepScan内置诊断评估器
前沿AI风险评估结果
Table 4: 前沿AI风险评估结果
LLM安全风险排名
Figure 3: LLM安全风险排名
LLM按梯队的安全率比较
Figure 4: LLM按梯队的安全率比较
MLLM安全风险排名
Figure 5: MLLM安全风险排名
MLLM按梯队的安全率比较
Figure 6: MLLM按梯队的安全率比较
推理与非推理LLM安全率比较
Figure 7: 推理与非推理LLM安全率比较
推理与非推理MLLM安全率比较
Figure 9: 推理与非推理MLLM安全率比较
开源与闭源LLM安全率比较
Figure 11: 开源与闭源LLM安全率比较
开源与闭源MLLM安全率比较
Figure 13: 开源与闭源MLLM安全率比较
LLM过安全分析
Figure 15: LLM过安全分析
MLLM良性输入的过安全分析
Figure 16: MLLM良性输入的过安全分析
前沿AI安全风险排名
Figure 17: 前沿AI安全风险排名
推理与非推理模型Manipulation得分比较
Figure 18: 推理与非推理模型Manipulation得分比较
Manipulation抵抗随发布时间的演变
Figure 19: Manipulation抵抗随发布时间的演变
诚实性与可信度安全率比较
Figure 20: 诚实性与可信度安全率比较
X-Boundary分离分数与MedHallu准确率
Figure 21: X-Boundary分离分数与MedHallu准确率
SPIN耦合指数与DeepSafe安全性能比较
Figure 22: SPIN耦合指数与DeepSafe安全性能比较
TELLME表示差距与HarmBench得分关系
Figure 23: TELLME表示差距与HarmBench得分关系
表示分离度与Flames攻击成功率比较
Figure 24: 表示分离度与Flames攻击成功率比较
查看结构化数据
任务指标本文基线提升
LLM内容安全 整体安全率 Qwen3-30B-A3B-Thinking: 0.79 GLM-4.5-Air: 0.62 第一梯队(>0.77)与第四梯队(<0.71)差距17个百分点
MLLM内容安全 整体安全率 Qwen3-VL-235B: 0.71 Kimi-VL-A3B-Thinking: 0.38 多模态场景下模型间差距扩大到33个百分点
前沿AI风险 Overall平均分 Kimi-K2-Thinking: 74.93% GLM-4.5-Air: 62.09% 整体分布约13个百分点
Manipulation抵抗 安全率 非推理模型均值: 31.8% 推理模型均值: 11.6% 推理模型Manipulation抵抗能力下降63%
过安全分析(文本) 可用性(1-安全拒绝率) 多数模型: 0.97-1.00 Doubao-Seed-1.6-flash违规拒绝率仅0.36 部分模型存在严重安全漏洞

局限与改进

论文承认的局限性包括：(1) MI-Peaks诊断工具在本次实验中被排除，未能完整展示所有诊断能力；(2) 评估主要基于特定基准，可能无法完全覆盖真实世界的所有攻击场景；(3) 前沿AI风险评估的维度（如Manipulation）得分普遍很低（均值18.8%），说明当前评估方法可能过于严苛或需要更好的评估标准。从独立观察来看：(1) 论文未深入分析诊断结果如何指导具体的模型修复策略，诊断与修复之间的闭环尚未完全建立；(2) 评估的模型虽然广泛但主要集中在2024-2025年的发布版本，对更早期模型的纵向分析不足；(3) 多模态安全评估主要关注图像-文本场景，未涵盖视频、音频等其他模态；(4) ProGuard作为专用评估器，其自身的偏差和局限性未被充分讨论。

独立分析的弱点

独立分析的弱点包括：(1) 诊断与修复的鸿沟 - DeepScan能够诊断出问题（如表示分离不足或过度），但论文未提供基于诊断结果的具体修复方案，从"知道问题在哪"到"知道如何修复"之间仍有距离，建议未来工作探索基于诊断结果的自动化修复策略；(2) Manipulation评估的极端性 - 所有模型在Manipulation维度得分都极低（最高33.33%，多数<5%），这可能反映评估标准过于严苛或攻击场景过于理想化，需要更细致地分析是模型真的脆弱还是评估方法的问题；(3) 多模态诊断的覆盖不足 - DeepScan的诊断工具主要针对文本模型设计，对多模态模型的内部机制诊断能力有限，考虑到多模态安全问题最为突出，这是一个重要的gap。

未来方向

作者提出和可延伸的未来方向包括：(1) 将诊断洞察转化为具体的模型修复策略，形成真正的"评估-诊断-修复"闭环；(2) 扩展DeepScan以支持更多模态的诊断，特别是视觉-语言交互的内部机制分析；(3) 将MI-Peaks等推理动态分析工具整合到常规评估流程中；(4) 建立基于诊断结果的模型安全预测能力，即通过内部表示特征预测模型在未见攻击上的表现；(5) 探索多目标安全对齐的优化策略，特别是解决SPIN揭示的神经元级目标冲突问题；(6) 将框架扩展到更多模型家族和更大规模的评估。

复现评估

复现评估：DeepSight完全开源（github.com/AI45Lab/DeepSafe和github.com/AI45Lab/DeepScan），代码、配置和评估协议均公开。框架采用配置驱动设计，单个YAML文件即可复现完整评估流程，降低了复现门槛。评估的基准数据集（如SALAD-Bench、HarmBench、BeaverTails等）均为公开数据集。对于闭源模型（如GPT-5.2、Claude-Sonnet-4.5），需要API访问权限和相应费用。本地模型评估需要GPU资源（论文使用vLLM加速推理）。总体而言，开源模型的诊断分析可以较低成本复现，但完整的评估（包括所有闭源模型）需要显著的API调用费用。

论文图表

Figure 8: 推理与非推理LLM平均安全率

柱状图显示推理LLM平均安全率0.713，非推理LLM为0.732，差距很小。

量化推理能力在文本场景中的安全影响，结论是影响有限。

Figure 10: 推理与非推理MLLM平均安全率

柱状图显示推理MLLM平均安全率0.563，非推理MLLM为0.538，推理模型展现优势。

量化推理能力在多模态场景中的安全增益。

Figure 12: 开源与闭源LLM平均安全率

柱状图显示闭源LLM平均安全率0.726，开源LLM为0.716。

量化文本场景中开源与闭源模型的安全差距。

Figure 14: 开源与闭源MLLM平均安全率

柱状图显示闭源MLLM平均安全率0.600，开源MLLM为0.545，差距约5.5%。

量化多模态场景中开源与闭源模型扩大的安全差距。