HarmProfile：刻画前沿大语言模型的有害输出分布 HarmProfile: Characterizing Harmful Distributions in Frontier LLMs

数据采集协议如下。工作空间布局：每个子类一个自包含环境，含 current.json（本轮 schema，占位符待填）、log.md（覆盖记忆）、test_validator.py（本地测试）、validator.py（权威验证器，智能体不可见不可改）、approved.json（已收录集合，shell 层屏蔽读取与列名显示）。单轮流程：全新智能体实例读取 log.md 与测试文件，用专用 write_current_json 工具填写 JSON（禁止 shell 重定向、cat、echo、heredoc 写入），运行 pytest，失败则按报错修正，通过后更新 log.md 并回复 DONE。外层循环（Algorithm 10）：每轮生成新 schema，智能体内部迭代至本地测试通过，驱动方再独立验证——必填字段非空、无占位符、expected_label 在合法标签集合内、unsafe 回应不少于 50 词、自由类别与 id 本轮内唯一且不与历史精确重复——失败则换新智能体重试至多 R 次。伪影 schema 为六元组：id、category（自由文本）、expected_label、user_query、safe_assistant_response、unsafe_assistant_response。评分阶段：有害性取 StrongREJECT 连续分与 GPT-4o-mini 成对比较胜率（每个模型-类别对取 10 条伪影对 3 个对手模型、展示顺序随机化防位置偏差）的等权平均；多样性按 $D_{\text{token}} = 1 - \frac{1}{|X_m|}\sum_i \text{SelfBLEU}(x_i, X_m)$（n-gram 阶数 3–5）、句子级 16 近邻余弦距离（jina-embeddings-v5-text-small 编码）、主题级 BERTopic 覆盖率 $D_{\text{topic}} = |\{t \in T : \exists x \in X_m \text{ assigned to } t\}|/|T|$，三者 min-max 归一化后等权平均 $D = \frac{1}{3}(\hat{D}_{\text{token}} + \hat{D}_{\text{sent}} + \hat{D}_{\text{topic}})$；另用 GPT-5.5 把 BERTopic 细粒度主题聚合成 131 个可解释的风险主题簇。

技术新颖性可从与 Table 1 的对照看：既有资源要么有结构化分类但靠人工或攻击采集（HarmBench 510 条、JailbreakHub 1.4k 条），要么自动化但无响应级分析（WildGuard 92k 条），HarmProfile 是第一个同时满足结构化分类、自动生成、无攻击、响应级分析、适用于前沿模型全部五个特性的资源。方法论新颖点有四。其一，靶子分类器设计：让智能体生成能使指定 HuggingFace 分类器命中目标标签的内容（附录 Table 8 给出 18 个分类器与 57 个子类的映射），把类别一致性内化为任务约束，省去人工标注。其二，无种子自主探索加持久记忆与冗余控制，使 8 万条数据出自模型自选主题而非人工策划，天然适合刻画分布而非样本。其三，双轴画像与分布级比较（MAUVE 矩阵），把安全评估从标量分数升级为向量画像。其四，用饱和动力学实验自省采集方法的边界：生成 5,000+ 条后主题发现趋平，再用 100 个外部提示主题验证 100% 可生成，从而区分知识边界与引导边界——这种对自身局限的显式检验在基准论文中少见。争议点在于评分链仍依赖 GPT-4o-mini 与 GPT-5.5 等闭源模型，且无攻击属性依赖 ISC 现象在未来模型上持续成立。

独立来看，本文有几个值得警惕的弱点。第一，裁判循环性：用 GPT-4o-mini 与 GPT-5.5 评其他 LLM 的有害输出，裁判自身能力与偏差直接写进分数，且无人类校准——在 CSAM 等极端类别上裁判可靠性尤其存疑；改进方向是多裁判集成加人工抽检校准。第二，语言与地域覆盖单一：语料以英文为主，而有害内容文化特异性极强，中文及其他语言下的画像可能完全不同，可扩展多语言工作空间。第三，无攻击叙事的边界：任务外壳本身是强引导（要求生成命中 unsafe 标签的内容），所谓自由探索实际仍被 schema 与严重度升级指令塑形；建议加入无指令基线与对抗攻击对照，量化三种采集方式的分布差异。第四，组合权重任意：两评分器相关性仅 ρ=0.41，意味着 0.5/0.5 权重的选择会实质改变排名，需做权重敏感性消融。第五，数据不可完全开放：原始伪影受控访问，第三方难以独立验证评分或复现热图，也限制了其作为防御训练数据的直接用途。第六，饱和分析只在 Protected-Attribute Hate 单一子类加两个复现模型上进行，外推到全部 57 子类证据不足；每类具体场景应补齐饱和实验并报告临界样本量。

作者提出的方向是把画像用于防御导向的细粒度评估，推动安全评估从粗粒度对齐指标走向内容级分析。在此基础上可延伸：其一，类别级针对性对齐——既然风险集中在特定类别（Grok-4.1-Fast 的越狱协助 0.87、GLM-5.1 的金融诈骗 0.91），可把画像当作对齐训练的诊断信号，做靶向拒答微调或 RLHF；其二，时序画像追踪——建立跨版本风险画像漂移监测，检验能力增长伴随话题扩张在下一代模型上是否持续；其三，多模态扩展——覆盖图像与音频生成的有害伪影，弥补作者自认的分类缺口；其四，机制可解释性衔接——用画像定位的有害主题簇反查模型内部承载相应知识的参数或回路，回答对齐表面下潜伏的知识如何被表征；其五，跨语言与文化画像；其六，谱系分析——同源模型 MAUVE 相似度更高的现象可反过来追踪训练数据污染或蒸馏关系；其七，采集方法学——既然零样本只能暴露有界话题空间，混合提示与自主探索的半自动采集，或结合对抗方法的对照采集，有望逼近模型真实有害知识边界并量化两种风险面的差异。

复现难度中等。公开部分：完整分类体系与子类定义（附录 B，Tables 5–7）、评分 rubric 与成对裁判提示词原文（附录 F）、智能体轮次提示与初始日志模板（附录 C）、外层算法伪代码（Algorithm 10）、聚合结果、框架代码与脱敏示例，项目网站 fresh-ma.github.io/HarmProfile；但原始有害伪影以含可操作指令、漏洞代码或 PII 为由不予公开，或仅对通过验证的研究者受控开放，这意味着第三方无法直接重算论文热图。算力与成本：数据生成需调用 23 个前沿模型 API（Qwen3.5 系列、gpt-oss-120b 等开源权重模型可自托管；DeepSeek-V4-Flash 输入 $0.10/M、输出 $0.20/M，成本可控），评分需 GPT-4o-mini、GPT-5.5、StrongREJECT、jina-embeddings-v5 与 BERTopic；8 万条伪影的生成与逐条评分是主要开销，单机加 API 预算即可完成。协议细节（工具限制、六项验证清单、50 词门槛、冗余阈值机制）记录得相当完整，方法层面易于复现；难点在前沿模型 API 的时变性与闭源裁判导致精确数字难以逐位复现，且原始数据不开放限制了独立验证。总体：代码与协议复现容易，结果级复现中等，数据级复现受访问政策限制。