基于模板增广的多语言安全训练与评测语料 MSAFETEMP How I Aligned Your Model: Scaling Up Multilingual Safety Training with Templates
模板抽象分离有害框架与实体，规模化生成60语言文化本地化安全数据，暴露并修补非英语安全短板
前置知识
安全对齐与拒绝训练
在预训练之后，用「有害请求-拒绝回复」的配对数据对 LLM 做微调（SFT）并用偏好优化强化，使模型面对制造武器、仇恨言论、违法指令等请求时输出拒绝。对齐质量决定模型在措辞变化、语言切换、文化语境变化下是否仍能守住拒绝行为。
本文检验的正是这种拒绝能力能否从英语泛化到其他语言与文化场景，并构造数据来增强它；论文的一切实验都围绕对齐后的拒绝行为展开。
攻击成功率（ASR）与过度拒绝（OR）
安全评测的两个核心指标：$\mathrm{ASR} = \frac{\text{被判为不安全顺从的有害回应数}}{\text{有害请求总数}}$ 衡量模型被攻破的频率；$\mathrm{OR} = \frac{\text{被拒绝的良性请求数}}{\text{良性请求总数}}$ 衡量错杀无害请求的程度。两者构成安全-有用权衡：靠扩大拒绝面压低 ASR 通常会推高 OR。
论文的所有评测与训练消融都同时报告 ASR 与 OR，理解这对指标的张力是读懂 Table 2、Table 3 结论的前提。
LLM-as-a-Judge
用一个强语言模型按明确标准给其他模型的输出打分或分类，例如判断某回答是否构成有害顺从、某 prompt 是否真的无害。为控制偏差，最佳实践是把生成模型与裁判模型分离、把每个判断标准拆成独立的布尔判定再在代码里聚合。
本文的数据验证和全部安全评测都由 LLM 裁判完成（GPT-OSS-120B / GPT-OSS-Safeguard-120B），裁判设计及其失败模式（如极性反转）是方法可靠性的核心议题。
类型化槽位模板（typed-slot template）
把句子中承载关键语义的短语替换为带类型标签的占位符（如 $\langle \text{illicit\_substance} \rangle$、$\langle \text{public\_figure} \rangle$），保留句法框架。向同一组槽位填入不同实体，即可系统化生成共享框架的句子变体，是受控数据增广与最小对构造的基本手段。
模板抽象正是本文 pipeline 的核心机制：只有把「有害框架」与「致害实体」分离，才能安全地翻译、批量填充并进行文化本地化。
SFT 与 DPO
SFT（监督微调）在（指令，回复）对上做最大似然训练，仅对 assistant token 计损失；DPO（直接偏好优化）从同一提示的两个回答构造偏好对 $(x, y_w, y_l)$，用相对参考策略 $\pi_{\text{ref}}$ 的对数比率损失把策略推向偏好回答，无需单独训练奖励模型；on-policy 指偏好对采自当前模型自身。
论文用「SFT 学会拒绝 → on-policy DPO 收回过度拒绝」的两阶段配方验证 RQ3，Table 3 的所有训练结果都按这两个阶段展开。
研究动机
现有安全对齐在语言和文化上都严重偏向英语。已有研究反复证明红队测试在非英语语言上远比英语有效：把一条英语有害 prompt 翻译并适配目标文化——本地极端组织、历史暴行、社群专属侮辱词——有害意图未变，模型却可能顺从。造成多语言安全数据稀缺的原因有四个：(1) 招募母语者编写敏感有害内容昂贵且缓慢，跟不上当前 LLM 的迭代速度；(2) 人类红队质量最高，但几乎从不覆盖低资源语言；(3) 机器翻译只换语言、不换实体，无法产生本地化语境来扩展模型的安全理解；(4) 直接让另一个 LLM 生成、翻译或改写有害内容，会被该模型自身的安全对齐拒绝。结果是使用低资源语言的用户受到的保护最弱，这些语言也因此成为最容易被利用的攻击面。
本文的目标是本文要建立一个完全自动化、可扩展的模板化增广 pipeline，把少量英语有害种子 prompt 放大成 60 种语言、文化真实的有害与良性平行语料，同时服务于训练和评测，并回答三个研究问题：RQ1——现有开源模型的安全能力能否泛化到低资源语言和文化特有危害，还是在英语中心设置之外崩溃；RQ2——模板化 pipeline 能否在极少人工参与下规模化生成文化扎根的有害与良性 prompt 变体；RQ3——在这些数据上训练能否收窄多语言安全差距而不推高过度拒绝。最终交付 MSAFETEMP 数据集、自动生成的每语言文化卡和配套评测，让低资源语言社区的安全对齐与评测变得可行。
与已有工作不同的是，本文的独特切入是「模板抽象」：一个有害 prompt 可分解为句式框架与致害实体两部分，把后者抽成类型化槽位后，剩下的模板本身无害，任何对齐模型都愿意翻译和改写它——这就绕过了「让 LLM 处理有害内容必被拒绝」的死结。翻译的是模板而非完整有害请求，英语实体不再随翻译迁移；在目标语言侧填充槽位，第二遍保守地用每语言「文化卡」中的真实本地指涉填充，就得到文化扎根变体；同一槽位填安全实体又得到良性最小对。于是 TR（翻译）、PH（本地化）、OR（良性对照）共享同一框架，语言与文化被控制为唯一变量，构成受控对比实验。此前工作要么只做翻译（RefusEU、LinguaSafe），要么限于单一区域或少数语言（IndoSafety、SEA-SafeguardBench、UbuntuGuard），没有人在 60 种语言上用同一模板派生配对的训练与评测数据并要求有害意图在翻译和本地化后存活。
核心方法
直觉上，与其让人或模型硬造有害内容，不如只让模型搬运无害的句式框架，把真正致害的词留到目标语言侧再填入。技术路线分四步：(1) 用 Gemma-4-31B-IT 从英语种子（HarmBench 200 条标准行为、WildGuardMix 2,500 条有害 prompt）中抽出 1–3 个词的最小致害短语，替换成如 $\langle \text{illicit\_substance} \rangle$ 的类型槽位；GPT-OSS-120B 裁判逐项检查模板自包含、槽位清晰、有害意图保留、未改动文本忠实于种子。(2) 只翻译槽位周围的文本（槽名保留英文），第二道裁判检查语义保真、槽位完整性与目标语言一致性，不通过时只修补被标记的片段而非整体重译。(3) 每个通过的主模板再生成两个已验证的改写，每个 seed×语言共 3 个模板。(4) 三分支填充：TR 填通用有害实体（每模板 5 组填充，最多 15 个变体/seed/语言）；OR 填良性实体得到 DIRECT/BOUNDED 良性对照；PH 用每语言文化卡中的本地实体填充并允许围绕实体屈折改写。所有变体经独立裁判按有害性、语言质量、连贯性、框架保真逐项布尔判定后聚合放行；生成与裁判使用不同模型家族，文化卡另由 Gemini Flash 3.6 校验。
核心创新是把「有害意图由特定实体承载」这一观察彻底工程化：一旦把致害词抽走，增广链条上的每一步——翻译、改写、本地化——都变成对安全模型而言无害的任务，规模化的瓶颈随之消失。与已有方法的本质区别有三点。其一，翻译对象是模板而非完整有害请求，这既降低生成器拒绝率，又避免英语实体随翻译迁移，让槽位可以在目标语言中接受真实本地实体。其二，同一模板同时派生出有害版、良性最小对（仅槽位取值不同）、翻译版与文化本地化版，使「过度拒绝」和「文化特定失败」第一次可以被配对测量，而不是在不同数据集间粗略比较。其三，每语言一张自动生成的文化卡把「什么在本文化中算有害」显式编码为实体池加使用约束——语法形式、严重度档位、受害者/加害者角色不可颠倒——由 fit 裁判逐槽位核验，而不是笼统地让模型「本地化一下」。
方法步骤详情
完整流程如下。第一步种子选取：HarmBench 200 条标准行为（剔除依赖上下文与版权两类，因其危害不由 prompt 本身定义）只做评测；WildGuardMix wildguardtrain 中经固定种子洗牌抽取 2,500 条，其中 2,000 条及其全部后代构成训练集、500 条构成 held-out 测试集，按 original_id 划分保证任何改写或换实体的后代都不会跨越边界。第二步模板抽取：Gemma-4-31B-IT 抽出最小致害短语换成类型槽位，槽值要求短（1–3 词）而窄，无法这样表达危害的 prompt 在裁判阶段被丢弃，失败最多重试两次；此阶段保留率高达 99.5%（WildGuard 109,425/110,000）。第三步翻译与改写：只译周边文本，裁判不通过则局部修补至多三轮；每个主模板再产两个验证改写，故每 seed×语言有 3 个模板。第四步分支填充：TR 每模板提出 5 组有害填充；OR 分支填良性实体并分类为 DIRECT（可完整安全回答，用于测 OR）或 BOUNDED（合法用途但完整回答会泄露可迁移危害细节，只作训练信号）；PH 分支先按文化卡实体池为每个槽位找类型、语义、严重度都匹配且不颠倒受害者/加害者角色的实体（一个模板的合法配置称为一个 recipe），通过后生成器可围绕实体屈折改写。第五步最终裁判按四项独立布尔判定聚合放行：有害填充仅约 1% 被拒，良性候选接受率 52–61%，文化 fit 裁判通过率仅 27–28%，保证发布的 PH 子集是更小但更高质量的集合。
技术新颖性
技术新颖性体现在四个层面。数据机制上，这是首个同时满足「配对训练+评测数据」与「有害意图必须在翻译和本地化后存活」两条硬约束的 60 语言安全语料：1.84M 条训练加 216,486 条评测 prompt 全部经 original_id 溯源，训练/测试按种子切分杜绝后代泄漏，并附带全部 60 种语言的自动文化卡供社区复用与扩展。质量控制上，作者发现并修复了 LLM 裁判的「极性反转」失败模式（推理说有害、结论却给安全），改为逐标准布尔判定加代码聚合；又发现 LLM 语法检查在德语审计中大量误报，改为在生成时约束形态而非事后裁判——这些工程细节本身就是对 LLM-as-a-Judge 实践的贡献。多样性上，附录 B 用 distinct ratio $D/F$ 与有效实体数 $N_{\text{eff}} = \exp(-\sum_e p_e \log p_e)$ 证明有害槽位覆盖超过 2.8M 个独立实体（$D/F \approx 0.7$，良性 0.94–0.95），没有任何实体占任一语言有害填充的 1% 以上，高低资源语言间多样性无显著差异，排除了「大量重复少数填充」的伪规模。评测设计上，PyRIT 的 10 种 matched jailbreak wrapper、paraphrase 消融、每模板多填充评分等揭示了单次评测会漏掉的失败结构。
实验结果
评测回答 RQ1：英语结果无法预测其他语言的安全性。Olmo-3.1-32B 在 HarmBench 英语原句 ASR 为 0%，翻译后跳到 13.7%；Olmo 与两个 Apertus 在两个评测轨道的几乎每种语言翻译后都更易被攻破；在 WildGuard held-out 测试集上，翻译使 Olmo、Gemma 与双 Apertus 的 ASR 变为英语的 2.4–4.4 倍；而 Llama-3.3-70B 反而是在英语上最脆弱（13.0%）。Qwen3.5-27B 与 GPT-OSS-20B 在所有臂上都低于 1%，但 GPT-OSS-20B 以 31.8–45.1% 的良性拒绝率为代价。文化本地化（PH）不是更强的攻击而是不同的攻击：措辞固定时 PH 与 TR 攻破模型的频率相当，但两者一致的失败行为 Jaccard 仅 0.40–0.45，约 45% 的失败只在本地实体下出现；PH 对多数模型降低 ASR（HarmBench 5/7、WildGuard 6/7），却对 Apertus-8B 和 Olmo 指令版升高。改写模板在 WildGuard 上比主模板更危险（最多 +3.7 个百分点），被部分填充攻破的模板贡献了 60–100% 的不安全回答，单填充评分会漏掉约一半被攻破的模板。RQ2：pipeline 产出 WildGuard 轨道 1,537,628 条有害、186,639+20,528 条良性、97,120 条文化本地化 prompt（44 语言），以及 HarmBench 轨道 216,486 条评测 prompt（60 语言）；IRB 批准的人类研究（15 名母语/流利安全专家、11 语言、600 次判断）评出自然度 4.43/5、文化契合 4.46/5，91% 的有害标签获认可。RQ3：SFT 一个 epoch 使 Apertus-8B base 的 HarmBench ASR 从 14.2% 降至 3.3%，再经 on-policy DPO 降至 1.5%；Olmo-3-7B-IT 从 21.5% → 4.3% → 2.9%；Llama-3.1-8B-IT 从 15.9% → 1.7% → 2.0%。但 SFT 显著推高过度拒绝（Olmo WildGuard 多语言 OR 从 3.1% 升至 20.2%），DPO 收回大半（降至 13.7%）；能力代价集中在 GSM8K（Llama 84.0 → 67.9），MMLU 几乎不变（72.0 → 63.6–65.2 区间）；在 16 个训练未见语言上的收益与已见语言差距不超过 1.2 个百分点，说明学到的是可跨语言迁移的拒绝行为而非逐语言记忆。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多语言攻击评测（HarmBench，60 语言） | 攻击成功率 ASR (%) | 评测发现 Olmo-3.1-32B 翻译臂 TR 达 13.7% | 同一模型英语原句 Orig 为 0.0% | 仅翻译就使 ASR 上升 13.7 个百分点，暴露纯英语评测的完全漏报 |
| 多语言攻击评测（WildGuard held-out 测试集，44 语言） | TR/Orig ASR 倍率 | Olmo、Gemma、双 Apertus 翻译后攻破率为英语的 2.4–4.4 倍 | 各模型自身的英语 ASR | 证明跨语言安全泛化在主流开源模型上系统性失效 |
| 安全训练（Apertus-8B-2509 base，HarmBench 轨道） | ASR (%) | +MSAFETEMP SFT 降至 3.3，SFT+DPO 降至 1.5 | 未训练 base 为 14.2 | 相对降幅约 89%，且 WildGuard ASR 从 3.1 降至 0.5 |
| 安全训练（Olmo-3-7B-IT，HarmBench 轨道） | 多语言 ASR / OR (%) | SFT 后 ASR 4.3、DPO 后 2.9；但 OR 从 2.7 升至 28.4，DPO 后仍为 19.8 | IT 检查点 ASR 21.5、OR 2.7 | ASR 降 18.6 个百分点，同时暴露 SFT-DPO 配方在部分模型上的残余过度拒绝 |
| 未见语言泛化（16 个 held-out 语言） | 已见 vs 未见语言 ASR 差距 | 训练后未见语言收益接近已见语言，差距 ≤1.2 个百分点 | 逐语言记忆假设下应出现大幅差距 | 证明模板数据教会的是可迁移拒绝行为而非记忆 |
| 良性对照（GPT-OSS-20B） | 过度拒绝 OR (%) | 31.8（HarmBench）/ 45.1（WildGuard） | Qwen3.5-27B 仅 3.5 / 17.0 | 揭示低 ASR 模型的隐藏代价：极低攻击率是以大规模错杀良性请求换来的 |
局限与改进
作者坦承的局限包括：整个 pipeline 重度依赖自动化 LLM 裁判，虽然用另一模型家族的裁判（Llama-Guard-4-12B 与 Llama-3.3-70B）在 5,000 响应分层子样本上复验——过度拒绝一致性 Cohen's $\kappa=0.90$（子样本）/0.75（重加权），攻击成功 $\kappa=0.40$–0.46，主要结论方向均保持——但完整裁判消融仍是未来工作；文化质量的人类研究只有 15 名评分者、11 语言、每语言 1–2 人；有害标签从英语种子继承给全部后代，本地化实体（本地极端组织、地域侮辱词）可能使变体比继承标签更严重，重标注留待未来；训练消融只覆盖 SFT+DPO，未试 RL 方法；prompt 全部单轮且模板固定。我自己的观察补充五点：人类验证中良性标签只有 65% 获认可，意味着论文的过度拒绝数字可能系统性偏高，安全-有用权衡的结论需打折解读；GPT-OSS-20B 与评测裁判同家族，作者也自认可能有同族偏袒；其裁判判定 OR-Bench 约 20% 样本实为有害，说明跨基准的 OR 数字不可直接比较；DPO 后 Olmo 与 Llama 的过度拒绝仍高于起点，配方并未对所有家族完全解决权衡；文化卡由模型自动生成，作者承认含拼写与语法错误并靠第二模型校正，低资源语言文化卡的事实性错误率未见量化——若卡中出现不实实体，PH 变体的「文化真实性」会打折扣。
独立分析的弱点
弱点一：良性分支是全链条最薄弱的环节——人类专家只认可 65% 的良性标签，软化或虚构的对照在特定情境下读起来仍有害，这既使 OR 测量偏高，也让 BOUNDED 训练信号可能教模型继续过度拒绝。改进方向：对良性分支做母语者循环校验，或引入「情境条件重标注」把疑似样本挪入 BOUNDED。弱点二：裁判单点依赖——生成与裁判虽然分家族，但全库只有一套裁判标准，且两个独立裁判在 ASR 上 $\kappa$ 仅 0.40–0.46，双用途与部分顺从回答的判定分歧很大。改进：多裁判集成加分歧样本人工仲裁，并在发布物中附带裁判一致性元数据。弱点三：模板单轮、静态，覆盖不了多轮诱导与渐进升级式攻击；作者已把「用本地化变体作为自动迭代攻击器的种子」列为下一步，这一步落地才真正逼近现实威胁模型。弱点四：SFT 的激进全参更新造成 GSM8K 大跌（Llama-3.1-8B 84.0 → 67.9），作者归因于通用指令混合的质量，改进可以是降低安全数据混合权重、LoRA 等保守更新，或把安全信号并入预训练中程阶段。弱点五：有害标签继承自英文种子且只标注一次，PH 变体缺少严重度重标注，可能低估文化特定危害的实际强度，使评测对「本地化是否更危险」这一问题的测量偏保守。
未来方向
作者明确提出的方向：对裁判模型做完整消融；开展更大规模、多评分者的文化质量人类评估；对本地化变体子样本重新标注严重度；尝试 RL 等偏好优化之外的对齐方法；把 pipeline 扩展到多轮与迭代攻击，例如将 PH 变体用作自动迭代攻击者的种子。基于其成果可自然延伸的研究：把文化卡机制推广到安全之外的对齐维度，如公平性、幻觉的文化敏感表述；把模板抽象应用于代码安全、Agent 工具滥用等非纯文本危害；用 MSAFETEMP 训练多语言 guard 模型（类似 Llama Guard 的多语言版）并研究 guard 与被对齐模型之间的协同或对抗；深入分析为何 Apertus 与 Olmo 对本地化填充更脆弱——是预训练语言分布问题还是安全数据的文化覆盖问题；结合「OR-Bench 约 20% 样本实为有害」的发现，重新校准社区通用的过度拒绝基准，避免以有噪声的基准指导对齐决策。
复现评估
复现条件非常好。数据在 HuggingFace（swiss-ai/MSafeTemp，带内容警告门控）发布，代码在 GitHub（swiss-ai/msafetemp），均为宽松许可证，包含 pipeline 的全部 prompt、60 种语言的文化卡、裁判标准、逐语言评测结果与数据表文档（Appendix A.4/A.7）。训练与评测超参完整给出：Apertus 用 Megatron-LM 训练一个 epoch，序列打包到 4096 token、全局 batch 128 个打包序列（3,543 步）、张量并行 4、128 张 GH200；Llama/Olmo 用 TRL+FSDP2 在同配比的 40 万行采样上单 epoch；学习率 $1 \times 10^{-5}$、cosine 调度、3% warmup、零权重衰减、梯度裁剪 1.0、bf16、种子 1234、按最终 checkpoint 报告而非按验证集挑选；DPO 温度 0.8、top-p 0.9 采样 on-policy 偏好对。生成模型 Gemma-4-31B-IT 与裁判 GPT-OSS-120B/Safeguard 均为开放权重。算力门槛方面：全量 60 语言数据再生成是较重的推理负载，但选定语言子集的小规模复现可行；8B 级模型的 SFT+DPO 需要约 128 GPU 量级（缩小 batch 可降配）；评测需对每个目标模型×60 语言×多个臂做推理并用 GPT-OSS-Safeguard 裁判。整体难度中等：工程量集中在多阶段编排与局部修补逻辑，科学不确定性主要在裁判一致性，而作者已提供 5,000 响应的独立裁判协议供直接校验。
论文图表
