LASA：在语义瓶颈处做语言无关的语义对齐以实现 LLM 安全 LASA: Language-Agnostic Semantic Alignment at the Semantic Bottleneck for LLM Safety
在 LLM 中间层发现语义瓶颈，把安全对齐锚定到语言无关的语义表示上。
前置知识
多语言安全（Multilingual Safety）
指 LLM 在不同语言输入下能否保持一致的安全行为。现有 LLM 通常在英语、汉语等高资源语言上对齐良好，但面对斯瓦希里语、孟加拉语等低资源语言的越狱提示时，攻击成功率（ASR）会显著上升，是一种典型的『安全能力分布不均』现象。
本文正是要解决多语言安全泛化问题，必须先理解为什么安全性能会出现语言间的不一致，才能理解 LASA 的设计动机。
偏好优化（Preference Optimization）
包括 DPO、KTO、ORPO、CPO、MPO 等一系列基于人类偏好数据对 LLM 进行后训练的方法。它们通过最大化 chosen 与 rejected 响应之间的隐式奖励差距来对齐模型行为，但训练数据通常以高资源语言为主，限制了对低资源语言的迁移能力。
LASA 的第三阶段采用了 KTO 损失，因此需要理解主流偏好优化方法的输入输出形式；LASA 的核心贡献是替换了对齐『发生的空间』，而不是发明新的偏好算法。
Silhouette 分数（轮廓系数）
一种聚类质量度量，定义为 (x) = \frac{b(x) - a(x)}{\max(a(x), b(x))}$，其中 (x)$ 是样本到同簇其他点的平均距离，(x)$ 是到最近异簇点的平均距离。取值 1$，越大聚类越紧致，可用于衡量隐藏表示是按语言还是按语义聚集。
本文用逐层 Silhouette 分数的形式化定义（$S^{Sem}_l - S^{Lang}_l$ 的最大值）来定位 Semantic Bottleneck，是理解方法部分最关键的统计量。
语义瓶颈（Semantic Bottleneck）
指 Transformer 中间层的一个特殊位置：在它之前表征主要按语言身份（English / Chinese / Swahili）聚类；在它之上表征回归到语言特定的生成格式；唯独在它附近，跨语言、跨符号但语义相同的查询会聚在一起，跨语义但同语言的查询会分离。这是本文首次正式提出的概念。
这是 LASA 整套方法的物理基础——只有存在这样一个语言无关、信息保留充分的中间层，才能把安全对齐『挂』在上面并自然泛化到未见过的低资源语言。
研究动机
当前主流 LLM 在英语、汉语、韩语等高资源语言上经过 SFT/DPO/KTO 等对齐后，几乎可以达到 0% 的攻击成功率（ASR），但当用户用斯瓦希里语（Swahili）、孟加拉语（Bengali）等低资源语言改写同样的恶意请求时，ASR 又会反弹到 50% 左右。例如在 Qwen-2.5-7B-Instruct 上，基线方法在英语上的 ASR 接近 0%，但 Swahili 上的 ASR 仍维持在 56% 左右。论文作者把这种失效归因于『语言无关的语义理解能力』与『偏向高资源语言的安全对齐』之间的错配：底层模型其实已经把不同语言的同一含义映射到相同的语义空间（这一能力可以跨语言迁移），但对齐阶段只在文本空间、用高资源语言的安全数据做监督，导致学到的是『英语里危险 vs. 安全』的判别边界，而不是『语义上危险 vs. 安全』的判别边界，因此遇到训练分布外的语言立刻失效。
本文的目标是本文希望让 LLM 在高资源语言上学到的安全行为能自动泛化到任意低资源语言，同时不损失通用能力。量化目标是把 LLaMA-3.1-8B-Instruct 上的平均 ASR 从 24.7% 压到接近零、把 Qwen-2.5/Qwen-3 系列（7B–32B）的跨语言平均 ASR 稳定在 3–4% 左右、且把 Qwen-2.5-7B-Instruct 上 Swahili 的 ASR 从 ~50% 降到 13% 以下；并保持 MMLU / MT-Bench / MGSM 等通用基准不退化。
与已有工作不同的是，已有工作要么在目标低资源语言上做额外的 SFT / 偏好对齐（需要平行安全数据），要么用 reward shaping、self-distillation 在语言层面做迁移，依然受限于语言分布。本文另辟蹊径：从表征层出发，用 Silhouette 分数定位到一个『语言无关、语义主导』的中间层，把安全对齐直接锚定在这一层的隐藏状态上，从而让英语 / 汉语 / 韩语上学到的安全语义特征沿着共享的语义结构自然扩散到未见过的低资源语言。这种『在哪里对齐』的视角，之前的 multilingual safety、latent-space safety 两条文献线都没有系统讨论过。
核心方法
LASA 的核心直觉是：把安全对齐从『文本输出空间』搬到『语义表示空间』。可以把它想象成在 LLM 的内部网络里找一个『翻译无关』的楼层——在这一层不管用户用英语、汉语还是 emoji 提问，相同含义的查询都会挤在同一片区域，不同含义的查询会自然分开。LASA 在该楼层挂一个非常小的安全分类头（Safety Semantic Interpreter, SSI），由它输出一个安全信号 logit $z$，再把这个 $z$ 作为额外条件输入到后续的 token 生成过程中。这样，模型学到的就不再是『某种语言里的危险表达』，而是『语义空间里的危险含义』，于是对未训练过的低资源语言也能拒绝。
传统偏好对齐（DPO/KTO/SFT 等）把『安全分类器』埋在文本输出空间里，分类边界不可避免地继承了训练数据的语言分布；LASA 的本质区别在于：先用 Silhouette 分数形式化找到一个跨语言语义主导的中间层 $L_s$，再在该层训练一个轻量 MLP（<0.2% 参数）做 safety 语义解释，最后把解释结果作为条件信号注入到 KTO 风格的生成目标里。也就是说，分类器从『看最后一层语言表示』变成『看中间层语义表示』，分类边界从『语言相关』变成『语言无关』。这与之前在最后一层做隐空间引导的 latent safety 工作（HSF、Steer、Latent Adversarial Training 等）形成鲜明对比——后者最后一层仍然是语言主导的，所以无法解决低资源泛化问题。
方法步骤详情
整个 LASA 训练分三阶段（Algorithm 1）。**Stage 1 — 定位 Semantic Bottleneck**：对 $M$ 种语言、$Q$ 个语义等价的查询，提取每一层 $l$ 的隐藏状态集合 $H^l = \{h^l_{i,m} : i=1..Q, m=1..M\}$，分别按语言（$P^{Lang}_l$）和按查询（$P^{Sem}_l$）做划分，计算两者的层均 Silhouette 分数 $S^{Lang}_l$ 和 $S^{Sem}_l$，取 $L_s = \arg\max_l (S^{Sem}_l - S^{Lang}_l)$。**Stage 2 — 训练 Safety Semantic Interpreter (SSI)**：冻结 LLM 主体参数 $\Theta$，初始化一个轻量 MLP $f_\phi$。给定查询 $x_i$，从瓶颈层抽取隐藏状态 $h_i = M^L_s_{\Theta}(x_i)$，SSI 输出标量 logit $z = f_\phi(h)$，用二元交叉熵 $\mathcal{L}_{SSI}(\phi) = \mathbb{E}_{(h,s)\sim D}[\text{BCE}(\sigma(z), s)]$ 把恶意/良性的语义判别边界学到 MLP 里。**Stage 3 — 语义条件对齐（Semantic-Conditioned Alignment）**：构造形如 $(x_i, y_i, w_i)$ 的 KTO 数据集，$w_i \in \{desirable, undesirable\}$。对每个 batch，抽 $h_i = M^L_s_{\Theta}(x_i)$、$z_i = f_\phi(h_i)$，按 $\mathcal{L}(\Theta) = \mathbb{E}\left[\omega(w_i) \cdot \sigma\left(\lambda \log \frac{P_\Theta(y_i|x_i, z_i)}{P_{ref}(y_i|x_i, z_i)} - z_i\right)\right]$ 更新 $\Theta$，让模型学会在看到 SSI 标出的危险语义时，无论用户用哪种语言，都用对应语言输出安全拒绝 / 替代建议。值得注意的是 $z_i$ 在推理时被转写成自然语言提示（『Harmful query detected. I should refuse...』）再拼回上下文，以利用 LLM 自身的生成能力。
技术新颖性
在算法层面 LASA 没有发明新的偏好优化目标（仍用 KTO），新颖性集中在三个地方：（1）首次形式化定义 Semantic Bottleneck 层 $L_s$，并用 Silhouette 分数给出可计算的程序化定位方式；（2）提出把安全分类器从最后一层搬到 $L_s$ 层的 SSI 范式，参数开销仅约 0.2%，但分类边界变成语言无关；（3）把 SSI 输出的安全 logit 作为条件信号嵌入到生成目标中，使语言生成模块和语义安全模块解耦——安全语义可以由英语学、生成能力可以由所有语言共享。整体上，把『对齐发生在哪里』从文本空间提到了中间语义空间，这是之前 multilingual safety 和 latent-space safety 两条文献线都没有系统研究过的视角。
实验结果
在 MultiJail 和 HarmBench-translated 两个基准、10 种语言（高资源 En/Zh/It/Vi，中资源 Ar/Ko/Th，低资源 Bn/Sw/Jv）上，LASA 一致地击败了 SFT、DPO、KTO、ORPO、CPO、MPO 六个基线。表 1 显示：在 LLaMA-3.1-8B-Instruct 上，LASA 把 MultiJail 平均 ASR 从 21.0% 降到 1.7%、HarmBench 从 28.4% 降到 3.9%；在 Qwen-2.5-7B-Instruct 上，把 MultiJail 平均 ASR 从 12.5% 压到 2.5%、HarmBench 从 25.1% 降到 5.6%。图 1（Qwen-2.5-7B Swahili 列）尤其有说服力：所有 baseline 在 Swahili 上 ASR 都约 50%，LASA 直接降到 13.0%。表 2 表明通用能力几乎不退化，LLaMA-3.1 的英语 MMLU 从 65.00 提升到 65.00（持平），多语言 MMLU 从 48.50 提到 50.00，MT-Bench 多语言分从 66.32 提到 67.28；Qwen-2.5-7B 同样在多语言 MMLU 上从 48.78 跃升到 58.28。图 6 的逐层 SSI 消融说明，SSI 必须训练在瓶颈层 $L_s$ 才能拿到最优 ASR，训练在输入附近或输出附近层都会显著退化，训练在最终层的 ASR 是 8.0%，比最优 baseline KTO（4.4%）还差，进一步证明『最后几层是语言主导』的现象。表 4 给出 7 个模型的瓶颈位置，瓶颈始终落在网络总深度的 43.8%–67.9% 区间，意味着瓶颈位置由『相对深度』而非『绝对层号』决定；图 7 进一步显示 LASA 在 Qwen2.5/Qwen3 7B–32B 全系列上把平均 ASR 稳定在 4% 左右。表 3 的消融显示把 KTO 替换为 SFT 或 ORPO 时性能差异仅约 0.65%，说明 LASA 的增益主要来自瓶颈定位 + SSI 条件控制，而对 Stage 2 优化器并不敏感。图 5 在 Swahili 上拟合出 $\text{Acc}^{safety}_j = c \cdot (1 - a \cdot e^{-b \cdot \text{Acc}^{MMLU}_j})$ 的饱和曲线（$R^2 = 0.988$），说明语义瓶颈的安全收益随模型多语言能力增加而增大，但边际收益递减。表 5 揭示了 LASA 的边界：当 emoji 提示与原始文本的语义相似度高时 LASA 把 ASR 从 29% 降到 3%，但当相似度低、需要多步推理时 ASR 反弹到 11%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MultiJail 多语言越狱（10 语言平均） | ASR %（越低越好） | LLaMA-3.1-8B 1.7 / Qwen2.5-7B 2.5 | Vanilla 21.0 / 12.5；KTO 3.4 / 7.8；ORPO 5.1 / 6.4 | 相对最优 baseline 再降 ~50% |
| HarmBench-translated 多语言（10 语言平均） | ASR % | LLaMA-3.1-8B 3.9 / Qwen2.5-7B 5.6 | Vanilla 28.4 / 25.1；KTO 5.4 / 13.5；ORPO 4.3 / 7.5 | 与最优 baseline 持平或更优，且在低资源语言上大幅领先 |
| Swahili 越狱（低资源语言代表） | ASR % | Qwen2.5-7B 13.0 | Vanilla 56；KTO 57；ORPO 45；MPO 46 | 绝对降低 33–44 个百分点（相对降 70%+） |
| LLaMA-3.1-8B 多语言 MMLU | Accuracy % | 50.00（基线 48.50） | 48.50 | +1.5 |
| Qwen2.5-7B 多语言 MMLU | Accuracy % | 58.28（基线 48.78） | 48.78 | +9.5 |
| Qwen2.5-7B 多语言 MT-Bench | Score | 59.40（基线 61.12） | 61.12 | -1.7（轻微可接受） |
| MGSM 多语言推理（LLaMA-3.1-8B） | Accuracy % | 5.94（基线 5.69） | 5.69 | +0.25 |
| Semantic Bottleneck 相对位置（7 个模型） | % of total depth | 43.8%–67.9% | N/A | 瓶颈位置随网络深度相对缩放 |
| LASA 训练参数增量（SSI） | % of base model | <0.2% | SFT/偏好对齐需 100% 参数更新 | 约 500× 参数效率 |
局限与改进
（1）作者承认并自己验证的最大局限是 LASA 对『需要多步推理才能识别危险』的输入效果较差：在表 5 中，对高语义相似度的 emoji prompt，ASR 降到 3%，但对低语义相似度、需要把 emoji 拼成隐喻故事的 prompt，ASR 仍为 11%（基线 33%）。原因是 SSI 直接读瓶颈层的语义表示，对『显式表达』恶意非常敏感，对『抽象/隐式』恶意需要先做语义推理才能触发。（2）评估依赖 GPT-4o 作为自动评判器，虽然作者在 Llama-3.1-8B 上做了 200 题人工验证、一致性 96.5%，但仍不可避免地引入标注噪声。（3）作者没有覆盖 safe-completion 场景（同一个 query 既能理解为合法也能理解为有害），所有训练和评估 query 都假设可被唯一划分为 harmful / benign。（4）SSI 训练本身对数据覆盖度敏感：如果训练数据只覆盖一种语种 / 一种表达风格，瓶颈定位和安全分类都可能退化为局部最优。文中虽然强调在典型 HarmBench 规模的数据下不会出现明显问题，但理论上限制了『数据多样性必须充分』的隐含假设。（5）瓶颈层是按『当前模型 + 训练分布』选出来的，模型微调或继续训练后 $L_s$ 会漂移，部署时需要周期性重定位。
独立分析的弱点
（1）LASA 把安全分类边界固定在『显式语义表示』上，因此对低语义相似度的 emoji、隐喻、嵌套多步推理型 jailbreak 仍然脆弱；改进方向是把 SSI 升级为多标签 / 连续风险评分器，并加入简单的 chain-of-thought 推理头，使隐式恶意也能被正确激活。（2）评估只用了 7 个模型 6 种对比方法，没有覆盖 Llama-3.2、Mistral、Command-R 等其它主流家族，也未涉及更大的 70B 量级；改进方向是补充更广泛 backbone 上的 benchmark，并报告不同 tokenizer 对瓶颈层定位的影响。（3）训练 pipeline 假设训练数据已带高质量安全标签（PKUSafeRLHF + GPT-4o 翻译），在数据稀缺的工业场景中并不容易获得；改进方向是探索 self-consistency 或 weak supervision 来自动生成瓶颈层监督信号。（4）当前 SSI 是二元分类器，把安全粒度压成 1 bit；面对 multi-risk、risk-level 不同的现实场景会损失信息。改进方向是输出连续安全 logit 或者多类（5 类危害）+ 严重度等级。（5）瓶颈层只用 Silhouette 分数定位，对极端不平衡的语言集（极小语种 + 大语种）会偏向多数语言；改进方向是引入加权 Silhouette 或者用 mutual information 替代。
未来方向
（1）作者明确指出要把语义对齐扩展到需要多步推理、隐式语义推断的场景，以及多模态（图像 + 文本）语义空间，使 LASA 不止是单模态文本的对齐方案。（2）探索类似的语义瓶颈是否能支撑其它形式的 LLM 对齐，如 honesty、helpfulness、bias mitigation，而不限于 safety。（3）把 Semantic Bottleneck 当作一种『模型自我诊断工具』，用于检测模型是否在某种语言 / 模态上语义能力不足，从而指导数据采集和 curriculum 训练。（4）研究 LASA 与 RLHF / DPO 的协同：能否把 SSI 信号直接作为 reward model 的中间表示，让 reward 本身也具有语言无关性。（5）作者还提出了把 SSI 与 steer / probing 防御结合，做在线安全监控。
复现评估
LASA 的算法描述详细、公式完备，论文公开了 7 个模型（LLaMA-3.1-8B-Instruct、Qwen2.5-0.5B/1.5B/3B/7B/14B/32B-Instruct、Qwen3-8B/14B/32B）的 HuggingFace 链接，且附录 J 给出超参数（学习率在 $3 \times 10^{-7}$ 到 $1 \times 10^{-6}$ 之间搜索、cosine schedule、batch size 16、3 epochs、max seq 2048）。训练硬件是 4 张 80GB A100 + DeepSpeed ZeRO-3 + 梯度检查点，这属于大多数大模型实验室都能获取的资源。训练数据基于公开的 PKUSafeRLHF 和 Ultrafeedback，测试集 MultiJail 和 HarmBench 均为公开。翻译数据虽然用了 GPT-4o，但附录 E 证明用 Google Translate / NLLB 替代对结果几乎无影响（ASR 在 1.4%–1.9% 之间波动）。不过本文没有在论文或附录中明确给出官方代码仓库链接，SSI 训练具体实现细节、KTO 损失的 $\lambda$、prompt template 需要读者结合 Algorithm 1 反推。综合来看，算法层面可复现性较高，但工程实现需要一定的 ML 经验。
论文图表
热力图展示了当安全训练只使用英语（En）、中文（Zh）、韩语（Ko）时，基线方法和 LASA 在 Swahili（Sw）上的安全分数。所有 baseline 在 Swahili 上的安全分数都只有约 50%，LASA 则提升到 87%。
这是整篇论文的 hook 图，用一张图量化展示了『高资源语言训练、低资源语言失效』的核心问题，是论证 motivation 最直接的证据。
左图示意在文本空间中，表征按语言聚类，导致安全训练在未见语言 / 符号上失效；右图示意在语义空间中，语义等价的查询跨语言跨模态聚在一起，使得从高资源语言学到的安全知识能自然迁移。
这是论文的中心类比：把『在哪里对齐』从文本空间搬到语义空间，整套方法都建立在这个空间切换的直觉上。