对齐如何路由：在语言模型中定位、缩放与控制策略电路 How Alignment Routes: Localizing, Scaling, and Controlling Policy Circuits in Language Models
在12个模型中定位到「门-放大器」安全路由电路，揭示其早期承诺漏洞。
前置知识
直接对数归属（DLA）
Direct Logit Attribution，把模型最终输出在拒绝-回答方向上的差值，回溯到各层每个注意力头与MLP对该方向的投影贡献。它衡量的是「谁对最终logit差贡献了多少」，属于事后归因。
本文以DLA为筛子先粗筛出对路由信号贡献大的注意力头，是后续消融与交换测试的起点；若没有DLA视角，就无法把行为差异定位到具体头。
交换测试（Interchange testing）
Interchange testing在因果可解释性中常用于定位「承担特定内容的电路」。它把敏感prompt在某个头的激活值，替换为匹配控制prompt在同一头的激活值，观察输出是否翻转；必要性与充分性分别捕捉「少了它会怎样」与「光有它会怎样」。
本文用交换测试识别出门头L17.H17既必要又充分，是其方法核心。没有交换测试，输出DLA只有不到1%贡献的门头将被忽略。
注意力头敲除（Attention head ablation）
把某注意力头的输出在拒绝方向上投出并置零，量化该头对路由信号的直接因果贡献；与DLA不同，ablation反映「删掉它行为损失多少」。本文把它与DLA、交换测试三者并用，弥补单一视角的偏置。
在大模型（72B）上单头ablation效果弱化达58倍，揭示出ablation作为审计手段的尺度极限，是论文缩放结论的关键证据。
拒绝方向（Refusal direction）
由Arditi et al. (2024)提出，在模型残差流中存在一个一维方向，控制该方向即可在拒绝与回答之间切换。Frank (2026)把这一观察分解为「检测」与「路由」两个独立阶段，本文进一步把路由阶段定位到具体头。
拒绝方向是本文所有DLA投影的基底，理解它就能理解为什么方向级干预会成功、但缺少电路级解释。
敲除级联（Knockout cascade）
对门头做ablation后，逐头测量下游放大器各自的信号变化；级联效应（5–26%抑制）说明门头是上游因果源头而非平行贡献者。本文用它来区分「触发者」与「携带者」。
它直接回应了「门头DLA<1%但消融却影响26%」这一表观悖论，是论文对「门是触发器而非载体」论断的关键证据。
研究动机
现有对齐研究长期依赖行为基准（RefusalBench、ToxiGen等）评估模型安全性，但这类指标无法捕捉模型「知道但选择不答」与「根本不理解」之间的本质差异。Frank (2026)曾用线性探针发现，四个政治敏感模型在中层都能100%识别话题，却分别表现为拒绝、生成对齐宣传、输出事实与编造无关内容——即检测与行为之间存在巨大鸿沟。Arditi et al. (2024)证明存在一个一维「拒绝方向」，沿该方向干预可切换行为，但该方向是分布式表征，未定位到具体电路。Zou et al. (2023)与García-Ferrero et al. (2025)的表征级干预同样停留在「找方向」层面。当模型规模从2B扩到72B后，单头ablation效果在Qwen2.5上衰减58倍，使得大模型审计陷入盲区——这意味着对70B+模型，单头扰动根本无法定位路由源。
本文的目标是本文目标是填补「检测—路由—输出」三段式中的中间段：把策略路由（policy routing）机制定位到具体注意力头电路，并在2B到72B跨度上检验其鲁棒性。具体而言，作者试图回答三个递进问题：(1) 路由决策由哪些注意力头执行？小模型与大模型是否共享同一机制？(2) 能否通过干预路由信号连续控制行为（从硬拒到事实回答）？(3) 路由机制是否存在可被利用的早期承诺漏洞，使得简单编码就能绕过安全策略？最终交付一个可被工业界用于电路级审计与防御的可重复管线。
与已有工作不同的是，本文的独特切入是把「拒绝」分解为「检测」（识别话题）与「路由」（决定行为）两个独立子电路，并主张二者可被独立干预。技术上区别于既有工作三点：第一，组合使用DLA+ablation+interchange三步管线以避免任一方法偏置；第二，引入「密文对比分析」（cipher contrast）作为第四种电路发现方法，把任何打破检测层模式匹配的编码都视为自然实验；第三，跨12个模型、6家实验室、4个同代尺度对验证同一「门-放大器」motif，把可解释性从单模型机制分析升级为跨架构普适规律。论文同时给出可被实际利用的「早期承诺漏洞」——在路由层就完成决策意味着任何让该层无法识别的输入编码都构成绕过路径，这是对当前内容级安全护栏的实质性挑战。
核心方法
方法学直觉：模型在中间层（L15-16）形成「这是敏感话题」的检测信号，在更深层（L22-35）由若干「放大器」头把该信号放大到拒绝方向。但二者之间需要有一个「门头」来触发——它是稀疏的、单头的、贡献小却因果必要。作者用「直接对数归属（DLA）」先粗筛所有1152个注意力头，看谁的残差流投影到「拒绝-回答」方向最大；接着用「单头ablation」精筛必要头；最后用「交换测试」把每个候选头在「敏感prompt」与「匹配控制prompt」之间的激活互换，检查「少了它」与「光有它」两种因果角色。三种方法结果在Qwen3-8B上交叉验证后，唯一同时通过必要性与充分性的头是L17.H17——它就是「门」。在Qwen3-8B上识别出这个电路后，作者把同一管线扩展到12个模型、4个尺度对，并设计「密文对比」自然实验来定位早期承诺漏洞。
与已有方法的本质区别在三点。第一，三方法融合而非单方法：Arditi et al. 的拒绝方向只给出全局一维向量，Zou et al. 的表征工程在中间层干预但不区分「触发」与「放大」，本文第一次把路由决策定位到单一「门头」并用DLA、ablation、interchange三种因果强度递进的工具交叉验证。第二，引入「密文对比分析」作为互补方法：当DLA因信号微弱而漏掉某些头（尤其在72B上），密文对比通过对比「明文vs密文」下每头DLA差值，可在 $O(3n)$ 前向传播内恢复完整内容依赖电路，弥补interchange的盲点。第三，量化「门」与「放大器」的功能分工：门是触发器（贡献<1%但必要），放大器是载体（贡献高但需门触发），这一区分在概念上把电路研究从「找谁贡献大」推进到「找谁控制是否启动」。
方法步骤详情
方法完整步骤为四步管线，每步都有明确输入输出。**Step 1 DLA初筛**：输入是24对匹配prompt的1152头DLA矩阵，输出是DLA排名前若干的头（如Qwen3-8B为L35.H25等深层头），L17.H17在DLA初筛中排第150名之后、未被注意。**Step 2 单头ablation**：在Step 1候选集合上对每头做消融（投出拒绝方向再置零），测量路由信号损失；Qwen3-8B的L22.H7以8.8%损失领先，L17.H17排第6（1.8%）。**Step 3 交换测试**：对Step 2排名前若干的头做必要性（在敏感prompt上换为控制激活）与充分性（在控制prompt上注入敏感激活）测试；Qwen3-8B上L17.H17的必要性1.1%、充分性0.3%，均排名第一，且interchange top-10的Jaccard为1.0（family-wise置换零 $p<0.001$），被认定为「门」。**Step 4 跨模型与密文对比**：把同一管线应用于12个模型（2B-72B），并在三模型上引入拉丁替换密码作为「让检测层模式匹配失败」的最小干预，量化门头在密文下interchange必要性的崩塌幅度（70-99%）。每步都配套bootstrap稳定性（2000次）与置换零检验，确保统计显著性。
技术新颖性
技术新颖性集中在四个层次。**方法层**：第一次明确把DLA、ablation、interchange串成可统计验证的发现管线，并给出三种方法的Jaccard稳定性对比（0.66 vs 0.92 vs 1.0）作为方法论贡献。**电路层**：第一次把路由拆解为「单门头+多放大器」的稀疏结构，并给出「门<1%贡献但必要」的悖论性DLA-因果解耦证据（Table 1）。**缩放层**：第一次系统量化ablation的尺度衰减（Qwen2.5 7B→72B弱化58倍、Phi-4 3.8B→14B弱化17倍），并证明interchange在大模型上仍稳定。**漏洞层**：第一次把「绕过检测层模式匹配」作为一个有理论预测的安全漏洞提出，且单头激活注入可在Phi-4-mini上恢复48%被绕过的拒绝——这是机制级可修复证据而非黑盒缓解。
实验结果
核心实验有四个关键数字。**(1) 路由电路定位**：Qwen3-8B（n=24）通过三步管线定位出门头L17.H17，interchange必要性1.1%、充分性0.3%（$p<0.001$），全模型1152头中Jaccard 1.0；该门DLA在L18排第2、在最终输出跌出前20。**敲除级联**在Qwen3-8B上抑制5/6个下游放大器（5-26%），L22.H5最强（-25.8%），并发现L22.H6是反路由头（+10.1%）；Phi-4-mini抑制3/5（6-16%）、L26.H9最强（-15.6%）；Gemma-2-2B抑制3/5（2-10%）。**(2) 缩放规律**：四对同代模型中，ablation效果衰减Qwen2.5为58×、Phi-4为17×、Gemma-2为8×、Qwen3为1.3×，而interchange必要性在72B Qwen2.5上仍保持1.3%。**(3) 跨模型普适性**：12个模型全部检出「门-放大器」motif（Table 2），必要性从Mistral-7B的1.0%到Gemma-2-2B的8.4%，Llama-3.3-70B与Qwen2.5-72B在最大尺度上确认。**(4) 早期承诺漏洞**：密文让Qwen3-8B峰值检测层信号下降66%、Phi-4-mini下降88%、Gemma-2-2B下降70%；门interchange必要性在Gemma/Phi-4上崩塌99%、Qwen崩塌70%；密文对比在Phi-4-mini上识别出47个内容依赖头（占768头6%），其中30+是interchange未发现的；单头激活注入在Phi-4-mini上恢复48%被绕过拒绝。**(5) 行为剂量响应**：在Tiananmen prompt（n=120）上，调制检测层信号得到从100%拒降到0%的sigmoid曲线（$\alpha=35$）；3-judge多数投票在2400输出上一致性76.0%、多数一致97.2%。**Qwen代际漂移**：Qwen3-8B到Qwen3.5顶部头DLA从0.38降到0.05-0.15、Top-20头Jaccard ≤0.05，但核心放大器在同代不同语料下稳定。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 路由电路因果定位（Qwen3-8B） | 门interchange必要性 / 充分性 / 置换检验p值 | L17.H17必要性1.1% / 充分性0.3% / $p<0.001$ | DLA排名第150+（未识别） | Jaccard 1.0 vs DLA 0.66，bootstrap稳定 |
| 密文绕过有效性（三个模型） | 检测层信号下降幅度 | Qwen3-8B -66%、Phi-4-mini -88%、Gemma-2-2B -70% | 明文下完整触发（100%） | 信号崩塌至与良性prompt不可区分 |
| 门interchange必要性崩塌（密文下） | 平均绝对interchange必要性下降 | Gemma/Phi-4 -99%、Qwen -70% | 明文1.0%-8.4%必要性 | 在Gemma/Phi-4上接近零，Qwen保留部分分布式信号 |
| 密文对比电路发现（Phi-4-mini） | 识别内容依赖头数量 / 与interchange重叠 | 47头内容依赖，Top-10仅2头与interchange重合 | interchange单方法10头 | 组合方法识别18个独立头（vs 单一10） |
| 密文绕过恢复（Phi-4-mini救援实验） | 注入门明文激活后拒绝恢复率 | 48%恢复（n=120） | 纯密文下0%拒绝 | +48pp；Qwen3-8B分布式架构下为0%（一致） |
| 跨模型缩放（Qwen2.5 7B→72B） | 单头ablation效果衰减倍数 / 必要性保持 | ablation弱化58× / 必要性1.3%保持 | 7B模型 0.906 ablation / 2.4%必要性 | 缩放下interchange仍可用、ablation失效 |
局限与改进
作者在§6.3明确列出六点局限。**第一**，MLP承担约23%路由信号但在特征级别未分解，限制了「门」概念的完整性。**第二**，多模态包装、thinking token等架构与DLA管线不兼容；推理类模型需要KL类替代指标。**第三**，所有测试在2-72B之间，更大尺度（如>200B）未知，作者诚实地承认这一外推风险。**第四**，实验只在政治审查与安全拒绝两类对齐行为上验证，其他对齐目标（诚实、无害、求助意图）未测试。**第五**，密文绕过的演示只用了拉丁替换密码一种编码族，其他变换（形近字、emoji混淆、多语种混合等）未系统对比。**第六**，论文没有直接验证「密文下模型是否在路由相关层产生了harmful-intent表征」，因此密文绕过的解释存在两种可能——「绑定失败」或「形式处理」——作者把区分这两者的工作留给后续。从方法学观察看，密文对比在Qwen3-8B上识别到0个单头可救援的拒绝（与Phi-4-mini的48%形成对比），这说明Qwen的分布式架构缺乏单一干预锚点，是实际防御的难点；此外，全部分析依赖作者自己定义的「拒绝-回答」方向，未与Hewitt-Liang风格LOCO-CV之外的几何探针做交叉验证。
独立分析的弱点
独立分析有四个具体弱点。**(1) 三方法串行而非独立**：DLA初筛排第150+的门头是被Step 2的ablation「救」回来的，这意味着ablation实际上承担了主要的发现责任，DLA、interchange的「交叉验证」在某种意义上是循环的；改进方向是采用「全部1152头无前置筛选的interchange」成本虽然高但能给出更公平的方法对比。**(2) 配对prompt构造依赖人工**：n=120的语料是手工编写的24对扩展到120对，作者承认「政治类别」在多数基准里被低估，这使得结论难以泛化到非政治敏感领域；改进方向是引入对抗自动化prompt合成以覆盖更多边界case。**(3) 干预粒度过粗**：门头激活的「明文↔密文」互换是连续向量替换，但密文下模型的语义重建能力未被验证，所以「恢复48%拒绝」既可解读为「门是路由的接口」也可解读为「门激活恰好足够启动放大器」；改进方向是补充更细粒度的「门激活子空间」分解，例如只置换激活中的某几个主成分看哪个成分真正承载路由。**(4) 评估仅依赖3-judge LLM多数**：76%一致、97.2%多数的judge agreement虽然不算低，但评判模型本身是LLM，可能对政治敏感问题有自身偏差；改进方向是引入人类标注或对judge做政治中立的对抗训练。
未来方向
作者在§6.3与全文提出三个方向的未来工作，本文也自然延伸出更多方向。**作者提出的方向**：(i) 分解MLP特征层的23%路由信号，识别「非注意力路径」的具体回路；(ii) 把密文绕过扩展到形近字混淆、emoji替代、低资源语言混合等更多编码族，验证「任何让检测层模式匹配失败的输入都能绕过」这一强假设；(iii) 区分「绑定失败」与「形式处理」两种机制解释，需要设计同时保留语义内容但破坏模式匹配的输入。**基于结果可延伸的方向**：(iv) 既然门头对路由有近乎二元控制，可以训练一个「路由检测器」实时监控门头激活分布，在密文等异常输入下告警——这是机制级可部署防御；(v) 把「门-放大器」motif应用到其他对齐目标（事实性、指令遵循、价值对齐），看是否存在统一的「检测-路由」二分；(vi) 缩放律的下一步是把管线扩展到200B+模型，验证「interchange始终稳定」是普遍规律还是存在临界点；(vii) 把interchange与circuit tracing、sparse autoencoder等新方法做正面对比，看它们在路由电路上的发现效率。
复现评估
复现评估总体上具备较高可行性。**代码与数据**：作者在论文摘要与结尾给出GitHub仓库 https://github.com/gregfrank/how-alignment-routes，包含数据与代码。**模型覆盖**：12个模型全部为开源（HuggingFace可下载），无需专有API。**算力门槛**：2B-14B模型单卡A100即可运行interchange测试；32B-72B模型需要多卡A100/H100，但本文给出门定位后只需对单头做干预，单次实验成本可控。**数据规模**：n=120语料对作者公开，这意味着全部分析可被独立小组复现。**实现难点**：密文对比分析与「明文激活注入救援」需要实现DLA计算+ablation+interchange的完整管线，第三方需要约1-2个工程师-月才能完整重建；DLA的计算依赖作者自定义的「拒绝-回答」方向定义，复现者需采用同一方向构造方法或用Frank (2026)原方法。**统计严谨性**：所有结果都报告了bootstrap Jaccard（0.92-1.0）与置换零检验（$p<0.001$），不存在「不报告失败实验」的明显风险。**风险点**：跨模型方向迁移在原论文中已显示失败（不同实验室的方向几何不同），所以「方向构造」步骤的微小差异会显著影响所有DLA数值；建议复现者严格按作者代码的种子与prompt配对策略执行。
论文图表
左图显示prompt最后token与生成首token的逐层DLA几乎完全重叠，证明路由决策在生成前已committed；右图显示同一关键词在不同框架下L16探针分数不同，反驳「路由=简单阈值」的假设。
实证「路由是prompt-time的」这一论断，奠定「早期承诺漏洞」在时间维度上的可行性——如果决策在生成前已定，密文就能在决策点前介入。