被引导的 LLM 激活不具有满射性

理论上证明激活引导把残差流推到任何提示都不可达的状态。

前置知识

激活引导 (Activation Steering)

一种白盒干预技术，在 Transformer 残差流的中间层 $r_i \in \mathbb{R}^d$ 上加一个方向向量 $v$，通过 $\tilde{r}_i = r_i + \lambda v$ 改变行为。常用差分均值在对比集上提取 $v$。

本文的核心攻击面就是激活引导；要理解为何白盒引导不等同于黑盒提示攻击，必须先懂引导在残差流上做了什么。

实解析函数 (Real-Analytic Function)

在定义域每点都可在某邻域内收敛到自身 Taylor 展开的实值函数，如 $\tanh$、GELU。Nikolaou 等人证明 Transformer 在参数空间上对输出激活是实解析的。

实解析函数的零点集是 Lebesgue 零测集 (Mityagin 定理)，这是证明激活几乎不会碰撞的数学基础。

单射性与满射性 (Injectivity / Surjectivity)

单射指不同输入映射到不同输出；满射指像集覆盖整个值域。本文把提示-激活映射 $F: S \to \mathbb{R}^d$ 的满射性问成'每个被引导的 $\tilde{r}$ 是否存在原像 $s'$'。

作者用满射性框架把'白盒可写'与'提示可达'做了严格区分，是全文论证的核心视角。

SipIt 反演算法

Nikolaou 等人提出的 $O(N|V|)$ 反演算法，假定已知提示长度 $N$，按位置贪心匹配 token embedding 来恢复原提示。前提是激活单射。

它是论文验证自然激活可被反演、而引导激活不可被反演的关键工具。

In-Context Learning (ICL) 越狱

把多组 (有害提问, 有害回答) 演示拼成前缀喂给对齐 chat 模型，让它从安全模板里'溜出去'。常以 ASR 衡量成功比例，是论文中寻找'能复现引导行为'候选提示的关键方法。

论文用 ICL 当作寻找'能复现引导行为'的候选提示的关键方法，并据此得出 ICL 与引导机制不同的结论。

研究动机

激活引导在白盒研究里被同时当作控制原语与解释工具：Arditi 等人发现单一残差流方向就能切换 refusal 行为，Wang 与 Shu 用加法向量破坏真实性与毒性，Anthropic 报告 Claude 4.5 在标准测试近乎零不安全率，但抑制评估感知方向的引导后某次试验出现 8% 失效率。然而绝大多数用户只通过文本提示接触模型，这种白盒-黑盒错位被普遍忽视：业界和学界常把'白盒引导可诱发某行为'等同于'黑盒提示同样危险'。这种推断在开源权重或开发者可控的部署里成立，但直接套用到闭源、只暴露 API 的服务上就缺乏理论依据，导致威胁模型误判与不必要的恐慌。

本文的目标是把'引导后的行为能否被某个自然提示复现'形式化为严格的满射性问题：是否存在提示 $s' \in S$ 使得 $F(s') = \tilde{r}$？在合理假设下，本文证明引导几乎必然把残差流推到离散提示可达集合之外，并据此设计经验实验进一步核实。同时提出'白盒可控性'与'黑盒可达性'分离的评估范式：白盒引导成功不再直接等同于黑盒提示有漏洞，对开源/闭源部署给出不同威胁模型，强调威胁模型感知的红队评估。

与已有工作不同的是，已有工作多在'引导可以改变行为'的层面上讨论 (Arditi、Wang、Chen 等)，本文首次把它升格为'被改变的状态是否在语言可达流形上'的拓扑/概率命题，引入 Mityagin 零测集定理与 Nikolaou 等人的单射性结果作为工具，区分'白盒可控'与'黑盒可达'，并提出'Here'后缀攻击作为对照实验来佐证两类失败模式可以独立存在。这一视角把研究从经验现象上升到几何/概率层面，对未来安全评估具有方法论意义。

核心方法

论文把引导问题抽象为数学命题：把 $S = V^{\le K}$ 视作可数提示集，把 Transformer 的提示-激活映射 $F: S \to \mathbb{R}^d$ 的像视为 $\mathbb{R}^d$ 中可数个点，其余几乎所有位置都是'洞'。若用引导向量 $v$ 把激活平移到像集之外，那么几乎不存在任何提示能产生同样的内部状态。技术路线分两步：第一步借助 Nikolaou 等人的实解析性与单射性结论 (Theorem 3.1)，把'碰撞函数' $g(\Theta, v) = \|F(r'_{<k}, s'_k;\Theta) - (F(\tilde{r}_{<i}, \tilde{s}_i;\Theta) + v)\|_2$ 定义为 $(\Theta, v)$ 空间上的实解析函数；第二步证明 $g$ 不恒为零 (通过构造反例 $\Theta^*$ 或显式见证)，再用 Mityagin 定理得出零点集为零测，从而对随机、DOM、敌对三类引导向量分别得到满射性几乎被破坏的结论。

核心创新在于把'白盒可写'与'黑盒可达'做了形式化分离：作者不只追问引导是否影响行为，而是追问'被改变的内部状态是否属于 prompt 函数的像'。其数学抓手是利用 LLM 激活的'可数像 + 实解析'双重性质：可数提示集 $S = V^{\le K}$ 在 $\mathbb{R}^d$ 中只覆盖可数个点，其余空间是'洞'；实解析函数的非零碰撞函数零点集为零测 (Mityagin)。结合二者，引导的满射性以概率 1 被打破，且结论对随机、DOM、敌对三类向量都成立。

方法步骤详情

形式化定义在第 3、4 节：(1) 选定嵌入维 $d$、上下文长 $K$、词汇表 $V$，设 $S = V^{\le K}$ 为可数提示集；(2) 把 Transformer 视为 $F: \mathbb{R}^{K\times d} \times V \times \mathbb{R}^P \to \mathbb{R}^d$，引导后 $\tilde{r}_i = F(\tilde{r}_{<i}, \tilde{s}_i; \Theta) + \lambda v$；(3) 定理 4.2 在 $\Theta, v$ 联合随机下证明碰撞概率为 0；(4) 定理 4.4 把 $v$ 替换为 DOM 实操向量 $v(\Theta)$，由于它仍是 $\Theta$ 的实解析函数，结论同步成立；(5) 定理 4.5 进一步证明敌手刻意选 $v^*$ 让某位置发生碰撞时，下一位置仍以概率 0 成立；(6) 经验部分用 SipIt 在三种模型上反演自然激活 (成功) 与引导激活 (失败)，并扫 $\lambda \in [-4,4]$ 验证距离曲线。

技术新颖性

与 Arditi、Wang、Chen 等聚焦'引导能干什么'的工作相比，本文的根本差异是把白盒引导当成'对 prompt-activation 流形的几何扰动'来研究，利用 Nikolaou 系列结论把行为可塑性反推为满射性命题，并严格区分'可控'与'可达'。在工程层面也首次把 SipIt 引入到反演引导激活的实验，与 ICL 多 shot 越狱对比，得出 ASR 上升但激活距离反而增大的反直觉结论。新提出的'Here'后缀攻击则把'黑盒可达但非引导'的失败模式单独拆出来量化。

**Figure 2**: LLM 激活的单射性使 SipIt 算法可从激活精确反推提示。

实验结果

在 Llama-3.2-1B-Instruct、Qwen-2.5-0.5B-Instruct、gemma-3-1b-it 三类 chat 模型上：(1) SipIt 能把自然激活反演回原提示 ($L_2 \approx 0$)，但对引导激活在所有 token 位置 top-1/top-2 距离都显著大于 0，$\lambda$ 扫描显示距离随引导强度增大；(2) 把引导激活投影到最近 token 上，几乎都恢复出原提示 $s' \approx s$，说明引导把激活'平移'到原提示近邻而非另一真实提示，间接证明它不在像集里；(3) ICL 实验 (N=1,2,4,8,16,32,64) 中平均 $L_2$ 距离随 N 单调上升而非下降，ASR 虽在 N=32,64 显著上升，但激活轨迹与引导轨迹反向发散；(4) 'Here'攻击在 6 个模型上 ASR 从 0.038~0.559 提升到 0.774~0.997，与引导攻击 0.910~1.000 接近，但 LAT-Llama-3-8B-Instruct 对 'Here' 完全免疫 (0.000) 而仍被引导攻破 (0.910)。

**Table 1**: SipIt 反演在 Llama-3.2-1B-Instruct 上的样本对照。

**Table 2**: ICL 前缀实验在 Llama-3.2-1B-Instruct 上的样本回答。

**Table 3**: 'Here'后缀攻击与引导攻击在 7 个模型上的 ASR 对照。

**Figure 4**: Llama-3.2-1B-Instruct 上按 token 位置排序的 L2 距离与 $\lambda$ 扫描。

**Figure 5**: ICL 多 shot 实验中 L2 距离与攻击成功率 (ASR) 随 N 的变化。

查看结构化数据

任务	指标	本文	基线	提升
SipIt 反演自然激活	Top-1 token L2 距离	≈ 0，所有位置精确恢复原提示	无基线，作为单射性的验证	确认 Nikolaou 等人的单射性结论在 chat 模型上依然成立
SipIt 反演引导激活	Top-1 / Top-2 token L2 距离	明显大于 0，反演失败	自然激活的 L2 ≈ 0	经验证实定理 4.2/4.4 的满射性破坏
ICL 多 shot 越狱 (Llama-3.2-1B)	N=0→N=64 平均 L2 距离与 ASR	距离随 N 增大；ASR 在 N=32/64 显著上升	N=0 时 L2 最小、ASR 最低	显示 ICL 与引导走不同内部通路
Here 攻击 (Qwen-2.5-0.5B-Instruct)	572 条 harmful prompt 攻击成功率	0.997	无攻击 0.559	+0.438，与引导攻击 (1.000) 接近
Here 攻击 (gemma-3-1b-it)	ASR	0.774	无攻击 0.477	+0.297，与引导攻击 1.000 接近
Here 攻击 (Llama-3.1-8B-Instruct)	ASR	0.981	无攻击 0.397	+0.584，引导攻击为 1.000
Here 攻击 (Llama-3-8B-Instruct)	ASR	0.928	无攻击 0.038	+0.890，引导攻击 0.990
Here 攻击 (LAT-Llama-3-8B-Instruct, 潜在对抗训练)	ASR	0.000	无攻击 0.000	完全免疫 Here 攻击，但引导攻击仍达 0.910

局限与改进

作者明确指出经验上'反演失败'并不能穷尽所有可能提示，因为提示空间指数级大；理论结果依赖实解析性假设 (MLP 用 tanh/GELU 等)，对使用非解析激活或量化的模型未覆盖 (他们也补做了 INT4 实验，但仅为缓解而非严格证明)。作者还承认需要研究 $\epsilon$-接近而非精确相等的版本。第三方观察：实验只覆盖 3 个 ≤2B 的 chat 模型，更大模型、思维链模型 (o1, R1) 是否同样成立未知；'Here'攻击只是单 token 后缀，未必能推广到所有闭源模型，且本身也是一种黑盒失败模式，理论上不直接证伪引导的'白盒-黑盒差距'。

独立分析的弱点

(1) 满射性结论建立在'精确碰撞'意义下，与 LLM 实际行为常用的余弦相似度、token-level KL 距离并不完全对应，可能存在 $\epsilon$-近似提示使两者输出难以区分；(2) 实验模型均 ≤2B，对 70B+ 或 RLHF 后期模型的可推广性未经验证；(3) DOM 引导向量提取依赖固定对比数据集，若对比集与目标分布偏移，结果可能不再'几乎是参数 $\Theta$ 的实解析函数'的假设；(4) 'Here'攻击样本量较小 (572 条 harmful prompt)，且只测了 6 个模型，对其它闭源大模型如 Claude、GPT 的迁移性未知；(5) ICL 实验中 N 的最大值 64 受限于上下文窗口，未能排除更长前缀可能逼近引导轨迹的可能。改进方向：扩展到 L2/余弦距离的 $\epsilon$-满射性证明；在更大模型 (≥8B) 与更多模型族上重复 SipIt 与 ICL 实验；研究引导向量在分布外对比集上的稳定性。

未来方向

作者提出两条后续路线：(1) 把结论推广到量化激活空间，研究 INT4/INT8 量化是否会引入额外的碰撞可能；(2) 分析被引导激活与最近自然提示之间的 $\epsilon$-接近度，给出有界近似版本。基于成果还可延伸：把'白盒可控 ≠ 黑盒可达'扩展到其它白盒干预 (fine-tuning、weight editing、LoRA 注入)；设计对抗训练方案同时防御白盒与黑盒；用流形学习刻画被引导激活在残差流上的'洞'结构；以及把'Here'类后缀攻击形式化为新的越狱分类法。

复现评估

代码与引导向量开源 (论文末尾声明 github 链接)，数据使用 Arditi 等人与 Chen 等人公开的 harmful prompt 与对比集。训练方面无任何模型训练，全部为推理计算，使用 A6000 GPU。受限于 SipIt 算法的 $O(N|V|)$ 反演成本，作者主动选用 ≤2B 小模型；多数实验 (SipIt 反演、$\lambda$ 扫描) 数小时内可在单卡 A6000 复现，但 ICL 多 shot 与 ASR 评估需要更长时间。整体复现难度中等，主要瓶颈是 GPU 时间与 LLM API 配额。

被引导的 LLM 激活不具有满射性 Steered LLM Activations are Non-Surjective