你的 Transformer 能同时装下两个想法：LLM 中线性叠加现象的证据 Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs
LLM 把两条文本的嵌入平均后，输出仍是两条流各自预测的叠加，且这源于架构而非训练
前置知识
残差流（Residual Stream）
Transformer 的核心信息通道：词元嵌入在每一层被注意力子层和 MLP 子层的输出逐步相加，最终经 LM head 映射为词表上的 logits。已有研究表明相邻层之间的变换常可被仿射映射 $\mathbb{R}^d o\mathbb{R}^d$ 很好地近似，即残差流具有很强的线性结构。
论文的核心假设是这种层间线性性能延伸到端到端的输入-输出映射，理解残差流才能明白为什么简单平均两个文本的嵌入后模型不会立刻崩坏。
秩分析（Rank Analysis）
把单流输入下模型的 top-1 预测词元 $\hat{t}=\arg\max \ell_A$ 放到混合输入的输出分布中重新排序，测量其名次 $\mathrm{rank}_{\ell_{mix}}(\hat{t})$，并统计累积分布 $P(\mathrm{rank}\le i)$。若排名靠前，说明该词元的信号在叠加过程中存活下来。
这是论文量化叠加保真度的主要指标，Figure 1 与多个表格的结论都建立在这个指标上，不懂秩分析就无法解读实验结果。
KL/JS 散度与 Wasserstein 距离
衡量概率分布差异的三类指标：KL 散度不对称、JS 散度对称且有界、Wasserstein 距离利用词元嵌入的几何关系（本文在 top-256 词元上以词元嵌入余弦距离为地面度量计算）。本文还用 $\tau=1.5$ 温度平滑保证数值稳定。
论文用它们度量混合输出 $P_{mix}$ 与理想线性混合 $P_{target}$ 的偏离，并归一化为叠加逼近比率 $R_D$，这是判断'输出是否真的是叠加'的定量依据。
自蒸馏（Self-Distillation）
用同一模型的冻结副本作教师、原模型作学生的训练范式。本文中教师分别对两条独立文本 $x^{(A)}$、$x^{(B)}$ 前向，目标分布为 $P_{target}=\frac{1}{2}(M_{teacher}(x^{(A)})+M_{teacher}(x^{(B)}))$，学生在混合嵌入上拟合该目标。
第 4 节恢复线性叠加的轻量微调正是自蒸馏框架，理解它才能看懂损失函数 $\mathcal{L}=D_{KL}(P_{target}\|M_{student}(z))$ 的设计动机。
LAMBADA 基准
需要长篇叙事上下文才能预测句末内容词的语言模型基准，目标词是长段落末尾的内容词，模型必须真正整合上下文语义而非依赖高频词先验才能答对。论文使用其中 200 条提示，左截断到 128 词元。
论文用它区分'可预测位置'与'内容位置'的处理能力——注意力被整体换掉后准确率从 73% 跌到 0.5%，说明叠加存活主要靠可预测位置撑着，LAMBADA 是检验语义级叠加的关键测试。
注意力 Patching（因果干预）
通过替换或打乱注意力权重来定位其作用的分析手段。donor patching 把另一段无关文本在每层每头产生的 softmax 后注意力权重整体移植过来，但保留原文本的 Q/K/V 投影、RoPE 与 value 路径；permutation patching 则在因果前缀内随机置换每行权重，保留行和与权重多重集但破坏结构与内容。
第 3 节用这两种干预把'注意力结构形状'与'内容特定计算'解耦，是解释叠加信号到底由什么构成的对照实验设计。
研究动机
现有范式把 LLM 推理当作单一连贯语义流：要处理多条独立文本，只能分别跑 forward、串行处理，或修改架构避免输入间的破坏性干扰——DataMUX、MIMONets、RevMUX 等多路复用方法都必须外挂专用层、VSA 绑定/解绑键或等距正则。直觉上这种谨慎有道理：Transformer 的自注意力带 softmax 非线性，会选择性整合上下文，两条无关文本的嵌入逐元素平均后，每层的 Q/K/V 从第 0 层起就被双向污染，人们预期混合表示会塌缩到与两个原语义都正交的状态，两个真实下一词元应掉进大词表（$|V|\ge 50{,}000$）的尾部、约 rank $|V|/2$ 处。另一方面，残差流逐层近似仿射映射的证据（Razzhigaev et al. 2024）已经存在，但层间几何与端到端输入-输出行为之间的关系并不清楚——没有人系统回答过：对输入做线性组合，模型的响应是否逼近各自独立输出的对应组合？
本文的目标是本文要系统检验并形式化'叠加线性假设'（Superposition Linearity Hypothesis）：当两条文本流的嵌入按词元逐元素平均 $e_t(z)=\frac{1}{2}(E(x_t)+E(y_t))$ 后输入冻结的预训练 LLM，模型是否把混合体处理为两条通路的叠加，即 $P_{mix}\approx P_{target}=\frac{1}{2}(P(x|A)+P(x|B))$，且两条流的真实下一词元在混合分布中保持显著概率质量。在此基础上回答三个递进问题：这种线性是架构固有还是训练习得——用 Pythia 全系训练轨迹检查点跟踪隐藏态可加性；退化的线性能否用极少量数据恢复——目标是用不到预训练数据 0.025% 的微调集拉回叠加保真度；最后能否设计解码器把叠加分布解开，从单次 forward 恢复两条连贯续写，为并行推理原语打下实证基础。
与已有工作不同的是，已有多路复用工作（DataMUX、MIMONets、RevMUX）把叠加视为必须通过外挂结构工程化实现的能力，需要专门的绑定层或可逆适配器；Superposed Decoding、superposition prompting 则把叠加当作推理技巧直接使用而不解释其来源。本文的独特切入是首次在完全标准、零架构修改的预训练 LLM 上隔离并量化这种内在的输入-输出叠加效应——唯一的操作就是词元嵌入平均。更关键的是视角反转：利用 Pythia 公开检查点轨迹证明叠加保真度在随机初始化时最大、随预训练单调退化，从而论证线性叠加是'初始就存在、被语言建模目标逐渐学掉'的架构属性而非习得能力，把'工程化的 mux/demux'与'固有的线性叠加'划出本质界限，再用轻量自蒸馏把被预训练破坏的属性恢复回来。
核心方法
论文沿“现象验证→机制剖析→属性恢复→解码利用”展开。现象层面，对 Pythia（70M–2.8B）、Qwen2.5、Llama 等系列模型，从 TinyStories 与 FineWeb 采样文本对 $(A,B)$，把嵌入按 $e_t(z)=\frac{1}{2}(E(x_t)+E(y_t))$ 逐元素平均后过冻结骨干得到 $P_{mix}$，用秩累积分布与分布距离量化叠加保真度。机制层面，用 donor 与 permutation 两种注意力 patching 解耦频率先验、注意力结构形状与内容语义的贡献，并按可预测/内容位置分层统计。恢复层面，自蒸馏微调：冻结教师给出 $\frac{1}{2}(M(x^{(A)})+M(x^{(B)}))$，学生在混合嵌入上最小化 $\mathcal{L}=D_{KL}(P_{target}\|M_{student}(z))$，仅用不到预训练数据 0.025% 的 FineWeb 子集约 200k 步。解码层面，针对几何平均障碍提出 Joint Contrastive，用小模型逐流引导，在 logit 空间把混合分布解成两条续写。
核心创新是“叠加线性假设”及其证据链：线性叠加是 Transformer 架构的固有属性，而非外部结构或训练目标赋予。这与 DataMUX 等需外挂 mux/demux 结构的方法本质不同——现成 LLM 简单平均嵌入就已保留大量信号；与 Superposed Decoding 等推理技巧的区别在于回答了“为什么可行”。最反直觉的是训练动力学：叠加保真度在随机初始化时最大（隐藏态平均叠加误差 $\bar{E}$ 最小），随预训练从 $10^2$ 到 $10^5$ 步单调恶化——语言建模目标在主动破坏线性性，叠加不是“学出来的能力”而是“没被学掉的结构”。其次，注意力 patching 揭示存活信号由三部分构成：LM head 的频率先验、自然注意力共享的结构形状（对角/局部带、attention sink、头分工），以及只有嵌入混合才具备的逐流内容信号——permutation 破坏结构后 top-10 一致率从 53% 跌到 10.1%，证明频率先验单独不够；微调正是把内容位置崩坏的信号（中位秩 284）恢复到近单流水平（中位秩 5）。
方法步骤详情
第一步，构造叠加输入：从 TinyStories/FineWeb 采样文本对并截断（分析实验 $L\le 128$，扩展到 $L=512$），按式 (1) 逐词元平均嵌入得 $z$，输入冻结模型得 $P_{mix}$，同时对 $A$、$B$ 分别前向。第二步，量化保真度：算真实下一词元在 $P_{mix}$ 中的秩与累积分布 $P(\mathrm{rank}\le i)$；用 KL/JS/Wasserstein 距离（top-256 词元、$\tau=1.5$ 平滑）度量 $D(P_{target},P_{mix})$ 并按式 (3) 归一化为 $R_D$。第三步，跟踪训练轨迹：对 Pythia 检查点做三路前向，逐层均值中心化后计算 $\ell_2$ 归一化混合隐藏态与单流和的距离，得层平均误差 $\bar{E}$。第四步，机制干预：donor/permutation patching 对照，按可预测（约 65%）/内容（约 35%）位置分层统计中位秩与 top-1 一致率。第五步，自蒸馏微调：按式 (4)(5) 定义 KL 损失，FineWeb 子集约 200k 步。第六步，Joint Contrastive 解码：按式 (7) $\tilde{\ell}^{(A)}=\ell_{large}(z)+\alpha\,\ell_{small}(A)-\beta\,\ell_{small}(B)$ 组合 logits，$\alpha,\beta$ 初始化为 1、与骨干联合训练，损失为对称逐流交叉熵。
技术新颖性
新颖性有四层。其一，现象学贡献：首次证明标准预训练 LLM 在纯嵌入平均下表现出叠加线性，无需 DataMUX 式绑定结构或 RevMUX 式可逆适配器，把叠加从“工程能力”重新定位为“架构先验”。其二，训练动力学视角：用 Pythia 公开检查点轨迹证明线性性随预训练单调退化，这种对比初始化与训练后模型的论证方式在叠加文献中是新的。其三，机制解耦方法：donor（保结构换内容）与 permutation（保权重分布毁结构）双重对照干净分离频率先验与注意力结构形状——permutation 后 top-10 一致率从 53% 跌到 10.1%、中位秩从 8 涨到 8,148，证明两者单独都不够；再借 LAMBADA 上混合（2.25%）对 donor（0.5%）的 4.5 倍优势，证明嵌入混合还携带超出“先验+形状”的逐流内容信号。其四，面向几何平均障碍的解码设计：线性叠加下混合概率正比于几何平均 $P'(t)\propto\sqrt{P_A(t)P_B(t)}$，单流高概率词元被另一流系统性压制，直接采样必然语义漂移；Joint Contrastive 用小模型逐流引导在 logit 空间解缠，是对该障碍的实用而非完备回应。
实验结果
核心发现有四条。第一，内在叠加普遍存在：Pythia-2.8B、Llama-3.2-3B、Qwen2.5-3B 上，单流 top-1 词元在混合分布中落入 top-10 的概率约 30–40%、top-100 达 60–65%，远超 $|V|\ge 50{,}000$ 的噪声底；分布层面所有预训练模型 $R_D<1$（Pythia-2.8B 在 $L=32$ 时 KL 1.86、比率 0.42），N=3 混合仅使 $R_{KL}$ 升 0.04–0.09。第二，线性性随预训练退化：Figure 2 显示 Pythia 70M–2.8B 的隐藏态叠加误差 $\bar{E}$ 随训练到 $10^5$ 步单调增长，深层保持近线性。第三，微调恢复且精准作用于内容位置：Pythia-2.8B 的 KL 从 1.86 降到 0.27、$R_{KL}$ 从 0.42 降到 0.06，top-5 命中率从约 30% 升到 >60%；内容词元中位秩从 284 骤降到 5、top-1 一致率从 4.2% 升到 22.8%，可预测位置基本不变（中位秩 6→8），证明恢复的是真实双流并行语义处理；代价是单流 LAMBADA 下降（0.544→0.357）。第四，解码可行但未闭合：Joint Contrastive 把叠加 LAMBADA 平均准确率从 0.168→0.345（Qwen2.5-3B）、0.182→0.430（Llama-3.2-3B）、0.065→0.110（Pythia），Jaccard 同步降至 0.061/0.067/0.080，仍低于单流小模型基线（0.437/0.540/0.225）。
局限与改进
作者明确承认三点：上下文长度受限（分析实验 $L\le 128$，仅 2.3 节扩展到 512），更长上下文的嵌入几何更复杂，结论是否成立未知；语料以英文单语为主（TinyStories、FineWeb），多语言场景未验证；只测了文本模型，多模态混合（文本词元+图像块嵌入）的结构挑战完全未探索。我补充几点观察：其一，微调以单流质量为代价（LAMBADA 掉约 19–24 个百分点），正文只在脚注提到 PPL/NLL 权衡，何时值得交换没有决策框架；其二，KV-cache 减半与 2× 吞吐的说法隐含'两条流共享同一批注意力计算'，但实际解码还需要 Joint Contrastive 的辅助小模型与逐流引导前向，端到端吞吐收益并未实测；其三，叠加 LAMBADA 准确率最高 0.430，距单流基线 0.643 仍有明显差距，几何平均障碍被作者自承为开放问题；其四，只测到 N=3 流，更大流数下干扰是否仍只是定量恶化没有证据；其五，注意力 patching 实验集中在 Qwen2.5-3B 与 FineWeb-Edu 单一分布，跨模型稳健性存疑。
独立分析的弱点
弱点一：解码与“并行推理原语”的宣称有落差。Joint Contrastive 需为每对骨干训练配套小模型并联合微调 $\alpha,\beta$，LAMBADA 最高 0.430 仍低于单流小模型 0.540，部署还要扣掉引导开销；改进方向是把解缠从 logit 空间移到隐藏态空间，如训练轻量 demux 头直接从混合残差流恢复两条流的中间表示。弱点二：微调副作用（单流 LAMBADA 0.544→0.357）无缓解手段；可做叠加 KL + 单流交叉熵的双目标加权，或用 LoRA 承载叠加专用参数。弱点三：可预测/内容位置分层结论建立在 Qwen2.5-3B 单一模型、FineWeb-Edu 单一分布上，应在 Llama、Pythia 上重复表 2 验证普适性。弱点四：几何平均障碍停留在 logit 平均的近似推导，未给出误差界；可探索 Mixture-of-Softmax 头或温度解耦从理论上绕开。弱点五：评估以 LAMBADA 和续写 Jaccard 等小任务为主，缺少摘要、多文档 RAG 等真实下游任务的端到端收益测量，“2× 吞吐”仍是理论推断。
未来方向
作者提出的方向：把叠加扩展到更长上下文与多语言（需要处理更复杂的嵌入几何）；检验多模态模型中线性叠加是否成立，尤其是文本词元与图像块嵌入的混合；完全克服几何平均障碍被明确列为开放问题。基于成果可延伸的方向：其一，把 $\bar{E}$ 这类隐藏态可加性指标作为廉价的预训练诊断工具，像 loss 曲线一样监测表示几何的演化，甚至用于数据课程设计；其二，与 speculative decoding 结合——Superposed Decoding 的草稿混合思路加上本文的微调模型与对比解码，可能做成实用的多草稿并行生成器；其三，N>3 的规模化研究，寻找流数-干扰的定量规律，并尝试在混合前对每流嵌入做可学习正交旋转以缓解干扰；其四，把'叠加微调'与 MoE、多任务模型对比，检验叠加是否是一种参数高效的隐式多任务机制；其五，机制可解释性方向——用稀疏自编码器检查混合残差流中两条流的特征是否占据近似正交的子空间，为'Transformer 容量分配'提供因果层面的证据。
复现评估
复现难度中等偏上但路径清晰。有利条件：全部实验基于公开权重（Pythia 70M–2.8B 全部中间检查点、Qwen2.5、Llama-3.x、OLMo、Gemma）与公开数据集（TinyStories、FineWeb、FineWeb-Edu、LAMBADA），方法本身是嵌入平均加标准微调，不依赖私有架构改动；自蒸馏微调仅需预训练数据 0.025% 的子集、约 200k 步，3B 级模型在单节点 4–8 张 A100 上可完成，秩统计与 LAMBADA 评测的算力门槛很低。不利条件：正文未给出代码链接；自蒸馏的批次构造、混合嵌入反传的细节、式 (7) 中 $\alpha,\beta$ 的学习率与调度、donor/permutation patching 在 RoPE 与 GQA 注意力上的具体替换实现都放在附录或未完全披露；'可预测/内容位置'的分层标注所用的分类器定义也未在正文说明。复现者需自行实现五个模块：混合前向、秩与分布统计、两类注意力 patching、自蒸馏训练循环、Joint Contrastive 解码，估计一名熟悉 PyTorch 的研究者需 2–4 周。
论文图表
横轴为 top-i 截断，纵轴为单流预测词元在混合分布中的累积命中概率 P(rank≤i)，对比 Pythia-2.8B、Llama-3.2-3B、Qwen2.5-3B 的预训练基座（实线）与微调后版本（虚线）。基座在 top-10 达 30–40%、top-100 达 60–65%；微调后曲线整体上移，top-5 从约 30% 升至 >60%。
这是全文核心现象的第一手证据：既定义了叠加保真度的度量方式，又同时展示了'基座已有内在叠加'与'微调可显著增强'两个关键论断，是理解全文的入口。