线性表示假说需要一个群作用 The Linear Representation Hypothesis Needs a Group Action
LRH并非单一假说，而是由表示等价关系区分的假说族，声明需以群作用(G,M,F,P)显式规定
前置知识
线性表示假说（LRH）
认为神经网络以线性方式在激活空间中编码特征与概念的假说：高层语义可由向量方向、子空间或线性泛函读出。它隐式支撑线性探针、steering 干预、稀疏自编码器字典学习以及 CKA/CCA 等表征比较方法。
本文的全部论证都围绕这个假说展开：作者论证它不是一个假说而是一族由等价关系区分的假说，必须先了解它被哪些常用方法默认使用，才能理解审计的意义。
群作用、等变性与不变性
群 $G$ 作用在空间上指每个 $g$ 对应一个变换 $T_g$ 且保持复合结构。映射 $F$ 等变指 $F(g\cdot x)=g\cdot F(x)$，即先变换再处理与先处理再变换结果一致；谓词 $P$ 不变指 $P(g\cdot x)=P(x)$，即结论与坐标选择无关。
这是论文的形式核心：表示声明的可容许条件 A1 就是 $F$ 等变加 $P$ 不变（式 (3)），全文所有审计与判定都建立在这对性质上。
仿射群、相似群与等距群层级
仿射变换 $h\mapsto Ah+t$ 允许任意可逆 $A$ 与平移 $t$；相似群限制线性部分为 $A=sQ$（$s>0$，$Q$ 正交）；等距群进一步要求 $s=1$。层级 $G_{\mathrm{iso}}\subset G_{\mathrm{sim}}\subset G_{\mathrm{aff}}$ 中群越大保持的结构越少：仿射保共线与子空间维数，相似群额外保角度与余弦，等距再保范数与绝对尺度。
Table 1 的组织原则就是按每个量在哪个最大的群下保持来分组，读懂审计结论必须掌握这套层级语言。
对偶空间 $V^*$ 与原空间 $V$
线性探针权重是线性泛函 $w\in V^*$，经 $w^\top h$ 读出标量；steering 位移 $v\in V$ 是加到激活上的元素。坐标下都是长为 $d$ 的数组，但变换律不同：$h'=Ah$ 时 $v'=Av$ 而 $w'=A^{-\top}w$。命题 3.2 证明不存在非零的 $\mathrm{GL}(V)$-等变映射 $V^*\to V$。
按存储格式把探针权重当干预方向是论文审计的第一类问题，只有理解二者属于不同 $G$-空间，才能看懂这种混用为何默认了未声明的内积结构。
difference-in-means 与 steering 向量
从两组激活（如拒答提示与顺从提示）的均值差 $h_b-h_a$ 估计一个方向，再把它加到激活上引导行为，或归一化后投影消融。它是可解释性中最常用的单一方向对象，现代变体包括 Contrastive Activation Addition 等。
论文反复以 Arditi 等的拒答方向为关键案例：同一估计既作 $V$ 中位移又作 $\mathcal{P}(V)$ 中射影方向，是分析内部混用不同等价假设的典型证据。
读点与架构规范对称
读点指从网络何处取出表示（残差流、查询/键位置等）。函数保持的参数变换如 $W_Q\mapsto\Lambda W_Q$、$W_K\mapsto\Lambda^{-\top}W_K$（$\Lambda\in\mathrm{GL}(d_{\mathrm{head}})$）在不同读点诱导不同的表示对称：在残差流上作用平凡，在查询/键位置则是整个 $\mathrm{GL}(d_{\mathrm{head}})$。
推论 4.2 表明查询/键读点不存在不变双线性型，角度与度量谓词在那里不是模型不变量——这是审计 KeyDiff 等工作的数学基础。
研究动机
线性表示假说是现代可解释性的地基：线性探针 $w^\top h$、steering 干预、稀疏自编码器字典、以及 CKA/CCA 这类表征比较方法，都在显式测试或默认假设它。这些研究的共同野心是对表示本身下结论，而不是对某一次训练得到的参数实现的伪影下结论——要做到这一点，必须先说清两个不同的实现何时算作同一个表示。但现有表述几乎从不把这种等价性讲明。作者的引子是 Arditi 等的拒答方向研究：同一个 difference-in-means 向量被用了两次——干预时不归一化地加到激活上，此时它是空间 $V$ 中的位移，模长影响干预强度；投影消融时又先归一化，此时只有射影空间 $\mathcal{P}(V)$ 中的方向重要。两个操作各自在其假设的结构下都良定义，但它们把同一个数组放进了不同的数学空间、默认了不同的等价概念。结果是：估计、比较、干预各阶段可以悄悄引用不同的表示概念，最终结论却当作在谈论同一个对象来陈述。
本文的目标是本文的目标是把表示等价从隐含假设提升为表示声明的显式组成部分。作者用群作用给出完整规格：一个表示声明由四元组 $(G, M, F, P)$ 确定——$G$ 是等价群，$M$ 是表示对象所在的 $G$-空间，$F: S \to M$ 是从表示空间构造对象的程序，$P$ 是最终对对象断言的谓词；可容许性要求 $F$ 等变且 $P$ 不变，即 $F(g\cdot\varphi)=g\cdot F(\varphi)$、$P(g\cdot m)=P(m)$（条件 A1），同时 $G$ 必须包含架构的函数保持重参数化所诱导的等价（架构地板，条件 A2）。在此规格下作者要完成四件事：说明位移、解码、叠加、子空间等常见表述实际是不同的假说；证明多阶段分析的对称性必须对复合整体检查（Proposition 4.3）；按最大保持群审计常用表征量（Table 1）；并给出一套可操作的报告原则。
与已有工作不同的是，与已有讨论相比，本文的独特切入有三。第一，立场与 Williams 等人的 generalized shape metrics 相反：那里是把选定的 nuisance 群做商来定义表征相似性度量，而本文主张群是由声明本身预设的，是假说的属性而非让测量良定义的手段。第二，作者强调等价群常常不是自由选择的：架构在参数层面已经实现了函数保持变换（如点积注意力中 $W_Q\mapsto\Lambda W_Q$、$W_K\mapsto\Lambda^{-\top}W_K$），任何关于模型而非某次参数化的声明必须在所有这些实现上一致，因此 $G$ 存在架构给定的下界 $G\supseteq\mathrm{Im}\,\rho$——这个外部地板视角在此前的 LRH 讨论中缺席。第三，作者把对称性检查从单个估计量扩展到分析管道的组合（Proposition 4.3），指出复合的对称性不等于各阶段群的交集，因为中间阶段可能改变对象空间从而改变作用，这直接命中了用强假设估计、却以弱假设下结论的常见实践。
核心方法
直觉上，说表示是线性的是一个不完整的陈述——必须同时说明哪些变化只是换一种描述。作者把这件事形式化：设表示空间 $S=\{\varphi: X\to V\}$，群 $G$ 逐点作用于表示值 $(g\cdot\varphi)(x)=T_g(\varphi(x))$，$T_g$ 取仿射映射 $h\mapsto Ah+t$。三个常用群构成层级 $G_{\mathrm{iso}}\subset G_{\mathrm{sim}}\subset G_{\mathrm{aff}}$：仿射群保持仿射关系、共线性、子空间维数与交结构，但不保角度与长度；相似群（$A=sQ$）额外保持角度、正交性与余弦相似度；等距群再保持范数、距离与绝对尺度——群越大，能归因于表示本身的量越少。完整声明还要求对象空间 $M$ 带 $G$-作用、程序 $F$ 等变、谓词 $P$ 不变，由式 (3) 立刻得到 $P(F(g\cdot\varphi))=P(F(\varphi))$：结论对坐标实现不敏感。整套框架不引入新算法，而是给现有分析装上规范检查器：条件 A1 是内部的（方法与结论在声明的等价类上良定义），A2 是外部的（不能选比架构允许更小的群）。
核心创新是把表示等价当作声明的一部分而非元数据，并给出三个可检验的形式结果。其一（Definition 3.3–3.5）：表示声明、可容许性与可比性——两个声明只有共享同一等价关系与同一 $G$-空间才直接可比，跨空间比较需要显式的等变映射。其二（Proposition 3.2）：当 $\dim V\geq 2$ 时不存在非零的 $\mathrm{GL}(V)$-等变映射 $V^*\to V$；内积只能在 $G_{\mathrm{iso}}$ 下给出 $V^*$ 到 $V$ 的等变同一 $\sharp_g$，投到射影空间后可扩大到 $G_{\mathrm{sim}}$——探针权重与 steering 位移虽然都存成 $d$ 维数组，却是不同 $G$-空间的元素，未经选定内积等额外结构不能混用。其三（Proposition 4.1 与 Corollary 4.2）：架构地板——点积注意力下 $W_Q\mapsto\Lambda W_Q$、$W_K\mapsto\Lambda^{-\top}W_K$ 保持模型函数；在查询/键读点诱导对称包含 $\mathrm{GL}(d_{\mathrm{head}})$，而它不容许任何非零不变双线性型：取 $\Lambda=cI$ 得 $b(cv,cw)=c^2b(v,w)=b(v,w)$，迫使 $b=0$，所以这些读点上的角度与度量谓词不可能是模型不变量。
方法步骤详情
论文推进分五步。第一步（第 2 节）：枚举 LRH 常见表述并标注对象空间与变换律——位移住 $V$，按 $v\mapsto Av$ 变换；线性探针住 $V^*$，按 $w\mapsto A^{-\top}w$ 变换（有偏置 $b$ 时取 $b'=b-w'^\top t$ 扩展到仿射）；叠加分解 $h=b+\sum_i x_iW_i$ 是仿射协变的，潜坐标另有 $W\mapsto WB$、$x\mapsto B^{-1}x$ 的混合同一性；一维特征自然住 $\mathcal{P}(V)$，$k$ 维线性特征住 $\mathrm{Gr}(k,V)$。第二步（第 3 节）：定义 $(G,M,F,P)$ 规格与可容许条件 A1/A2。第三步（第 4 节）：推导架构地板与复合定理——各阶段都等变则整体满足 A1；否则不能把各阶段单独的群取交集，管道被最严格阶段限死：$G_{\mathrm{aff}}$ 下估计、$G_{\mathrm{sim}}$ 下余弦比较、$G_{\mathrm{iso}}$ 下范数校准的组合只在 $G_{\mathrm{iso}}$ 下有保证。第四步（第 5–6 节）：按最大保持群为常用量制表（Table 1），系统审计当前实践的四类违规。第五步（第 7–8 节）：把同一缺口推广到 Platonic Representation Hypothesis，并陈述报告原则。
技术新颖性
本文不是又一种相似性度量或新方法，而是对整个可解释性领域的概念审计框架，新颖性体现在三处。一是最大性原则：因为缩小 $G$ 或弱化 $P$ 总能满足 A1，可容许性本身没有内容，声明的强度等于它存活的最大群——这解释了 Table 1 为何按最大保持群组织，也说明在过小的群下报告谓词不是错误而是内容损失，为比较不同研究的结论强弱提供统一标尺。二是把架构规范对称（此前散见于 query-key 旋转等工作）整合为可容许性的外部约束 A2，并给出读点依赖的精确刻画，包括 RoPE 下对称缩小但保持各向异性的推导（Appendix C）：函数相关的量是 $q^\top k$，参数层面即 $W_Q^\top W_K$，有 RoPE 时是按相对位置索引的族 $W_Q^\top R(\tau)W_K$。三是对 SAE 的双重空间分析：字典学习在激活侧因欧氏重建损失被限制到 $G_{\mathrm{iso}}$，在潜码侧有 $W\mapsto WB$ 的混合同一、被坐标级稀疏惩罚压缩到符号置换——两个空间上的两种不同限制此前很少被分开陈述。
实验结果
这是立场/概念论文，没有新实验，产出是框架加一张审计表。Table 1 按最大保持群分组常用量：$G_{\mathrm{aff}}$ 下有精确秩、张成、子空间包含与交维、CCA；$G_{\mathrm{sim}}$ 下有主子空间、有效秩与参与率、内在维数、余弦/角度、主角度、Grassmann 距离、线性 CKA、近邻一致度；$G_{\mathrm{iso}}$ 下有范数/距离、干预幅度、绝对阈值秩、Procrustes 距离、重建损失；潜码上的坐标级稀疏惩罚只在符号置换下保持。据此发现四类系统性问题：(1) 按存储格式同一化——Bhalla 等把 $V^*$ 中的探针权重与 $V$ 中的 steering 向量都当干预方向并按余弦比较，而向量级同一只在 $G_{\mathrm{iso}}$ 下等变；(2) 归一化隐含群选择——CAA 跨行为但不跨层归一化（残差流范数随深度增长），Activation Addition 完全不归一化，同一系数在两种约定下对应不同位移；(3) 未命名读点——KeyDiff 用每头键空间内的余弦、L2 范数、PCA、$\log\det(KK^\top)$ 解释 KV 缓存驱逐，但由 Corollary 4.2 这些量在 $W_Q\mapsto\Lambda W_Q$ 规范下都不是不变量，即便 RoPE 也只是各向异性减小；(4) 分析内部不一致——Arditi 等同一估计既作非归一化位移又作射影方向；Li 等的校准干预（归一化方向乘经验标准差）在 $A=sQ$ 下协变为 $A(\sigma\hat{w})$，与 $G_{\mathrm{sim}}$ 相容。第 7 节指出 Platonic 假说同病：等价群开放决定真值，且宽度不小于样本数、满行秩时线性不变相似度无法区分两表示，有限样本收敛可近于平凡。
局限与改进
作者承认（第 8 节）三点代价与回应：显式化会让一些结论变窄、一些比较需要额外的空间间映射、一些量必须连同所选度量或参数化一起归因；训练返回的是一个具体 $\theta$，它的几何确实是手里这个工件的事实，框架不禁止此类陈述，但它只是关于 $\theta$ 连同产生程序的属性，要归因于更一般的东西就必须展示跨种子与训练运行的稳定性——这个经验义务几乎从不被履行；至于只是给已有假设贴标签的质疑，作者反驳说把几何显式化会把 Park 等与 Golechha 等关于正交性来源的分歧转化为哪个内积支持正交谓词的精确问题。我的补充观察：框架是诊断性的，没有给出不可比声明之间的建设性转换程序；审计多处依赖 generically（在谱参数下泛成立）的假设，真实训练可能落在非典型点；对 SAE 潜变量混合同一只指出问题而未给出在商空间上识别字典的方案；案例集中在拒答方向与注意力头，对表征工程、model stitching 等大规模场景覆盖有限。
独立分析的弱点
独立分析四点弱点。第一，纯定性无量化：论文没有实验测量越群使用在实际分析中造成多大数值与结论差异，例如 Arditi 式双用在多大扰动族下给出不同行为，改进方向是为 Table 1 每行构造合成 $G$-扰动实验，量化谓词翻转频率。第二，架构地板覆盖窄：只算了点积注意力与 RoPE（Appendix C），MoE 路由、SSM、卷积的 padding/stride 对称等未覆盖，改进方向是系统化枚举常见层的 $\mathrm{Im}\,\rho$。第三，可操作性不足：报告原则没有配套检查清单或自动验证工具，实践者难以落地，改进方向是开发等变性审计库——输入分析的读点声明与张量操作序列，自动检测每步的保持群并标出越界点。第四，Platonic 一节只指出等价群开放，没有把输入分布索引写进四元组的形式化，也没给出在有限样本退化区间（宽度不小于样本数）之外如何设计跨模型比较协议的建议。
未来方向
作者明示的方向是把规格原则扩展到一切关于表示的声明（结论段强调这一要求不依赖线性，凡对表示作声明之处同样适用），并为 Platonic Representation Hypothesis 给出显式等价类与分布条件。基于本文成果可延伸的工作包括：为 SAE 开发在符号置换商空间上比较字典的等变方法，解决潜坐标混合同一；为跨层/跨模型的方向搬运构造显式等变映射，替代当前默认的恒等映射（可表述为学习一个 equivariant transport）；把 Table 1 扩展到因果干预量，与 causal abstraction、interchange intervention 文献的抽象同态概念对接；实现自动化等变性审计工具，在大规模真实可解释性论文集上检验声明质量；在训练侧探索规范固定或规范等变正则，让下游几何量在架构对称轨道上稳定，从而把跨种子几何稳定性这一经验义务变成可测量的公开基准。
复现评估
复现门槛极低但前提是数学背景：这是理论/立场论文，无数据集、无模型训练、无算力需求，也没有（也不需要）代码仓库。复现等于验算推导——Appendix A 给出记号与数学预备，Appendix C 给出注意力读点对称的完整推导（含 RoPE 下按相对位置索引的 $W_Q^\top R(\tau)W_K$ 族分析与 C.4 的头空间量变换），熟悉线性代数与基础群论的研究者可在数天内逐条核对 Proposition 3.2、4.1、4.3 与 Corollary 4.2。真正的工作量在应用端：把自己已有分析映射到 $(G,M,F,P)$ 语言、逐阶段检查等变性并命名读点——Table 1 可作速查表，但识别自己分析中隐式的群选择（归一化约定、损失函数、预处理步骤如 SVCCA 的奇异值截断）需要相当的概念功力，对纯工程背景的实践者有实质门槛。
论文图表