GeoPair：几何保持的跨层分解免训练 Transformer 压缩 GeoPair: Geometry-Preserving Cross-Layer Factorization for Training-Free Transformer Compression
免训练框架：Blossom 全局最优层配对+广义 Sylvester 闭式共享字典+HTP 稀疏化
前置知识
后训练压缩（Post-Training Compression）
在不重新训练、不微调的前提下，仅用少量校准数据对预训练权重做变换以减小存储与计算，典型手段包括剪枝和低秩分解。数据感知分解用校准激活的 Gram 矩阵 $G=X^TX$ 定义目标，使分解在激活加权的意义下最优，而不是简单地逼近权重本身。
本文定位为免训练压缩方法，与 LLM-Pruner、LoRAShear 等需要压缩后恢复训练的方法对比时，理解这一评测协议差异才能正确解读实验表格中 Training-free 一列的含义。
白化变换（Whitening Transform）
对校准 Gram 矩阵 $G_\eta=X^TX+\eta I$（Tikhonov 正则保证非奇异）做 Cholesky 分解得到 $G_\eta=L^TL$。可以证明 $\|XW_c-X\hat W\|_F^2+\eta\|\hat W\|_F^2=\|LW_c-L\hat W\|_F^2$，即激活重构误差等价于 $L$ 空间中的加权重构误差，因此数据感知分解都在这个白化空间中进行。
每层拥有自己的白化 $L_i$ 是全文'几何保持'的确切含义：分组距离度量、共享字典求解都在各层独立的白化空间中定义，理解白化才能理解方法为何有效。
广义 Sylvester 方程
形如 $AXB+CXD=F$ 的矩阵方程。本文的字典更新步产生 $(L_1^TL_1)D(C_1C_1^T)+(L_2^TL_2)D(C_2C_2^T)=K_t$，通过对两个矩阵束做广义特征分解得到变换 $(P,\Lambda)$ 与 $(Q_t,\Sigma_t)$，把方程解耦为独立标量方程，最终化成逐元素除法的闭式精确解。
它是共享字典更新能'既共享又不破坏各层几何'的数学核心，也是本文区别于 Basis Sharing 启发式协方差平均的关键武器，理解它才能看懂方法章节的主体推导。
最大权匹配与 Edmonds 开花算法（Blossom）
在无向图中选一组互不相交的边（即一个匹配），使边权之和最大。Edmonds 的开花算法能在多项式时间内给出一般图上的全局最优解。本文把跨层配对建成完全图，边权 $w_{ij}=C-\delta(W_i,W_j)$，求解最大权匹配即同时保证配对数最多、总结构距离最小。
理解该算法才能明白论文的'最优分组'有全局最优的数学保证，而不是又一种启发式规则，这是标题里 Geometry-Preserving 之外另一个核心卖点。
硬阈值追踪（HTP, Hard Thresholding Pursuit）
求解 $\ell_0$ 约束最小二乘 $\min_C\|R-HC\|_F^2\ \text{s.t.}\ \|C\|_0\le k$ 的迭代算法：先做一步步长 $\mu=\|H\|_2^{-2}$ 的梯度下降，再保留每列幅值最大的 $k$ 个分量构成支撑掩码，最后在支撑上解受限最小二乘（本文用批量共轭梯度求解避免显式求逆）。
HTP 稀疏化是完整流水线在高压缩比下保住精度的关键模块，表 1 消融中去掉它后 1B 模型平均准确率从 54.09 掉回 43.03，是读懂实验部分必备的概念。
交替最小化与 BSUM 收敛理论
对双凸目标 $\min_{D,C_1,C_2}\|L_1W_1-L_1DC_1\|_F^2+\|L_2W_2-L_2DC_2\|_F^2$，交替固定一个变量解析求解另一个，循环至收敛。BSUM（块逐次上界最小化）框架与 Kurdyka-Łojasiewicz 理论可以证明目标函数单调下降并收敛到块驻点。
整条流水线（包括非凸的 $\ell_0$ 稀疏步）的收敛保证都建立在这套理论上，这是作者声称'优化驱动、有理论根基'而非工程启发式的依据。
研究动机
深度 Transformer 的各层权重之间存在大量跨层冗余，但现有后训练压缩流水线都没有系统利用它：一类方法（如 SVD-LLM 等数据感知分解）对每层权重独立做低秩近似，完全忽视跨层结构相似性；另一类方法尝试共享，代表工作 Basis Sharing 固定把相邻层配对，并把各层协方差平均成全局白化变换。这两个启发式都有硬伤。其一是几何扭曲：数据感知分解的精度依赖白化变换忠实反映该层激活分布，而不同深度的激活分布差异巨大，协方差平均后共享字典的求解空间偏离了每层真实的激活几何。论文数据非常直观：Llama3.2 1B 在 20% 压缩比下，Basis Sharing 把平均零-shot 准确率从基线的 57.61 拉垮到 33.11，WikiText-2 困惑度从 11.60 爆炸到 928.07。其二是局部性假设：结构相似的权重未必相邻，固定相邻配对错失非局部对齐的收益，且手工限制某些投影类型之间不许共享的规则缺乏普适性，难以迁移到新架构。此外，这些分组规则与字典学习步骤相互脱节，缺少收敛性保证，本质上是工程经验的堆叠而非一个良定义的优化问题。
本文的目标是本文要建立一个有理论保证、完全免训练（无需任何压缩后微调）的跨层权重共享压缩框架。具体目标可拆成三件事：第一，在严格保留每层独立校准几何（各自的 Cholesky 白化变换 $L_1$、$L_2$）的前提下，让两个结构兼容的权重共享一个低秩字典，即求解 $\min_{D,C_1,C_2}\|L_1W_1-L_1DC_1\|_F^2+\|L_2W_2-L_2DC_2\|_F^2$，而不是先把协方差平均掉；第二，把'哪些层应该配对'从启发式规则变成可全局求解的优化问题，在整个架构范围内寻找结构差异最小的配对，而不是只在相邻层之间配；第三，在共享字典表示上进一步做结构化系数稀疏化，使高压缩比下的精度损失可控，量化目标是零-shot 准确率恢复到未压缩基线的 90% 以上，并在语言、视觉、视频生成等多种模态与 1B 到 32B 参数规模的模型族上验证通用性。
与已有工作不同的是，独特切入角度在于把压缩流水线中两个长期依赖手工设计的环节都改写成可精确求解的优化问题。第一，针对白化空间不兼容导致的共享困难，论文没有像 Basis Sharing 那样平均协方差，而是承认每层白化 $L_1\neq L_2$，把联合字典更新推导成广义 Sylvester 方程 $(L_1^TL_1)D(C_1C_1^T)+(L_2^TL_2)D(C_2C_2^T)=K_t$，利用两个矩阵束的同时广义对角化得到闭式精确解——确定性、无步长调参、每层几何都不被扭曲。第二，针对配对策略，论文设计了形状无关的白化列空间距离 $\delta(W_i,W_j)$（允许输出维度不同，用滑动窗口找最优列对齐），并把全局配对转化为完全图最大权匹配，用 Edmonds Blossom 算法精确求解，替代固定相邻的贪心规则，甚至允许 attention 与 FFN 权重相互配对。第三，稀疏化也不靠手工预算分配或动态调度，而是把 HTP 加共轭梯度的 $\ell_0$ 约束更新嵌入交替最小化的块坐标下降，并用 BSUM 与 Kurdyka-Łojasiewicz 理论给出收敛到块驻点的保证。由此，分组、字典更新、稀疏编码首次被统一进一条收敛的、优化驱动的流水线。
核心方法
直觉：两个输入维度 $d$ 相同的权重矩阵，如果在白化空间中列空间结构相近，就可以共享同一个低秩字典 $D\in\mathbb{R}^{d\times r}$（$r\ll d$），各自用系数矩阵 $C_i$ 投影回自己的输出空间，$W_i\approx DC_i$。这样存储从两份独立低秩分解变成一份共享字典加两份稀疏系数，随层数实现次线性的存储扩展。整条流水线分三个阶段。Stage 1 计算距离：用每层校准数据构造白化 $L_i$，对任意候选权重对计算白化空间 Frobenius 子矩阵距离 $\delta(W_i,W_j)$，并用一维互相关在 $O(d\cdot d_j)$ 时间内完成。Stage 2 全局配对：把所有候选权重放入完全图，边权 $w_{ij}=C-\delta(W_i,W_j)$，用 Blossom 算法求最大权匹配，得到全局最优的互不相交配对。Stage 3 共享字典学习：对每对权重初始化 $D_0=\text{SVD}([W_1\ W_2])[:,:r]$，然后交替执行两步——系数步解校准加权最小二乘（稀疏模式下换成 HTP），字典步解广义 Sylvester 方程的闭式解，循环直到目标函数的相对改进低于阈值 $\tau$ 或达到最大迭代数 $T_{max}$。整个流程只使用前向校准数据，没有反向传播，也没有任何微调。
核心创新是'几何保持的共享'：现有共享方法为了求统一解，先抹平各层差异（把协方差平均成全局白化），本文反其道而行，承认并保留每层白化几何 $L_1,L_2$，把联合优化写成广义 Sylvester 方程并通过对角化精确求解，因此共享字典不会强迫任何一层偏离自己的激活几何。第二个关键是'配对即优化'：配对不再是预处理规则，而是一个有全局最优保证的最大权匹配问题，边权来自形状无关的结构距离，表 4 显示仅把贪心相邻配对换成基于 Frobenius 距离的最优配对，Llama3.2 1B 在 CR=0.4 下的平均准确率就从 43.35 提升到 45.61、WikiText-2 困惑度从 37.97 降到 34.26。第三个关键是把 $\ell_0$ 稀疏系数更新（HTP + 共轭梯度）无缝嵌入块坐标下降：HTP 内循环由梯度步（步长 $\mu=\|H_{i,t}\|_2^{-2}$）、top-$k_i$ 支撑选择、支撑上的受限投影三步组成，当 $k_i=r$ 时自然退化为标准闭式 Cholesky 更新，且整体在 BSUM/KL 条件下收敛到块驻点。与 Basis Sharing 的本质区别在于：本文的每一步（距离度量、配对、字典更新、稀疏化）都是可分析、可收敛的优化步骤，而对方依赖邻接假设、协方差平均和模型特定的手工约束。
方法步骤详情
完整流程如下。第一步，校准与白化：对每层用校准激活 $X$ 计算 $G_\eta=X^TX+\eta I$，Cholesky 分解 $G_\eta=L_i^TL_i$，Tikhonov 项等价于给目标加权重空间 $\ell_2$ 惩罚，保证白化良定义。第二步，距离度量：设 $d_i\le d_j$，计算 $\delta(W_i,W_j)=\min_{0\le k\le d_j-d_i}\frac{\|L_jW_j[:,k:k+d_i]-L_iW_i\|_F}{\|L_iW_i\|_F+\epsilon}$，归一化使其尺度不变，滑动窗口对齐用一维互相关加速到 $O(d\cdot d_j)$。第三步，全局配对：构造完全图并解最大权匹配（Blossom 算法），输出互不相交的权重对，输入是所有候选权重，输出是配对列表。第四步，初始化：$D_0=\text{SVD}([W_1\ W_2])[:,:r]$。第五步，系数更新：闭式解 $C_{i,t}=(D_{t-1}^TG_iD_{t-1}+\epsilon I)^{-1}D_{t-1}^TG_iW_i$，$\epsilon=10^{-6}$；启用稀疏时改为用 HTP 求解 $\min_{C_{i,t}}\|L_iW_i-L_iD_{t-1}C_{i,t}\|_F^2\ \text{s.t.}\ \|C_{i,t}\|_0\le k_i$，实验取每列非零数与字典原子数之比 $k/s=2.5$，受限投影用批量共轭梯度以容差 $\tau$ 求解。第六步，字典更新：组装 $K_t=L_1^TL_1W_1C_{1,t}^T+L_2^TL_2W_2C_{2,t}^T$，由一次性的广义特征分解 $(P,\Lambda)=\Phi(L_2^TL_2,L_1^TL_1)$ 与每步的 $(Q_t,\Sigma_t)=\Phi(\tilde B_{2,t},\tilde B_{1,t})$（$\tilde B_{i,t}=C_{i,t}C_{i,t}^T+\epsilon I$）得到闭式解 $D_t=P\frac{P^TK_tQ_t}{11^T+\lambda\sigma_t^T}Q_t^T$，其中除法逐元素、$\lambda=\text{diag}(\Lambda)$、$\sigma_t=\text{diag}(\Sigma_t)$。第七步，交替执行第五、六步，直到目标相对改进低于 $\tau$ 或达到 $T_{max}$，输出 $\hat W_i=DC_i$。
技术新颖性
技术新颖性体现在四处。其一，闭式广义 Sylvester 求解器：通过一次性的广义特征分解 $(P,\Lambda)$ 解耦固定白化对，再在每次迭代对正则化的系数 Gram 矩阵对做 $(Q_t,\Sigma_t)$ 分解，把矩阵方程化成逐元素除法——这是首个在压缩中消除协方差聚合、同时尊重两个独立白化空间的精确解法，替代了迭代优化与步长调参。其二，形状无关的距离度量：$\delta$ 用滑动窗口处理 $d_i\neq d_j$ 的情况，使 attention 与 FFN 这类输出维度不同的投影也能配对，突破了 Basis Sharing '限制特定投影类型间共享'的手工约束，也不依赖分布漂移式的分组。其三，全局最优分组：把层配对建成最大权匹配问题并用 Blossom 精确求解，在压缩文献中属首次，消融证明其优于余弦相似度度量与贪心相邻策略（平均准确率分别为 45.61、45.0、43.35）。其四，收敛性：将非凸的 $\ell_0$ 稀疏步纳入块坐标下降并给出 BSUM 加 Kurdyka-Łojasiewicz 意义下的块驻点收敛保证，而 CoSpaDI、ROCKET、COMPOT 等字典学习方法依赖逐层优化与启发式更新调度、没有此类保证。整体上，'用收敛的优化流水线替代工程启发式'这一框架层面的设计本身就是方法论贡献。
实验结果
组件消融（表 1，CR=0.2）最清晰地展示了各模块贡献。Llama3.2 1B：未压缩基线平均准确率 57.61、WikiText-2 困惑度 11.60；Basis Sharing 崩溃至 33.11/928.07；只把全局白化换成 Sylvester 逐层白化即回升到 41.26/109.59；再加最优分组（OG）到 43.03/56.60；完整配置再加 HTP 稀疏达到 54.09/15.92，恢复基线 90% 以上的准确率。值得注意的是，从稀疏版本中去掉 OG 反而更差（53.06），说明最优分组是可靠系数恢复的前提。Llama3 8B 上趋势一致：基线 70.36，Basis Sharing 53.47，全配置 68.17。图 2 在 Llama3 8B 上对比 CR=0.2/0.3/0.4，GeoPair 的平均准确率与 WikiText 对数困惑度全程优于 SVDLLM、CoSpaDi、ROCKET、COMPOT。表 2 在 Llama2 7B 上以 20% 压缩对比剪枝类方法：GeoPair 免训练达到 63.58 平均准确率，超过需要恢复训练的 LoRAShear（62.22）、LLM-Pruner（59.82）、ShortGPT（58.12）以及免训练的 WANDA（57.23）。表 3 验证跨架构泛化：CR=0.4 时 Phi-4 14B 达 68.59（Basis Sharing 57.52）、Qwen3 32B 达 70.31（59.5）、Gemma3 12B 达 60.49（40.22）；CR=0.2 小压缩比下相对基线损失很小（如 Qwen3 32B 为 73.27 对基线 74.55），作者归因于低秩截断的去噪效应。任务泛化（4.1 节）：压缩 Wan2.2 5B 视频生成模型，20% 压缩时 50 个 prompt 上的 X-CLIP 分数仅降 $1\times10^{-4}$（0.2164 对 0.2165），40% 压缩仍保持 0.2111（相对下降 2.5%），无任何恢复训练。最后，表 5 显示 KS 比率 2.5 最优（Wiki ppl 34.26、准确率 45.6），表 4 显示 Frobenius 子矩阵距离分组（45.61）优于余弦相似度（45.0）与贪心相邻（43.35）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Llama3.2 1B 八项零-shot 基准平均准确率（CR=0.2） | 平均准确率 (%) | 54.09 | Basis Sharing 33.11；未压缩基线 57.61 | 较 Basis Sharing +20.98，恢复约 91% 的基线准确率 |
| Llama3.2 1B 语言建模（CR=0.2） | WikiText-2 困惑度（越低越好） | 15.92 | Basis Sharing 928.07；未压缩基线 11.60 | 困惑度较 Basis Sharing 降低约 58 倍 |
| Llama3 8B 八项零-shot 基准（CR=0.2） | 平均准确率 (%) | 68.17 | Basis Sharing 53.47；未压缩基线 70.36 | 较 Basis Sharing +14.70，距未压缩基线仅差 2.19 |
| Llama2 7B 七项零-shot 基准（20% 压缩） | 平均准确率 (%) | 63.58（免训练） | LoRAShear 62.22（需恢复训练）；WANDA 57.23 | +1.36 且无需任何压缩后微调 |
| Phi-4 14B 零-shot（CR=0.4） | 平均准确率 (%) | 68.59 | Basis Sharing 57.52；未压缩基线 72.09 | 较 Basis Sharing +11.07，Lambada 困惑度 4.35 对 8.3 |
| Qwen3 32B 零-shot（CR=0.4） | 平均准确率 (%) | 70.31 | Basis Sharing 59.5；未压缩基线 74.55 | 较 Basis Sharing +10.81 |
| Wan2.2 5B 文生视频语义保持（20% 压缩） | X-CLIP 分数（16 帧采样，50 个 prompt） | 0.2164 | 未压缩模型 0.2165 | 仅下降 1×10⁻⁴；40% 压缩下仍保持 0.2111（相对降 2.5%） |
局限与改进
作者明确承认的最大局限是只能两两层分组：闭式 Sylvester 求解依赖两个矩阵束的同时对角化，这一性质无法解析推广到 $m>2$ 项系统，多组共享需要迭代数值近似或高阶张量分解，会引入数值不稳定与额外计算开销。我自己的观察还有几点：第一，小模型高压缩比下损失仍很可观，Llama3.2 1B 在 CR=0.4 时准确率 45.61 对基线 57.61，掉了 12 个点，说明参数越少跨层冗余越有限；第二，CR=0.2 时相对基线的提升空间本来就小（Qwen3 32B 73.27 对 74.55），方法价值集中在 0.3-0.4 的重压缩区间，轻量化部署场景收益有限；第三，每对权重的交替最小化含 HTP 内循环与共轭梯度求解，配对数量约为权重总数的一半，总耗时随层数线性增长，论文未报告压缩总时间、校准样本数与显存需求，工程成本不透明；第四，分组距离 $\delta$ 度量的是权重结构对齐而非端到端任务损失，表 4 中余弦相似度的准确率（45.0）与 Frobenius 距离（45.61）接近但困惑度差得多（43.75 对 34.26），说明代理度量与真实目标仍有错位；第五，评测以语言模型零-shot 为主外加一个视频生成模型，未覆盖超过 32B 的模型与推理类任务，音频结果只在附录提及。
独立分析的弱点
第一，两两配对天然受限：$N$ 个矩阵最多形成 $\lfloor N/2\rfloor$ 对，落单矩阵只能独立分解，跨对之间的字典也不共享，理论上更大分组的共享收益更高。改进方向：用近端分裂或 ADMM 迭代近似 $m$ 项 Sylvester 系统，或先用 Blossom 配对再对配对簇做层次化合并。第二，匹配目标与压缩目标错位：最大权匹配最小化的是配对内结构距离之和，但真正想要的是全局激活重构误差最小，两者并不等价——一对距离很近的矩阵未必是共享字典收益最大的组合。可以在边权中加入可分离重构误差的估计项。第三，对校准数据分布的强依赖：白化 $L_i$ 与距离 $\delta$ 都由校准分布决定，分布漂移时'几何保持'即告失效，附录 D 虽做了敏感性消融但未给出系统性补救；可考虑不确定性加权或域自适应校准。第四，数值稳定性隐患：字典更新要逐元素除以 $11^T+\lambda\sigma_t^T$，当系数 Gram 矩阵很小时 $\sigma_t$ 接近零会放大舍入误差，而 $\epsilon=10^{-6}$ 与 Tikhonov 系数 $\eta$ 的选取偏经验；可为 $\sigma_t$ 设置下界或加入条件数监控与回退机制。第五，稀疏预算统一取 $k/s=2.5$、HTP 内迭代数固定，没有逐层自适应；压缩误差对各层并不均匀，可引入按层误差别分配预算或早停。第六，Blossom 配对是一次性的全局决策，若某配对在字典学习阶段实测表现差，没有回退或重配对的机制。
未来方向
作者提出的方向：把共享从两两扩展到 $m>2$ 层的大组，需要迭代数值求解器或高阶张量分解替代双矩阵束同时对角化，这是理论上的主要开放问题。基于本文成果还可延伸：其一，把最优配对思想迁移到量化和剪枝，例如结构化剪枝中的通道配对、跨层 KV 缓存的共享基——列空间对齐度量 $\delta$ 本身就是可复用的权重相似性工具；其二，与参数高效微调结合，把共享字典当冻结骨干、稀疏系数当可训练适配器，用极低预算恢复压缩损失；其三，把配对-分解改造成端到端可微或双层优化，让配对决策直接以下游损失为反馈，弥补代理度量的错位；其四，从理论上给出共享字典相对独立分解的逼近误差界与校准样本复杂度，为'何时值得共享'提供判据；其五，扩展到 MoE 专家权重、扩散模型 UNet 等冗余结构更明显的架构，以及多模态大模型的统一压缩；其六，探索在线/持续压缩：模型更新时增量维护配对与字典，避免全量重算。
复现评估
论文未提及开源代码或权重，目前无法直接使用官方实现，这是复现的最大障碍。可复现要素基本齐全：全部评测基准为公开数据集（PIQA、HellaSwag、Lambada OpenAI、ARC-e/ARC-c、SciQ、Race、MMLU、WikiText-2、BoolQ、WinoGrande、OBQA，视频评测用 Rapidata/awesome-text2video-prompts 与 X-CLIP）；方法描述与 3.5 节算法汇总完整给出了初始化、系数与字典两个更新规则的公式，以及关键超参（$\epsilon=10^{-6}$、$k/s=2.5$、HTP 内迭代数 $T_{HTP}$、CG 容差 $\tau$、$T_{max}$）。工具链成熟：Cholesky 与广义特征分解可用 SciPy/LAPACK，最大权匹配可用 networkx 的 Blossom 实现，共轭梯度有标准批量实现。但隐性工程量不小：白化的数值细节、滑动窗口距离的互相关加速、交替外循环的收敛判据、配对后的调度与内存管理都需要自行调试；论文未报告压缩运行时间、校准样本数量与显存占用，8B-32B 模型上需要高显存 GPU。综合评估复现难度中偏高：熟悉模型压缩与数值优化的团队约一到两周可做出原型，要完全对齐论文数字还需仔细校准评测协议。
论文图表
