主钥匙假说：通过线性子空间对齐解锁跨模型能力迁移 The Master Key Hypothesis: Unlocking Cross-Model Capability Transfer via Linear Subspace Alignment

Unlock 的完整流程分为五步。**Step 1 准备三个模型**：$\mathcal{S}_L$（能力缺失源，如 base 或 Direct prompt 下的源模型）、$\mathcal{S}_U$（能力具备源，如 post-trained 或 CoT prompt 下的源模型）、$\mathcal{T}_L$（目标基础模型）。**Step 2 提取 MasterKey**：在无标签 query 集 $\mathcal{D}=\{q_i\}_{i=1}^n$ 上，对每个 $q_i$ 在源模型某一层 $l_s$ 取最终 token 隐藏状态，计算 $v^{(\mathcal{S}, l, i)}_\psi = h^{(l)}_{\mathcal{S}_U}(P_{\mathcal{S}_U} \oplus q_i) - h^{(l)}_{\mathcal{S}_L}(P_{\mathcal{S}_L} \oplus q_i)$，再按 mean 或 PCA1 聚合得到源空间方向 $v^{(\mathcal{S}, l_s, \Phi)}_\psi \in \mathbb{R}^{d_{\mathcal{S}}}$。**Step 3 子空间对齐**：用同一组 query 在 $\mathcal{S}_L$ 和 $\mathcal{T}_L$ 上以 shared prompt $p$ 取隐藏状态 $X_{\mathcal{S}} = [h^{(l_s)}_{\mathcal{S}_L}(p \oplus q_i)^\top]_{i=1}^n \in \mathbb{R}^{n \times d_{\mathcal{S}}}$、$X_{\mathcal{T}} = [h^{(l_t)}_{\mathcal{T}_L}(p \oplus q_i)^\top]_{i=1}^n \in \mathbb{R}^{n \times d_{\mathcal{T}}}$；对两者做 SVD 截到 top-$k$，投影到子空间 $\hat X_{\mathcal{S}} = X_{\mathcal{S}} V^{\mathcal{S}}_k$、$\hat X_{\mathcal{T}} = X_{\mathcal{T}} V^{\mathcal{T}}_k$，解 $\min_W \|\hat X_{\mathcal{S}} W - \hat X_{\mathcal{T}}\|_F$ 得 $W^\star = \hat X^\dagger_{\mathcal{S}} \hat X_{\mathcal{T}}$，构造跨模型算子 $R^{l_t} = V^{\mathcal{T}}_k (W^\star)^\top (V^{\mathcal{S}}_k)^\top$。**Step 4 映射方向**：$v^{(\mathcal{T}, l_t, \Phi)}_\psi = R^{l_t} v^{(\mathcal{S}, l_s, \Phi)}_\psi \in \mathbb{R}^{d_{\mathcal{T}}}$。**Step 5 推理时干预**：对每个目标层 $l_t$ 按相对深度 $l_s = \min(L_{\mathcal{S}}, \max(1, \lfloor (L_{\mathcal{S}}/L_{\mathcal{T}})\cdot l_t \rfloor))$ 选源层；在每层把 $\tilde h^{(l_t)}_{\mathcal{T}_L} = h^{(l_t)}_{\mathcal{T}_L} + \alpha \cdot \hat v^{(\mathcal{T}, l_t, \Phi)}_\psi$ 加到残差流，再做 $\|\tilde h\| = \|h\|$ 归一化。超参 $\Phi, k, n, \alpha$ 在 holdout dev 集上 grid search 选取。

技术上本文的创新可总结为'三个第一次'。**第一次把 cross-model steering 推到认知能力**：以往工作（[42; 16; 11; 52; 35; 53; 57]）的 steering 方向都来自带标签的安全/风格正负样本，只在同模型同任务上做；本文用 'prompt-driven'（有无 CoT prompt）和 'model-driven'（base vs post-trained）两类无监督对比生成方向，并能跨模型跨尺寸迁移。**第一次系统化 MKH 并给出可证伪的数学形式**：把 LRH（概念是线性方向）和 PRH（跨模型表征收敛）结合，提出 $P_2 v^{\psi}(\mathcal{M}_2, l_2) \approx f \circ P_1 v^{\psi}(\mathcal{M}_1, l_1)$ 的可检验假设，并用 SVD 子空间对齐的 $W^\star$ 来实例化 $f$。**第一次观察到方向非对称性 (directional asymmetry)**：小→大迁移的相对增益普遍大于大→小，作者给出'大模型是小模型的功能超集'的容量解释，与 [24] 提出的收敛假说一致。此外，本文用 'Task-Conditioned' 与 'Task-Agnostic' 两种数据来源、'small-to-large' 与 'large-to-small' 两种方向做全因子分析，得到 task-agnostic 更适合 small-to-large、task-conditioned 更适合 large-to-small 的工程准则。

**弱点 1：目标能力必须原子**。Unlock 在 gemma-2 上迁移 CoT 几乎失效 (2B 9.5%、与 Direct 3.0% 接近)，说明它对'目标模型中能力是否存在'高度敏感。这一硬约束使得框架无法用于全新能力的跨模型落地。**改进方向**：可探索'能力合成'——把多个 MasterKey 线性组合 $v_{\text{combined}} = \sum_i \beta_i v^{(\mathcal{T}, l_t, \Phi)}_{\psi_i}$ 模拟复杂能力，类似 [76] 的多向量 steering。**弱点 2：超参敏感且需 dev 集**。$k$、$\alpha$、$\Phi$ 都要 grid search，论文 Appendix B.2 显示最佳 $\alpha$ 跨数据集波动较大（如 Qwen3-4B 上 $\alpha$ 接近 1 时最佳，而 Qwen3-14B 上反而更小），这意味着每个新模型/任务都要重新调参。**改进方向**：可用 [5] 提出的'训练一个轻量 $\alpha$-预测器'或基于 steering 前后 token entropy 变化的'自适应 $\alpha$'方法避免手工调参。**弱点 3：跨家族证据薄弱**。Appendix D 只在 Qwen1.5 ↔ gemma-2 上做了简单演示，没有像 Qwen3 → Ministral 这样的多家族系统对比。**改进方向**：补充 OLMo-2 → gemma-3、Ministral → Qwen 等更异构的家族对，并测试在 tokenizer 不一致（如 LLaMA-3 vs Qwen）情况下方法是否仍成立。**弱点 4：缺乏对失败案例的失败模式分析**。论文只报告'成功迁移'的数字，没有分析在哪些样本上干预失败、是否与 query 难度/主题相关。**改进方向**：可对干预前后的预测概率做 per-example 分析，定位 MasterKey 适用边界。**弱点 5：评估指标单一**。完全依赖准确率，没有用 process-based reward 或 reasoning chain length distribution 这类过程性指标评估'推理深度'是否真的提升。

**作者提出的方向**：(1) 把 Definitions 3.1, 3.2 从输入/输出 token 空间的稳定性重新定义为'潜空间可分离性'，并给出操作化度量——例如 MasterKey 在 $k$ 维子空间的信噪比；(2) 研究 post-training 副作用 (mode collapse、diversity loss) 在 Unlock 里是否同样存在；(3) 探索架构差异 (Decoder-only vs Encoder-Decoder、MoE vs Dense) 对 $R^{l_t}$ 估计的影响。**可延伸方向**：(a) 把 MKH 推广到多模态大模型——把视觉/音频能力也编码为方向，类似 [4; 28] 在单模态里的工作但跨视觉-语言模型迁移；(b) 引入对抗样本训练 $W^\star$ 让对齐矩阵对 prompt 模板更鲁棒，避免被改写 prompt 击穿；(c) 与 [49; 25] 的 self-distillation 工作正交结合——先用 Unlock 做无监督的初版对齐，再用 self-distillation 做轻量精炼，可能进一步逼近完整后训练；(d) 把 MasterKey 用作 model merging 的'种子'——在 SLERP / TIES-MERGING 时不再只做参数平均，而是把 MasterKey 显式注入到合并方向里；(e) 探索层级干预——目前 $\alpha$ 是常数，可让 $\alpha_l$ 随层号 $l$ 变化，参考 [18; 60] 的层次化 steering。

**开源情况**：论文标注 GitHub 仓库 https://github.com/rishabbala/Steering-Vector-Transfer2026 公开代码，截至论文 v3 应包含数据预处理、方向提取、SVD 对齐、推理时干预四部分脚本。**数据规模**：每个实验用 $n \ll \min(d_{\mathcal{S}}, d_{\mathcal{T}})$ 个无标签 query（通常 50-500），算力需求低。**算力门槛**：本文最大模型仅 Qwen3-14B 和 Ministral-3-8B，单次前向传播在单卡 A100-80G 上即可；4 个数学基准总生成 token 数约 1M 以内。**复现难度**：低到中等。算法本身只需 PyTorch + transformers + sklearn.decomposition.PCA，但超参搜索 $k, \alpha, \Phi$ 较繁琐；论文没有给出每个模型的最终超参表，需要自己复现 grid search。**潜在风险点**：(1) 不同 transformers / torch 版本下 SVD 的符号约定可能让 $W^\star$ 不稳定，建议固定随机种子并报告多次实验均值；(2) shared prompt $p$ 的选择会影响 $X_{\mathcal{S}}, X_{\mathcal{T}}$ 的对齐质量，论文在脚注里承认'任何 prompt 组合都允许'但没给出最优选择；(3) 论文没明确说在 generation 阶段是对所有 token 干预还是只对最后一个 token，从 Figure 2 插图看是'对残差流在所有层所有 token'施加。整体而言方法简单、依赖少，独立实验室可在一周内复现主表。