三相 Transformer：通过通道分割与直流槽注入在残差流中植入几何先验 Three-Phase Transformer

3PT 的完整前向过程（以 123M WikiText-103 配置为基准）按以下顺序执行。步骤 1：Token Embedding。输入 $x \in \mathbb{R}^{B \times T \times d}$ 经 $\text{nn.Embedding}(V, d)$ 得到 $\tilde{x}$，按 $d = N \cdot d_\text{phase}$ 切成 $N$ 个相位块 $x^{(i)}$。步骤 2：加百利号角替换。计算每个位置的跨相位均值 $\bar{\mu}_{b,t} = \frac{1}{d}\sum_j x_{b,t,j}$，然后做广播加性更新 $x'_{b,t,j} = x_{b,t,j} + (r(t) - \bar{\mu}_{b,t})$，其中 $r(t) = 1/(t+1)$ 是注册为 buffer 的固定位置剖面。该操作把跨相位均值精确钉在 $r(t)$，但保持所有正交分量不变；零训练参数。步骤 3：进入每个 Transformer 块 $\ell$ 的循环：(a) $h'_\ell = h_\ell + \text{Attn}_\ell(N_{1,\ell}(h_\ell))$，其中 $N_{1,\ell}$ 是 PhaseAwareRMSNorm：$N$ 个独立 RMSNorm 各归一化 $d_\text{phase}$ 通道，参数总数与单 RMSNorm($d$) 相同；(b) $h''_\ell = \text{PR}_\ell(h'_\ell)$，PhaseRotationLayer 在相位 $i$ 的第 $k$ 对偶-奇通道上做 $R(\theta^{(\ell)}_k + 2\pi i/N)$，θ 初始化为深度线性 $\theta^{(\ell)}_k = (\ell+1)\pi/(2L)$；该映射正交，无梯度衰减；(c) $h_{\ell+1} = h''_\ell + \text{FFN}_\ell(N_{2,\ell}(h''_\ell))$。步骤 4：GQA 的 $n_q, n_kv$ 满足 $N \mid n_q$ 且 $N \mid n_kv$（123M 用 $n_q=12, n_kv=3$，每相位 4Q+1KV，$d_\text{head}=64$）；RoPE 在头内 Q/K 上照常施加，不做任何修改。步骤 5：交叉熵训练，AdamW $\beta=(0.9, 0.95)$，weight decay 0.1，cosine LR 调度。唯一的可学习参数是 12 块 × 128 θ = 1,536 个旋转角。

3PT 的技术新颖性主要体现在四个层面。层面一（结构新颖性）：提出'残差流几何约定'而非模块——PhaseAwareRMSNorm、PhaseRotationLayer、相位对齐 GQA、加百利号角直流注入这五操作散布在块中，没有一个能独立存在，它们共同把 $d_\text{model}$ 维向量组织为 $N$ 个等宽相位 + 1 维直流槽。层面二（数学新颖性）：首次将 Gabriel's Horn $r(p) = 1/(p+1)$ 用作绝对位置信号注入到结构上正交的 rank-1 子空间，并通过 $N \times H_T/T$ 守恒律证明该子空间与 RoPE 的相对位置旋转完全正交；同时显式证明了三相系统在初始零和条件下的自稳定是 Noether 类守恒律的实例。层面三（经验新颖性）：实验 11 在 123M / WikiText-103 / 30k 步观察到 PhaseRotationLayer 漂移呈 U 形分布（最小在 block 2 = 0.069 L2，最大在 block 11 = 1.833 L2），方向在 block 2 翻转——这是首份在 12 层 transformer 上记录到的'逐块学习参数 U 形漂移'。层面四（架构-扩展性新颖性）：证明直流槽是通用可写侧信道，可承载任何 per-position 标量函数（ramp / exponential / log-spaced / learned scalar），并被实验 9 的固定 horn 与实验 10 的可学 horn 同时验证。

独立分析 3PT 至少有四个弱点值得改进。**弱点 1：相位循环未向量化导致 17% 墙钟开销**——目前的 PhaseRotationLayer 用了 Python `for phase in phases` 循环，对 123M 模型每次前向要多花约 17% 时间。改进方向：把 3 个相位重塑为 $(B, T, N, d_\text{phase})$ 张量，用一个广播矩阵乘法一次完成 $N$ 个 Givens 旋转，应能把开销压到 < 3%。**弱点 2：每块 128 个 θ 是逐通道学习的，但实际只有少数对产生有用漂移**——Experiment 7d 的热图显示每块约 1 个 θ 对是最大漂移（其余对几乎不动），意味着可以用稀疏化或 MoE 风格的'按需激活'减少可学参数至每块 16 个甚至更少。改进方向：把 PhaseRotationLayer 改为分组 θ 或加 L1 稀疏惩罚，让网络自行选择哪些相位对需要旋转。**弱点 3：depth-linear init 在 12 层失效**——block 0 需要 +36% 旋转、block 11 需要 -10%，线性 schedule 让末层浪费大量优化预算去反向收缩。改进方向：把 init 改为 sub-linear S-curve schedule，或直接学一个每块 base θ（仅 12 个标量）。**弱点 4：5.5M 与 123M 的 N 最优值不一致**——5.5M 时 N=1 胜（6× 噪声）、123M 时 N=1/N=3 不可分，'three-phase' 名号本身就有 scale-dependent 漂移。改进方向：在 350M–1B 做完整 N-扫描，建立 phase-sharing-as-regularization 的 scaling law，让 N 选择有据可依。

作者明确提出了四条未来方向。**方向 1（最强线索）：学习非线性的 PhaseRotationLayer 深度 schedule**——U 形漂移说明 depth-linear schedule 在 12 层时让末层反向收缩，最优 schedule 应是 sub-linear S-curve，最小值位于 block 2 附近，尾巴逐渐衰减。**方向 2：扫描 DC 槽的可用形状**——加百利号角只是一例，ramp / exponential / log-spaced / learned scalar 都可注入该 1D 槽以匹配不同任务（双向编码、长上下文检索、层次结构），'DC 槽是通用可写侧信道'。**方向 3：123M 上的完整 N-相扫描**——目前只跑了 N=1 与 N=3 共 6 个 run，N ∈ {2,4,6,8,12} 还未测；≥5 种子的全 N-扫描才能解答 'scale-dependent optimum 究竟是 N=1 还是某个 N>1'。**方向 4：更大模型 + 更多数据**——5.5M → 123M 的 gain 从 13.30% 缩窄到 7.20%，是否继续缩窄到 1B 参数是开放问题。基于成果可延伸的方向还有：(a) 把相位结构扩展到非语言任务——视觉或音频是否同样受益于 3 相分割？(b) 与 nGPT 的超球面归一化结合——PhaseAwareRMSNorm 是 $N$ 个独立球面，可以推广到 nGPT 风格的 hypersphere；(c) 把直流槽注入的形状做成与训练目标对齐的元学习信号，让模型自己发现最合适的绝对位置剖面。

**开源情况**：完整代码已发布于 https://github.com/achelousace/three-phase-transformer，包含 16 个实验的训练脚本与评估脚本。**数据**：5.5M 实验使用 TinyStories（Eldan & Li 2023，10k word-level vocab），123M 实验使用 WikiText-103-raw-v1（Merity et al. 2016，Llama-2 BPE 32k vocab，~140.5M 训练 token / 297k val token），均为公开数据集。**算力**：5.5M 实验用 RTX 2070（8GB）即可，单次 20k 步约 1,500–1,700 秒；123M 实验需 Colab G4 实例（NVIDIA RTX Pro 6000 Blackwell 96GB），30k 步 7,777 秒（约 2.16 小时）。预算友好：完整 16 个实验可在单卡 2070 + 一次 Colab G4 跑完。**复现难度**：中等偏下——代码已开源、协议清晰、评价脚本明确，但有 5 个细节容易出错：(1) φᵢ 偏移必须硬编码为 2π/N 而非可学；(2) 加百利号角必须用 broadcast-additive 更新 $x' = x + (r(t) - \bar{\mu})$；(3) PhaseRotationLayer 必须是非残差 $h = pr(h)$ 而非 $h = h + pr(h)$（实验 8 显示后者退化 0.06 PPL）；(4) GQA head 计数必须满足 $N \mid n_q$ 且 $N \mid n_kv$；(5) 训练必须使用 `bf16 + Flash Attention 2 + SDPA` 的组合。**已知陷阱**：PhaseAwareRMSNorm 在 2k 步拖后腿但 20k 步微赢，短步数消融可能完全反转结论（实验 5）；seed 42 是 N=3 分布的有利极端与 N=1 分布的不利极端，单种子架构对比在噪声底线内不可靠；N-扫描的判断需要 ≥5 种子才能给出方向性结论。