复数 KDA：理解并增强 Kimi Delta Attention 的表达能力 Complex KDA: Understanding and Enhancing the Expressivity of Kimi Delta Attention

第一步参数化：$\beta_t=2\sigma(b_t)$，门控 $r_{t,i}=2\sigma(a_{t,i})-1$，提供标准初始化（门靠近 1）与 spread 初始化（正负各约一半，以及 $\beta$ 的双峰初始化）两种方案。第二步 2D 构造：取 $A_{\alpha,\theta}=(I-2kk^\top)\mathrm{Diag}(\alpha,1)$，$k=(\cos\theta,\sin\theta)^\top$，展开验证旋转条件与复特征值条件 $\Delta<0$。第三步高维谱刻画：Proposition 2 做符号-幅值分解 $A=\tilde A\,\mathrm{Diag}(|\alpha|)$，旋转被限制在 $\mathrm{span}\{k_-,k_+\}$ 二维子空间内（$k_\pm$ 是 key 在正/负门控坐标上的分量），复特征值充要条件为 $\beta^2\cos^2(2\theta)<4(\beta-1)$；Theorem 8 证明任意 CKDA 矩阵至多一对非实共轭特征值（需 $\beta>1$ 且存在负门控），Theorem 9 把该限制推广到所有非扩张 DPR1 矩阵。第四步表达力构造：平面旋转加反射给出 $\mathbb{Z}_n$、$D_n$（$d=2$）；重定向立方体给 $S_4,A_4$（$d=3$）；单位四元数提升加多对一解码给 $A_5$（$d=4$）；多层方面复用 clock–buffer–accumulator 构造，用一次平面旋转充当时钟，3 层解所有有限群字问题，$\beta>2$ 时以多项式精度识别所有正则语言并计算 $\mathbb{Q}$ 上任意 WFA。第五步实现：把累积符号经 gauge 变换吸收进 key/query（不改 kernel），或用 Triton 融合进归一化及反传、TileLang 混合后端，吞吐保持 KDA 的 96–97%；状态跟踪实验移除 key/query 投影上的 SiLU（其会把 key 偏向正值）。第六步实验：单层 12 头×16 维模型训练 S3/S4/A5（60k 步、Muon、长度课程 4→32），周期 groove 续写，340M/15B 与 1.3B/100B 语言建模及 47M–1.7B scaling 阶梯。

技术新颖性体现在四个层面。其一，机制发现：首次指出通道门控本身就是第二个反射，符号化后与 delta-rule 反射复合即得旋转，把“负特征值帮助状态跟踪”（Grazzi et al. 2025 针对标量门控的结论）推广到通道级并给出完整谱刻画。其二，结构定理：Theorem 1 给出正交 DPR1 矩阵的完整刻画（每个正交 $D+uv^\top$ 都是 signed-Householder），既说明 CKDA 参数化的完备性，也否定性地说明 RWKV-7 式非对称秩一项不增加正交表达力；Theorem 4 进一步给出谱障碍——非扩张且至多一对复特征值（覆盖 CKDA 与 $k\le3$ 的 DeltaProduct）的单层任意头数模型都无法跟踪 $S_5$。其三，深度节省：平面旋转时钟使有限群字问题与 WFA 模拟所需层数比 DeltaNet/GDN 少一层（3 层 vs 4 层）。其四，工程落地：不改递推结构的符号 gauge 变换使现有 KDA kernel 只需微调即可训练，保留 96–97% 吞吐，理论与生产级实现之间距离很短。

弱点一：复模态刚性。每转移至多一对复特征值，模拟多相位/高维酉动力学需大量头，效率存疑；改进方向是把秩一修正推广到秩 $r$ 或块结构，同时保住 WY 型并行 kernel，论文的谱刻画框架（判别式条件）可直接推广。弱点二：可学习性鸿沟。A5 必须靠四元数理论初始化才能学成，说明梯度下降难以自发发现旋转表示；改进方向是设计谱正则、旋转诱导课程或元学习初始化，让模型自己找到 $\beta\approx2$、符号门的配置。弱点三：理论—实践精度鸿沟。WFA 结果需要 $\beta>2$ 与精确算术，实际 BF16 训练无法直接使用；改进方向是研究“局部允许扩张、全局投影稳定”的约束调度，或量化误差传播分析。弱点四：LM 收益边际化。扩展范围在 1.3B 语言建模上与 KDA 打平，主要收益体现在状态跟踪与检索（RULER）上，这既可能是好事（机制专业化），也意味着卖点窄；改进方向是在长上下文代码跟踪、动作条件视频（shell game 类）等序列状态任务上系统评测，找出扩展范围真正变现的场景。弱点五：实现与理论耦合。SiLU 会把 key 偏向正值、破坏符号结构，需要逐架构消融；改进方向是把符号保持约束做进归一化或投影层，而非依赖事后移除激活。

作者提出的方向：把 CKDA 与 GDN-2 的独立 erase/write 门组合（其加性更新结构未被触碰）；对训练中门控与 $\beta$ 的功能性角色做机制分析（目前只知道“用了”，不知道“用做什么”）。基于本文成果可延伸的方向：（1）解释 CKDA 在 RULER 上远超 KDA 的现象（S-NIAH-1@1K 100 vs 32.2），检验负门控/复模态是否承担检索-擦除职能；（2）把谱刻画推广到 rank-$k$ 修正并给出复特征值对数上界，建立 DPR1→DPLR 的完整表达力地图；（3）在代码跟踪、可验证组合泛化、动作条件世界模型等下一代状态跟踪基准上检验旋转时钟构造的实际收益；（4）结合 robust state tracking 文献研究仿射递推的误差校正，可能需要把 CKDA 与非线性门（xLSTM 式）混合；（5）补齐 100B–300B token 的 over-training 区间实验，确认循环模型相对 Transformer 的优势是否在大 over-training 比率下收窄；（6）探索 spread 初始化与 Muon 等优化器的交互，缩小“表达力可得”与“SGD 可学”之间的差距。

复现条件较好。代码与模型均已开源（论文明确声明 open-source），实现是 FLA 库 KDA kernel 的小幅修改，提供三种实现路径：不改 kernel 的 PyTorch gauge 变换、Triton 融合 kernel、TileLang 混合后端，并给出符号变换的推导（Appendix E）。状态跟踪实验成本极低：单层 12 头×16 维、60k 步、Muon、batch 1024，单卡即可复现，全部超参（长度课程 4/6/8/16/32、三种子取最优）在 Appendix G.2 写明。音频实验的合成 groove（124 BPM、4096 Hz、32 帧×64 值）与训练协议也完整公开。成本大头在语言建模：340M/15B 规模适中，但 1.3B/100B FineWeb-Edu 复刻与 47M–1.7B/Nemotron-CC scaling 阶梯需要多机 H100/A100 集群（作者动用了 Leonardo、JUWELS、JUPITER 等 EuroHPC 资源）；好在 Table 4/5 公开了全部架构配置与训练配方（WSD/cosine、学习率、batch、MLP 宽度逐 arm 对齐参数量）。理论部分证明完整（Appendix C/D），可独立验证。总体：小规模结论（状态跟踪、谱机制、音频）容易复现，大规模 scaling 结论需要可观算力。