周期性弱点：分块 KV 缓存压缩引发的相位敏感性 Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression
分块 KV 缓存压缩使检索精度随信息相对压缩窗口的相位周期性波动，差距可达 40 个百分点。
前置知识
KV 缓存与分块压缩
Transformer 自回归推理会缓存每个 token 的 key/value 向量以避免重复计算，长上下文下其显存与注意力开销随长度增长。分块 KV 压缩把连续 $W$ 个 token 的表示池化成更少的缓存条目，每隔步长 $S$ 个 token 产生一条，如 DeepSeek-V4 的压缩稀疏注意力 CSA 用 8-token 窗口、步长 4。
论文的研究对象就是这种压缩引入的周期结构，理解窗口、步长与压缩门控的含义是读懂全文的前提。
相位（phase）
token 在序列中的零基位置 $t$ 对压缩步长 $S$ 取模得到的坐标 $t \bmod S$，刻画它相对压缩窗口边界的位置。在输入前增删几个填充 token 会改变内容与窗口的对齐方式，却不改变 token 内容与相对顺序。
相位是本文新定义的坐标，全部主要结论——相位敏感性、相位特化——都按它测量和陈述。
Needle-in-a-haystack（NIAH）检索
在超长上下文中插入大量 key–value 对，在末尾询问某个 key 对应的 value，考察长程检索能力。本文进一步控制填充长度，使目标 key 的相位在分组间变化，而其绝对位置的均值与方差保持一致。
相位敏感性的定量证据几乎全部来自这类受控检索实验，理解其构造才能理解结论的可信度。
因果干预与均值替换 knockout
把某个注意力组件在评分位置的输出替换为它在多条校准 prompt 上的均值，抹去与当前 prompt 相关的具体信息后重跑前向，观察准确率按相位下降的幅度，从而建立该组件与该相位检索之间的因果关系。
'相位特化'（不同注意力头服务不同相位）正是靠这种干预证明的，第 4 节的所有因果结论都依赖它。
梯度流（gradient flow）
梯度下降把学习率取无穷小、时间连续化的极限，动力学为 $\dot{\theta}=-\nabla \mathcal{L}(\theta)$，可用常微分方程工具分析训练最终流向哪里，是研究对称性破缺与特征学习的标准理论工具。
第 5 节的两个定理都在梯度流下证明压缩门控会收敛到'静态集中'的硬选择，不熟悉它就看不懂理论部分。
归纳任务（induction task）
序列中出现过的 token 再次出现时，模型需预测其后继（bigram 级检索），是研究注意力'查找—复制'回路的标准玩具任务。本文把它移植到压缩注意力：每个窗口被压成一条 entry，查询在压缩之后才到来。
理论部分正是在压缩注意力下的归纳任务上，证明最优压缩为何偏爱特定相位、训练为何使其固定。
研究动机
长上下文推理中 KV 缓存的显存与注意力开销随上下文长度增长，分块 KV 缓存压缩（如 DeepSeek-V4 的压缩稀疏注意力 CSA，8-token 窗口、步长 4）将连续 token 压成更少的缓存条目以降低成本。但压缩发生在查询到来之前：每条摘要都是 query 无关的，必须为未来可能的问题保留信息，这给上下文强加了周期结构——每 $S$ 个 token 开始一个新压缩窗口，每个 token 因此多出一个新坐标：相位。此前的位置偏差研究（如 Lost in the Middle 的 U 形曲线）关注目标在上下文中的绝对深度，RULER 与 KV 压缩评测工作也指出平均分掩盖方法特异的失效，但没有人检查检索性能随压缩相位的变化。论文发现 DeepSeek-V4 家族在 128K 上下文的 NIAH 检索中，不同相位组的准确率差距高达 40.2 个百分点；更令人不安的是，在让模型补全自家推理代码这类真实任务中，仅改变前缀装饰注释的长度，top-1 预测就会每 4 个 token 周期性翻转（$\Delta=P(8)-P(32)$ 从 $-0.79$ 摆到 $+0.95$）。这类周期性弱点被任何平均分完全掩盖。
本文的目标是本文目标分三层。第一，确证现象：在真实生产级模型（DeepSeek-V4、V4.1 全系）中系统测量检索性能随源信息相位的变化，并排除混淆——各 residue 组共享 prompt 长度、查询位置和 key–value 绑定，且目标绝对位置的均值与方差严格一致，差距只能归因于相位。第二，定位成因：从零预训练一批以 Qwen3-0.6B 为骨架、以分块 KV 压缩为唯一实质架构改动的模型，系统变化窗口 $W$、步长 $S$、门控形式、KV 头数、位置编码等设计，检验周期是否跟随步长、是否需要学习门控或 RoPE。第三，给出机制与理论：用 KV 头 knockout 和门控循环等因果干预刻画'相位特化'（不同注意力头不对称地服务不同相位），并在理想化压缩归纳任务上证明为何最优压缩是尖锐的一味选择、梯度流为何使其静态化；最终为压缩模型确立'必须按相位评测'的评估原则。
与已有工作不同的是，本文的独特切入是把'相位'（源 token 位置对步长取模）确立为新的位置坐标，并围绕它组织完整证据链。与已有工作的区别有三：其一，Lost in the Middle 等位置偏差研究关注目标的绝对深度，相位则是随压缩步长周期重现的细粒度坐标，两者正交；其二，Deng 等在 gist 压缩中发现的'边界锯齿'变量是查询/生成位置在当前 2K 段内的位置，本文的相位变量是已压缩记忆内部源位置对小步长的取模；其三，以往对 retrieval heads 的研究确立了头之间的分工（如 DuoAttention 按头保留缓存），但未检查头的贡献是否随相位系统变化。方法上，作者没有停留在黑盒评测，而是用统一骨架从零预训练 26 个变体（23 个压缩 + 3 个全注意力）做受控归因，其中包括'均匀平均池化的模型也出现相位敏感性'这类排除学习门控必要性的关键实验，这种'现象—归因—机制—理论'的完整闭环在同类失效分析中少见。
核心方法
整体思路是'现象—归因—机制—理论'四步递进。直觉上：压缩把每 $W$ 个 token 汇成一条缓存条目，同一条信息落在窗口内不同偏移（相位）时被压缩的方式不同，保留保真度随之不同；如果不同注意力头在训练中各自收敛到对固定窗口偏移的偏好，检索准确率就会随相位周期性起伏，形成'弱点'。技术上：第一步，用装饰性前缀长度扫描的代码补全实验和精心匹配各 residue 组目标位置均值/方差的 128K NIAH，测量 DeepSeek-V4 家族的相位敏感性；第二步，从零预训练 Qwen3-0.6B 骨架的 26 个模型，压缩核由 payload 映射 $C$、门控映射 $Z$ 与位置偏置 $b$ 参数化（$b^{\mathrm K}_j=\sum_i \alpha^{\mathrm K}_{j,i}\odot C^{\mathrm K}_i h_{j,i}$，$\alpha$ 为窗口内 softmax），系统变化 $W/S$、KV 头数、标量/向量门控、RoPE 等，在 Prefix 与 In-sequence 两种填充协议下测 24 个 residue 的准确率；第三步，用均值替换 knockout 逐头干预，并用门控循环（把某偏移的门控参数循环移位 $\delta$）做因果检验；第四步，在理想化归纳模型上证明两个定理，说明最优压缩为何是一味的相邻选择、梯度流为何让每个头固定在一个相位。
核心创新是提出并系统刻画'相位敏感性'这一失效模式及其机制'相位特化'。与已有工作的本质区别有四。第一，新的测量观：对使用分块压缩的模型，平均准确率不足以评估可靠性，必须按相位分解测量——例如把输入平移几个 token 而保持被查信息不变，观察准确率是否周期翻转。第二，新的归因路径：通过受控预训练证明分块压缩本身就足以产生周期性弱点，与 RoPE、学习门控或数据无关——均匀平均池化的模型照样出现周期（差距 19.2pp），NoPE 模型差距仍有 40.9pp，而全注意力基线差距 ≤6.1pp。第三，机制发现'门控静态集中'：部分头的压缩门控在训练中收敛到对固定窗口偏移的持久偏好（key 偏好 $r$、value 偏好 $r+1$ 的 bigram 式配对），其 knockout 损失恰好集中在偏好相位。第四，门控循环干预给出因果性：把门控映射与偏置循环移位 $\delta$ 后，窗口内准确率模式随之平移 $\delta$ 个相位（$R^2$ 最高 1.00），而边界相位不受影响，既支持门控偏好的因果贡献，也划定了它的解释边界。
方法步骤详情
方法分四步。第一步，行为测量：构造以 FP8 类型转换收尾的代码补全 prompt，用 16 个长度（24–39 token）×4 个填充家族扫描装饰性前缀，记录 $\Delta=P(8)-P(32)$；同时构造 128K NIAH，每条含 16,000 对 key–value，按源 key 位置 mod 8 分 8 组，各组共享 prompt 长度、查询位置与绑定关系，且目标位置统计一致（$\mathbb{E}[\ell]=24$），以 answer-prefix 准确率评分。第二步，受控预训练：以 Qwen3-0.6B（28 层、隐宽 1024）为骨架实现压缩核（$b^{\mathrm K}_j=\sum_i \alpha^{\mathrm K}_{j,i}\odot C^{\mathrm K}_i h_{j,i}$，$\alpha$ 为窗口内 softmax），共 26 个 run（23 压缩+3 全注意力），各训 100B token，序列长 2048、batch 1024、峰值学习率 $2\times10^{-3}$ 余弦退火至 $2\times10^{-5}$，终态为 step 47,518；检索评测用 64 个动物-人名单单 token 对，按 mod 24 构造 24,000 条 prompt，含 Prefix（整体平移）与 In-sequence（记录间插占位符，干扰项相位不随目标移动）两种填充协议。第三步，机制干预：对每个 KV 头在评分位置做均值替换 knockout（读者查询头输出换成校准均值），按相位记录相对准确率变化；用 $\exp(H(\mathbb{E}[\alpha]))$ 与 $\mathbb{E}[\exp(H(\alpha))]$ 分别度量门控的静态与输入依赖集中；再把层 3–23 门控参数循环移位 $\delta\in\{\pm1,\pm2,\pm3\}$，检验准确率模式是否平移 $\delta$ 个相位。第四步，理论分析：在 $L\ge4$ 块、每块 $S\ge3$ 个不同 token、查询块内后继的设定下，证明 oracle 类最优解为一味相邻选择（定理 1），线性门控从对称小初始化出发的梯度流以高概率收敛到每头固定选择（定理 2）。
技术新颖性
技术新颖性体现在四个层面。现象学上，这是首个报告大模型检索性能随压缩步长内部周期变化的工作：此前所有位置偏差研究（Lost in the Middle、RULER、Deng 等的段边界锯齿）的变量都不是'源位置 mod 小步长'。实验设计上，两个受控技巧很关键：NIAH 构造保证各 residue 组目标绝对位置的均值与方差严格一致（均值 64,000、方差 28），排除'只是位置不同'的解释；In-sequence Padding 在记录间插入单 token 占位符来改变相位，使干扰项不随目标同步平移，回应'效果可能来自干扰项'的质疑。机制上，把门控偏好分解为静态集中 $\exp(H(\mathbb{E}[\alpha]))$ 与输入依赖集中 $\mathbb{E}[\exp(H(\alpha))]$ 两个可分离的量，并设计门控循环干预——只移动门控映射与偏置、不动 payload——把'门控偏好决定弱相位'从相关性提升为因果性（W12/S12 上 $R^2=0.984/0.995$）。理论上，定理 1 在 oracle 类（压缩可任意依赖上下文但不能看查询）上证明一味硬选择是全局最优且 $\varepsilon=0$ 时各头互补覆盖，定理 2 进一步证明线性门控从对称小初始化出发的梯度流以高概率破缺到每头固定路线，把'压缩在查询前发生'这一约束与尖化、平衡两种压力的形式化联系起来。
实验结果
逐一看核心实验。其一，DeepSeek-V4 家族 128K NIAH（表 7）：Flash-Base 平均 52.6%、最优-最差 residue 差距 40.23pp（各 residue 29.69%–69.92%）；后训练 Flash-0731 为 91.4%/19.14pp；Pro-Base 72.1%/34.77pp；Pro-0813 84.4%/14.84pp；V4.1-Flash 92.38%/6.09pp 且四个偶数 residue 全高于奇数。四个 V4 模型 residue $r$ 与 $r+4$ 平均差仅 1.07–1.95pp，与 4-token 周期一致。其二，代码补全（图 1、表 2/5/6）：Flash-Base 的 top-1 严格按 $L\bmod 4\in\{2,3\}$ 预测正确的 8，$\Delta$ 从 $-0.786$ 到 $+0.948$，64 次测量中 60 次符合周期模式；无分块压缩的 V3.1-Base 仅 4/64 错排且 $|\Delta|<0.07$；Omarchy 与 SQL 例子里 0731 与 V4.1-Flash 分别呈精确 4 周期与 2 周期交替。其三，受控预训练（图 3、表 8）：参考 W8/S8 1KV 差距 75.3pp（最差 residue 仅 5.7%，均值 50.6%）；8KV 压缩模型均值 59.4% 接近全注意力 61.1%（val loss 2.431 vs 2.437），但最差 residue 9.9% vs 58.4%；周期跟随步长（$S=4/6/8/12$ 给约 4/6/8/12-token 周期），跨种子、双协议、无 RoPE、均匀平均门控（差距降至 19.2pp 但均值跌至 12.5%）均存在，全注意力基线差距 ≤6.1pp。其四，机制（图 4/5/19）：全注意力 knockout 呈均匀横条纹，压缩模型与 DeepSeek-V4-Flash-Base 呈相位特异图案（最大损失在层 22/24，压缩率 128 的奇数层贡献甚微）；层 9/10/14 门控分别偏好窗口后/中/前段偏移且 value 偏后一偏移，knockout 损失峰与门控峰重合；门控循环后准确率按预测平移（排除边界相位后 $R^2$ 0.66–1.00），边界相位始终 ≤2.9% 未被修复。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 128K NIAH 检索（DeepSeek-V4-Flash-Base） | answer-prefix 准确率，最优-最差 residue 差距 | 均值 52.6%，差距 40.23 pp | 预训练同规模全注意力基线（无分块压缩） | 全注意力基线差距 ≤6.1 pp，相位差距约为其 6.6 倍 |
| 128K NIAH（DeepSeek-V4.1-Flash） | answer-prefix 准确率 | 均值 92.38%，差距 6.09 pp（偶数 residue 全高于奇数） | 同家族 DeepSeek-V4-Flash-Base（52.6%，40.23 pp） | 差距缩至约 1/6.6，但奇偶分层仍揭示残余相位结构 |
| 预训练 W8/S8 1KV 模型 NIAH（mod 24，全词表 top-1） | 均值 / 最差 residue 准确率 / 差距 | 50.6% / 5.7% / 75.3 pp | 全注意力 1KV 基线：18.8% / 17.2% / 3.1 pp | 均值领先 31.8 pp，但最差 residue 反而低 11.5 pp，暴露均值指标盲区 |
| 8KV 压缩 vs 全注意力 NIAH | 均值 / 最差 residue 准确率（val loss） | 压缩：59.4% / 9.9%（2.431） | 全注意力 8KV：61.1% / 58.4%（2.437） | 均值与 loss 几乎持平，最差 residue 却差 48.5 pp |
| FP8 代码补全填充扫描（4 家族 × 16 长度） | 错排次数（把 32 排在 8 之上） | DeepSeek-V4-Flash-Base 28/64，按 $L\bmod 4$ 周期分布 | DeepSeek-V3.1-Base（无分块压缩）4/64 且 $|\Delta|<0.07$ | 定位分块压缩为周期翻转来源 |
| 门控循环干预（W12/S12 4KV，层 3–23） | 预测-观测准确率变化的决定系数 $R^2$ | $\delta=+1$: 0.984；$\delta=-1$: 0.995（排除边界相位） | 无干预（恒等预测，$R^2$ 无意义） | 证明门控偏好因果地决定窗口内弱相位的分布 |
局限与改进
作者承认的局限：机制结论在受控设定中最强，不能确立大型异质模型中相位敏感性的普适成因；门控循环无法恢复边界相位（每个循环下边界相位准确率 ≤2.9%，未循环模型为 2.7%–23.9%），边界不对称与窗口内不对称尚无统一解释；跨头/跨层显式协调能否在不牺牲平均性能与压缩效率的前提下拉平相位仍是开放问题；相位敏感性对鲁棒性的影响（如保义改写在上下文中平移是否按相位改变拒答/服从）只留作未来工作。我的补充观察：评测以单 token needle 为主，key/value 均为单 token 且 key–value 记录恰为 4 token（与步长对齐），对真实多 token 事实、语义检索的代表性未知；预训练模型仅 0.6B/100B token，缩放到大模型规模是否保持定量结论未验证；理论假设嵌入固定、Q/K/V 映射为恒等、精确几何（$\varepsilon=0$）、注意力尺度 $\gamma\le1$，离实践较远，且定理 2 不保证头间互补覆盖；DeepSeek 侧只能做层粒度的读出端干预，无法触及具体查询头与压缩算子；论文没有提出任何缓解方法——均匀平均虽把差距缩到 19.2pp 但均值准确率暴跌至 12.5%，说明'更平滑'与'更好'并不等价；另外不同推理后端（TileLang/vLLM/BF16 输出投影补丁）也引入了混杂因素。
独立分析的弱点
独立分析的弱点与改进方向。第一，只有诊断没有药方：论文确认弱点但未提出缓解，可以尝试跨头相位覆盖正则（鼓励不同头的门控偏好互补偏移，呼应定理 1 的互补覆盖结论）、窗口起点随机化的训练增广（迫使门控偏好去位置化）、以及在 NSA/MoBA 式混合注意力中用精确细粒度分支在弱相位兜底。第二，评测生态单薄：NIAH 为单 token 动物名检索，与真实长文档 QA、代码库级任务距离较远（尽管附录 B 的三个代码/SQL 例子已显示真实痕迹），应构建按相位分层报告的自然任务基准，并报告 worst-phase 与 gap 而非只有均值。第三，规模与训练动态覆盖不足：全部预训练为 0.6B、序列长 2048，相位效应随模型规模、序列长度、训练进度（论文只给 step 47,518 终态与图 5a 的早期轨迹）和后训练/RLHF 的交互都未知，值得系统扫描。第四，理论过窄：固定嵌入、恒等映射、$\varepsilon=0$、无跨头 softmax 耦合，且定理 2 不保证互补覆盖——这与实证中'不同种子偏好不同相位、唯一复现的是各种子都有一个偏好相位 0 的头'一致，但头间分工如何涌现仍是空白，可放松假设或研究多层压缩链路。第五，对 DeepSeek 系只能做读出端干预，无法验证其 CSA 门控是否静态集中（官方核的门控参数在半窗内共享，未必逐偏移可分），可在开源复现中检验并设计能被门控循环干预的核。
未来方向
未来方向分两类。作者明确提出的：统一解释边界相位与窗口内相位两类不对称——门控循环只移动了窗口内模式而边界纹丝不动，暗示存在独立的边界电路或池化伪影；研究跨头/跨层显式协调能否拉平各相位而不牺牲平均性能与压缩效率；系统检验相位敏感性对鲁棒性的影响，例如语义等价的请求在上下文中平移后，拒答/服从行为是否按压缩相位周期变化。基于本文成果可延伸的：其一，把'按相位评测'制度化——为压缩模型建立类似 RULER 的相位分层基准与报告规范（worst-phase、gap、周期性检验）；其二，缓解设计——相位覆盖正则、可学习步长、重叠窗口的系统研究（论文中重叠 W8/S4 把差距从 75.3 降到 39.8pp，存在剂量效应值得刻画）、推理时相位对齐填充（把关键信息垫到优势相位）；其三，机制推广——检验门控静态集中是否也出现在 Activation Beacon、CAT 等 gist/压缩方法中，与 retrieval-head 文献（DuoAttention、RazorAttention 按头保 KV）结合出'按相位保真'的缓存分配策略；其四，理论扩展——把定理推广到学习到的 Q/K/V 映射、多层压缩与 $\varepsilon>0$ 的各向异性几何，并解释不同种子选择不同相位的破缺机制；其五，与系统优化的交互——FP8/FP4 量化、缓存逐出策略是否会放大或掩盖相位弱点，以及在 MoE 大模型上验证现象规模律。
复现评估
复现评估。模型侧：DeepSeek-V4/V4.1/V3.1 均为公开权重，但 V4-Flash-Base 需官方 TileLang 实现（模型并行 4、FP8 专家权重），128K×2,048 条 prompt 的预填充按 1,024-token 分块，需要长上下文推理设施（V4.1-Flash 用 vLLM TP8/EP8）；论文还用 BF16 输出投影修复了 V3.1 的概率并列问题，复现者需注意后端差异。预训练侧：26 个 run 均为 Qwen3-0.6B 骨架 + 100B token，单 run 约 $6\times10^{19}$ FLOPs 量级，对有稳定集群的团队是数天级任务，但 23 个压缩变体加 4 个种子共 30 个 run 的总算力不小；架构与超参在附录 D 给得非常完整（门控公式 1–2、RoPE 频率 $\theta=10^6$、$d_r=128/16$、局部窗 $T=16$、AdamW $\beta=(0.9,0.95)$、权重衰减 0.1、lr $2\times10^{-3}\to2\times10^{-5}$ 余弦、batch 1024×2048、种子 42–45、终态 step 47,518）。评测侧：附录 B–C 给出 prompt 的逐 token 构造（token ID、填充直方图 $H_0$–$H_7$、$\mathbb{E}[\ell]=24$、$\mathbb{E}[\ell^2]=604$、生成种子 20260720/20260722），理论上可精确重建评测集。论文正文未声明开源代码与数据，knockout 与门控循环的实现需按附录 E–H 的数学定义自行编写。总体难度中高：检索与行为实验可较顺利复现，DeepSeek 128K 大规模评测与 30 次预训练是主要成本；理论证明完整给出在附录 A，可逐行验证。
论文图表
让 DeepSeek-V4-Flash-Base 补全自家 FP8 量化推理代码，prompt 止于类型转换中的 FP，正确续写为 8。(a) prompt 示意与支持 8 的上下文线索；(b) 按填充长度 $L\bmod 4$ 分组的平均 P(32) 与 P(8)（0.915 vs 0.072 等）；(c) P(8)、P(32) 随 $L$（24–39）的概率曲线：每 2 个 token 翻转、每 4 个 token 重复，周期恰为 CSA 步长。
这是相位敏感性的第一个直观证据：只改装饰注释的长度就能周期性颠倒 top-1 预测，把抽象的'相位'概念落到一个可亲手复现的例子上。
5 个模型（两个 W12/S12、三个 W8/S8 1KV 种子）× 6 个循环量（$\delta=\pm1,\pm2,\pm3$）的网格：每格上方为循环后相位准确率与预测平移的对比，下方为预测-观测变化散点。排除边界相位后 $R^2$ 范围 0.66–1.00；边界相位准确率在所有循环下保持 ≤2.9%；循环使整体准确率下降 3.3–18.4pp。
显示因果平移现象跨模型与循环量的普适性，同时暴露其边界：门控解释覆盖窗口内不对称，但不解释边界相位，为论文坦承的未解问题提供直接证据。