Prism：频谱感知的块稀疏注意力机制 Prism: Spectral-Aware Block-Sparse Attention

Prism 的完整流程包括以下步骤：(1) 频谱切片：将输入 Q, K 矩阵切分为高频带 $Q_{\text{high}}, K_{\text{high}}$（前 $d_{\text{high}}$ 维）和低频带 $Q_{\text{low}}, K_{\text{low}}$（后 $d_{\text{low}}$ 维）；(2) 独立池化：对两个频谱带分别应用块大小 $B$ 的均值池化，得到 $\bar{Q}_{\text{high}}, \bar{K}_{\text{high}}$ 和 $\bar{Q}_{\text{low}}, \bar{K}_{\text{low}}$；(3) RMS 计算：计算池化后各频谱带的 RMS 范数，用于衡量频谱能量密度；(4) 温度校准：根据公式 $\tau_z$ 计算各分支的温度缩放因子，使 logit 幅度与全频谱对齐；(5) 双频带评分：分别计算 $\bar{S}_{\text{high}} = \text{softmax}(\bar{Q}_{\text{high}} \bar{K}_{\text{high}}^\top / (\tau_{\text{high}} \sqrt{d_{\text{high}}}))$ 和 $\bar{S}_{\text{low}}$；(6) Top-P 选择：对每个分支应用 Top-P 选择生成二值掩码 $M_{\text{high}}$ 和 $M_{\text{low}}$；(7) 掩码合并：取并集 $M = M_{\text{high}} \cup M_{\text{low}}$ 作为最终块稀疏掩码。

论文的技术新颖性体现在三个层面：第一，理论贡献首次证明了均值池化在 RoPE 下的低通滤波特性，推导出频谱衰减因子的闭式解 $\lambda_j(B) \approx \text{sinc}(B\theta_j / 2\pi)$，定量描述了 '死区'、'过渡区' 和 '语义区' 三个频谱区域；第二，方法设计上首次提出频谱解耦的双频带估计策略，挑战了现有方法将注意力模式视为头级互斥属性的观点，证明它们实际上是单个头内频谱分离的；第三，校准机制上提出了基于 RMS 能量的温度校准公式，无需超参数调优即可自动恢复衰减信号，这是首个仅依赖块级操作就能实现精确估计的方法。

论文存在几个可以改进的弱点：第一，频谱带切分策略是静态的，基于理论分析确定固定维度，但不同层、不同头的频谱特性可能有差异，动态自适应切分可能进一步提升性能。第二，温度校准公式假设语义内容在块内局部平稳，虽然论文在附录中讨论了放松此假设的情况，但在高度非平稳的场景（如代码中的重复模式）中可能仍有精度损失。第三，合并策略简单取并集 $M = M_{\text{high}} \cup M_{\text{low}}$ 可能导致过度选择，学习一个加权合并或交集策略可能在相同密度下获得更好精度。第四，论文未探索与其他正交优化（如 KV cache 量化、Warp 级块跳过）的组合，这些优化与 Prism 的块重要性估计器是互补的。

基于 Prism 的频谱分析框架，未来研究可以向多个方向拓展：第一，将频谱感知设计扩展到自回归解码阶段，设计频谱感知的 KV cache 逐出策略，这在长对话和长文档生成中尤为重要。第二，探索频谱感知的训练策略，在预训练或微调阶段显式增强高频位置信号，可能从根本上减少衰减。第三，将 Prism 的理论分析扩展到其他位置编码方法，建立统一的位置编码-池化交互理论。第四，在更大规模模型和更长序列（如 1M tokens）上验证 Prism 的扩展性。第五，探索 Prism 在其他领域的应用，如长序列语音处理、基因组序列建模等。

论文提供了良好的可复现性支持。代码已在 GitHub 开源（https://github.com/xinghaow99/prism），包含自定义 Triton 内核实现。实验使用标准基准数据集（PG19、LongBench、RULER、VideoMME），这些数据集都是公开可获取的。论文提供了详细的超参数配置：块大小 $B=128$，频谱带 $d_{\text{high}}=64, d_{\text{low}}=96$，Top-P 阈值 $p=0.95$（Llama）或 $p=0.93$（Qwen）。然而，复现需要 H100 GPU 级别的硬件来获得论文报告的加速比，且 Triton 内核的实现可能需要针对不同 GPU 架构调整。此外，论文使用 Qwen3-VL-8B 进行视频任务，该模型的可用性可能影响部分实验的复现。