明暗注意力：在黑暗中消耗计算 Chiaroscuro Attention: Spending Compute in the Dark
基于频谱熵路由token，DCT处理平滑token，全注意力处理复杂token，节省37%计算
前置知识
离散余弦变换 (DCT)
DCT是一种将信号从时域转换到频域的正交变换，类似于傅里叶变换但只使用余弦函数。Type-II DCT将长度为d的向量x映射到频域表示，每个分量表示在第i个频率基上的能量。DCT具有能量压缩特性，平滑信号的能量会集中在少数低频系数上，这使得可以用O(d log d)的复杂度高效处理。在图像和音频压缩中广泛使用。
论文核心机制依赖DCT的能量压缩特性来区分平滑token和复杂token，理解DCT是理解为什么低熵token可以用廉价方法处理的关键
频谱熵
频谱熵衡量信号在频域中的复杂度，定义为DCT功率谱的香农熵。首先计算归一化的频谱分布，然后计算H(x)。H(x)在0到1之间，H=0表示所有能量集中在单一频率（最平滑），H=1表示能量均匀分布（最复杂）。低熵token（如功能词the、of）的DCT谱集中在低频，高熵token（如专业名词overwhelming、carbon）的频谱分布广泛。
频谱熵是论文的路由决策核心，直接决定了每个token使用DCT混合还是全注意力，理解它的计算和含义是理解整个方法的基础
自注意力复杂度
标准Transformer的自注意力机制计算复杂度为O(n²d)，其中n是序列长度，d是隐藏维度。这是因为需要计算n个token两两之间的注意力分数，得到n乘n的注意力矩阵。当序列长度增大时，这个二次复杂度成为计算瓶颈。各种高效注意力方法如Sparse Transformer、Longformer、Linformer等通过稀疏化、低秩投影、随机特征等方法将复杂度降低到线性或亚二次级。FlashAttention通过IO感知的tiling在不改变精度的前提下优化实际运行时间。
论文要解决的核心问题就是自注意力的二次复杂度，理解这个复杂度瓶颈才能理解为什么需要用DCT等子二次方法来替代部分注意力计算
RoPE (Rotary Positional Encoding)
RoPE是一种通过旋转查询(Q)和键(K)向量来编码相对位置信息的方法。具体来说，通过将向量在复数域中旋转不同角度来表示位置偏移，旋转角度与位置和维度相关。与绝对位置编码不同，RoPE能够自然地处理相对位置关系，并且不需要额外的可学习参数。在长序列建模中表现良好，被广泛应用于现代大语言模型。
论文的注意力分支使用RoPE作为位置编码，理解RoPE有助于理解为什么即使在部分层使用DCT，模型仍能保持位置信息感知能力
研究动机
标准Transformer的自注意力机制具有O(n²d)的二次复杂度，当序列长度n增大时计算成本急剧上升，成为实际应用的瓶颈。现有的高效注意力方法如Sparse Transformer、Longformer、Linformer、Performer、BigBird、Reformer等都使用固定的计算模式，不考虑每个token的信息内容，对所有token一视同仁。然而，并非所有token都需要同样的计算量：功能词（如the、of、many）语义简单、频谱平滑，用复杂注意力处理是浪费；内容词（如overwhelming、consensus、carbon）信息密集、频谱复杂，确实需要完整注意力。这种一刀切的计算分配方式导致大量计算资源被浪费在简单token上。
本文的目标是本文的目标是设计一个能够根据每个token的信息内容动态分配计算量的Transformer架构。具体来说，就是要让每个token自己信号它需要多少计算：对于低复杂度的token使用廉价的DCT频谱混合，对于高复杂度的token使用完整的自注意力，从而在保持模型性能的同时显著降低总体计算量。这个目标不仅是节省FLOPs，更是要建立一个理论驱动的、可学习的路由机制，让模型自动学会在什么情况下用多少计算。
与已有工作不同的是，现有方法都使用固定的计算模式，无法根据token级别的信息内容进行自适应计算分配。MoE（Mixture of Experts）虽然实现了token级路由，但路由的是到不同的FFN专家网络，用的是黑盒学习的gate，缺乏理论驱动。本文的独特切入角度是：（1）首次提出用频谱熵这一理论量来衡量token的计算需求，有坚实的信号理论基础；（2）不是路由到多个专家，而是在频谱混合和注意力这两个算子间路由；（3）发现了路由坍塌现象，揭示了三算子系统会坍塌到DCT+Attention这个最优子集；（4）MetaRouter在400M尺度稳定在g约等于0.22，给出了一个理论支撑的计算-质量平衡点。这种基于信号理论的自适应算子路由是前所未有的。
核心方法
CHIAR-Former的核心思想来自意大利语chiaroscuro（明暗法），这是文艺复兴时期绘画的一种技法，只在需要细节的地方用亮光，平滑区域留在便宜的阴影中。论文将这个原则应用到计算：只在信号复杂的地方消耗注意力预算，平滑区域用廉价方法处理。整体技术路线是：对每个token的embedding计算其DCT频谱熵H(x)，如果H(x)低于阈值tau则路由到DCT混合层，否则路由到全注意力层。同时引入一个可学习的MetaRouter，在任务级别软混合DCT混合和identity路径。直觉上，功能词的频谱集中在低频，熵低，用DCT就够；内容词的频谱分布广，熵高，需要全注意力捕捉复杂模式。通过这种token级的智能路由，模型可以在保持整体性能的同时大幅节省计算。
核心创新点是提出基于频谱熵H(x)的token级算子路由机制。与现有方法的关键区别在于：（1）路由信号是理论驱动的频谱熵，而不是黑盒学习的gate；（2）路由的是算子类型（频谱混合 vs 动态注意力），而不是复制专家网络；（3）有理论支撑：定理1证明了对于低熵信号，DCT能够实现近似最优的能量压缩；（4）发现了路由坍塌现象，三算子（DCT+RBF+Attention）系统会坍塌到DCT+Attention最优子集；（5）MetaRouter在400M尺度稳定在g约等于0.22，证明了结构归纳偏置在大尺度下仍然有效。这种设计不是简单的模型剪枝或稀疏化，而是从根本上改变了计算分配的逻辑。
方法步骤详情
CHIAR-Former的完整处理流程如下：输入是token嵌入序列X，其中T是序列长度，d是隐藏维度。首先计算每个token x的Type-II DCT频谱，然后归一化得到概率分布，计算频谱熵H(x)。在第一层L1，使用MetaRouter计算任务级gate g等于sigma(wg的转置乘以x_bar)，其中x_bar是batch和序列的平均嵌入，sigma是sigmoid函数，然后计算h1等于g乘以DCTMix(X)加上(1-g)乘以X，DCTMix的定义是LN(X + FFN(iDCT(DCT(X)逐元素乘以w)))，其中w是可学习的频谱滤波器。在层L2到L(N-1)，对每个token根据频谱熵路由：H(x)小于等于tau则走DCT分支，否则走Attention+RoPE分支。路由阈值tau等于(tau_low + tau_high)/2，其中tau_low和tau_high是冻结checkpoint上H(x)的33rd和67th百分位数，这样确保约50%token走每个分支。最后一层LN总是使用全注意力作为精度锚点。整个网络共有N层，每层都有共享的FFN确保参数公平。
技术新颖性
本文的技术新颖性体现在多个维度：（1）理论驱动的路由：首次用频谱熵作为token级路由信号，有DCT能量压缩定理支撑，不是启发式或纯学习的方法；（2）算子级MoE：虽然概念上类似MoE，但路由的是算子而不是专家，避免了参数复制；（3）路由坍塌发现：通过三算子实验揭示了DCT+Attention是最优算子子集，RBF会完全坍塌到0%，这个发现对后续设计有指导意义；（4）MetaRouter平衡点：g约等于0.22的稳定平衡点表明，即使在大尺度下，结构归纳偏置（频谱预处理）仍然有价值，这与ViT发现的卷积偏置在尺度下不会消失一致；（5）双操作模式：小规模/小数据时DCT充当强结构先验提供正则化，大规模/大数据时计算节省成为主要价值。这些新颖性使得CHIAR-Former不仅是另一个高效Transformer，更是对计算分配原则的深入探索。
实验结果
论文通过系统的实验揭示了几个关键发现。在16M小规模上的WikiText-103消融实验中（Table 1），Baseline（全注意力）的验证PPL为45.78，测试PPL为44.63；CHIAR的各种变体（软路由、硬路由、阈值路由）PPL在46-49之间，略差于Baseline，这符合预期——小容量时频谱归纳偏置收益递减。但16M实验成功建立了路由坍塌现象和验证了路由机制。真正的效率收益在400M大规模（Table 2）：Baseline（404M参数）验证PPL为23.73，测试PPL为23.58；CHIAR DCT+Attn（400M参数）验证PPL为27.75，测试PPL为27.51，只有3.93的PPL差距，却实现了约37%的总FLOP减少。Figure 1直观展示了16M和400M尺度下PPL差距约3-4点，计算节省随模型规模增大。Figure 2的400M训练曲线显示Baseline、CHIAR独立训练和CHIAR混合训练都稳定收敛。Figure 3的路由热力图生动展示了功能词走DCT（蓝色）、内容词走注意力（红色），约50/50分叉。Figure 4的MetaRouter轨迹显示gate从0.50下降并稳定在g约等于0.22，这是一个健康的任务分工平衡。混合数据集实验在WikiText-103上得到测试PPL 28.56（vs 单数据集27.51），1.05 PPL的多任务成本换来了泛化能力。最重要的是在2.4M token的小语料WikiText-2上，混合训练的频谱正则化显著优于单独训练的全注意力，证实了DCT在有限数据上的强结构先验作用。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WikiText-103 语言建模 (400M参数) | Test Perplexity | 27.51 (CHIAR DCT+Attn) | 23.58 (Full Attention + RoPE) | PPL增加3.93，但FLOP减少约37%，参数减少4M |
| WikiText-103 语言建模 (16M参数) | Test Perplexity | 48.34 (CHIAR Threshold) | 44.63 (Full Attention + RoPE) | PPL增加3.71，主要用于验证路由机制和发现坍塌现象 |
| WikiText-2 小语料泛化 | 泛化性能 | 混合训练显著优于单独训练 | 全注意力单独训练容易过拟合 | DCT能量压缩作为强结构先验提供正则化，小数据场景下优势明显 |
局限与改进
论文坦诚地讨论了一些局限性。首先，当前的MetaRouter使用软混合，即使g约等于0.22，DCT仍然会被计算，没有完全实现FLOP节省，推理时的硬门控是未来工作。其次，实验主要集中在语言建模任务，缺乏在下游NLP基准（GLUE、SuperGLUE）上的fine-tuning结果，无法评估在其他任务上的泛化性。第三，MetaRouter的初始化bias设为2.0以g约等于0.88开始，这个选择是经验性的，缺乏理论解释。第四，目前只在WikiText文本上验证，没有在代码、数学、多模态等其他领域测试。第五，论文提到定理1依赖于近似Toeplitz协方差的平稳性假设，实际语言数据可能不完全满足，但实验表明这个假设在实践中是可接受的。最后，虽然400M达到37% FLOP减少，但PPL gap 3.93在一些应用场景中可能不可接受，需要根据具体任务权衡。
独立分析的弱点
独立分析 reveals 几个潜在弱点。第一，小规模性能劣势：16M时CHIAR变体PPL比Baseline高约2-4点，这表明在计算受限场景下（边缘设备、移动端），频谱归纳偏置的收益可能无法弥补容量损失，改进方向可能是设计尺度自适应的路由策略。第二，频谱假设限制：DCT能量压缩依赖于信号的频谱特性，对于本身就需要高频捕捉的模式（如代码语法、数学公式）可能效果不佳，可以考虑混合多种频域变换（DWT、DFT）或学习频域基。第三，软混合开销：MetaRouter的软混合即使g很小时也要计算DCT，这部分开销在大规模上不容忽视，改进是实现训练时软混合、推理时硬门控。第四，超参数敏感性：路由阈值tau依赖checkpoint的百分位数统计，不同数据集可能需要重新校准，改进可以是自适应阈值或learned threshold。第五，缺乏跨任务泛化：只在语言建模上评估，在序列分类、问答、摘要等任务上的效果未知，需要更全面的下游任务验证。第六，硬件优化未做：DCT可以用FFT加速实现，论文没有讨论硬件层面的优化，实际部署的收益可能更大。
未来方向
基于论文成果，有几个有前景的未来研究方向。作者提出的未来工作包括：推理时硬门控MetaRouter以实现完整FLOP节省；扩展到1B+更大参数规模；在GLUE、SuperGLUE等下游NLP基准上进行fine-tuning评估。基于成果可以延伸的方向包括：（1）多算子扩展：当前DCT+Attention最优子集可以扩展到更多算子（如Wavelet、Learned Frequency Bases），探索更丰富的路由空间；（2）层级路由：不仅在不同层间路由，还可以在attention heads间路由，实现更细粒度的计算分配；（3）跨模态验证：在视觉、音频、视频等模态上测试频谱熵路由，验证这个原则的通用性；（4）动态阈值：用强化学习或元学习自适应调整tau，而不是固定的百分位数统计；（5）理论深化：建立频谱熵路由与计算复杂度理论的形式化联系，给出计算-质量权衡的理论界限；（6）硬件协同设计：针对DCT+Attention架构设计专用硬件或优化库，充分发挥计算节省潜力；（7）蒸馏与量化：将CHIAR-Former的知识蒸馏到更小模型，或结合量化进一步压缩。这些方向都能建立在本文的理论和实验基础上。
复现评估
论文的复现性评估如下：优点是实验配置详细——小规模16M（d=256, 4 heads, 4 layers）、大规模400M（d=1024, 16 heads, 28 layers），使用AdamW优化器、cosine学习率、最大10的负4次方、序列长度256、混合精度训练、fp32权重更新，硬件是单张NVIDIA RTX A5000（24GB VRAM），训练步数18,062，这些参数都很具体。数据集WikiText-103和WikiText-2都是公开的。关键超参数如tau=0.8954（400M scale）、MetaRouter初始化bias=2.0都明确给出。但论文没有提供代码仓库链接或GitHub地址，这是复现的主要障碍。虽然感谢了PyTorch、HuggingFace Transformers和WikiText数据集的开源社区，但没有说明具体代码实现是否开源。单张A5000 (24GB) 的硬件要求对于学术实验室来说是可及的，不是特别高的门槛。总体而言，如果代码开源，复现难度中等；如果代码不开源，复现难度较高，需要从论文描述重新实现复杂的路由机制和MetaRouter训练逻辑。建议作者提供代码仓库和预训练checkpoint，以提高可复现性。
论文图表
