注意力的意外：时间序列异常检测的可预测查询动力学 Surprised by Attention: Predictable Query Dynamics for Time Series Anomaly Detection

方法步骤完整描述如下：输入是一个固定长度窗口X∈R^{T×F}，首先通过共享线性投影和可学习位置偏置映射到每时间步表示H_on = LN(XW_e + b_e + P)，其中P∈R^{T×D}是位置编码。重建通路使用多头自注意力计算(Q_rec, K, V)∈R^{N_h×T×d_h}，通过标准注意力得到上下文特征Z，经过前馈网络和输出头得到重建X̂，重建分数d_rec = (1/T)∑_τ‖x̂_τ - x_τ‖_2^2。预测通路首先构建时间偏移嵌入流e_H[τ] = {0, τ≤s; H_on[τ-s], τ>s}确保无信息泄漏，然后通过因果时间卷积网络g(·)预测多头查询Q̂_pred = g(e_H)∈R^{N_h×T×d_h}。EMA目标网络参数θ_tgt通过θ_tgt←mθ_tgt+(1-m)θ_on更新，产生目标嵌入H_tgt和目标查询Q_tgt = reshape_{N_h}(H_tgtW_tgt^q)。训练时最小化重建MSE和遮蔽余弦损失：L_JEPA = E_{(h,τ)∈M}[(1-⟨q̂_pred,stopgrad(q_tgt)⟩)/(‖q̂_pred‖‖stopgrad(q_tgt)‖+ε)]，其中M是通过连续时间块遮蔽采样的时间步集合。推理时计算尾部聚合查询不匹配：d_q = (1/(N_h·k_eff))∑_{h=1}^{N_h}∑_{τ=τ0}^T[1-⟨q̂_pred, q_tgt⟩/(‖q̂_pred‖‖q_tgt‖+ε)]，其中τ0 = max(s+1, T-k+1)和k_eff = T-τ0+1确保满足历史约束和尾部聚焦。最后对d_rec和d_q分别使用正常训练窗口的中位数和四分位距进行稳健标准化rz(u) = (u-median(u))/(IQR(u)+ε)，最终异常分数为S(X) = rz(d_rec(X)) + rz(d_q(X))

技术新颖性体现在多个方面：首先，将查询预测作为监督和评分目标，使得训练目标和推理评分信号保持一致（都使用余弦距离），这与现有方法监督值或潜在状态并推理时评分残差有本质区别。其次，采用EMA目标网络和遮蔽监督提供稳定训练，避免直接监督注意力图或值输出，消除了对注意力权重的直接依赖。第三，尾部聚焦的查询不匹配分数强调最近时间步，使其对异常的响应更及时。第四，稳健标准化和加法组合使得双分数能够在异构数据集上无需标签校准即可可靠工作。第五，方法同时保留幅度级检测（通过重建误差）和结构性依赖检测（通过查询不匹配），在单一阈值下捕获所有异常类型

独立分析的弱点及改进方向如下：首先，方法假设平稳标称动态，在实际非平稳环境中查询可预测性可能随时间变化，可以引入自适应EMA动量或在线统计量更新机制。其次，尾部聚合长度k固定为10可能不适合所有应用场景，可以设计自适应k选择策略或多个k的集成。第三，训练成本较高，可以通过知识蒸馏将预测通路压缩为轻量级模型。第四，方法对超参数（如m、遮蔽比率）敏感，可以设计自动化超参数搜索或贝叶斯优化框架。第五，在异常率较高场景，稳健统计量估计可能偏差，可以引入异常鲁棒统计方法或半监督设置。第六，方法仅预测查询向量而忽略keys和values，可以探索联合预测更完整的注意力结构

作者提出的未来研究方向包括：探索将查询预测扩展到其他架构如Vision Transformer用于视频异常检测；研究在在线设置中动态调整EMA动量和尾部聚合长度；将方法应用于更多领域如金融时间序列或工业物联网监控。基于成果可延伸的方向包括：将查询可预测性与其他自监督目标（如遮蔽值预测）结合形成多任务学习；研究查询不匹配在不同类型异常（幅度异常、协调异常、上下文异常）上的响应模式，设计异常类型分类器；探索在多模态设置下将查询预测与其他模态的特征对齐；研究在联邦学习设置中分布式训练EMA目标网络；将方法与可解释性工具结合，通过查询不匹配溯源到具体通道或依赖关系的变化

复现评估：论文已开源代码（https://github.com/iis-esslingen/AxonAD），包含模型实现、训练脚本和评估协议。专有车辆遥测数据未公开，但TSB-AD基准是公开的。实验在单个Apple MacBook Pro (M3 Max, 32GB统一内存)上使用PyTorch with Apple Silicon加速运行，配置为T=100、D=128、8个注意力头、预测视界s=1、尾部长度k=10、学习率5×10^-4、批量大小128、最多50个epoch、耐心3。所有实验在4个随机种子{2024,...,2027}上重复，报告均值和标准差。超参数在TSB-AD调优组件（20个多变量序列）上选择然后固定，遥测标签从未用于超参数选择、阈值化、后处理或早停。早停使用固定标准（验证重建误差）在从标称训练前缀划分的无标签分割上进行。由于开源代码、公开基准和详细配置，复现难度中等，主要挑战是计算资源（Apple Silicon）和长时间训练（334秒拟合时间）