HyTRec：面向长行为序列推荐的混合时间感知注意力架构 HyTRec: A Hybrid Temporal-Aware Attention Architecture for Long Behavior Sequential Recommendation

HyTRec的方法可分为四个关键步骤。第一步是序列分解：将用户的长交互序列 $S^u = [x_1, x_2, \ldots, x_n]$ 分解为两个不相交的子序列——短期行为序列 $S^u_{short} = [x_{n-K+1}, \ldots, x_n]$（长度固定为K）和长期历史行为序列 $S^u_{long} = [x_1, \ldots, x_{n-K}]$（长度为 $n-K$）。第二步是双分支数据流处理：短期分支对 $S^u_{short}$ 应用标准多头自注意力（MHSA）以确保对近期行为的最大精度；长期分支对 $S^u_{long}$ 应用混合注意力架构，该架构由N个编码层组成，以7:1的比例交替使用TADN层和标准注意力层。第三步是TADN的计算：首先计算时间衰减因子 $\tau_t = \exp(-(t_{current} - t_{behavior})/T)$，然后生成时间感知门控 $g_t = \alpha \cdot [\sigma(W_g \cdot \text{Concat}(h_t, \Delta h_t) + b) \odot \tau_t] + (1-\alpha) \cdot g_{static}$，其中 $\Delta h_t = h_t - \bar{h}$ 是短期偏好特征，$g_{static} = \text{softmax}(h_t^T \bar{h} / \sqrt{d})$ 是长期偏好的静态门控。接着进行信息融合 $\tilde{h}_t = g_t \odot \Delta h_t + (1 - g_t) \odot h_t$。第四步是状态更新与输出：将融合特征集成到DeltaNet框架中，状态更新规则为 $S_t = S_{t-1}(I - g_t \beta_t k_t k_t^T) + \beta_t v_t k_t^T$，最终输出 $o_t = S_t q_t$ 可以表示为带时间感知衰减掩码的线性注意力操作。两个分支的输出融合后用于最终的下一个商品预测。

HyTRec的技术新颖性体现在三个层面。第一，在架构层面，它是推荐领域首个基于混合注意力实现效率-精度平衡的工作。与Jamba等语言模型中的混合架构不同，HyTRec在序列层面（而非仅在层层面）实现了长期和短期信号的解耦，并引入了推荐领域的先验知识来指导混合设计。第二，在模块层面，TADN是对DeltaNet的创新扩展。标准DeltaNet的衰减是纯语义的，而TADN通过指数门控机制显式引入时间衰减因子 $\tau_t$，使得注意力机制在数学上优先关注近期交互（$\tau \approx 1$），同时通过 $g_t$ 的静态组件保留长期偏好。状态更新中 $g_t$ 的引入使得模型能够丢弃不相关的远距离历史，聚焦于近期高意图信号。第三，在工程层面，HyTRec通过请求级别批处理（RLB）和稀疏训练-密集推理策略实现了工业级部署的可行性。3:1的混合比例（线性层:softmax层）经过实验验证为最优平衡点，在H@500、NDCG@500和AUC三个指标上均取得高效增益，同时将延迟控制在1.1092。

从独立分析的角度，HyTRec存在以下几个可改进的弱点。第一，序列分解策略采用了简单的固定长度截断，而非基于用户行为模式的自适应分割。对于行为频率差异极大的用户群体（如日活跃用户vs周活跃用户），固定的K值无法最优地划分长短期信息。改进方向可以是设计一个学习型的分割模块，根据用户的历史交互频率和意图稳定性动态确定边界位置。第二，TADN中的时间衰减因子 $\tau_t$ 使用单一的衰减周期T，假设所有品类的行为具有相同的时效性。但在实际电商场景中，不同品类（如快消品vs耐用品）的行为衰减速度差异很大。可以引入品类感知的衰减参数，使时间建模更加精细。第三，短期分支使用标准MHSA处理固定长度K的序列，当K较大时仍存在效率问题。可以考虑对短期分支也引入稀疏注意力机制，进一步降低整体延迟。第四，论文中的混合比例3:1是通过网格搜索确定的全局最优值，但在不同层中，线性注意力和softmax注意力的最优比例可能不同——浅层可能需要更多softmax注意力来捕获精确的局部模式，而深层可以更多依赖线性注意力进行全局压缩。

作者在讨论部分提出了四个未来研究方向。第一，设计自适应混合注意力边界调整机制，利用用户特定特征（如交互频率、意图稳定性）动态分配线性注意力和softmax注意力的比例，而非使用固定阈值。第二，将HyTRec与扩展记忆架构集成，以解决线性注意力模块在处理极长序列时的记忆覆盖问题，允许混合注意力模块在保持线性效率的同时保留更多有价值的历史信息。第三，将框架扩展到多场景推荐，包括内容推荐（如文章、视频）和社交推荐，这些场景中用户交互的特征（如交互频率、语义复杂度）与电商场景有显著差异，需要调整混合注意力设计和TADN以适应特定场景需求。基于现有成果还可以延伸以下方向：探索TADN在其他序列建模任务（如点击率预测、广告排序）中的应用；研究更细粒度的时间建模方法，例如引入周期性衰减因子来捕获用户行为的周期性模式；设计轻量级的模型压缩和蒸馏技术，使HyTRec能够在资源受限的边缘设备上部署。

从复现角度来看，论文的实验设置相对清晰：使用Amazon Beauty、Electronics和Movies&TV三个公开数据集，基于交互频率和商品复购次数进行数据过滤，在V100 GPU上进行所有实验。评估指标（H@500、NDCG@500、AUC）和基线方法（GRU4Rec、SASRec、DIN、HSTU、GLA、Qwen-next）均为该领域的标准配置。然而，论文未明确说明是否开源代码和模型权重，这会影响复现的难易程度。关键超参数包括：短期序列长度K、混合注意力比例（实验验证3:1最优）、时间衰减周期T、注意力头数（实验验证4最优）、专家数量（实验验证4最优）。数据预处理方面，论文提到对数据进行了交互频率过滤和产品复购次数过滤，但未给出具体的过滤阈值，这部分可能需要自行调优。总体而言，复现难度中等——核心算法描述清晰，但工程细节（如请求级别批处理RLB的实现、稀疏训练-密集推理策略的具体配置）需要一定的工程经验来实现。