LoopCTR：解锁循环缩放（Loop Scaling）在点击率预测中的力量 LoopCTR: Unlocking the Loop Scaling Power for Click-Through Rate Prediction
用递归复用共享层替代堆叠参数，开辟CTR预测的循环缩放新范式。
前置知识
CTR预测（Click-Through Rate Prediction）
CTR预测是推荐系统核心任务，给定用户 $u$ 与物品 $v$ 估计点击概率 $\hat{y}=p(\text{click}|u,v)$。输入含用户/物品特征、行为序列与上下文，以二分类训练，损失为 $\mathcal{L}_{\text{BCE}}$，评估指标为AUC/GAUC/NE。
本文所有架构设计和实验指标都围绕CTR展开，理解任务输入特征（用户、物品、行为序列）与评估标准（0.001 AUC即有商业意义）是看懂一切实验结论的前提。
Transformer与多头自注意力
Transformer核心是多头自注意力 $\text{Attn}(X)=\text{softmax}(\frac{QK^\top}{\sqrt{d_k}})V\cdot W^O$，其中 $Q=XW^Q,K=XW^K,V=XW^V$。堆叠层可扩展模型但每层都增参数与FLOPs。
LoopCTR的Loop Block本质上是带共享参数的Transformer层递归复用，理解标准Transformer的QKV投影、注意力掩码、残差连接是读懂循环块设计的基础。
Mixture-of-Experts（MoE）
MoE通过路由网络为每个token选top-$k$个专家，在FFN或 $W^V,W^O$ 上扩展总参数量而不显著增加单token FLOPs，需配合负载均衡辅助损失避免专家坍缩。
LoopCTR在注意力与FFN中都注入MoE，是弥补"循环复用压缩了参数容量"这一短板的三大支柱之一，缺少它会在数据丰富的KuaiVideo上掉点0.0060 AUC。
权重共享（Weight Sharing）与循环Transformer
权重共享指同一组参数在多个计算步骤中复用，如Universal Transformer与Looped Transformer。优点是参数效率高、对长度泛化友好，但表达瓶颈与推理时延是两大痛点。
LoopCTR正是把NLP的循环Transformer思想搬到CTR，但要解决"共享层表达力不足"和"循环推理时延不可接受"两个核心问题，决定了文章的整体架构设计。
研究动机
工业CTR预测当前普遍沿用NLP中"堆叠Transformer层以扩展模型"的范式，代表工作包括HSTU、MTGR、OneTrans等。论文明确指出，这种深度/宽度/输入三维度的扩展本质上都把参数增长和计算增长耦合在了一起。一个请求通常需要对成百上千的候选物品打分，部署侧对FLOPs和延迟极为敏感——例如在InHouse工业数据集上，HSTU需2150M FLOPs与775.72ms延迟，OneTrans需417.97M FLOPs与494.58ms延迟。与此同时，CTR数据天然稀疏，传统堆叠结构容易把额外参数用于记忆噪声而非泛化规律，加剧过拟合。所以业界出现一种矛盾：大家想在推荐域复制LLM那种"越scale越强"的scaling law，但又受限于工业部署的成本约束。
本文的目标是本文的核心目标是开辟一条与"堆参数"正交的第四个scaling维度——计算维度（computation scaling through recursive reuse）。具体希望在不增加参数量的前提下，通过反复复用同一组层参数来提升训练期计算量，并把这种迭代精化的"好处"编码进共享参数，使得推理时可以零循环（zero-loop）执行而依然获得SOTA精度。LoopCTR最终在四个数据集上同时刷榜AUC/GAUC/NE，其中零循环推理在InHouse上只需13.38M FLOPs和9.26ms延迟，比HSTU低两个数量级。
与已有工作不同的是，现有循环Transformer（Universal Transformer及后续理论/长度泛化工作）都来自NLP社区，聚焦语言建模或算法推理任务；它们虽然在理论上证明可行，但都强制要求推理时执行多步循环，因而带来成比例的时延，无法直接落地到低延迟CTR场景。LoopCTR的独特切入角度是：（1）把循环思想首次系统引入CTR域并设计sandwich三段式架构（Entry/Loop/Exit Block）；（2）用Hyper-Connected Residuals和MoE联合弥补单层表达瓶颈；（3）提出process supervision机制，使多循环训练的收益被"蒸馏"到零循环推理中，从而打破"循环必延迟"的魔咒。
核心方法
LoopCTR的整体直觉是把CTR建模分成三个职责清晰的功能块：Entry Block负责把异构特征（短序列、长序列、全局特征）投影到统一空间并做组内自注意力；Loop Block是核心，用同一组共享参数（加上HCR和MoE）递归执行 $L$ 次迭代；Exit Block负责汇聚表示并产生点击概率。这种"三明治"设计允许训练时循环多次、推理时循环任意次数（含零次），形成"train-multi-loop, infer-zero-loop"的实用范式。从技术路线看，论文同时动用了三条互补的设计杠杆——结构上用sandwich解耦功能，表达力上用HCR+MoE弥补共享层损失，训练上用process supervision把多步收益注入共享参数——三者缺一不可，消融实验中每一项都贡献了正向收益。
LoopCTR与传统堆叠Transformer最本质的区别是"计算与参数的解耦"。传统方法靠堆叠异构层来增加深度，每加一层都带来 $\Theta(d^2)$ 新参数；LoopCTR通过Hyper-Connected Residuals（HCR）将单流残差扩展为 $n$ 流自适应残差，使一个共享层在不同迭代深度能动态调整信息流，再叠加MoE在注意力（$W^V, W^O$）和FFN两个子层上扩展参数池，最后用process supervision在每个循环深度 $l\in\{0,1,\ldots,L\}$ 都施加BCE损失，把多步迭代的监督信号加和为 $\mathcal{L}_{\text{total}}=\frac{1}{L+1}\sum_{l=0}^L\mathcal{L}_{\text{BCE}}^{(l)}$，迫使共享参数学会在零循环时也给出高质量预测。这一组合的精妙之处在于：训练期享受多循环带来的更强表示，部署期却能以零循环运行而不掉点。
方法步骤详情
六步流程：(1) 短序列保留item token，长序列Q-Former压缩，全局token化；(2) Entry Block投影 $h=tW_g+b_g$ 后self-attention得 $H_{\text{entry}}$；(3) Loop Block第 $l$ 步执行 $H^{(l)}=\text{PrefixAttn}([H^{(l-1)}_{\text{seq}};H^{(l-1)}_{\text{glb}}],M)$，掩码让顺序token内部互看、全局看全部，子层加HCR+MoE；(4) Exit Block做cross-attention后MLP输出 $\hat{y}=\text{MLP}(\text{CrossAttn}(H_{\text{glb}},H_{\text{seq}}))$；(5) 训练对 $l=0,\ldots,L$ 求BCE平均 $\mathcal{L}=\frac{1}{L+1}\sum_{l=0}^L\mathcal{L}_{\text{BCE}}^{(l)}$；(6) 推理 $i\in\{0,1,2,3\}$ 循环，$i=0$ 跳Loop省开销。
技术新颖性
技术新颖性体现在三个层面。架构层面，sandwich三段式（Entry/Loop/Exit）解耦特征编码、迭代推理与打分三个职责，并刻意让顺序token永远不看全局token，从而把顺序状态做成KV cache跨候选复用，这是工程友好的设计。机制层面，HCR把残差从 $h+f(h)$ 升级为 $\hat{H}=A_r^\top H + B^\top\cdot T(H^\top A_m)^\top$，并通过 $\tilde{A}_m=A_m+s_\alpha\odot\tanh(\bar{H}W_m)$ 把静态参数和输入相关的动态扰动相加，三系数共同控制流间融合，是对标准残差的多维扩展。训练层面，process supervision把"深监督"（deep supervision）的思想移植到循环深度维度而非空间深度维度，让 $L$ 步迭代的监督信号反传回同一组共享参数，使推理时跳到 $l=0$ 仍能恢复大部分精度——这是Universal Transformer系列所没有的能力。
实验结果
Table 2对比11个基线。核心发现：(1) LoopCTR包揽AUC/NE前列——Amazon LoopCTR(1/3) 0.8728比最强基线OneTrans 0.8689高0.0039；KuaiVideo 0.7450比DIN高0.0020；InHouse LoopCTR(0/3) 0.7007比HSTU 0.6960高0.0047。(2) 零循环即超所有基线。(3) 效率戏剧化：InHouse上LoopCTR(0/3)仅13.38M FLOPs/9.26ms，HSTU需2150M/775.72ms（约160× FLOPs）。(4) Oracle分析揭示0.013–0.023 AUC未开发上限（TaobaoAds最大0.0231）。(5) 反直觉：训练循环越少oracle上限越高，Amazon L=3时0.8858 vs L=1时0.8885；InHouse L=3时0.7195 vs L=1时0.7306，论文用损失景观（更多循环更平坦但深度间多样性下降）解释。(6) 消融显示Amazon HCR最关键（-0.0201），KuaiVideo MoE最关键（-0.0060）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Amazon CTR预测 | AUC | LoopCTR(1/3) 0.8728 | OneTrans 0.8689 | +0.0039 AUC（统计学显著，p<0.05） |
| Amazon CTR预测 | AUC | LoopCTR(0/3) 0.8715（零循环） | OneTrans 0.8689 | +0.0026 AUC，且FLOPs/延迟量级低于基线 |
| TaobaoAds CTR预测 | AUC | LoopCTR(1/3) 0.6441 | AutoInt 0.6430 | +0.0011 AUC |
| KuaiVideo CTR预测 | AUC | LoopCTR(1/3) 0.7450 | DIN 0.7430 | +0.0020 AUC |
| InHouse工业CTR预测 | AUC | LoopCTR(0/3) 0.7007（13.38M FLOPs, 9.26ms） | DIN 0.7000 | +0.0007 AUC，FLOPs较HSTU(2150M)降两个数量级 |
| InHouse工业CTR预测 | AUC | LoopCTR(3/3) 0.7002 | StackCTR(3) 0.6999（等FLOPs对比） | +0.0003 AUC，证明权重共享在等计算下优于堆叠异构层 |
局限与改进
作者承认的主要局限是oracle揭示的0.013–0.023 AUC头room目前尚无具体自适应策略来兑现，per-sample loop selection仍属开放问题。论文未给出明显的负面结果，但从我的观察还有几个值得注意的限制：(1) 实验的训练循环数 $L\in\{0,1,2,3\}$ 上限不高，更深的循环（如 $L=6,8$）是否仍保持单调收益、是否出现循环Transformer已知的"过循环退化"现象未验证；(2) MoE的专家数、top-$k$等敏感度只在Appendix中给出，且仅在Amazon上做了有限扫描，工业场景专家数的最优选择仍有调参成本；(3) 工业InHouse数据集样本自2026/01/21–01/29仅9天窗口，是否存在时间漂移或稀疏长尾用户的覆盖偏差未讨论；(4) 训练期多循环确实增加了训练成本（每样本多循环多次前向），论文把推理效率作为卖点但未量化训练开销的对比；(5) PrefixAttention中顺序token严格隔离全局token的设计虽有利于KV cache，但可能损失某些跨域特征交互信号。
独立分析的弱点
独立分析下，LoopCTR有以下可改进弱点：(1) 训练成本不透明——论文大力宣传推理效率，但每个样本需做 $L+1$ 次Exit Block前向+$L$ 次Loop Block前向，相比普通Transformer单次前向训练FLOPs与显存显著放大，未与HSTU/OneTrans做训练成本对比。(2) $L\le 3$ 扫描不够深入，更大 $L$ 是否进入循环Transformer的"过循环退化"未验证，也未与Universal Transformer-style的ACT基线对比。(3) MoE的专家数与top-$k$ 组合的最优搜索空间大，Appendix B仅做了Amazon单数据集的局部敏感度。(4) Oracle headroom 0.013–0.023 AUC 仍属"画饼"——没有任何具体方法兑现自适应循环深度。(5) 长序列Q-Former式压缩的损失缺乏定量分析。改进方向：报告训练FLOPs与wall-clock；扩展到 $L=6,8$；引入可学习early-exit gate逼近oracle；增加3-5 seed均值与std。
未来方向
作者明确提出的未来方向包括：(1) 自适应推理策略——按样本动态分配循环深度以兑现oracle揭示的0.013–0.023 AUC头room；(2) 系统级优化——集成FlashAttention和混合精度以进一步压低训练/推理成本。基于本文成果可延伸的方向还包括：(3) 与LLM蒸馏结合，用更强LLM的中间表示作为process supervision的目标，提升零循环表示质量；(4) 把loop scaling思路拓展到召回、粗排等多阶段推荐链路，研究在更低延迟约束场景（如几ms级）的可行性；(5) 把Loop Block共享层与Mixture-of-Depths结合，让token粒度而非样本粒度决定循环深度，进一步提升参数效率；(6) 把loop scaling推广到CTR以外的任务（多任务推荐、用户留存建模），验证sandwich+process supervision框架的通用性；(7) 结合系统侧预取和编译优化（如Torch Compile、Cuda Graph），对KV cache跨候选复用做端到端性能剖析。
复现评估
复现评估：论文未在公开渠道声明代码与权重开源，开源情况=否。数据集方面，Amazon/TaobaoAds/KuaiVideo均为公开数据集，InHouse为阿里巴巴内部生产日志（不可得），作者列出详细统计（60万用户、208万物品、8seq/33non-seq字段、最长1024）。算力方面论文未给出具体GPU型号与训练小时数，但按模型规模与4个数据集估算需8×A100级别算力跑数天。复现难度中等偏难：sandwich三块、HCR初始化、MoE在attention和FFN的具体放置、PrefixAttention掩码矩阵描述清楚，过程监督损失 $\mathcal{L}_{\text{total}}=\frac{1}{L+1}\sum_{l=0}^L\mathcal{L}_{\text{BCE}}^{(l)}$ 公式明确；但缺乏开源代码、需要自行复现Q-Former压缩器、MoE负载均衡损失细节（Appendix B.1）、训练超参这些工程关键信息，建议参考Universal Transformer和HSTU开源实现作为脚手架。
论文图表
