Decoder-only大语言模型如何感知用户？面向用户表示学习的注意力掩码再思考 How Do Decoder-Only LLMs Perceive Users? Rethinking Attention Masking for User Representation Learning
提出梯度引导软掩码方法优化LLM用户表示学习，9个工业任务上超越现有方法
前置知识
Decoder-only LLM
仅包含解码器的大语言模型（如GPT、Qwen系列），采用自回归方式逐token生成文本。与BERT等编码器模型不同，它使用因果注意力掩码（causal attention mask），即每个token只能看到自己和之前的token，不能看到未来的token。这种架构支持交互式场景，因为可以在接收到增量信号时逐步更新表示。
本文的核心研究对象就是Decoder-only LLM，探讨如何将其预训练的因果注意力机制适配到用户表示学习任务中
注意力掩码策略
在Transformer中，注意力掩码决定了每个token能看到序列中的哪些位置。三种主要策略：因果掩码（causal）只能看到前文；双向掩码（bidirectional）可以看到整个序列；混合掩码（hybrid）对用户行为序列部分使用双向注意力，对后续token使用因果注意力。掩码选择直接影响模型能整合多少上下文信息。
本文系统研究这三种掩码策略对用户表示质量的影响，是论文的核心研究变量
对比学习
一种自监督学习范式，通过拉近正样本对的表示、推远负样本对的表示来学习高质量嵌入。本文使用InfoNCE损失函数 $$\mathcal{L}_{cl} = -\frac{1}{B}\sum_{i=1}^{B}\log\frac{e^{s(\hat{u}_i,\hat{a}_i^+)/\tau}}{Z_i}$$，其中 $\hat{u}_i$ 和 $\hat{a}_i$ 分别是用户和答案的归一化嵌入，$\tau$ 是温度参数。
对比学习是本文训练框架的核心优化目标，理解它才能理解整个方法的训练机制
用户表示学习
将大规模异质性用户信号（文本资料、交互历史、表格属性）压缩为紧凑的向量表示，用于数字营销、推荐系统和个性化服务。传统方法如BERT4Rec使用双向注意力捕获上下文依赖，但需要完整的输入序列；而Decoder-only LLM支持自回归交互，能在流式场景中持续更新。
这是本文的应用场景，理解用户表示学习的需求才能理解为什么需要研究注意力掩码策略
研究动机
现有研究将Decoder-only LLM用于用户表示学习时，注意力掩码的选择往往是随意的或固定的设计决策。尽管存在三种主流方案——因果掩码、双向掩码和混合掩码——但没有研究在统一的对比学习框架下系统比较它们对用户表示质量的影响。具体而言，因果掩码虽然兼容生成式推理，但限制了模型整合未来上下文的能力；双向掩码虽然能最大化表示完整性，但放弃了自回归能力；混合掩码试图平衡两者，但其效果尚未被充分验证。此外，从因果注意力过渡到双向注意力的训练过程不稳定，容易导致优化困难。在支付宝的真实用户认知系统中，现有方法在9个工业用户理解任务上的表现参差不齐，特别是在需要捕捉长期用户依赖的任务中。
本文的目标是本文旨在系统研究注意力掩码策略及其训练动态如何影响Decoder-only LLM适配为用户编码器的效果。具体目标包括：在统一的对比学习框架下比较因果、混合和双向三种掩码策略；提出一种稳定的训练机制来平滑从因果到双向注意力的过渡；在9个真实的工业用户认知基准上验证方法的有效性。
与已有工作不同的是，本文的独特切入角度在于将注意力掩码视为一个可演化的瓶颈，而非固定的设计选择。与现有方法（如Conan使用渐进式调度器）不同，本文提出梯度引导软掩码（GG-SM），利用模型自身的梯度信号来动态确定token的重要性权重，从而在预热阶段引导模型学习哪些token最值得关注。这种自适应机制确保模型不只是看到更多token，而是学会在双向适配的关键早期阶段优先关注最有信息量的token。
核心方法
本文提出一个完整的用户表示学习框架，整体思路是先用对比学习将用户行为序列和答案对齐，然后通过梯度引导的注意力演化机制优化表示质量。技术路线包括：构建规则化行为轨迹数据和LLM合成的QA对齐数据；采用双塔架构将异质性用户输入编码为模态特定嵌入；在Qwen2.5-0.5B-Instruct骨干网络上使用不同的注意力掩码策略进行对比学习微调；最后提出GG-SM作为因果到双向注意力过渡的预热机制。整个框架在64张A100-80GB GPU上训练，使用数据并行策略。
本文的核心创新是梯度引导软掩码（Gradient-Guided Soft Masking），它与现有方法的本质区别在于：不是人为设计固定的掩码模式或简单的线性调度，而是利用模型训练过程中的梯度范数作为动态信号来确定token重要性。在预热阶段，未来注意力权重由瞬时梯度范数 $\|\nabla h_j^L\|$ 决定：对损失影响更大的token获得更高的可见度。预热结束后，这些梯度衍生的权重被冻结，然后通过线性调度器逐步从软掩码过渡到完全双向注意力。这种机制确保了注意力演化的方向是由模型自身的学习需求引导的。
方法步骤详情
方法包含以下关键步骤：(1) 数据构建：首先使用Qwen-Max生成多样化用户理解场景作为种子池，然后为每个用户根据其90天的行为历史（包括支付账单、小程序交互、超级位置模型路径、搜索查询和表格特征）生成查询-答案对。通过计算用户-查询与答案的对齐难度分数 $S_d = 1 - \text{Sim}(\text{Emb}(u_i \oplus q_i), \text{Emb}(a_i))$ 来识别困难样本。(2) 训练架构：采用双塔架构，左塔编码用户原始交互序列，右塔编码答案，两塔共享LLM骨干但独立运行。用户嵌入通过模态特定编码器（gte-base-zh）投影到LLM嵌入空间。(3) GG-SM实现：对于长度为 $L$ 的序列，在训练步 $t$ 定义软注意力掩码 $M_{ij}^{soft}(t)$，当 $j > i$ 时，$w_{ij}(t) = \sigma(\|\nabla h_j^L\|)$（预热阶段）或 $w_{ij}(t) = (1-\alpha_t) \cdot \sigma(\|\nabla h_j^{L_{warm}}\|) + \alpha_t$（调度阶段）。(4) 训练目标：使用InfoNCE损失，包含同侧负样本以增强用户表示的独特性，引入掩码因子 $m_{ij}$ 过滤假负样本。
技术新颖性
本文的技术新颖性体现在三个层面：首先，首次在统一框架下系统比较了三种注意力掩码策略对用户表示学习的影响，填补了该领域的研究空白。其次，提出GG-SM机制，创新性地将梯度范数作为注意力演化引导信号，这与简单的线性调度（如Conan）有本质区别——它不是机械地逐步开放注意力，而是根据模型内部的学习压力动态调整。第三，设计了完整的困难样本挖掘和合成框架，通过后验改进机制（post-rule improvement）优化QA对生成，避免了训练时基于嵌入的实时挖掘所带来的计算开销和数据质量问题。
实验结果
实验结果揭示了几个关键发现：首先，GG-SM增强的Qwen2.5-0.5B-Instruct在9个任务上的平均AUC达到0.7745，显著超越了参数规模更大的通用嵌入模型如Llama-embed-nemotron（0.7357）和KaLM-Embedding（0.7156），证明在工业行为日志这种高稀疏、非语言分布的场景下，参数规模带来的收益递减。其次，传统用户建模方法（MSDP、One4all、CPC）在特定任务如Achiev.上表现尚可（最高0.6256），但在需要全局上下文迁移的任务如Food和Movie偏好上明显落后。第三，GG-SM在三个不同领域（用户预测、行为偏好、营销敏感性）都保持稳定的性能优势，特别是在最难捕捉潜在意图的营销敏感性领域达到峰值AUC。第四，从掩码策略的内部比较来看，因果掩码过于限制，混合掩码仅带来边际收益，而GG-SM通过梯度信号引导的双向演化产生了最优结果。训练损失收敛曲线显示GG-SM比纯调度器方法收敛更快更稳定。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Concert点击预测 | AUC | 0.5767 | 0.5716 (Causal) / 0.5742 (Scheduler) | +0.51% / +0.25% |
| 用户登录预测 | AUC | 0.8438 | 0.8313 (Causal) / 0.8419 (Scheduler) | +1.25% / +0.19% |
| MAU流失预测 | AUC | 0.9674 | 0.9669 (Causal) / 0.9664 (Scheduler) | +0.05% / +0.10% |
| 公共交通偏好 | AUC | 0.6978 | 0.6967 (Causal) / 0.6973 (Scheduler) | +0.11% / +0.05% |
| 消费能力 | AUC | 0.9689 | 0.9678 (Causal) / 0.9688 (Scheduler) | +0.11% / +0.01% |
| 美食兴趣 | AUC | 0.8554 | 0.8473 (Causal) / 0.8540 (Scheduler) | +0.81% / +0.14% |
| 电影兴趣 | AUC | 0.7913 | 0.7922 (Causal) / 0.7908 (Scheduler) | -0.09% / +0.05% |
| 成就偏好 | AUC | 0.6078 | 0.6054 (Causal) / 0.6056 (Scheduler) | +0.24% / +0.22% |
| 运动偏好 | AUC | 0.6615 | 0.6589 (Causal) / 0.6605 (Scheduler) | +0.26% / +0.10% |
局限与改进
本文存在以下局限性：首先，所有评估都在支付宝的用户认知系统上进行，数据来自特定的中国金融科技场景，方法在其他领域（如社交媒体、电商推荐）的泛化能力尚未验证。其次，模型规模仅限于0.5B参数的Qwen2.5，GG-SM在更大模型（7B、13B）上的效果需要进一步探索。第三，训练数据的构建依赖于Qwen-Max等商业API进行种子场景生成和QA合成，这增加了复现成本和对特定服务的依赖。第四，论文未详细讨论推理阶段的计算开销，虽然推理时使用完全双向注意力，但未报告推理延迟和吞吐量的对比。第五，9个评估任务都是二分类任务，方法在更复杂的多分类或回归任务上的表现未知。
独立分析的弱点
本文存在几个值得改进的弱点：(1) 评估场景单一：仅在支付宝用户认知系统的9个二分类任务上评估，缺乏跨领域验证，建议在电商推荐、内容推荐等场景扩展评估。(2) 模型规模受限：仅使用0.5B参数模型，GG-SM的核心优势（梯度引导的注意力演化）在更大模型上可能边际收益递减，建议在7B+规模上验证。(3) 数据依赖性强：训练数据构建依赖Qwen-Max商业API，增加了复现门槛，建议探索使用开源模型替代或设计更简单的困难样本挖掘策略。(4) 缺乏推理效率分析：虽然推理使用完全双向注意力，但未报告延迟和内存占用，建议补充推理阶段的效率评估。(5) 消融实验不够充分：论文提到GG-SM的两个阶段（预热和调度），但未充分消融各超参数（如 $T_{warm}$、$T_{total}$、阈值 $T_{filter}$）的敏感性。
未来方向
基于本文成果，未来研究可从以下方向延伸：(1) 探索GG-SM在更大规模模型（7B、13B）上的效果，研究梯度引导机制是否能持续带来收益。(2) 将方法扩展到其他模态的用户表示学习，如结合视觉、音频等多模态用户行为。(3) 研究GG-SM在流式学习场景中的适用性，即在用户行为持续产生时如何动态更新表示。(4) 探索更高效的梯度计算方式，减少预热阶段的计算开销。(5) 将注意力掩码演化与其他训练技巧（如课程学习、自监督预训练）结合。(6) 作者建议在更广泛的用户理解任务上评估，如用户聚类、相似用户发现等非分类任务。
复现评估
本文的复现性评估：作者在GitHub上开源了代码（https://github.com/JhCircle/Deepfind-GGSM），这有助于复现。训练数据依赖支付宝真实用户行为数据，虽然不能公开共享，但数据构建流程（规则化行为轨迹+LLM合成QA）在论文中有详细描述。训练需要64张A100-80GB GPU，这对大多数研究团队来说门槛较高，但使用LoRA（rank=64）进行参数高效微调降低了内存需求。推理阶段可在单张A100上进行。数据预处理使用Qwen3-30B-A3B进行效率优化，这个模型在Hugging Face上公开可用。总体而言，代码开源但数据私有，算力门槛较高，复现难度中等偏上。
论文图表