查询即锚点：基于大语言模型的场景自适应用户表征

提出Q-Anchor框架，利用LLM和查询锚点机制实现工业级场景自适应用户表征。

前置知识

用户表征学习

将用户的各类行为、属性、交互历史转化为计算机可理解的稠密向量的过程。在工业界，这通常是推荐、风控、营销系统的基石。传统方法通常为每个任务训练一个静态的Embedding模型，难以适应多变的下游场景，导致系统碎片化严重。

本文的核心议题。理解传统静态Embedding的局限性是理解本文动机的关键，也是工业界面临的实际痛点。

大语言模型 (LLM)

具有强大语义理解和生成能力的Transformer架构模型。在本文中，LLM不仅作为文本编码器，还被改造用于理解稀疏、异构的用户行为序列，并充当语义塔来生成解释性答案，弥合了行为数据与语言空间的鸿沟。

本文的基座模型。论文探索了如何让预训练于文本的LLM有效消化非文本的用户行为数据。

KV Cache 优化

Transformer推理时的缓存机制。传统方法需对每个Query重新计算整个序列的注意力。本文利用查询锚点机制，将计算量大的用户历史前缀计算一次并缓存，后续只需计算轻量的Query后缀，大幅降低多场景推理延迟。

理解本文如何实现工业级低延迟部署的核心技术细节，是Q-Anchor能够实际落地的关键。

对比学习

一种自监督学习范式，通过拉近正样本对的表征距离，推远负样本对，来学习具有区分度的特征空间。本文使用了结合了InfoNCE损失和Next-Token Prediction的联合优化目标，使表征既具区分度又有语义密度。

论文方法论中的核心优化策略，用于对齐行为特征与语义标签。

研究动机

现有工业界用户表征大多为静态且任务无关的。例如，在风控场景训练的Embedding很难直接迁移到营销场景。这导致企业需要维护成百上千个独立的用户模型，系统复杂度高、维护成本巨大，且难以跨域泛化。此外，用户行为日志往往是稀疏、符号化且高度异构的，这与LLM预训练时使用的密集语言数据存在巨大的模态鸿沟，导致直接用LLM做用户编码效果不佳。

本文的目标是构建一个统一的用户表征框架，能够利用大语言模型的强大语义能力，生成场景自适应的用户Embedding。即：同一个用户，根据不同的业务查询，能动态调整其向量表征，从而用一个模型支持全场景应用，极大降低工业系统的维护成本。

与已有工作不同的是，本文的独特切入角度在于将查询视为锚点。不同于将所有信息压缩成一个静态向量，Q-Anchor将用户行为编码为层次化前缀，并将具体的业务意图作为后缀注入LLM。LLM在处理时会根据后缀的Query动态检索前缀中的相关行为特征。这种解耦设计既保留了通用的用户理解，又实现了极致的场景适配。

核心方法

Q-Anchor框架采用双塔结构：Anchor塔编码用户行为与查询，Semantic塔编码目标答案。其核心创新在于查询锚点机制：将计算成本高昂的用户行为历史预先编码为层次化向量，并作为LLM的输入前缀；将具体的业务场景指令作为后缀。LLM在推理时，会根据后缀的Query语义，动态地从用户行为前缀中聚合相关信息，生成该场景下的特定Embedding。此外，为了适应特定的下游任务，引入了基于聚类的软提示微调，在不改变LLM主干参数的前提下，通过少量可学习Token调整表征空间。

查询即锚点。传统的做法是把用户压成一个固定的向量，然后去匹配不同的Item。Q-Anchor则认为：没有脱离场景的完美用户向量。同一个用户的风控画像和美食画像完全不同。因此，它不输出单一向量，而是输出一个动态函数：给定Query，输出对应的向量。通过将Query放在序列末端，利用LLM的因果注意力机制，让Query去加权用户的历史行为，从而实现按需取用。

方法步骤详情

1. 层次化编码：对用户90天内的多模态行为分别编码，通过Event Adapter和Modal Adapter聚合为事件级、模态级、用户级三层向量。2. 双塔对齐：Anchor塔处理用户向量与Query生成最终表征；Semantic塔处理目标答案生成语义向量。3. 联合优化：利用对比损失拉近正对距离，并利用NTP损失让模型自回归生成答案，增强语义密度。4. 软提示微调：在下游任务中，冻结主干，仅学习少量Soft Prompt Token，利用原型对比损失使表征聚类到特定业务类别中心。5. KV Cache加速：推理时缓存用户前缀对应的KV Cache，只需计算Query部分的增量，实现毫秒级响应。

技术新颖性

1. 数据构建创新：构建了UserU数据集，结合了规则驱动的未来行为预测和LLM生成的QA对，并引入了反思机制检查数据质量。2. 架构创新：不同于传统的双塔模型，Q-Anchor设计了User-Query塔和Answer塔，将场景意图显式地融入编码过程。3. 工程创新：利用LLM的KV Cache机制，巧妙解决了动态场景表征带来的计算爆炸问题，使得在亿级用户系统中为每个场景生成定制向量成为可能。

实验结果

Q-Anchor在支付宝10个真实的工业级基准测试中均取得了SOTA性能。在User Engagement、Risk、Marketing三大领域，Q-Anchor (Prompt Tuned) 的平均AUC达到0.8225，KS达到0.5267。相比最强的通用Embedding基线，AUC提升了+9.84%，KS提升了+38.4%。这表明通用文本Embedding难以处理稀疏的行为日志，而专门的预训练和对齐至关重要。更令人印象深刻的是，该方法不仅离线指标好，在线A/B测试也表现卓越：在IVR外呼场景中，支用率提升12.5%，人均余额提升5.3%；在风控场景中，关键的KS指标提升1.96%。

查看结构化数据

任务	指标	本文	基线	提升
Marketing Sensitivity (Brand)	AUC	0.8535	0.7979 (Base)	提升5.5% (证明Prompt Tuning能显著适应细粒度场景)
Risk (Money)	AUC	0.9439	0.9235 (FOUND)	提升2.2% (在高风险场景表现更稳健)
Avg. across 10 Tasks	KS	0.5267	0.3805 (Llama-Embed-8B)	提升38.4% (显著拉开正负样本排序差距)
Online IVR Scenario	Drawdown Rate	12.5% Uplift	Baseline Control	显著提升业务收益

局限与改进

尽管论文展示了强大的性能，但仍有局限。首先，模型高度依赖于UserU数据集的构建，虽然引入了反思机制，但LLM生成的QA对仍可能存在幻觉或噪声，这在极其严谨的金融风控场景可能带来合规风险。其次，论文主要验证了0.5B参数量的LLM效果最佳，对于更复杂的推理任务，小模型的能力可能仍是瓶颈。此外，虽然KV Cache优化了推理，但层次化编码带来的预计算成本依然存在。

独立分析的弱点

1. 对齐偏差风险：依赖LLM生成的QA对进行预训练，如果LLM对某些稀有行为模式理解有误，可能会教坏Embedding模型，建议引入更多人工规则约束或对抗训练来增强鲁棒性。2. 冷启动问题：虽然论文提到了数据构建，但对于完全没有历史行为的新用户，层次化编码器可能失效，需要结合更多Side Information进行融合。3. 多任务冲突：虽然Prompt Tuning可以适配场景，但在一个统一的模型中同时优化风控和营销目标可能存在潜在的梯度冲突。

未来方向

1. 多模态融合升级：目前的行为编码主要还是结构化日志，未来可以将用户的语音通话记录、人脸核身视频片段等更丰富的模态融入UserU数据集。2. 因果推断引入：当前的表征主要基于相关性，未来可引入因果推断，让Embedding不仅预测用户会做什么，还能预测如果给用户发券他会怎么做，从而支持反事实营销。3. Agent化演进：结合当前的AI Agent热潮，让Q-Anchor不仅能输出向量，还能作为User Agent的核心大脑，直接驱动与用户的交互决策。

复现评估

论文承诺代码将在GitHub公开，且详细描述了数据构建流程和模型配置。实验设置清晰，对于拥有工业级GPU集群的研究者来说，复现门槛适中。但对于个人研究者，亿级规模的UserU数据集构建可能难以完全复现，建议作者发布预处理好的小规模子集用于学术验证。

查询即锚点：基于大语言模型的场景自适应用户表征 Query as Anchor: Scenario-Adaptive User Representation via Large Language Model