基于原则性合成数据实现推荐系统大语言模型的首个缩放定律 Principled Synthetic Data Enables the First Scaling Laws for LLMs in Recommendation
通过分层合成数据框架为推荐LLM建立首个幂律缩放定律
前置知识
缩放定律 (Scaling Laws)
缩放定律描述了模型性能（通常用损失函数衡量）如何随模型参数量 $N$、训练数据量 $D$ 和计算量 $C$ 的增加而可预测地改善。经典的 Kaplan 缩放定律形式为 $L(N,D) = A N^{-\alpha} + B D^{-\beta} + E$，其中 $\alpha$ 和 $\beta$ 分别是模型规模和数据规模的缩放指数，$E$ 是不可约损失。Chinchilla 论文进一步证明，在固定计算预算下，模型大小和数据量应同步缩放以获得最优性能，即 $C \approx 6ND$。这些定律使研究者能够预测达到目标性能所需的资源，从而指导大规模模型开发的资源分配。
本文的核心贡献就是在推荐领域首次建立了这样的缩放定律，理解其基本形式和意义是阅读本文的前提。
持续预训练 (Continual Pre-Training, CPT)
持续预训练是指在一个已经通过大规模通用语料预训练好的大语言模型基础上，使用特定领域的数据继续训练，使模型获得该领域的专业知识。与从头训练相比，CPT 能继承基础模型已有的语言理解和世界知识能力，大幅降低训练成本。CPT 的关键挑战包括灾难性遗忘（模型丢失通用能力）和领域适配（如何高效地将领域知识注入模型）。通常通过混合通用数据和领域数据来缓解遗忘问题。
本文的核心实验就是 CPT 范式——在 Qwen3 基础模型上持续预训练推荐数据，研究推荐领域的缩放行为。
协同过滤 (Collaborative Filtering, CF)
协同过滤是推荐系统中最经典的范式，其核心思想是「物以类聚、人以群分」——通过分析用户-物品交互矩阵中的共现模式来发现用户偏好。具体来说，如果用户 A 和用户 B 购买了大量相同物品，那么 A 喜欢但 B 没见过的物品很可能也会被 B 喜欢。关联规则挖掘是 CF 的一种常见实现方式，可以从交互数据中提取「购买了物品 X 的用户有 Y% 概率也购买物品 Z」这样的规则。这些规则本质上捕获了物品间的全局共现统计关系。
本文将 CF 规则转化为自然语言格式作为合成数据的一部分（Layer 1），是整个数据框架的基础组件之一。
Node2Vec 随机游走
Node2Vec 是一种图表示学习算法，通过在图上进行有偏的二阶随机游走来学习节点的低维嵌入。与简单的 DeepWalk（一阶随机游走，下一步仅取决于当前节点）不同，Node2Vec 的转移概率同时取决于当前节点 $v$ 和前一个节点 $t$，转移概率为 $\pi_{v,x} = \alpha_{p,q}(t, x) \cdot w_{v,x}$。返回参数 $p$ 控制返回前一节点的概率，进出参数 $q$ 控制探索（$q>1$，倾向访问远处节点）与利用（$q<1$，倾向访问局部邻域）的平衡。这种灵活性使 Node2Vec 能同时捕获网络的局部和全局结构。
本文使用 Node2Vec 风格的随机游走在物品共现图上生成合成用户交互序列（Layer 2），这是去除位置偏差的关键技术手段。
位置偏差 (Position Bias)
位置偏差是指用户在浏览推荐列表时，倾向于与排在前面位置的物品交互，而不论这些物品是否真正与其偏好匹配。实证研究表明，从位置 1 到位置 5 的点击率（CTR）可能下降 50% 以上，即使这些物品的相关性完全相同。这意味着从用户交互日志中学到的偏好信号会被展示位置严重污染——模型会学到「排在前面的物品更好」这一虚假启发式，而非用户的真实偏好。位置偏差是推荐系统数据中最普遍也最难以消除的系统性偏差之一。
本文提出的数据框架的核心目标之一就是通过图随机游走生成位置去偏差的合成数据，从根本上消除位置偏差对训练信号的污染。
研究动机
将大语言模型应用于推荐系统面临一个根本性障碍：尽管缩放定律在 NLP 领域已被广泛验证并成为指导模型开发的核心工具，但在推荐领域至今没有建立可预测的缩放定律。先前的尝试（如 PLUM 框架）出现了明显的「亚缩放」现象——其 MoE-3B 模型未能稳定超越 MoE-900M 模型，这在 NLP 中是不可想象的。根本原因在于原始用户交互日志存在系统性的数据病态：位置偏差（CTR 从位置 1 到 5 下降 50%+）、流行度偏差（Top 1% 物品获得 80% 的交互）、曝光偏差（用户只能与被展示的物品交互）以及数据稀疏性和噪声。当 LLM 在这样的数据上持续预训练时，它强大的模式匹配能力不仅会学到这些偏差，还会将其放大——形成一个偏差不断自我强化的恶性循环。先前的工作（LUM、SUAN、PLUM）要么是模型中心、要么是系统中心、要么是蒸馏中心的方法，但都依赖于这些有缺陷的原始数据，因此无法实现可预测的缩放。
本文的目标是本文的核心目标是通过构建高质量的、符合教学原则的合成数据，为推荐领域的 LLM 建立首个稳健的幂律缩放定律 $L(D) = L_{\infty} + A \cdot D^{-\alpha}$。具体而言，作者希望：(1) 证明使用合成数据训练的标准序列推荐模型能在真实数据的下游排序任务中超越用真实数据训练的模型；(2) 在 0.6B 到 8B 参数规模、163B token 的训练量范围内，实证观察到跨多个评估领域的可预测幂律缩放行为；(3) 量化不同数据模态（物品文本对齐、协同过滤、用户交互历史）的缩放效率层级，为资源分配提供定量指导。
与已有工作不同的是，本文的独特视角在于它将问题的根源从算法层面转向数据层面。作者的核心洞察是：先前缩放失败的根本原因不是模型架构不够先进，而是训练数据存在根本性缺陷。这一判断基于 NLP 领域的理论和实证发现——缩放定律只在数据具有足够质量和多样性时才会显现。与已有工作不同，本文不是设计更复杂的模型来容忍数据偏差，而是直接构建一个分层的、教学式的合成数据框架，将真实用户偏好信号从系统引入的伪影中解耦出来。这种数据优先（data-centric）的方法论转变是本文最本质的创新——它为所有后续的架构创新提供了可预测缩放的基础。
核心方法
本文的方法可以用一个教学比喻来理解：想象你要教一个聪明但对推荐系统一无所知的学生。你不会直接把嘈杂的用户日志扔给他，而是设计一套循序渐进的课程——先教基础词汇（物品是什么、它们之间有什么关系），再教语法（协同过滤的统计逻辑），最后教完整表达（用户的行为序列）。本文的分层合成数据框架正是这样一个「教学课程」。Layer 1 建立基础知识：通过物品-文本对齐数据让模型理解物品的语义含义，通过协同过滤数据让模型学习物品间的共现统计关系。Layer 2 在此基础上生成完整的用户交互序列，但这些序列是通过图上的随机游走算法生成的，天然没有位置偏差和展示顺序偏差。整个流程将原始的、充满偏差的交互日志转化为干净的、结构化的训练课程，使 LLM 能以可预测的方式学习推荐知识。
本文的核心创新点是一个根本性的范式转变：从「设计能容忍数据偏差的模型」转向「构建没有数据偏差的数据」。具体而言，关键创新是使用基于图的二阶随机游走（Node2Vec）来生成合成用户交互序列。其精妙之处在于：首先，从原始交互日志中挖掘协同过滤关联规则，这个过程通过聚合大量用户会话天然地平均掉了个体层面的位置偏差；然后，以这些净化后的关联强度作为图的边权重，在图上进行随机游走来生成全新的用户行为序列。随机游走过程本身没有任何「排名」「位置」或「展示顺序」的概念——每一步的转移仅取决于图结构和 Node2Vec 的 (p,q) 参数——因此生成的序列从构造上就消除了位置偏差和时序偏差。这与传统方法（如 GAN/VAE 数据增强，它只是复制源数据分布并继承其偏差；或序列增强方法如裁剪/遮罩/重排，它只是对已有序列做扰动）有本质区别。本文的方法是在课程层面而非样本层面设计数据，系统地构建了一个去偏差的、教学式的训练课程。
方法步骤详情
整个方法分为两个层级，共三种数据类型。第一步是构建物品-文本对齐数据（Item-Text Alignment）：将每个物品的语义 ID（由稀疏自编码器 SAE 生成的 ` REC6594 REC5411 ... ` 格式的 token 序列）与其文本描述配对，形成直接的语义映射，如「This item ... is described as lotus yoga seed bead bracelet」。这一步让模型建立物品 ID 与真实语义的关联。第二步是生成协同过滤数据（CF Data）：从原始交互日志中挖掘关联规则，将物品间的共现统计转化为自然语言陈述，如「When a user interacts with item REC3078..., there is a 4.9% probability they will also interact with item REC3078... (confidence: 0.049, lift: 652.45)」。第三步是生成合成用户交互历史（Synthetic UIH）：首先构建物品共现图（节点为物品，边权重为 CF 关联强度），然后使用 Node2Vec 风格的二阶随机游走生成多样化的用户行为序列。二阶游走的转移概率为 $\pi_{v,x} = \alpha_{p,q}(t, x) \cdot w_{v,x}$，其中返回参数 $p$ 控制回访概率，进出参数 $q$ 控制探索与利用的平衡。最终，三种数据以 9%（Item-Text）: 30%（CF）: 11%（UIH）的比例与 50% 的通用文本数据混合，总计 163B token 用于持续预训练。
技术新颖性
本文的技术新颖性体现在三个层面。首先，在数据生成哲学上，它与传统的数据增强方法有根本区别：GAN/VAE 方法（如 RecGAN）复制源数据分布并继承其偏差；序列增强方法（裁剪、遮罩、重排）产生已有序列的扰动副本；LLM 生成方法（用 GPT 生成评论或用户画像）在样本级别操作。本文的方法在课程级别操作——设计结构化的训练阶段（语义→协同结构→序列行为），系统地构建推荐能力。其次，在偏差消除机制上，本文采用了「两阶段过滤」：Layer 1 的 CF 数据通过聚合用户会话平均掉个体偏差，Layer 2 的随机游走从构造上消除位置偏差，这是前所未有的组合。第三，在评估范式上，本文不仅报告了传统的推荐指标，更首次建立了推荐领域 LLM 的缩放定律，揭示了不同数据模态的缩放效率层级（UIH 的 $\alpha \approx 0.45$–$0.59$ 远高于 Item-Text 的 $\alpha \approx 0.15$），以及跨域的非对称迁移特性（CF→UIH 有效但反向无效），这些发现为推荐系统的数据工程提供了全新的定量框架。
实验结果
本文的实验结果可以分为三大类。第一，合成数据质量的直接验证（TSTR 实验）：在四个标准序列推荐模型（GRU4Rec、NARM、STAMP、SASRec）上，用合成数据训练的模型（TSTR）在所有截断点（Recall@10、@100、@1K）上都显著超越了用真实数据训练的模型（TRTR），SASRec 的 Recall@100 提升达 +130%。这提供了最直接的证据：本文的合成数据不仅替代真实数据，而且是更优越的训练资源。第二，缩放定律的建立：在 0.6B 到 8B 参数的 Qwen3 模型上，以 163B token 持续预训练，所有七个评估领域（通用、物品文本、CF 三种变体、UIH 两种变体）都展现出稳健的幂律缩放行为 $L(D) = L_{\infty} + A \cdot D^{-\alpha}$。缩放指数 $\alpha$ 呈现清晰的效率层级：UIH（$\alpha \approx 0.45$–$0.59$）> CF（$\alpha \approx 0.28$–$0.36$）> Item-Text（$\alpha \approx 0.13$–$0.21$）> General（$\alpha \approx 0.02$–$0.03$）。UIH 的强缩放表明用户行为序列从更多训练 token 中持续获益，而通用域接近饱和是因为 Qwen3 预训练已经编码了大量通用知识。第三，联合缩放定律分析：拟合 $\ell = E + A \cdot N^{-\alpha} + B \cdot D^{-\beta}$ 揭示了文本域和推荐域的缩放瓶颈截然相反——通用/物品文本域是模型规模主导（高 $\alpha$，低 $\beta$），而 UIH 是数据主导（低 $\alpha$，高 $\beta = 0.272$），CF 介于两者之间。这意味着计算最优分配策略因领域而异：UIH 应优先增加数据覆盖，通用域应优先扩大模型规模。第四，消融实验揭示了跨域迁移的不对称性：包含 CF 数据将 UIH 的渐近损失从 $L_{\infty} = 0.95$ 降低到 $0.66$，改善 31%；但反向迁移不成立（UIH 数据对 CF 任务无提升），验证了分层课程的教学设计。第五，数据混合比例分析：UIH 混合比例超过约 2% 后（约 16 次重复），模型在保留集上的困惑度开始上升，表明过拟合发生，且过拟合的发生时间与模型规模无关。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 序列推荐排序（SASRec，Recall@100） | Recall@100 | TSTR（合成数据训练）显著高于 TRTR | TRTR（真实数据训练） | +130% |
| UIH 缩放效率（联合缩放指数） | 数据缩放指数 $\beta$ | 0.272（MerRec 数据集） | Item-Text 0.070, General 0.048 | UIH 的数据缩放效率是 Item-Text 的 3.9 倍 |
| CF 对 UIH 的迁移学习 | UIH 渐近损失 $L_{\infty}$ | CF+UIH: $L_{\infty}=0.66$ | UIH only: $L_{\infty}=0.95$ | 31% 降低 |
| 不可约损失（CF 域） | 不可约损失 $E$ | 0.193 | General 0.79, UIH 0.514 | CF 域最可预测（$E$ 最低） |
| 跨模型泛化（Gemma 3，社交数据集） | RMSE | < 0.035 | 无（首次建立） | 缩放定律在 Gemma 3 和社交数据集上均成立 |
局限与改进
本文存在几个重要的局限性。首先，流行度偏差仅被部分缓解而非消除：偏置审计显示合成 UIH 的物品 Gini 系数为 0.635–0.732，虽然远优于真实日志的 >0.95，但仍存在一定的流行度集中，因为随机游走的边权重天然编码了物品流行度信息。作者在文中已将措辞从「无偏差」修正为「位置去偏差」，这是诚实的做法。其次，缩放定律的评估主要基于困惑度（perplexity）而非端到端的推荐指标（如 NDCG、点击率），虽然作者提供了 TSTR 实验证明困惑度与推荐质量的相关性，但生产环境中的实际效果仍需验证，文中也承认「Production evaluation... is underway」。第三，实验仅在单一公开数据集（MerRec，C2C 电商）和一个私有社交数据集上进行，对于其他推荐场景（如视频推荐、新闻推荐、音乐推荐）的泛化能力尚不确定。第四，163B token 的训练预算对于 8B 模型来说是 Chinchilla 最优比例的 20 倍以上（极度过训练），但对更大模型（如 14B、32B）的缩放行为仅在 Figure 7 中初步探索，且部分结果出现退化。第五，合成数据的生成依赖于已有的 CF 图质量，对于全新的物品（冷启动）或交互极其稀疏的场景，CF 图可能无法提供足够的边权重来生成有意义的随机游走序列。
独立分析的弱点
从独立分析的角度，本文存在几个可以改进的弱点。第一，位置偏差的消除机制虽然在理论上优雅，但二阶随机游走引入了新的偏差模式：游走的 (p,q) 参数选择会影响生成序列的局部/全局结构，不同的参数配置可能系统性地偏向某些类型的物品转移模式。论文的超参数搜索（Appendix A，14 种配置）虽然详尽，但缺乏对最优配置为何有效的深入理论分析。改进方向是引入自适应的游走策略，根据图的局部结构动态调整探索/利用平衡。第二，合成数据的多样性依赖于 CF 图的结构丰富度。对于长尾物品，其图邻居可能非常有限，导致随机游走只能生成少数几种转移模式。可以通过引入基于内容相似度的辅助边来增强图的连通性，或使用 LLM 基于物品文本描述生成语义相似的虚拟转移。第三，Item-Text 数据的比例仅占 9%，但其缩放指数最低（$\alpha \approx 0.15$），说明模型从更多文本对齐数据中的获益有限。这可能是因为语义 ID 的表达能力有限——SAE 生成的 token 序列可能无法充分捕获物品的多维语义。可以探索更丰富的语义表示方法，如多视角语义 ID 或层次化语义编码。第四，论文的联合缩放定律使用加法形式 $\ell = E + A N^{-\alpha} + B D^{-\beta}$，但作者自己也承认存在模型-数据交互效应（大模型的 $\alpha_{data}$ 更高），加法模型无法捕获这种交互。可以尝试乘法形式或更灵活的函数形式来建模交互项。
未来方向
作者明确提出了几个未来方向：将缩放分析扩展到后训练阶段（SFT、RLHF）和测试时计算（test-time compute），以及在困惑度之外验证下游任务指标。基于本文的成果，还可以延伸出几个有价值的研究方向。第一，探索自适应数据课程：当前的 9%:30%:11% 混合比例是固定的，但不同训练阶段可能需要不同的数据分布——早期可能需要更多基础语义数据（Item-Text），后期则需要更多行为序列数据（UIH）。课程学习（curriculum learning）的自适应策略可能进一步提升缩放效率。第二，将分层合成数据框架应用于其他推荐范式：当前工作聚焦于序列推荐，但同样的思路可以扩展到对话推荐、跨域推荐、多模态推荐等场景，探索分层课程在这些场景中是否同样能建立缩放定律。第三，偏差审计的自动化：当前的偏置分析是离线进行的，可以开发在线的偏差监控机制，在训练过程中实时检测和调整数据分布，防止偏差累积。第四，探索 CF 图边权重的去偏差方法：当前框架中流行度偏差通过边权重部分保留，可以尝试对边权重进行逆倾向加权（inverse propensity weighting）来进一步降低流行度偏差。
复现评估
本文的复现条件相当友好。数据方面，核心数据集 MerRec 是 HuggingFace 上公开的 C2C 电商数据集（1.2B 交互，65.7M 物品，2.6M 用户），通用文本数据来自 SmolLM-Corpus 的三个子集（cosmopedia-v2、fineweb-edu-dedup、python-edu），也是公开的。模型方面，使用的是 Qwen3 系列开源模型（0.6B、1.7B、4B、8B）。算力方面，实验在 B200 集群上进行，所有模型训练 163B token，对 8B 模型来说计算量约为 $C = 6 \times 8 \times 10^9 \times 163 \times 10^9 \approx 7.8 \times 10^{21}$ FLOPS，这是一个相当大的计算需求。但小模型（0.6B）的计算量约为 $5.9 \times 10^{20}$ FLOPS，相对可及。复现的主要挑战在于合成数据的生成流程——需要实现 SAE 语义化、CF 关联规则挖掘、Node2Vec 随机游走等多步流水线，论文提供了足够的细节但未开源代码。此外，超参数搜索（14 种 Node2Vec 配置、RQ-kmeans 配置扫描等）需要额外的实验资源。总体而言，核心方法的复现难度中等偏高，主要瓶颈是算力需求和数据处理流水线的工程复杂度。
论文图表
