ProRL: 通过修正的策略梯度估计实现有效的主动推荐强化学习

通过修正策略梯度估计中的长度偏差和方差问题，实现高效的主动推荐路径规划。

前置知识

主动推荐系统

主动推荐系统是一种旨在主动改变用户偏好的推荐范式，而非被动反映用户现有兴趣。系统会从用户当前偏好出发，通过精心设计的一系列中间推荐项路径，逐步引导用户向平台指定的目标商品迁移。例如，为了引导科幻电影爱好者接受喜剧电影，系统可能推荐科幻加动画过渡类型如WALL-E，再推荐动画加喜剧类型如疯狂动物城，最终到纯喜剧类型，每一步确保用户都能接受，整体上培养用户对新品类的兴趣。

这是本文的核心研究对象，理解PRS的工作原理对于掌握论文要解决的问题是必要的。论文探讨的就是如何为PRS设计有效的强化学习框架。

策略梯度

策略梯度是强化学习中一类重要的算法，其核心思想是直接参数化策略，然后通过梯度上升直接优化期望回报。根据策略梯度定理，梯度的估计公式中包含对数策略概率和累积回报的乘积。REINFORCE是经典的策略梯度算法，它使用蒙特卡洛采样来估计梯度。策略梯度的优点是可以处理连续或大规模离散动作空间，适合本文中的推荐路径生成任务。

本文发现标准策略梯度估计在PRS任务中存在两个致命缺陷即长度快捷键和高梯度方差，论文提出的ProRL正是对策略梯度估计的修正。

优势估计

优势函数衡量动作在状态下相对于平均表现的优劣程度，通常定义为动作价值函数减去状态价值函数。使用优势而非原始回报可以降低梯度方差，同时保持无偏估计。经典方法包括训练Critic网络来估计状态价值然后计算优势。最新方法如GRPO则使用同一输入的多条采样路径的回报均值作为baseline。本文提出的Position-Specific Advantage Estimation利用路径奖励的分解结构，计算每个位置特异性的baseline，无需训练Critic就能实现低方差梯度估计。

高梯度方差是标准策略梯度在PRS中失败的第二个原因，本文提出的PSAE是解决这个问题的关键创新点。

用户模拟器

用户模拟器是在没有真实在线用户反馈时评估推荐策略的工具。它是一个推荐模型，在历史交互数据上训练，可以估计用户在当前偏好序列下接受物品的概率。在主动推荐中，用户模拟器用于计算路径奖励如点击率、兴趣增量、排名增量，使得强化学习训练可以在离线环境下进行。论文通过交叉评估器分析验证了学到的策略不是过拟合到特定的SASRec模拟器，而是具有泛化能力。

本文使用用户模拟器来计算奖励信号，理解其工作原理有助于理解实验设置和方法的局限性。

研究动机

现有主动推荐方法存在显著局限性。启发式方法如IPG和ITMPRec依赖预定义规则贪婪选择中间项，这种局部搜索往往陷入全局次优路径。监督学习方法如IRN将历史交互序列作为参考路径进行模仿训练，受限于训练分布，无法探索超越历史数据的更优路径。大语言模型方法如LLM-IPP和T-PRA虽然规划能力强，但部署成本高昂。更重要的是，论文通过实验发现，将标准策略梯度强化学习直接应用于主动推荐系统时会系统性失败，模型在几百次更新后迅速退化，生成几乎完全相同的超长路径达到最大长度，路径多样性几乎为零，无法发现有效的、个性化的引导路径。

本文的目标是本文的目标是设计一个有效的强化学习框架来解决主动推荐中的路径规划问题，实现路径可行性和引导有效性的联合优化。路径可行性要求每个中间项都有高接受率以维持用户参与度，引导有效性要求整个路径显著增加目标物品的接受概率。具体而言，论文希望通过修正标准策略梯度估计中的缺陷，使强化学习能够发现超越训练分布的高质量引导路径，同时保持用户参与度。

与已有工作不同的是，本文的独特切入角度是从策略梯度估计的缺陷入手，而非设计新的模型架构或奖励函数。论文识别出两个主动推荐任务特有的梯度估计缺陷即长度快捷键和高梯度方差。长度快捷键是指路径级奖励分解为具有正均值的步骤级奖励，导致扩展路径长度能直接增加期望回报，从而让梯度信号被长度变化主导而非路径质量。高梯度方差是指标准估计用整个路径级奖励加权每一步梯度，但每一步只影响未来奖励，忽略分解结构导致高方差。通过修正这两个问题，论文实现了有效的强化学习优化。

核心方法

ProRL的整体思路是通过两个修正机制来消除标准策略梯度在主动推荐中的缺陷。首先通过Stepwise Reward Centering消除长度快捷键，确保路径扩展产生零期望增益，将梯度估计重定向到路径质量探索而非长度操纵。然后通过Position-Specific Advantage Estimation降低梯度方差，利用奖励分解结构计算步骤自适应的baseline，获得低方差梯度估计。这两个修正共同产生了精确对准路径质量的策略梯度，使得模型能够有效探索高质量路径。技术路线上，论文采用两阶段训练，先在平滑引导数据上进行监督预训练获得语义先验，然后使用修正的策略梯度进行强化学习微调。

核心创新点是对主动推荐任务特有的奖励分解结构的理解和利用。路径级奖励自然分解为步骤级奖励之和，当步骤级奖励的期望值大于零时，期望回报直接依赖于路径长度，这导致了长度快捷键。与已有方法的本质区别在于，ProRL不是试图重新设计奖励或模型，而是修正梯度估计本身。Stepwise Reward Centering通过从步骤级奖励中减去期望奖励确保零均值，Position-Specific Advantage Estimation通过计算位置特异性的奖励to-go均值作为baseline，利用分解结构降低方差。这种修正保留了策略梯度的无偏性，同时使梯度信号真正反映路径质量。

方法步骤详情

方法步骤的完整描述包括七个阶段。第一是数据准备阶段，使用轨迹挖掘策略从历史日志中提取平滑引导数据，通过可行性oracle确保相邻物品有语义相关性。第二是语义ID生成，用大语言模型生成物品profile，通过嵌入模型得到嵌入向量，训练残差量化变分自编码器将每个物品表示为四个token的语义ID序列。第三是监督预训练，在平滑引导数据上训练T5基础的序列到序列模型，获得强先验策略。第四是强化学习训练，采样路径并计算多目标奖励，该奖励是兴趣增量、排名增量和点击率的加权组合。第五是Stepwise Reward Centering，通过中心化和归一化处理步骤级奖励，其中均值在第一个训练周期估计后冻结。第六是Position-Specific Advantage Estimation，计算位置特异性的优势函数作为梯度权重。第七是使用修正的梯度估计更新策略，同时加入与预训练策略的散度约束。

技术新颖性

技术新颖性体现在三个方面。首次系统分析了策略梯度在主动推荐中的失败模式并给出了理论证明即长度坍缩率定理，证明了当步骤级奖励的条件期望值大于某个正常数时，停止概率以一定的速率收敛到零。提出了无需训练Critic的优势估计方法，通过利用奖励分解结构直接从采样统计计算位置特异性baseline，相比Actor-Critic方法避免了Critic漂移问题。提出了平滑引导数据挖掘策略，通过可行性oracle从历史数据中提取语义连贯的专家演示轨迹，为强化学习训练提供高质量先验，比简单随机切片历史序列更有效。

**Figure 2**: Standard policy gradient estimation degenerates into generating nearly identical overlong paths.

**Figure 3**: Overview of our proposed ProRL framework with rectification mechanisms.

实验结果

在三个真实数据集上的实验表明ProRL显著超越现有方法。在MovieLens-1M数据集上，ProRL的点击率为零点八五四三，连贯性为零点八四二二，兴趣增量为二点八五零四，排名增量为七百二十八点一八，均优于所有基线。在Steam数据集上，ProRL的点击率为零点五六二五，连贯性为零点八七零七，兴趣增量为一点一一八八，排名增量为三百四十点一八。在Amazon-Book数据集上，ProRL的点击率为零点八五六八，连贯性为零点六七七五，兴趣增量为二点九八一二，排名增量为一千三百八十三点四一。消融研究显示移除Stepwise Reward Centering后点击率异常升高但引导指标严重下降，说明该方法缓解了短期点击反馈主导优化的问题。交叉评估器分析显示ProRL在未见过的评估器上也持续表现优异，验证了学到的策略具有泛化性而非过拟合到训练奖励模型。

**Table 1**: Proactive Recommendation performance of all models on different datasets.

**Table 2**: Cross-evaluator analysis evaluated by the unseen Evaluator GRU4Rec.

**Table 3**: Ablation Studies on ProRL components.

**Table 5**: Analysis of gradient estimators on ML-1M with performance and variance metrics.

**Figure 4**: Training dynamics of gradient estimators on three datasets.

查看结构化数据

任务	指标	本文	基线	提升
主动推荐路径生成	CTR	0.8543 (ML-1M)	IRN: 0.8398 (ML-1M)	+1.7%
主动推荐路径生成	IoI	2.8504 (ML-1M)	T-PRA: 2.4867 (ML-1M)	+14.6%
主动推荐路径生成	IoR	728.18 (ML-1M)	LLM-IPP: 662.52 (ML-1M)	+9.9%
主动推荐路径生成	Coherence	0.8422 (ML-1M)	LLM-IPP: 0.6288 (ML-1M)	+34.0%

局限与改进

作者承认的局限性包括依赖用户模拟器计算奖励，可能存在模拟器与真实用户行为之间的差距，主要在三个特定数据集上验证，在其他领域的泛化性有待进一步研究，方法仍采用传统的小规模Transformer骨干约一点九七百万参数，探索更大规模模型可能带来更好性能。本文自己的观察包括语义ID生成依赖残差量化变分自编码器训练，这增加了实现复杂度，两阶段训练包括预训练加强化学习计算成本较高，虽然连贯性不在奖励函数中，但ProRL在该指标上显著超越基线，说明该方法学习的是真正的高质量路径而非过拟合奖励信号。

独立分析的弱点

独立分析的弱点包括四个方面。当前方法假设用户偏好是可塑的且可以被引导，但在实际场景中，某些用户的偏好可能非常稳定，强行引导可能引起反感，未来可加入用户可塑性的自适应判断机制。方法主要优化路径级别的指标，但忽略了路径内部的多样性，对于不同类型的用户可能需要不同的引导强度，可引入个性化引导策略。语义ID生成依赖大语言模型生成物品profile，这引入了语言模型的噪声和成本，未来可探索更高效的多模态表示学习。当前多目标奖励采用固定权重组合，不同用户或场景可能需要不同的权重配置，可引入自适应权重调整机制。

未来方向

作者提出的未来方向包括探索更复杂的多目标奖励设计，将用户体验、长期价值等纳入考虑，研究在线部署策略，如何平衡探索与利用，避免用户疲劳，扩展到其他主动推荐场景，如电商平台的品类引导、内容平台的兴趣拓展等。基于论文成果的可延伸方向包括将ProRL框架与其他强化学习算法结合，探索更稳定的训练策略，研究如何将用户反馈如隐式反馈、显式评分融入奖励函数，实现持续学习，探索多智能体协同的主动推荐，多个策略协同引导用户偏好迁移。

复现评估

论文代码已在GitHub开源，提供了完整的实现和数据预处理脚本。实验使用三个公开数据集包括MovieLens-1M、Steam、Amazon-Book。模型采用轻量级Transformer，预训练约两百个周期，强化学习训练五十个周期，在单个图形处理器上可完成训练。论文详细提供了超参数设置和数据统计，包括语义ID生成的残差量化变分自编码器配置，即五层残差量化，每层码本大小一百二十八。总体而言，复现难度中等到较高，主要挑战在于数据预处理流程复杂包括轨迹挖掘、可行性oracle、语义ID生成和两阶段训练的调参。

ProRL: 通过修正的策略梯度估计实现有效的主动推荐强化学习 ProRL: Effective Reinforcement Learning for Proactive Recommendation via Rectified Policy Gradient Estimation