OneTrans-GSR：用单个自回归 Transformer 统一重排与混排的生成式列表排序范式 OneTrans-GSR: A Generative Slate Ranking Paradigm Unifying Reranking and Mix-Ranking with One Autoregressive Transformer
单个自回归策略加离线列表级奖励模型统一重排与混排，线上GMV/u提升2.63%且延迟降13%
前置知识
重排与混排
重排指在精排打分后的候选集合上决定展示哪些物品、按什么顺序排列；混排进一步把商品卡、短视频、直播、广告卡等来自不同业务渠道的异质内容合并进同一份曝光列表，并在配额、打散、去重、疲劳控制等业务约束下分配位置。二者共同决定用户最终看到的整页结果。
本文的目标就是用一个模型同时替代这两个阶段的人工规则系统，理解这两个概念才能明白 OneTrans-GSR 到底统一了什么。
生成式推荐与自回归解码
把推荐改写为序列生成：decoder-only Transformer 像语言模型一样逐个产出物品，每步在已生成前缀的条件下对候选打分。本文每请求的候选池嵌入充当动态词表，通过温度缩放余弦相似度加 softmax 逐位置选出无重复物品，而非在固定词汇表上生成文本。
论文的方法主体就是一个自回归解码器，策略分解（公式1）和打分公式（公式8）都建立在这个概念上。
奖励模型与 GRPO 组相对优势
奖励模型（RM）从日志用户反馈学习给完整输出打分，只在训练期使用；GRPO 对同一输入采样一组输出，用组内标准化后的得分当作优势，免去价值网络。本文将两者用于列表：RM 评估整张 slate，策略在每个请求采样 $G_{train}=32$ 个列表的组内计算相对优势。
GMR-PO 是在 GRPO 基础上的多目标改造，不熟悉 GRPO 的优势计算方式就看不懂后训练的更新公式（公式16）。
约束解码
在自回归生成的每一步直接干预输出分布：对违反硬规则的候选施加 $-\infty$ 掩码使其不可被采样，或用有限的 logit 偏置 $\delta_t$ 做软引导。生成结果天然满足业务规则而无需事后修复，思想源自文本的 guided generation。
生产推荐必须满足配额、打散、去重、广告位等约束，本文用约束解码承接原规则系统的硬约束，是线上可部署的前提。
列表级打分与 EOS 读出
列表级打分指模型一次性评估整张列表而非逐物品独立打分求和。本文在列表尾部追加可学习 EOS token，因果注意力下其隐状态 $h_{EOS}$ 汇总整条曝光序列，接输出头直接预测 ListClick/ListOrder/ListGMV，天然编码顺序与组成信息。
奖励质量取决于 RM 能否感知列表结构：Table 5 显示 EOS 读出对顺序扰动的敏感度比求和读出高一个数量级，这是本文奖励设计的基石。
SlateQ 式 LTV 分解
SlateQ 假设用户对一张列表至多消费一个物品，把列表长期价值分解为逐物品概率链。本文据此用 $R_{ltv}=\sum_{c\in L}\text{pCTR}\cdot\text{pCVR}\cdot\text{pREP}$ 把稀疏延迟的14天复购信号聚合成列表级奖励，日志支持该假设：98.3% 列表至多1次点击、99.99% 至多1次购买。
复购率是本文三大线上收益之一，LTV 奖励如何在延迟稀疏标签下构造依赖这一分解。
研究动机
工业推荐系统的召回与精排环节已经验证了堆数据、堆算力就能涨点的扩展规律（HSTU、Wukong、OneTrans 等架构），但最终决定用户看到什么的那一环——曝光列表（slate）的组装——仍停留在人工专家系统：商品卡、短视频、直播和广告卡来自不同业务渠道，由打散、配额分配、去重、疲劳控制、商业加权等手工规则，配合一个严格延迟预算内的小容量浅层模型和人工调参的融合分数来拼装。这种设计有三大结构性问题：第一，列表生成本质是组合优化问题，规则把可达搜索空间压缩到极小一角，线上再多算力也只能在受限空间里做更细的搜索；第二，各业务目标的权衡（GMV、用户体验、广告收入）全靠人工调权重，无法从数据中学习；第三，列表质量随专家知识和工程投入增长，而不是随数据和计算增长，与打分阶段形成鲜明反差。生产中重排与混排还分裂为两个阶段、多套专用组件甚至在线评估器，维护成本高。
本文的目标是本文的目标是把重排与混排统一成一个能从数据和算力中持续受益的学习问题：训练一个列表级奖励模型（RM），从曝光日志和用户反馈中学习评估完整列表在点击、下单、GMV 和长期复购上的价值，替代手工规则编码的目标；再用单个自回归解码器策略针对该奖励做强化学习后训练，在每请求的候选池上端到端生成最终曝光列表。设计上有三条硬性要求：一是线上服务路径只保留这一个解码器，不再有规则组装引擎、专用组件、在线评估器或下游重排模块；二是硬性业务约束（配额、去重、广告曝光）在解码期强制满足，软性偏好进入训练奖励；三是 RM 只在离线使用，容量只受离线算力约束、不受线上延迟预算限制，从而打开 RM 更大、奖励更准、策略更强的扩展通道。最终在生产 A/B 中验证整条替换链路的业务收益。
与已有工作不同的是，本文的独特切入在于评估器与生成器的解耦位置。已有的可学习列表生成方案要么保留在线评估器——如 PRS、PIER 由多个生成器提案、线上再挑一个；要么只学重排不碰混排——如 GRN、NAR4Rec；生成式推荐（HSTU、OneTrans）证明了打分环节可扩展但未触及列表组装。OneTrans-GSR 的立场是：在线评估器本身就是延迟预算下的低容量妥协，应当彻底移除——RM 纯离线、解码器直接输出最终列表，规则从执行者降级为解码约束加训练奖励。论文把生产落地明确为三个研究难点：候选池是每请求动态变化的词表而非固定词汇；奖励定义在完整列表上，无法分解为独立物品的监督信号；每条生成列表必须满足生产约束而自回归生成不提供任何保证。核心问题是：一个离线针对列表级奖励优化的单一学习策略，能否替换今天组装曝光列表的专家工程系统？答案在其电商生产系统中得到了肯定验证。
核心方法
直觉上，OneTrans-GSR 把选哪些物品、按什么顺序排、四类内容怎么混看作一次序列写作：decoder-only Transformer 读完用户行为序列和候选池后，逐位置从候选池写出曝光列表。策略按 $\pi_\theta(L|u,\mathcal{C})=\prod_t \pi_\theta(c_{i_t}|c_{i_{<t}},u,\mathcal{C})$ 自回归分解，目标是最大化期望列表效用 $\mathbb{E}_{L\sim\pi_\theta}[R(L,u)]$。技术路线三阶段：先离线预训练列表级 RM（efficiency RM 输出 ListClick/ListOrder/ListGMV 三个 logit，另有独立 LTV RM 预测14天复购）；再在长行为序列上用 next-token 损失预训练解码器并适配候选池生成；最后 GMR-PO 后训练——解码器对每请求约束采样 $G_{train}=32$ 个列表，冻结 RM ensemble 打分，组内归一化后按几何平均聚合多目标，与软规则奖励的标准化优势相加，用带 KL 正则的 PPO 式 clip 目标更新。线上服务时一次 prefill 编码用户与候选 token 并初始化 KV cache，随后自回归并行采样 $G_{serve}=32$ 个列表，取累积序列 log-prob 最高的直接曝光，该阶段只服务这一个模型。
核心创新有三层。第一，范式层：把重排与混排统一为约束自回归策略，并把列表评估完全搬到离线——与 Generator–Evaluator 系统的本质区别是没有在线评估器，与 GRN/NAR4Rec 的区别是同时接管内容类型混合与业务感知排序；规则从组装逻辑降级为解码期硬约束加训练期软奖励。第二，奖励层：列表级 RM 用末端 EOS token 的隐状态 $h_{EOS}$ 直接监督整张列表的 ListClick/ListOrder/ListGMV，而非逐物品打分求和；受控扰动实验显示 EOS 读出对顺序与组成变化的响应比求和读出高一个数量级（首位置交换 $-0.1053$ 对 $-0.0083$），说明它真正学到了列表结构。第三，优化层：GMR-PO 用加权几何平均 $r^{RM}=\prod_v \tilde{R}_v^{w_v}$ 聚合四个目标——任一目标得分低都会压低总奖励，不像加法可被其他目标的高分补偿；同时 RM 标量奖励与软规则奖励各自在组内独立标准化后再相加 $A=A^{RM}+\lambda_{rule}A^{rule}$，避免两类奖励量纲差异导致某一方主导梯度。
方法步骤详情
流程七步。①RM 预训练：每候选一个 token（含上游精排分），列表尾接可学习 EOS token，$z_\phi(L,u)=f_\phi(h_{EOS})$ 输出三目标 logit，用加权逻辑回归训练，正样本按点击数/订单数/裁剪归一化 GMV 加权；每物品 pointwise 头与内容类型偏好 token $e_{pref}$ 提供辅助监督，$\mathcal{L}_{RM}=\mathcal{L}_{list}+\mathcal{L}_{point}+\mathcal{L}_{type}$；LTV RM 独立参数，按 $R_{ltv}=\sum_{c\in L}\text{pCTR}\cdot\text{pCVR}\cdot\text{pREP}$ 从延迟复购标签学习。②解码器预训练：部署版 4 层 OneTrans（hidden 256、4 头），长序列 next-token 训练后适配候选池。③prefill：用户序列与全部候选 token 置于生成段前，block-causal 掩码使候选从第一层起互相交互，prefill 只算一次并在并行采样间共享。④自回归解码：每步按 $s_{t,i}=\cos(h_{t-1},\text{sg}(e_i))/\tau$ 打分，加约束调整 $z=s+\delta_t+m_{t,i}$ 后对候选 softmax，输出路径对候选嵌入 stop-gradient 防坍缩。⑤约束注入：硬规则用 $-\infty$ 掩码，软规则用有限调整 $\delta_t=\sum_r f_{r,t}$（tag 窗口频次惩罚 $\eta_r=0.1$、多模态相似度惩罚、广告 boost $\beta$）。⑥GMR-PO 更新：3 成员 ensemble 按 $\mu_v-\kappa\sigma_v$（$\kappa=0.01$）打分，组内 min-max 归一化（下限 $10^{-4}$）后几何平均成 $r^{RM}$；$r^{rule}$ 归一化到 $[0,1]$，两者各自标准化后按 $\lambda_{rule}=0.1$ 相加，clip 目标加 KL 正则单步更新后丢弃 rollout。⑦线上服务：prefill cache 全请求共享、每采样私有自回归 cache，并行 $G_{serve}=32$ 取最高序列 log-prob 直接曝光。
技术新颖性
从技术谱系看新颖性有四点。其一，GMR-PO 与 GRPO 的区别不在策略更新而在多目标处理：GRPO 对单一奖励做组内标准化，GMR-PO 先逐目标组内 min-max 归一化再做加权几何平均，且几何平均施加在奖励目标维度上——与 GSPO/GMPO 把几何平均施加在 token 级重要性比率或策略项上有本质不同；与 GDPO 的逐维标准化相比，还把来自违规计数的规则奖励与模型奖励分离标准化。其二，评估器彻底离线化：PRS/PIER 类系统把评估器放在线上做最终挑选，本文证明评估可以完全离开服务路径，由 offline RM 集成（带不一致惩罚 $\mu_v-\kappa\sigma_v$）承担，解除评估容量的延迟约束。其三，候选嵌入输出路径 stop-gradient：输入路径学语义、输出路径只打分，规避正优势梯度把被选候选拉向解码器状态导致的嵌入坍缩，是 word2vec 输入输出嵌入分离与 SimSiam 防坍缩技巧在推荐动态词表上的迁移。其四，EOS 列表读出配因果注意力：与 RankFormer 的双向自注意力加 CLS 头不同，因果结构保证物品表示不依赖未来位置、EOS 汇总曝光顺序，同时兼容 pointwise 与 listwise 监督。
实验结果
线上 A/B（RQ6，Table 11）是最终裁决：相对部署中的 Generator–Evaluator 系统，OneTrans-GSR 使 GMV/u 提升 2.63%、广告主价值提升 2.06%、14 天复购率提升 2.03%（均 $p<0.05$），重排+混排端到端延迟下降 13%。离线端到端（Table 1）：完整策略相对线上曝光列表的 RM 估计 RG 为 ListClick $+0.0768$、ListOrder $+0.3132$、ListGMV $+0.2870$；消融显示去自回归后三项全负（$-0.2413/-0.4530/-0.5426$），去 RL 后 ListGMV 转负（$-0.0400$），去精排分或 stop-gradient 也全面下降，prefill 交互优于 cross-attention 与 output-only；与 GRPO/GDPO/HERO 对比，GMR-PO 在 ListOrder/ListGMV 上最高，GDPO 在 ListClick 上最高（0.1488）。RM 质量（Table 2-5）：CTR/CVR 相对精排 AUC $+1.23\%$/$+0.62\%$；ListClick/ListOrder AUC 0.8162/0.8976 超过 RankFormer（0.8106/0.8973）与 TSPRank（0.7254/0.7548）；EOS 读出 PCOC=1.00 校准最好，对顺序扰动敏感度比求和读出高一个量级。列表质量（Table 7）：无 logit 调整时对 CTR 降序基线多样性 $+46.88\%$、疲劳 $-40.91\%$；对线上 G-E 多样性 $+6.93\%$、疲劳 $-7.65\%$，但发现率 $-1.48\%$ 未追平。规则控制（Table 8）：分离标准化违规 3.08%/2.01% 优于直接合并（后期违规上升），纯约束解码违规最低（0.11%/0.30%）但 RG 略低；广告 boost $\beta$ 从 0.05 到 0.3，广告主价值 $+0.71\%\to+4.61\%$ 而 UV CVR 持续下降。奖励可靠性（Table 9）：单 RM 离线 RG 33.70% 高于 ensemble LCB 的 28.70%，在线却只有 1.41% 对 2.63%，离线在线倒挂。扩展性（Fig 6）：RM 判别力随算力近对数线性增长，解码器算力提升 ListOrder/ListGMV RG（ListClick 平坦），采样数提升三目标但边际递减（取 $G=32$）。系统工程（Table 10）：五项优化累计训练提速 4.91×、内存省 81.8%，服务模型路径提速 16.68×、内存省 72.7%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 生产 A/B：整体业务 | GMV/u 相对变化 | +2.63%（p<0.05） | 线上 Generator–Evaluator 系统 | +2.63% |
| 生产 A/B：广告生态 | 广告主价值 | +2.06%（p<0.05） | 线上 Generator–Evaluator 系统 | +2.06% |
| 生产 A/B：长期价值 | 14 天复购率 | +2.03%（p<0.05） | 线上 Generator–Evaluator 系统 | +2.03% |
| 生产 A/B：服务效率 | 重排+混排端到端延迟 | −13% | 线上 Generator–Evaluator 系统 | −13% |
| 离线端到端策略效用 | RM 估计相对增益 RG（vs 线上曝光列表） | ListClick +0.0768 / ListOrder +0.3132 / ListGMV +0.2870 | 线上 G-E 曝光列表（RG=0） | 三目标均为正增益 |
| 列表级判别（ListClick） | Slate 级 AUC | 0.8162 | RankFormer 0.8106 / TSPRank 0.7254 | +0.0056 / +0.0908 |
| 列表级判别（ListOrder） | Slate 级 AUC | 0.8976 | RankFormer 0.8973 / TSPRank 0.7548 | +0.0003 / +0.1428 |
| 物品级判别 | 相对 AUC 增益（vs 上游精排） | CTR +1.23% / CVR +0.62% | 上游 OneTrans 精排 | +1.23% / +0.62% |
| 奖励打分器选型 | 线上 GMV/u lift | Ensemble LCB：+2.63%（离线 RG 28.70%） | 单 RM：+1.41%（离线 RG 33.70%） | +1.22 个百分点（离线在线倒挂） |
| 服务效率（模型路径基准） | 相对 eager 的吞吐加速比 | 16.68×（KV cache 单项 11.57×） | Eager OneTrans-GSR（898ms） | 16.68× |
局限与改进
作者明确承认的局限：所有离线 RG 都是 RM 代理分数而非校准的业务预期，$R_v=\exp(z_v)$ 不应解读为期望点击或 GMV；Table 9 显示离线 ListGMV RG 与在线 GMV/u 提升倒挂（33.70%→1.41% 对 28.70%→2.63%），作者仅将其作为部署诊断、不归因为奖励过优化；扰动实验只测敏感性而非预测准确性；PCOC 只是聚合校准；LCB 是启发式保守分、无统计覆盖保证，ensemble 共享偏差无法消除；scaling 拟合只覆盖测试配置、不构成普适 scaling law；A/B 验证整体替换、无法归因单个组件；KL 系数、目标权重 $w_v$、$\lambda_{rule}$、$\beta$ 均为人工调参。我的补充观察：第一，RM 只在曝光日志上训练，对策略采样的反事实列表打分存在 exposure bias，论文未做反事实校正；第二，发现率始终低于线上 G-E（$-1.48\%$ 至 $-2.47\%$），探索性曝光学不到位；第三，约束解码的逐步检查不保证交互配额全局可满足，聚合违规率还混入不可行请求；第四，GMR-PO 沿用 on-policy 单步更新、无 off-policy 修正，样本效率存疑；第五，仅在单一电商系统验证，跨域泛化未知。
独立分析的弱点
第一，反事实有效性未验证：RM 的监督完全来自被展示的列表，策略却要给未展示的列表打分，这种外推没有对照实验支撑，若候选分布偏移，后训练可能在优化系统性偏差。改进方向：用小流量随机曝光或位置插桩收集探索数据，对 RM 做逆倾向得分校准。第二，离线-在线倒挂暴露代理奖励不可靠：单 RM 离线分更高但在线收益低 1.22 个百分点，说明离线 RG 不能单独作为选型依据。改进方向：建立离线指标与在线收益的持续校准监控，用多 RM 一致性或保形区间替代启发式 LCB。第三，收益不可归因：A/B 只替换整体，无法判断收益来自 RL 后训练、prefill 结构还是约束解码，后续迭代缺乏抓手。改进方向：分臂实验或序贯消融。第四，ListClick 扩展性平坦：Fig 6(b) 显示解码器算力增长对点击类目标几乎无益。改进方向：目标条件化容量分配或混合专家。第五，规则仍需人工工程：$f_{r,t}$ 调整函数、mask 逻辑、交互配额检查都是手写代码，逐步检查不保证全局可行。改进方向：把约束编译成可微层或自动可行性验证器。第六，多目标权衡仍靠手工权重 $w_v$、$\lambda_{rule}$、$\beta$。改进方向：Pareto 前沿学习或自动化双目标选点。
未来方向
作者提出的方向：解码器已是该阶段唯一服务模型，下一步可逐步把上游精排并入 slate 生成，进一步压缩级联；该形式化（从请求级候选池、在多目标与约束下生成有序列表）可推广到搜索、广告及其他有序列表构建场景。基于本文成果可延伸：第一，长期价值建模——目前 LTV 只有14天复购一个代理，可把会话内多步决策、留存纳入 RM，走向真正的长期强化学习；第二，反事实校正与探索——把 IPS/双重稳健估计或刻意探索流量纳入后训练，解决 exposure bias 与发现率短板；第三，服务成本——论文只做了非自回归消融，可探索把自回归策略蒸馏到非自回归模型或用投机解码，进一步压低延迟以支持更大 $G_{serve}$；第四，scaling law 形式化——目前只是测试配置上的对数线性拟合，可系统研究 RM、策略、采样三轴的联合缩放规律及其在线收益的映射；第五，在线持续后训练——用当天反馈流更新 RM 与策略，缩短数据闭环；第六，约束学习——把业务规则从人工写的调整函数升级为可学习约束层，并自动满足交互配额。
复现评估
复现难度：高，主要障碍是数据而非算力。论文基于字节电商三个月专有生产日志（候选池、曝光列表、结果标签），数据和代码均未开源，线上 A/B 与延迟收益无法复现。但方法描述异常详尽：公式 (1)-(17) 与 Algorithm 1 完整，超参齐备——efficiency RM 为 3 个独立初始化的 2 层 OneTrans（hidden 512、4 头）集成，解码器 4 层（hidden 256、4 头），后训练 batch 1024 请求、学习率 $10^{-4}$、$\lambda_{rule}=0.1$、$\kappa=0.01$、$G_{train}=G_{serve}=32$、AdamW。模型本身很小（百万级参数），单张消费级 GPU 即可训练；系统工程优化（rollout 编译、BF16、KV cache、FlexAttention、激活检查点）也有逐项量化数据可对照。学术复现可行路径：用公开重排数据集重建 EOS 读出 RM 与 GMR-PO（可参考公开 GRPO 实现），复现 Table 3-5 的判别与扰动敏感性实验完全可行；但 prefill 式候选交互在大候选池下的服务路径、真实业务约束体系及在线指标无法验证。综合评估：离线方法学可复现（中等工作量），生产结论只能信任原文。
论文图表
对比两种列表生成范式：上方的规则专家系统用专家规则+浅层模型+手工分数驱动组装引擎（打散、配额、去重、疲劳、商业加权）；下方的学习型策略从日志曝光与用户反馈训练奖励模型（仅训练期使用），单个深度模型以规则为约束生成列表。
这张图一句话讲清了论文的范式转变：规则从组装逻辑降级为约束与奖励信号，是理解全文动机的钥匙。
GMR-PO 后训练的完整伪代码：冻结 rollout 策略、约束采样 $G_{train}$ 个列表、ensemble 打分加不一致惩罚、逐目标归一化并几何平均成 $r^{RM}$、计算 $r^{rule}$、两者组内标准化后按 $\lambda_{rule}$ 合成优势、clip 目标加 KL 正则单步更新。
把公式 (8)-(16) 串成一个可执行的训练循环，是复现后训练过程的关键参考。
同一 A/B 中两个打分器臂：单 RM 离线 RG 33.70% 更高但在线 lift 仅 1.41%；ensemble LCB（κ=0.01）离线 28.70% 却在线 2.63%（均 p<0.05）。
罕见地公开了离线代理分与在线收益倒挂的证据，是理解奖励过优化风险与部署选型的必读表。