UserArena：面向长程购物智能体的交互式用户模拟基准 UserArena: Benchmarking Interactive User Simulation for Long-Horizon Shopping Agents
长程购物模拟基准UserArena与OPTD在线轨迹蒸馏，模拟器最忠实复现线上策略效应
前置知识
推荐世界模型与用户模拟器
在智能体推荐中，世界模型由两部分组成：可执行环境刻画策略能看到什么、能改变什么（页面、信息流、商品），用户模拟器刻画购物者如何回应环境的每次变化（滚动、点击、加购、购买）。二者合起来可以离线、反事实地评估推荐策略，减少昂贵的在线实验。
本文的评测对象正是用户模拟器这一半：UserArena 提供真实环境和轨迹，五级协议衡量的都是模拟器行为与真实用户行为的偏离程度。
教师强制与曝光偏差
教师强制是序列生成模型的标准训练方式：训练时每个位置的预测都条件于数据集中的真实前缀。但推理时模型只能条件于自己已生成的前缀，一旦早期出错，就会走进训练时从未见过的前缀分布，误差逐步累积，这个训练—推理失配称为曝光偏差。
模拟器要在自由推演数十步的会话中保持真实，曝光偏差是其主要失败模式之一；消除它正是 OPTD 采用在线策略采样的核心动机。
在线策略蒸馏
Agarwal 等 2024 年提出：让学生模型在自己采样的响应上逐 token 匹配冻结教师的全词表分布，而不是只在记录数据的真实前缀上模仿单条答案。监督发生在学生自己的轨迹分布上，因此训练分布与推理分布一致，且提供比单一正确序列更稠密的目标。
OPTD 整个训练框架就是在线策略蒸馏，只是给教师额外注入了轨迹级意图这一特权信息，并用信任域加以约束。
GRPO（组相对策略优化）
一种 RL 后训练算法：对每个 prompt 采样一组响应，用组内奖励的相对优势作为基线来更新策略，无需训练价值网络。奖励通常是针对整条响应的单个标量，因此信用分配是响应级、稀疏的。
GRPO 代表 Shop-R1、Customer-R1 等电商模拟基线的训练范式，Figure 2 把它与 OPTD 对照：标量奖励把行为等价的合理替代动作和真正错误同等对待。
Jensen–Shannon 散度（JSD）
度量两个分布差异的对称有界散度：$\mathrm{JSD}_\beta(P,Q) = \beta\,\mathrm{D}_{KL}(P\|M) + (1-\beta)\,\mathrm{D}_{KL}(Q\|M)$，混合分布 $M=\beta P + (1-\beta)Q$。以 2 为底时取值 0 到 1，不会像 KL 那样无界发散。
它一物两用：既是 OPTD 蒸馏损失的逐 token 目标（有界性保证训练稳定），也是 L2/L4 评测指标 DM-JSD、T-JSD 的计算基础。
KL 散度与信任域
KL 散度 $\mathrm{D}_{KL}(P\|Q)$ 衡量用 Q 近似 P 时的信息损失。信任域是强化学习中限制新策略偏离参考策略幅度的机制；本文把它反向用于蒸馏：限制教师因携带特权意图而偏离无意图参考分布的幅度。
OPTD 的信任域正则化（预算 $\epsilon=0.02$）是防止学生学到推理时不可得的『上帝视角』的关键构造，看不懂它就看不懂方法一节。
A/B 测试与 PV-CTR
A/B 测试把线上流量随机分桶到控制策略与处理策略，比较关键指标差异以估计策略效应。PV-CTR 定义为总点击次数除以总曝光页面浏览量，是电商平台衡量推荐改版效果的标准指标。
Table 3 的生产 A/B 校验以线上记录的 $\Delta$PV-CTR 为准绳，检验模拟器里跑出的策略效应是否与线上一致——这是 UserArena 区别于所有现有基准的独特证据。
研究动机
智能体推荐让智能体通过一连串依赖上下文的决策去达成购物者目标，其训练与评估都依赖一个可扩展的『推荐世界模型』：可执行环境刻画策略能观察和改变什么，用户模拟器刻画购物者如何回应。现有资源存在两个关键缺口。数据层面：Amazon Reviews 只有评分与评论文本，Qilin 补充了多模态 App 级会话，OmniBehavior 有纵向行为轨迹，但几乎没有数据集能在跨会话的长程轨迹中，把用户画像、视觉观察、商品上下文和动作在每一步都对齐；以最接近的 OPeRA 为例，只有 51 名用户、平均每条轨迹 11.11 个动作，USB 平均 13.24 个动作且都是单会话，而真实购物者平均一次跨会话轨迹包含 10.29 个会话、86.36 个动作。评估层面：主流的『下一步动作一致率』只衡量孤立单步的选择，既不能判断模拟轨迹在长程上是否保持用户行为倾向，也无法回答『模拟器中的策略对比是否与生产环境 A/B 测试结论一致』，这直接限制了模拟结论的现实有效性。
本文的目标是本文的目标是构建一个生产级接地的电商交互基准 UserArena，并配套训练出该基准上最忠实的长程用户模拟器，具体分三条线。(1) 数据线：在亚洲最大电商平台之一的真实日志上，构建包含 11,010 名用户、64,729 条会话轨迹、577,670 个动作、566,102 个商品、13 类完整动作空间的数据集，每步对齐画像、视觉观察、商品上下文与动作，并把 5,768 名用户的 59,378 条会话按时间顺序串成平均 10.29 个会话、86.36 个动作的跨会话长程轨迹。(2) 评估线：设计五级协议——输出有效性 L0、局部决策保真 L1、序列行为保真 L2、个性化人口保真 L3、结果保真 L4，从格式合法性一路测到聚合结果，并支持与受控生产 A/B 测试的离线校验。(3) 方法线：提出 OPTD（在线策略轨迹蒸馏），用轨迹级意图在学生自采样 rollout 上提供稠密教师监督，使其在五级协议上整体最强、且最接近复现线上策略效应。
与已有工作不同的是，本文的独特切入点有三。其一，首次把『真实轨迹 + 视觉上下文 + 完整动作空间 + 跨会话长程 + 生产 A/B 校验』五要素合入同一基准：Table 1 显示 Qilin、RL4RS、OPeRA、OmniBehavior、USB、A/B Agent 各缺至少一角，而 UserArena 全部满足。环境层面通过从预渲染完整信息流裁剪视口来还原用户真实所见，点击任何当前可见商品（包括真实用户没点过的）都能打开由该商品预渲染视图重建的交互详情页，实现完整可执行交互环。其二，评估从单步对错升级为五级保真度阶梯，并用 Replay（复放真实状态、预测记录动作，隔离局部误差）与 Rollout（自由推演到会话结束，检验累积误差与聚合结果）两种模式分别覆盖 L0–L1 与 L2–L4。其三，在模拟器训练上，不同于 SFT 的教师强制和 GRPO 的标量奖励，OPTD 让冻结教师携带『轨迹级意图』这一特权上下文，在学生自己生成的 rollout 上逐 token 给出稠密目标，再用逐 token 信任域约束意图带来的分布偏移，兼顾长程连贯性与逐步接地。
核心方法
整体思路分『基准环境与数据』和『模拟器训练』两半。环境与数据：UserArena 在离线 React 环境中重建生产级推荐信息流与商品详情页（双栏布局），定义 13 类动作，从信息流滚动、点击商品、返回信息流、查看评论、加购到购买、结束会话；模拟器滚动时环境从预渲染的完整信息流裁出对应视口更新可见内容，所见即可点。每条记录对齐用户画像（6 个属性，覆盖率 99.0%–99.9%）、视觉观察、可见商品上下文和动作，共 64,729 条会话、577,670 个动作、566,102 个商品、73,717 次商品点击横跨 41 个品类。训练：OPTD 先用 Qwen3.5-397B 从每条完整训练轨迹抽取结构化『轨迹级意图』$z_u$（由偏好、顾虑、信息需求、比较标准、条件决策倾向等类型化锚点组成），再以 SFT 热身后的冻结检查点为教师，在学生策略 $\pi_\theta(y\mid x)$ 自采样响应的每个 token 上给出意图条件化的稠密目标；同时用逐 token 信任域保证意图的指导不超出学生可观测信息所能支持的范围，最后与记录动作的教师强制接地损失联合优化。整个流程学生推理时永远看不到意图 $z_u$。
核心创新是把特权信息注入教师的分布而非学生的输入。设 $x_t$ 为当前状态、$y_{t,<k}$ 为学生在位置 $k$ 前的自生成前缀。意图条件化教师分布为 $q^{\mathrm{I}}_{t,k}(v) = P_\phi(v \mid x_t, z_u, y_{t,<k})$；对同一教师、同一状态与前缀去掉意图，得到无条件参考 $q^{0}_{t,k}(v) = P_\phi(v \mid x_t, y_{t,<k})$——两次查询唯一的差别是 $z_u$，因此二者的差恰好隔离意图的影响。随后在对数概率空间做几何插值 $q^{\lambda}_{t,k} = \mathrm{softmax}\big((1-\lambda)\log q^{0}_{t,k} + \lambda\log q^{\mathrm{I}}_{t,k}\big)$，逐 token 选取满足预算 $\mathrm{D}_{KL}(q^{\lambda^\star}_{t,k} \,\|\, q^{0}_{t,k}) \le \epsilon$（$\epsilon=0.02$）的最大插值系数 $\lambda^\star$。与 SFT 相比，监督发生在学生自生成前缀上，消除了教师强制的训练—推理失配（曝光偏差）；与 GRPO 相比，每个 token 都有全词表稠密分布目标而非单条响应一个标量奖励，信用分配更细，且不再惩罚行为等价的合理替代动作；JSD 损失的有界性还避免了逐 token 无界损失。这条『几何插值 + 二分求 $\lambda^\star$』的信任域构造保证了意图只能提供有预算的引导，而不是变相泄题。
方法步骤详情
方法分五步。第一步，意图抽取：用 Qwen3.5-397B 作为抽取器 $E$，把完整轨迹映射为 $z_u = E(\tau_u)$，即由互补的类型化锚点（偏好、顾虑、信息需求、比较标准、条件决策倾向）组成的结构化记录；抽取与校验规则刻意排除具体动作、特定商品与标识符、精确价格、轨迹结果、未来页面内容和支撑性步骤索引，使 $z_u$ 无法充当任何单步的答案。第二步，SFT 热身：用 Qwen3.5-397B 为每个记录动作生成第一人称简短理由，与结构化动作配对构成 SFT 目标，训练出能产出『理由 + 合法动作』格式的检查点；该检查点冻结为教师，同时作为学生 $\pi_\theta$ 的初始化。第三步，在线采样：每个训练步从经验状态分布 $\mathcal{D}$ 抽取真实状态 $x_t$，由当前学生做一步 rollout 采样完整响应 $y_t \sim \pi_\theta(\cdot \mid x_t)$，让训练覆盖推理时才会出现的自生成前缀。第四步，信任域正则：教师分别计算意图条件分布 $q^{\mathrm{I}}_{t,k}$ 与无条件参考 $q^{0}_{t,k}$，在对数空间插值得 $q^{\lambda}_{t,k}$，因 $\mathrm{D}_{KL}(q^{\lambda}\|q^{0})$ 关于 $\lambda$ 单调不减，可行集为区间，用 8 次二分在 $[0,1]$ 上求 $\lambda^\star_{t,k}$（区间宽度不超过 $1/256$），得到正则化目标 $q^{\lambda^\star}_{t,k}$。第五步，联合优化：蒸馏项 $\mathcal{L}_{\mathrm{dist}} = \mathbb{E}_{x_t \sim \mathcal{D},\, y_t \sim \pi_\theta}\big[\tfrac{1}{|y_t|}\sum_k \mathrm{JSD}_\beta(q^{\lambda^\star}_{t,k},\, p^\theta_{t,k})\big]$，取 $\beta=0.5$ 即标准 JSD；接地项为记录响应的教师强制负对数似然 $\mathcal{L}_{\mathrm{GT}}$；总损失 $\mathcal{L} = \mathcal{L}_{\mathrm{dist}} + \gamma\,\mathcal{L}_{\mathrm{GT}}$，$\gamma=0.1$。训练用 Adam、零权重衰减、线性 warmup 与线性衰减，峰值学习率 $2\times10^{-8}$，BF16 精度，ROLL 做分布式训练、vLLM 做在线生成、Megatron-Core 做学生优化与教师推理。
技术新颖性
技术新颖性有四点。第一，在线策略蒸馏被首次系统性地引入电商长程用户模拟：此前 RL 后训练的模拟器（Shop-R1、Customer-R1）依赖精确匹配的稀疏奖励，把措辞不同但行为等价的合理替代动作与真正的错误同等惩罚，OPTD 用全词表分布目标替代单序列奖励，信用分配从响应级细化到 token 级。第二，『轨迹级意图 + 逐 token 信任域』是一种新的特权学习组合：意图给教师提供会话级连贯性先验，让稠密目标对齐整段轨迹的行为走向而非仅当前步；信任域 $\epsilon=0.02$ 则逐 token 限制意图可引起的教学偏移，当意图条件目标超预算时 $\lambda^\star$ 自动回退，把目标拉向 $q^{0}$，防止学生学到只在训练可见、推理不可得的上帝视角信息。第三，几何插值路径使 $\mathrm{D}_{KL}(q^{\lambda}\|q^{0})$ 关于 $\lambda$ 非降，可行集必为区间，从而 8 次二分即可精确定位 $\lambda^\star$，这是一个干净、可复用于其他蒸馏场景的算法构造。第四，五级评测协议（L0 的 RVA/OVA、L1 的宏 F1 与准确率、L2 的 DM-JSD 与 TE、L3 的 PF、L4 的 $\Delta$CTR/$\Delta$ACR/T-JSD）本身也是方法学贡献，构成了从输出格式到聚合结果、从单步到长程的完整保真度金字塔。
实验结果
主实验用 Qwen3.5-2B 统一骨干对比 8 个基线（文本类：RecAgent、Agent4Rec、SimUSER、Shop-R1、Customer-R1、AlignUSER；GUI 类：A/B Agent、STA）。单会话设置（Table 2）中，OPTD 在 L1–L4 全部 8 项指标上排名第一：L1 宏 F1 0.4178、准确率 0.3204；L2 决策混合 JSD 0.0156、轨迹误差 1.72（最优基线 STA 为 0.0245 与 1.77）；L3 人口保真度 0.8692（次优 STA 0.7958）；L4 $\Delta$CTR 0.0026、$\Delta$ACR 0.0430、终态 JSD 0.0387。跨会话设置中 8 项指标 5 项第一、2 项第二：DM-JSD 0.0284、TE 0.72、PF 0.8929、T-JSD 0.0077、准确率 0.2969 均为最优，仅宏 F1（0.3456 对 STA 0.3556）和 $\Delta$CTR（0.0357 对 STA 0.0099）居次。生产 A/B 校验（Table 3）中，1 万固定用户对半分给两个排序策略，比较模拟与线上的 $\Delta$PV-CTR：OPTD 效应比 0.713×、效应误差 0.287，比次优 STA（0.297×、0.703）低 50.2%；未调优的 Qwen3.5-2B 只有 0.004×，而 GPT-6-Sol 与 GPT-6-Luna 反而高估至 1.576× 和 2.154×，证明通用模型容量不等于行为校准。消融实验（Figure 3a）固定其余设置逐个移除组件：去掉任一组件都会损害至少一个代表性指标，其中 w/o SFT（不热身）退化最严重，说明热身建立的指令遵循与动作生成能力是后续蒸馏的前提。图灵式人评（200 对轨迹、3 名标注者盲评）：OPTD 人工识破率最低（38.7%）、真人被误判为机器的比例最高（26.3%），Customer-R1 的 Unsure 率最高（47.0%），整体 Fleiss $\kappa=0.528$。效率分析（Figure 6）显示 OPTD 总 token 消耗低于 STA、逐时延曲线基本重合，保真度提升不以推理成本为代价。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 局部行为保真度（Replay，单会话） | 宏 F1 ↑ / 准确率 ↑ | 0.4178 / 0.3204 | Customer-R1：0.4108 / 0.3114（文本类最优）；STA：0.4030 / 0.2899（GUI 类最优） | 8 项 L1–L4 指标全部第一；F1 +0.0070，Acc +0.0090 |
| 序列行为保真度（Rollout，单会话） | DM-JSD ↓ / 轨迹误差 TE ↓ | 0.0156 / 1.72 | STA：0.0245 / 1.77 | DM-JSD 降低约 36%，TE 缩短 0.05 个动作 |
| 个性化人口保真度（单会话） | Population Fidelity ↑ | 0.8692 | STA：0.7958 | +0.0734（相对提升约 9.2%） |
| 结果保真度（单会话） | ΔCTR ↓ / ΔACR ↓ / T-JSD ↓ | 0.0026 / 0.0430 / 0.0387 | Customer-R1 ΔCTR 0.0227；A/B Agent ΔACR 0.2039；STA T-JSD 0.1519 | ΔCTR 降约 88.5%，ΔACR 降约 78.9%，T-JSD 降约 74.4% |
| 跨会话长程保真度（5,768 用户、59,378 会话） | DM-JSD ↓ / TE ↓ / PF ↑ / T-JSD ↓ / Acc ↑ | 0.0284 / 0.72 / 0.8929 / 0.0077 / 0.2969 | STA：0.0465 / 0.81 / 0.8911 / 0.0173 / 0.2919 | 8 项指标中 5 项第一、2 项第二（宏 F1 与 ΔCTR 居次） |
| 生产 A/B 策略效应校验（1 万用户、双臂） | ΔPV-CTR 效应比（越接近 1 越好）/ 效应误差 ↓ | 0.713× / 0.287 | STA：0.297× / 0.703；GPT-6-Luna：2.154× / 1.154；Qwen3.5-2B：0.004× / 0.996 | 效应误差比次优模拟器低 50.2% |
局限与改进
作者承认的局限：所有被评测的模拟器都未能完全复现生产效应，即便最优的 OPTD 也低估线上效应 28.7%（效应比 0.713×）；跨会话设置下 STA 在宏 F1 和 $\Delta$CTR 上仍占优，说明 RL 后训练对部分局部/结果指标有选择性优势；Rollout 长度被截断在单会话 31 步、跨会话 42 步（记录最大动作数 +1），『长程』的外推范围仍有限。我自己的补充观察：(1) 数据来自单一亚洲电商平台的脱敏日志，行为高度偏科——服装占全部商品点击的 54.90%，92.0% 的被点击商品只出现一次、最热 1% 商品仅贡献 3.23% 的点击，这种长尾结构对其他平台或领域的可迁移性存疑；(2) 意图抽取与逐动作理由生成都依赖 Qwen3.5-397B，不仅训练成本高，而且学生学到的『理由』是 LLM 生成的合理化叙事而非用户真实认知，可能引入系统性偏差；(3) 消融只报告了每个 L1–L4 层级各一个代表指标的相对性能，缺少跨全部指标与多次随机种子的显著性检验；(4) 人评规模有限（每个模拟器 200 对、3 名标注者），且标注者只能看到动作序列与界面观察，无法感知跨会话兴趣演化这类真正长程的信号。
独立分析的弱点
独立分析四点弱点。第一，生产校准缺口仍然很大：OPTD 的效应比 0.713× 意味着系统性低估线上策略效应 28.7%，对用模拟器做策略预筛的团队来说，这个量级的偏差足以翻转 A/B 结论；改进方向是把线上 $\Delta$PV-CTR 本身作为校准目标纳入训练，例如在蒸馏之外增加结果分布匹配项或对策略干预方向做重要性加权。第二，意图抽取是训练期的重负载瓶颈：每条训练轨迹都要动用 397B 模型抽取意图、生成逐动作理由，且 $z_u$ 的质量缺乏独立验证手段——改进方向是蒸馏一个轻量意图抽取器，或用轨迹级对比学习隐式编码会话意图，绕开显式抽取。第三，评测指标仍在绕开而非解决动作长尾问题：38.34% 的动作是信息流下滚，宏平均 F1 缓解了类别不平衡，准确率干脆剔除了四类滚动动作，这种设计说明单步指标天然被导航类动作支配；可探索按行为信息量或反事实影响加权的指标。第四，GUI 依赖与重建偏差：环境和视觉观察全部来自离线 React 重建渲染而非真实截图，模拟器学到的是重建界面的视觉分布，与线上真实渲染之间的域差异未量化——改进方向是发布小规模真实截图校准集并报告跨域退化。
未来方向
作者明确提出的方向：围绕 UserArena 建设排行榜平台，支持标准化、持续更新的用户模拟器评测；研究更强的长程模拟器，使其能保持跨会话的兴趣演化与行为一致性。基于本文成果可延伸的方向：(1) 把 OPTD 训出的高保真模拟器直接用作强化学习环境，离线训练和筛选推荐策略，再以生产 A/B 校验形成闭环，替代部分线上实验；(2) 把意图条件化推广为层级化特权学习——会话级意图之上再叠加用户级长期偏好画像，进一步改善跨会话一致性；(3) 探索不依赖 397B 教师的自我蒸馏版本，用学生自进度或小型教师缩小训练成本；(4) 把五级协议移植到其他垂直领域（外卖、旅行、内容消费）与对话式推荐场景，检验协议的平台无关性；(5) 研究反事实保真度——不只匹配记录行为分布，还要求在策略干预下与线上真实响应一致，这正是 Table 3 揭示的深层难题，也是模拟器走向『策略预筛可靠工具』的必经之路。
复现评估
复现条件较好但有算力门槛。代码与数据开源于 github.com/RecGPT-Team/UserArena，项目页为 recgpt-team.github.io/UserArena-Page；数据以脱敏后的非商业研究协议发布：移除可识别信息、生产 ID 替换为不可关联的顺序 ID，接口图像全部由离线 React 环境批量渲染而非真实用户截图，协议禁止重识别与外部数据关联。复现主评测（Table 2）相对友好：骨干统一为 Qwen3.5-2B（32k 上下文，GUI 图像截断到 200,704 输入像素），用户按 8:1:1 分层切分（seed 42），Replay 贪婪解码、Rollout 温度 1.0、top-p 0.95，单个会话决策生成上限 512 token。复现 OPTD 训练则较重：需要 Qwen3.5-397B 生成逐动作理由与轨迹级意图（每条训练轨迹都要过一遍大模型），再用 ROLL 分布式训练、vLLM 在线生成、Megatron-Core 优化，BF16 精度配合张量/序列并行与激活重算，且信任域要求每个 token 对教师做意图/无意图两次前向加 8 次二分，教师推理 FLOPs 显著放大。生产 A/B 校验（Table 3）依赖真实线上流量分桶结果，外部研究者完全无法复现，只能采信作者报告。总体评估：跑五级评测中等难度，完整复现训练偏高，复现生产校验不可行。
论文图表
左半部分展示 UserArena 的数据构成：同一用户跨多次访问的会话历史、每一步对齐（画像、观察、商品上下文、动作）的交互记录、生产 A/B 校验，以及规模（11,010 用户、566,102 商品、64,729 会话、577,670 动作、13 动作类型）；右半部分展示五级评测金字塔：L0 环境合规（可执行合法动作）、L1 动作级局部保真、L2 轨迹级序列保真、L3 个性化人群保真、L4 结果保真（点击、购买与转化漏斗）。
一图总览论文两大贡献（基准数据 + 五级协议），是理解全文结构的第一入口。
(a) 13 类动作的占比：信息流下滚 38.34%、点击商品 12.76%、结束会话 11.21%、返回信息流 10.62%、商品页下滚 10.08%、加购 3.90%、购买 1.02% 等；(b) 73,717 次商品点击的品类分布：服装 54.90%，珠宝 5.77%、箱包 4.83% 等，其余 31 类合计 12.16%。
揭示数据的行为与品类构成：动作长尾决定了评测必须用宏平均与分布型指标，品类偏斜是评估可迁移性的重要背景。
五组统计：(a) 单/跨会话设置下会话长度累积分布（中位数分别 14 和 8 个动作）；(b) 跨会话用户的会话数分布（均值 10.29）；(c) 六个画像字段覆盖率 99.0%–99.9%，92.0% 的点击商品只被点击一次；(d) 会话内六组语义动作的转移概率矩阵；(e) 53,610 个相邻会话对的时间间隔（34.6% 小于 5 分钟，13.3% 超过 12 小时），57.8% 的会话延续上一会话的品类。
量化『长程』二字的真实含义与数据的连续性，是判断该基准能否支撑跨会话偏好建模的关键依据。