基于大语言模型的对话式用户模拟综述 A Survey on LLM-based Conversational User Simulation
首篇系统梳理 LLM 驱动对话用户模拟的综述，提出 Who/What/How 三维统一分类法。
前置知识
对话式用户模拟（Conversational User Simulation）
指利用计算模型（早期为统计模型，如今多为 LLM）来模仿真实用户在多轮对话中的行为，从而为对话系统提供低成本、可复现、可大规模扩展的测试与训练数据来源。其目标是生成在风格、目标、知识背景上接近真实用户的虚拟对话伙伴。
这是本文的核心研究对象，所有分类法与讨论都围绕如何更真实地模拟用户行为展开。
检索增强生成（RAG）
RAG 让 LLM 在生成回复前从外部知识库中检索相关上下文，从而降低幻觉、提升事实性与时效性。其在用户模拟中的角色是让模拟器能够引用外部信息（如用户记忆、知识库）来生成更真实、更具个性化的回复。
RAG 是本文 'How' 维度下的一类关键技术，直接影响模拟用户是否能表达外部知识。
RLHF 与 DPO
RLHF 通过人类偏好打分训练奖励模型，再用 PPO 等强化学习算法优化 LLM；DPO 绕过奖励模型，直接用偏好数据优化策略。两者都能让 LLM 输出对齐人类偏好。
本文将 RLHF/DPO 列为 'How' 维度的关键训练范式，用于让模拟器表现出更具策略性、目标导向的行为。
Persona 与 Role Play 模拟
Persona 模拟依赖显式的人口统计学特征或心理特征（如大五人格）来塑造用户画像；Role Play 模拟则依赖 LLM 在预训练中内化的对真实/虚构人物（如 '20 岁的马克·扎克伯格'）的隐式知识来生成角色化行为。两者粒度不同但目的相似。
这是 'Who' 维度下的两类核心目标，理解二者区别有助于看懂全文的分类框架。
LLM-as-a-Judge
指使用一个强大的 LLM 作为自动评估器，根据上下文、生成回复与评分维度对对话质量打分（如 1–5 分）。其优势是低成本与可扩展，但易受 prompt 措辞与模型偏差影响，需要与人类评估对齐。
本文专门讨论用户模拟评估方法，LLM-as-a-Judge 是现代对话模拟评估的关键工具。
研究动机
用户模拟在计算机科学中长期扮演重要角色，从早期的 Bradley-Terry-Luce 与 Plackett-Luce 等偏好模型，到推荐系统中的协同过滤、点击模型，都试图用统计方法预测用户行为。但这些方法存在三大局限：第一，传统框架（如 RecSim、RecoGym）需要大量领域内用户数据训练，且只针对特定场景（如推荐），难以泛化；第二，物理、气候等确定性领域的模拟已相当成熟，而人类行为具有内在的复杂性、变异性与微妙之处，传统统计模型难以捕捉；第三，推荐系统中的偏好数据（如 MovieLens）往往反映静态偏差而非时序交互，无法建模多轮对话的语境依赖。LLM 的出现虽然让通用、高保真用户模拟成为可能，但相关工作散落在检索增强生成（RAG）、思维链推理、LLM-as-a-judge、社交模拟、人机协作等不同子领域，缺乏一个统一框架进行系统性整理与分析。
本文的目标是本文旨在提供一个全面、统一、可扩展的综述框架，系统组织基于 LLM 的对话式用户模拟研究。可量化的目标包括：覆盖 2018 年以来该领域代表性论文约 100 余篇；提出一个沿 Who（被模拟者）、What（模拟目标）、How（模拟方法）三个核心轴展开的新型分类法，每轴下细分 5 个类别；系统分析核心技术与评估方法；明确指出长对话、多样性、偏见、信任等开放问题，为后续研究提供清晰的路线图与可量化的定位工具。
与已有工作不同的是，已有相关综述（如 Chen et al. 2024b 的 Role-Playing 综述、Zhang et al. 2025a 的 LLM 个性化综述、Balog and Zhai 2025 的生成式 AI 用户建模综述、Soudani et al. 2024 的对话数据生成综述）各有侧重：要么只关注单一模拟目标（如角色扮演），要么仅讨论数据生成应用，要么不深入对话特有的范式。本文抓住了被忽视的核心点：对话（conversation）本身就是一种特殊的多轮交互形式，需要专门的分类法（如 Human-AI、Human-Human、AI-AI 等对话范式）和针对性的技术讨论（多轮优化、轨迹级微调、人机协作）。本文首次将这些散落工作整合到 "Who × What × How" 的三维统一框架中。
核心方法
本文采用结构化综述方法，整体思路可类比为 "画一张地图"：研究者先识别出该领域最核心的三个问题——"Who is being simulated?"（被模拟的用户是谁）、"What is being simulated?"（模拟的对话形式是什么）、"How is the conversation simulated?"（用什么技术实现模拟）。然后在每个轴下建立一个 5 类分类法（Who：General User、Persona-level、Role Play、Individual User、Hybrid；What：Human-AI、Human-Human、AI-AI、Many Human-AI、Hybrid；How：Prompt-based、RAG、Fine-Tuning、RL/DPO、Hybrid）。最后把现有论文按这个三维坐标映射，并通过 Table 1 的勾选矩阵将约 30 篇代表性方法同时归位到所有三个维度上，从而既能给读者一张全局地图，也能量化比较不同方法的应用覆盖。
本文最本质的贡献是提出一个 "正交三维" 的统一分类法：Who 维度解决模拟目标粒度问题（从群体到个体），What 维度刻画对话交互范式（参与者构成与角色分配），How 维度归纳实现技术栈。这三者之间是正交的——同一 Who 类别（如 Role Play）可以出现在所有 What 类别中（如 Human-AI、Human-Human、AI-AI），也可以通过不同 How 技术实现。与已有综述最大的区别在于：本文不局限于 "角色扮演" 或 "个性化" 等单一视角，也不把方法局限于 "数据生成" 这一种应用，而是第一次把对话式用户模拟作为一个独立子领域，明确其边界（conversation-specific）、范畴（含多种目标、多种范式、多种技术）和评估规范。Table 1 提供的 $\text{Who} \times \text{What} \times \text{How} \times \text{Application}$ 四维勾选矩阵是该框架的可视化体现。
方法步骤详情
本文综述分六步。第一步形式化（Section 2）：对话形式化为 $C = (c_1, \dots, c_T)$，每轮 $c_t = (p_{i_t}, u_t)$，任务为 $P(u_t \mid C_{t-1}, \Psi_{p_i})$。第二步分析 Who（Section 3）：从通用用户到个体用户。第三步分析 What（Section 4）：定义 Human-AI、Human-Human、AI-AI、Many Human-AI、Hybrid 五范式及公式。第四步分析 How（Section 5）：从 prompt-based、RAG、fine-tuning（$\Theta' = \arg\max_{\Theta} L_{FT}$）到 RL/DPO（$\pi_\theta = \arg\max_{\theta} E[R(\tau)]$）。第五步评估（Section 6）与数据集（Section 7）：比较传统指标、人类评估、LLM-as-Judge、可信评估，整理 20 余个数据集。第六步开放问题（Section 9）：识别长对话、一致性、多样性、偏见、信任等挑战。
技术新颖性
本文的技术新颖性体现在三个方面。第一，分类法本身的系统性：以往的综述要么按技术（如 fine-tuning vs prompting）组织，要么按应用（如对话推荐）组织，本文首次以 "用户模拟粒度" 为核心轴，并将技术、应用、评估整合到统一坐标中。第二，揭示了 hybrid 模拟被忽视的现状：现有方法往往只针对单一目标（如 role play），但 GPT-4 等大模型天然融合多种粒度（persona + role play + individual），本文显式提出 hybrid 类别并指出系统性研究缺失。第三，提出了 "who × what × how × applications" 四维映射矩阵（Table 1），为后续工作提供了可量化、可定位的分类工具，弥补了既有综述偏重文字描述而缺乏量化比较的不足。
实验结果
本文核心发现结构化，揭示若干趋势。其一，prompt 与 fine-tuning 各有所长：Table 7 RoleGPT（prompt）平均 47.7，RoleLLaMA2-13B（fine-tuned）44.7 但 SPE 达 48.8；Table 8 WikiRole Qwen-72B+Chat 准确率 90.0；Table 9 RoleInstruct RoleCraft-GLM（self-play fine-tuned）平均 47.0 超 GPT-4 的 45.3。其二，RAG 非万能：ChatPLUG（RAG + LLaMA）仅 39.3，验证 fine-tuning 比 RAG 更适合角色模拟。其三，覆盖集中：Table 11 显示约一半数据集为 Human-Human + Wizard-of-Oz，AI-AI 高质量数据集仍有限。其四，RL/DPO 有优势：ArCHer 层次化 RL 提升多轮策略一致性。其五，评估不统一，建议对称 prompt、集成投票与 meta-evaluation 缓解 LLM-as-Judge 偏差。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RoleLLM 角色扮演基准（平均分） | CUS/RAW/SPE 平均分 | RoleLLaMA2-13B（fine-tuned）= 44.7 | RoleGPT（Prompt-Based）= 47.7 | fine-tuned 小模型在角色知识 SPE 上达到 48.8，显著超过 RoleGPT 的 32.3；但总体平均分仍低于 prompt-based 大模型 3.0 分 |
| WikiRole 角色知识 | Accuracy / Role Knowledge | Qwen-72B + Chat = 90.0 / 66.4 | GPT-4（Prompt-Based）= 80.0 / 76.2 | Qwen-72B 在准确率上超过 GPT-4 +10.0，但在角色知识上落后 GPT-4 -9.8 |
| RoleInstruct 角色扮演 | CUS/RAW/SPE 平均分 | RoleCraft-GLM（Self-Play Fine-tuned）= 47.0 | GPT-4（Prompt-Based）= 45.3 | self-play fine-tuning 比纯 prompt-based 高 +1.7 平均分，且 SPE 从 28.3 提升到 35.7 |
| RoleLLM（ChatPLUG RAG 对比） | 平均分 | RoleLLaMA-7B（Fine-tuned）= 36.2 | ChatPLUG（RAG + LLaMA）= 39.3 | 细粒度比较：RAG 在平均分上略胜 fine-tuned 小模型，但 fine-tuned 模型在 SPE 上达 38.1，远超 RAG 的 30.3，验证 'fine-tuning 比 RAG 更适合角色模拟' 的论断 |
局限与改进
作者明确承认两个局限性。第一，所提出的分类法在通用性与清晰性之间做了折衷，某些 hybrid 或领域特定方法无法完美归入三类（如既不是纯 persona 也不是纯 role play 的混合建模）。第二，虽然论文汇总了数据集与评估方法，但未进行跨方法的统一基准对比实验——这超出了综述论文的范畴。本文存在的隐性问题还包括：综述侧重英文文献，对非英文（如中文、西班牙语）相关工作覆盖有限；对多模态用户模拟（如图文对话、语音）讨论不深入；以及由于领域发展迅速，2026 年新发表的最新方法可能未被收录。
独立分析的弱点
独立分析，本文有以下几个可改进的弱点。第一，分类法粒度仍偏粗：Who 维度将 5 类并列，但 Persona 与 Role Play 经常被混用——虽在定义上做了区分（persona 依赖显式属性，role play 依赖隐式知识），Table 1 中无法量化各类方法边界。建议增加细粒度标签（如是否使用显式 persona 提示）。第二，缺乏对时间维度的建模：用户行为是动态演化的（偏好漂移、情绪变化），分类法是静态的，应引入动态 persona 与 multi-session memory、drift detection 等概念。第三，对多模态与跨语言场景覆盖薄弱：Table 11 显示大多数数据集以英文文本为主，语音/视频用户模拟未深入讨论。第四，未提供统一的失败模式分类，应构建用户模拟失败模式库（character hallucination、goal drift、popularity bias、demographic stereotyping）并据此设计针对性评测基准。
未来方向
作者明确提出的未来方向包括：（1）长对话一致性——通过更好的 memory 机制、discourse planning 与一致性建模来维持数十轮以上的 persona 与 goal 一致性；（2）多样性扩展——对情绪、verbose 度、策略等细粒度属性实现可控生成，突破当前模拟器偏向 "礼貌、单一、文化主流" 的局限；（3）偏见与有害内容——建立 robust 的 simulation quality 与 safety 协议；（4）混合范式评测——构建统一的 many-human-AI 与 hybrid 基准。基于论文成果可延伸的方向包括：（a）隐私保护模拟，结合 differential privacy、federated learning 等技术保护真实用户数据；（b）用户漂移建模，研究真实用户随时间演化（目标、语言、参与度变化）下的模拟方法；（c）动态评估指标，开发能衡量知识多样性、行为多样性、人物视角多样性的新一代评测；（d）多模态用户模拟，扩展到视频、语音、VR 等场景。
复现评估
作为一篇综述论文，本文不涉及具体代码或模型复现，但其复现性体现在两个层面。第一，元信息层面高度透明：Table 1–11 提供了 30 余种方法与 20 余个数据集的详细映射，每个数据集都标注了任务类型、数据规模（从 334 个对话到 1M+）、评估指标（BLEU/ROUGE/F1/Human Judge/LLM Judge）与代码链接（[code]），读者可据此快速定位所需资源。第二，所引用的具体方法（如 RoleLLM、CharacterLLM、PlatoLM、DAUS 等）大多已开源，研究者可按论文指引在原仓库获取代码与数据。复现难度方面，对于 prompt-based 方法只需 API 密钥即可上手；对于 fine-tuning 方法（如 PlatoLM 用了 600K self-play 对话）则需要中等到大规模 GPU 资源；对于 RL/DPO 方法（如 ArCHer 的层次化 RL）复现难度更高，需要稳定的训练 pipeline 与足够的探索预算。总体而言，本综述为后续研究提供了极高的可重现性参考价值。
论文图表
