人格提示作为大语言模型社会推理的透镜 Persona Prompting as a Lens on LLM Social Reasoning
Persona Prompting 在仇恨言论检测中提升分类但损害解释质量，且无法真正对齐真实人群
前置知识
Persona Prompting (人格提示)
人格提示是一种通过在 prompt 中注入特定人口统计学属性（如年龄、性别、种族、政治倾向等）来引导大语言模型模拟特定人群视角的技术。具体做法是构造包含角色描述的任务提示，例如让模型“站在一个25岁白人男性的角度”来完成分类任务。这种方法假设不同背景的人对同一内容会有不同的理解和判断，因此希望通过模拟这种差异来生成更个性化的输出。在本文中，研究者设计了两种人格：单属性人格（21种，来自7个类别）和组合人格（12种，用于与真实人类标注者对比）。
理解人格提示机制是理解本文研究问题的基础，因为论文的核心就是评估这种技术对模型推理过程的影响
Token-level Rationale (词级解释)
词级解释是指模型在做出分类决策时，需要同时指出输入文本中哪些具体的词支撑了其判断。例如在仇恨言论检测中，模型不仅要输出“仇恨言论”这个标签，还要标注出“white south africans”、“corporate”等触发词。这种细粒度的解释比整体性解释更有价值，因为它能揭示模型的注意力焦点和推理路径。本文使用两种指标来评估解释质量：Token-F1（计算预测解释词与标注解释词的F1分数）和IOU-F1（计算两者的交并比）。
词级解释的质量评估是本文的核心贡献之一，也是揭示人格提示‘分类提升但解释退化’这一悖论的关键工具
Krippendorff’s α (克里彭多夫阿尔法系数)
Krippendorff’s α 是一种用于衡量多个标注者之间一致性的统计指标，取值范围从 -1 到 1，其中 1 表示完全一致，0 表示随机一致，负值表示系统性不一致。在本文中，该指标被用于两个场景：一是计算不同人格之间的标签预测一致性，二是计算不同人格之间的解释选择一致性。与传统的 Cohen’s Kappa 不同，Krippendorff’s α 能够处理任意数量的标注者和缺失数据，且支持不同类型的数据（名义型、序数型、区间型等）。
该指标是量化‘人格是否真正影响模型行为’的关键工具，高α值意味着人格提示对模型影响有限
Over-flagging (过度标记)
过度标记是指模型倾向于将正常内容错误地分类为有害内容的现象。在本文的语境中，这表现为模型将“正常”(Normal)内容标记为“冒犯性语言”(Offensive)或将“冒犯性语言”标记为“仇恨言论”(Hate speech)。研究者使用Mean Error (ME)来量化这种偏差方向——当ME为正时，说明模型倾向于预测更严重的类别。这种现象通常被认为是安全防护栏(guardrails)过度敏感导致的，因为模型在训练时被强化了对有害内容的检测能力，但代价是牺牲了正常内容的正确识别。
过度标记是本文发现的核心问题之一，揭示了安全对齐与任务性能之间的根本性张力
研究动机
当前大语言模型在社交媒体内容审核等敏感场景中面临一个根本性矛盾：模型需要做出透明且可信的决策，但‘一刀切’的标准化解释往往无法满足全球多元化用户群体的需求。先前研究表明，不同人口统计学背景（如年龄、性别、种族、教育水平）的用户对同一解释的感知、使用和信任程度存在显著差异。例如，年轻用户可能更理解网络俚语的讽刺意味，而年长用户可能将同一内容解读为更具攻击性。虽然人格提示（Persona Prompting）已被越来越多地用于引导模型生成符合特定用户偏好的输出，但这种方法对模型推理过程本身的影响仍是一个未被充分探索的领域。更令人担忧的是，人格提示可能是一把双刃剑——它既能模拟多样化视角，也可能放大预训练数据中的刻板印象和偏见。
本文的目标是本文的核心目标是建立一套系统性的审计方法，用于评估人格提示对大语言模型推理过程的影响。具体而言，研究者希望回答三个关键问题：第一，人格提示是否能同时改善分类性能和解释质量？第二，模拟的人格是否能真正代表其对应的真实人口统计学群体？第三，不同模型在人格提示下是否表现出一致的偏见模式？为了回答这些问题，研究者不仅关注最终的分类标签，更深入到词级解释层面，通过比较模型输出与不同人群的人类标注之间的对齐程度来揭示模型的内部社会表征。
与已有工作不同的是，本文的独特切入角度在于将研究从单纯的分类结果扩展到了词级解释的对齐分析。先前工作主要关注人格提示对最终标签的影响，或评估生成解释的整体质量，但很少有人系统地研究模型选择的解释词是否与目标人群的解释词一致。这种细粒度的分析能够揭示模型在‘假装’扮演不同人群时，其推理路径是否真的发生了变化。此外，本文通过同时在三个不同主观性程度的任务（仇恨言论检测、常识推理、情感分析）上进行实验，能够区分人格提示效果是源于任务特性还是模型特性。这种设计使得研究者能够发现一个关键悖论：人格提示可能在最敏感的任务上提升分类性能，却同时损害解释质量——这个发现对依赖模型解释来建立用户信任的场景具有重要警示意义。
核心方法
本文的方法论框架可以被理解为一个三层嵌套的实验设计。最外层是任务层，研究者选择了三个具有不同主观性程度的数据集：HateXplain（仇恨言论检测，高度主观且社会敏感）、CoS-E（常识推理，中等主观性）和SST-2（情感分析，较低主观性）。中间层是人格层，研究者设计了两种人格类型来覆盖不同的研究问题：单属性人格（21种，用于分析不同属性对模型行为的影响）和组合人格（12种，用于与真实人类标注者对比）。最内层是模型层，选择了三个来自不同实验室的代表性模型：GPT-OSS-120B（OpenAI开源120B参数模型）、Mistral-Medium（Mistral AI闭源模型）和Qwen3-32B（阿里开源32B参数模型）。对于每个数据点和每个人格，研究者构造包含角色描述的任务提示，要求模型在模拟该角色视角的同时完成分类任务并提供词级解释。评估体系包含三个维度：与真实标签的对齐、人格间的一致性、以及与真实人类人口统计学群体的对齐。
本文的核心创新在于提出并执行了一套完整的审计方法论，将人格提示的影响分解为三个可量化的维度。与先前工作相比，本文的关键区别体现在三个方面。首先，大多数先前研究只关注分类标签的变化，而本文同时评估词级解释的质量，这使得研究者能够发现‘分类提升但解释退化’这一关键悖论。其次，本文引入了人格间一致性分析（通过Krippendorff’s α），这是一种检验模型是否真正被人格提示所影响的严格标准——如果不同人格之间高度一致，说明模型实际上并没有被有效引导。第三，本文通过组合人格设计实现了与真实人类标注者的直接对比，这使得研究者能够量化模拟人格与真实人群之间的差距。这种多维度的评估框架使得研究者能够区分人格提示的表面效果和实质效果，从而对其有效性做出更准确的判断。
方法步骤详情
实验流程包含以下关键步骤。第一步是人格设计，研究者基于先前文献选择了7个人口统计学类别（年龄、性别、教育、种族、宗教、政治倾向、孤独感），并从每个类别中选取2-3个代表性属性值，共构成21个单属性人格。对于组合人格，研究者选择年龄（25岁/45岁）、性别（男/女）和种族（非裔美国人/西班牙裔/白人）三个维度，共12种组合。第二步是提示构造，对于每个人格和每个数据点，研究者构造一个包含角色描述、任务说明、逐步思考指令和JSON格式输出要求的提示。提示要求模型“走进”指定角色的鞋子，用该角色的背景、信仰和生活经历来引导推理，并在...标签内进行思考。第三步是基线生成，使用不含任何人格信息的中性提示作为对照组。第四步是模型推理，对于每个人格和每个数据点，独立运行3次以确保结果的稳健性。第五步是评估，包括分类指标（准确率、Macro-F1、平均绝对误差、平均误差）和解释指标（Token-F1、IOU-F1），以及统计显著性分析（95%置信区间，1000次bootstrap重采样）和人格间一致性分析（Krippendorff’s α）。
技术新颖性
本文的技术新颖性主要体现在评估框架的设计上，而非提出新的模型架构或训练方法。首先，词级解释对齐分析是一个重要的方法论贡献。先前工作通常使用整体性的解释质量评估（如流畅性、相关性），而本文通过将解释转化为二进制掩码并计算Token-F1和IOU-F1，实现了更精确的、可量化的解释质量比较。其次，人格间一致性分析提供了一种检验人格提示有效性的严格标准。研究者发现，即使人格提示在表面上改变了模型的输出风格，其底层推理路径可能并没有实质性变化——这一点通过高Krippendorff’s α值得到验证。第三，通过在三个不同主观性程度的任务上进行系统比较，本文揭示了人格提示效果的任务依赖性：它可能在最敏感的任务上提升分类性能，却同时损害解释质量。这种‘分类-解释悖论’的发现对理解人格提示的局限性具有重要意义。最后，本文通过对链式思考（CoT）推理的定性分析，揭示了不同人格如何导致模型采用不同的语言风格和分析框架，这种刻板印象式的推理差异为理解模型的社会偏见提供了直观的证据。
实验结果
本文的核心发现可以概括为三个相互关联的结论。第一，人格提示对分类性能和解释质量的影响是分化的。在HateXplain数据集上，Mistral-Medium的11个人格（共21个，如Atheist、Not lonely、White）在分类准确率上显著优于无提示基线（p<0.05），Qwen3-32B则有16个人格显著劣于基线。然而，在解释质量方面，没有任何模型-人格组合在Token-F1上表现出显著改善，且多个组合出现显著退化。第二，模拟人格无法有效代表真实人口群体。在BRWRR数据集上，与目标人群属性匹配的人格并未表现出优于其他人格的性能，且人格间一致性极高（GPT-OSS和Mistral的α≥0.80），说明模型的推理过程具有很强的抗引导性。第三，所有模型都表现出一致的偏见模式：在BRWRR上，Old年龄群体（尤其是BO和WO）的性能显著优于Young群体；在HateXplain上，所有模型都存在过度标记倾向（正ME值），其中GPT-OSS从Offensive到Hate speech的过度标记率几乎都超过50%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| HateXplain 分类 | Macro-F1 | Mistral-Medium最佳人格: 56.1% (Black persona) | Mistral-Medium基线: 45.6% | +10.5% (显著改善) |
| HateXplain 分类 | Macro-F1 | Qwen3-32B最佳人格: 58.8% (Not Lonely persona) | Qwen3-32B基线: 58.8% | 无显著差异 |
| HateXplain 解释 | Token-F1 | GPT-OSS-120B基线: 69.6% | GPT-OSS-120B人格平均: 69.2% | -0.4% (无显著差异) |
| CoS-E 分类 | Accuracy | GPT-OSS-120B人格平均: 70.4% | GPT-OSS-120B基线: 70.5% | -0.1% (无显著差异) |
| SST-2 分类 | Binary F1 | Qwen3-32B人格平均: 92.1% | Qwen3-32B基线: 95.4% | -3.3% (显著退化) |
| HateXplain 解释 | IOU-F1 | Mistral-Medium人格平均: 64.6% | Mistral-Medium基线: 66.1% | -1.5% (显著退化) |
局限与改进
本文存在几个重要的局限性。首先，数据集的ground truth质量存在局限：HateXplain中每个样本仅由3名标注者标注，且通过多数投票解决分歧，这可能无法捕捉解释的完整多样性。其次，本文使用的词级解释是通过模型提示生成的，而非传统的特征归因方法（如梯度、注意力权重），因此这些解释可能不忠实于模型的内部激活。第三，模型选择的代表性有限：虽然研究者选择了三个来自不同实验室的模型，但Qwen3-32B的行为与另外两个模型存在较大差异，说明其他LLM可能表现出不同的模式。第四，本文只测试了默认采样参数，未探索温度、top-p等参数对结果的影响。第五，组合人格的设计可能过于简化——真实人群的特征是多维度交织的，而12种固定组合可能无法捕捉这种复杂性。最后，本文的评估基于英文数据集和西方人口统计学分类，可能无法直接推广到其他语言和文化背景。
独立分析的弱点
本文存在几个可以改进的弱点。第一，人格提示的构造方式可能过于简单——当前设计只包含角色描述和任务指令，缺乏更丰富的背景信息（如具体的生活经历、价值观形成过程）。这种简化可能导致模型只能激活预训练数据中的刻板印象，而非真正模拟复杂的人格特征。改进方向是引入更结构化的人格描述框架，例如基于心理学人格理论（如Big Five）的多维描述。第二，本文的评估只关注了词级解释的重叠度，而未考虑解释的语义合理性。两个不同的词可能在语义上等价（如“hateful”和“hostile”），但会因不匹配而被扣分。改进方向是引入语义相似度评估，如使用BERTScore或人工评估。第三，本文未探索提示工程的优化空间——不同的措辞、指令顺序、示例数量都可能显著影响人格提示的效果。系统性的提示消融实验将有助于理解这些因素的相对重要性。
未来方向
基于本文的发现，未来研究可以在以下几个方向展开。首先，开发能够真正影响模型内部推理过程的人格引导方法——当前的人格提示只在表面层面改变输出风格，而无法触及底层的推理路径。这可能需要探索更深层次的干预方法，如激活工程（activation steering）或微调（fine-tuning）。其次，研究人格提示在不同文化和语言背景下的效果——当前研究主要基于西方人口统计学分类和英文数据集，但人格的社会建构在不同文化中可能存在显著差异。第三，开发更可靠的解释忠实度评估方法——当前使用词级解释的匹配度作为代理指标，但这种方法无法区分‘选择正确的词’和‘真正基于这些词做决策’。第四，探索人格提示与其他偏见缓解技术（如反事实数据增强、对抗训练）的协同效应。第五，研究人格提示在多轮对话和长期交互中的动态效果——当前研究只关注单轮分类任务，但真实应用场景通常涉及更复杂的交互模式。
复现评估
本文的复现条件相对友好。代码和数据已公开发布在GitHub仓库（https://github.com/jingyng/PP-social-reasoning），使用的三个数据集（HateXplain、CoS-E、SST-2）都是公开可用的基准数据集。在算力需求方面，实验通过API调用完成：GPT-OSS-120B约32美元、Mistral-Medium约5美元、Qwen3-32B约30美元，总计约67美元。推理时间方面，Mistral-Medium最快（每轮约2小时），GPT-OSS-120B次之（MoE架构），Qwen3-32B最慢。然而，完全复现存在几个挑战：第一，GPT-OSS-120B的具体模型版本和API配置需要确认；第二，实验使用了OpenRouter作为API代理，这可能引入额外的不确定性；第三，随机种子的控制和采样参数的细节需要进一步确认。总体而言，主要的复现障碍在于API访问的成本和稳定性，而非技术复杂性。
论文图表
该热力图展示了三个模型在不同标签转换上的过度标记率。行表示真实标签（Normal、Offensive、Hate speech），列表示预测标签。颜色越深表示该转换的发生率越高。关键发现：GPT-OSS-120B从Offensive到Hate speech的过度标记率最高（几乎都超过50%）；Mistral-Medium在Normal到Offensive的过度标记率较高；Qwen3-32B的过度标记率整体最低，但仍存在Normal到Offensive的显著偏差。