人类心理测量问卷错误表征大语言模型行为 Human Psychometric Questionnaires Mischaracterize LLM Behavior
研究表明心理测量问卷与LLM生成概率显著不一致，提示基于生成概率的测度更具生态效度。
前置知识
心理测量问卷（PVQ、BFI）
PVQ（Portrait Values Questionnaire）用于测量Schwartz的十大基本价值，采用Likert量表自评；BFI（Big Five Inventory）用于测量五大人格特质。两者在人类心理学中具有跨文化稳定性和良好的信效度，是传统人格与价值测量工具。
本文将此类人类工具直接应用于LLM，需要理解其测量逻辑与假设，才能评估其对AI行为的适用性与局限。
生成概率（Generation Probability）
给定提示s，模型生成候选回复r的序列对数概率log P(r|s)。该概率直接来自模型的生成分布，反映模型在自然生成场景下对文本的内在评分，不依赖自报或显式偏好选择。
作者用生成概率构建心理学剖面，与问卷自报对比，以揭示模型在真实交互场景中的倾向性，是本文核心度量。
Schwartz基本价值与Big Five
Schwartz理论定义十个基本价值维度，如权力、成就、享乐、自主等；Big Five包括开放性、尽责性、外向性、宜人性、神经质。两者构成广泛认可的心理学构念空间。
文章的测量框架同时覆盖价值与人格，两种构念的剖面差异与一致性分析为诊断问卷效度提供关键证据。
Spearman ρ与NDCG
Spearman ρ衡量两个剖面之间的单调性秩相关；NDCG（Normalized Discounted Cumulative Gain）以指数增益方式加重顶端排名的匹配程度，适合评估前几位构念是否一致。
作者用两个指标评估不同测度剖面间的一致性，ρ给出整体相关性，NDCG检验主导构念的匹配情况，双重指标增强结论稳健性。
研究动机
心理测量问卷在人类中表现出可靠的行为预测力，但直接用于LLM时，其预测效度未经充分检验。已有研究显示，LLM在问卷上的自报与开放生成或下游任务行为存在不一致，且常用行为探测任务往往远离真实用户交互场景，或依赖未经效度验证的标注。
本文的目标是本文旨在比较两种LLM心理剖面——传统问卷自报得分与基于真实场景生成概率的得分——以评估问卷作为LLM行为预测工具的有效性，并识别剖面差异的机制。
与已有工作不同的是，既往工作要么停留在问卷与问卷内部一致性，要么在行为探测中缺乏构念效度验证。本文首次将生成概率作为经过心理计量校准的候选回复进行剖面构建，覆盖两大构念体系，并系统解释问卷内部结构为何在生成概率中消失。
核心方法
作者在8个开源LLM上收集两类剖面：（1）让模型回答PVQ-40/21、BFI-44/10问卷，得到Likert自报得分；（2）使用Value Portrait（VP）数据集——104个真实查询及其5个候选回复，每个回复由人类标注构念相关（r≥0.3）——计算模型为每个候选回复分配的log P(r|s)，进而以两步宏平均得到每个构念的生成概率得分。
核心创新是用生成概率替代开放生成与事后标注，以在保持生成本质的同时获得构念效度。同时，通过文本透明性分析与角色提示实验，揭示问卷条目的显性构念线索导致模型识别而非表现目标构念，而真实场景缺乏此类线索，生成概率剖面反映的是模型实际生成倾向。
方法步骤详情
步骤1：在8个模型上运行四个问卷（PVQ-40、PVQ-21、BFI-44、BFI-10），对条目进行Likert评分，双变体（选项正逆序）平均得到构念得分。步骤2：对VP数据集的每个场景，构建自然生成提示，计算模型为5个候选回复的log-probability，对每个构念c，先在场景内平均再跨场景平均得到score(c)。步骤3：用Spearman ρ和NDCG比较两类剖面的构念排序一致性，并进行排列检验。步骤4：用句嵌入与模型二分类任务检验条目构念可识别性。步骤5：对8个角色提示条件（年龄、性别、政治、教育各两个对比），分别计算问卷与VP剖面相对于基线的增量，与ESS人类数据对比余弦相似度。
技术新颖性
技术新颖性在于将生成概率严格映射到构念标签（r≥0.3），形成生成即测量框架；首次用文本透明性一致性地解释问卷内部结构的来源；并通过角色提示证明问卷剖面的人模差异不传递到生成行为，为问卷效度提供机制性诊断。
实验结果
两类剖面构念排序一致性低：问卷之间ρ均值为0.74（PVQ-40↔PVQ-21）、0.77（BFI-44↔BFI-10）；但问卷与生成概率ρ降至0.31（Gen↔PVQ-40）、0.28（Gen↔PVQ-21）、0.26（Gen↔BFI44）、0.11（Gen↔BFI10）。NDCG呈现类似但较小的差距（0.91/0.89 vs 0.69–0.81）。构念内条目一致性仅在问卷中出现：PVQ-40的η²=0.526、WMV=0.603（p<0.01），BFI-44的η²=0.492、WMV=0.592（p<0.01）；生成概率的η²与WMV均不显著异于随机排列基线。文本透明性分析显示：模型对问卷条目构念识别的F1达0.69–0.83，对VP场景仅0.05–0.11；句嵌入分析显示问卷条目呈现清晰的构念聚类，而VP无此模式。角色提示实验：问卷剖面对ESS人类数据的余弦相似度均值为0.60（PVQ-40）、0.47（PVQ-21），而VP为-0.03（整体+0.007，95%CI[−0.22,+0.24]），方向匹配率从60%左右降至40%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Schwartz剖面排序一致性 | Spearman ρ | Gen↔PVQ-40: 0.31, Gen↔PVQ-21: 0.28 | PVQ-40↔PVQ-21: 0.74 | 差距显著（p=0.004），跨方法一致远低于问卷内部 |
| Big Five剖面排序一致性 | Spearman ρ | Gen↔BFI44: 0.26, Gen↔BFI10: 0.11 | BFI44↔BFI10: 0.77 | 差距显著（p=0.016） |
| 构念内结构 | η²（PVQ-40） | Gen: 0.040（基线水平，p=0.604） | PVQ-40: 0.526（p<0.01） | 生成概率中构念结构消失 |
| 构念内结构 | η²（BFI-44） | Gen: 0.029（基线水平，p=0.726） | BFI-44: 0.492（p<0.01） | 生成概率中构念结构消失 |
| 条目构念识别 | F1（均值） | PVQ: 0.69–0.83 | VP: 0.05–0.11 | 问卷条目高度透明，VP场景不可识别 |
| 角色提示—人类对齐 | Cosine | VP: -0.03 | PVQ-40: 0.60, PVQ-21: 0.47 | 问卷夸大人模一致性，生成概率无系统模式 |
局限与改进
作者承认：生成概率方法需要token级log-probability，当前仅适用于开源模型；VP数据集覆盖范围有限，未包含更多心理构念与多样化情境；角色提示实验仅用ESS的价值数据，无Big Five人类基准；未提供人类对照以判断该差距是否LLM特有。作者还指出，生成概率得分是固定候选回复上的受控行为测量，不能完全替代自由生成文本的分析。
独立分析的弱点
覆盖局限：VP数据集的候选回复由有限样本生成并标注，未能覆盖更广泛的生成分布与构念，可能低估生成概率剖面的稳定性。标注误差：r≥0.3虽经681人验证，但边际项目仍存在噪声，可能引入测量误差。温度依赖：生成概率在T=1下采样以验证分布位置，但实际应用温度多变，剖面稳定性需进一步检验。角色提示解析不足：部分条件下模型非响应率高（如Gemma3-4B），可能影响结果代表性。
未来方向
将生成概率框架扩展到闭源模型，通过API logprob或替代概率估计。扩容VP数据集，覆盖更多构念与文化情境，提升泛化性。纳入Big Five的人类大规模调研数据，并行分析人格域。对比LLM与人类自报/行为差距，判断此差距是否LLM特有。将生成概率与开放生成结合，以捕捉更自由的心理倾向表达。
复现评估
作者声明代码与数据将在发表后开源，提供了详细的推理配置（vLLM 0.16.0、单节点4×A100 80GB、bfloat16）与提示模板，并披露总计算预算约110节点小时（约500 A100 GPU小时）。实验设计清晰，评估指标与统计检验方法完整，复现难度中等。但当前版本尚未放出代码，需关注发布后实现细节。
论文图表
