重新思考大语言模型的心理测量评估：自述何时以及为何能预测行为 Rethinking Psychometric Evaluation of LLMs: When and Why Self-Reports Predict Behavior
揭示LLM自述与行为一致性的条件：TPB框架+同会话达人类基线，跨会话任务依赖
前置知识
自我报告（Self-Report, SR）
心理测量中通过问卷让个体表达自身态度、意图或人格特质的方法，通常使用李克特量表。在LLM中，通过提示让模型回答关于自身倾向的问题，例如'在卡牌游戏中，我倾向于谨慎决策'。这种测量成本低、易于实施，但关键在于能否预测实际行为。
本文核心问题是LLM的SR能否预测行为，这是理解LLM行为预测的关键概念。
Big Five 人格框架
最广泛使用的人格分类系统，包含五个跨情境的特质：开放性、尽责性、外向性、宜人性、神经质。每个特质通过多个无上下文的李克特项测量，如'我把自己看作谨慎的人'。在人类中，特质-行为相关系数很少超过 $r \approx 0.20$。
这是LLM人格研究的主导框架，但本文证明它在行为预测上完全失效。
Theory of Planned Behavior (TPB)
行为科学中的细粒度框架，通过态度、主观规范、感知行为控制（PBC）预测行为意向，进而预测行为。关键创新是 TACT（Target-Action-Context-Time）锚定，将项绑定到特定行为，例如'在这个卡牌游戏中，我打算仔细翻牌'。在人类中，意向-行为有效性达到 $r \approx 0.47$。
本文证明TPB在LLM中达到人类基线水平，是Big Five的关键对比。
SR-行为解离
自我报告与实际行为之间的不一致性。Han et al. [7] 发现LLM可以产生心理测量一致的人格档案，但无法预测模型在行为任务中的选择。解离可能反映测量框架问题、探查上下文问题，或模型本身的属性。
这是本文试图解释的核心现象，通过系统实验找出解离的条件和原因。
上下文窗口启动
当SR答案在行为执行时的上下文窗口中可见时，模型可能因为能看到自己之前说了什么而表现出一致性，而非真实倾向。这是表面自一致性的可能机制，区别于共同原因耦合。
RQ3通过分离会话设计区分启动效应和真实倾向，是理解一致性来源的关键。
研究动机
LLM 在高风险场景（临床决策支持、金融建议、教育辅导）的部署需要通过低成本心理测量 probes 预测行为倾向。但现有研究表明存在系统性 SR-行为解离：Han et al. [7] 发现模型产生心理测量一致的人格档案却无法预测任务选择。这一现象的来源不明，可能是测量框架问题（Big Five 设计为跨情境，人类特质-行为相关 $r \leq 0.20$）、探查上下文问题（SR 和行为在独立会话中），或模型属性本身。没有机制说明，就无法知道何时可以信任 SR 作为行为预测器，也无法设计干预来弥合差距。
本文的目标是通过系统实验研究 LLM 中 SR-行为一致性出现的条件，建立何时自述有用的实践映射。具体回答四个研究问题：RQ1 在理想条件下是否存在 SR-行为一致性；RQ2 细粒度 TPB 是否优于粗粒度 Big Five；RQ3 一致性在分离会话中能否存活；RQ4 心理学基础的 persona 提示能否恢复分离会话一致性。为可扩展行为审计提供基础，使低成本 probes 可替代昂贵的行为电池。
与已有工作不同的是，现有研究的两个方法论假设解释了为何机制仍然难以捉摸：一是主导框架 Big Five 设计为跨情境，在人类中就是具体行为的弱预测器；二是 SR 和行为任务在独立会话中执行，仅通过匹配采样参数链接，测试了跨会话行为倾向这一最难的一致性测试。本文通过 2×2×2 因子设计（框架：TPB vs Big Five；会话上下文：共享 vs 分离；身份诱导：参数网格 vs persona 提示）系统改变这些条件，并扩展到 4 个行为任务和 11 个前沿 LLM，找出 SR 何时以及为何能预测行为。
核心方法
采用 2×2×2 因子设计系统改变测量条件，分析 SR-行为一致性的边界。框架维度对比细粒度的 TPB（TACT 锚定，人类 $r \approx 0.47$）和粗粒度的 Big Five（跨情境，人类 $r \leq 0.20$）；会话上下文维度对比同一消息线程和独立 API 调用；身份诱导维度对比参数网格（温度、种子、系统提示变异）和 persona 提示（30 个 PersonaHub 人物描述）。在 4 个行为任务（CCT 风险承担、Sycophancy 迎合、Honesty 诚实、IAT 内隐偏见）和 11 个前沿 LLM 上测试。每个（模型 × 任务 × 构造）单元计算 SR 构造与行为结果的 Pearson 相关系数，通过逆方差加权 Fisher-z 元分析汇总。
核心创新是区分共同原因耦合和会话内上下文启动。共同原因耦合指 SR 和行为都由稳定模型状态（训练权重、安全对齐）塑造，产生跨会话稳定性。会话内上下文启动指一致性依赖 SR 答案在行为执行时仍留在提示窗口中，分离会话后崩溃。RQ3 通过分离会话设计区分这两者：如果一致性消失，说明是启动效应；如果存活，说明是真实倾向。另一创新是引入人格稳定性（跨会话 SR 一致性）和可塑性（SR 多样性）作为中介分析，解释 persona 提示为何不能恢复 SR-行为耦合。
方法步骤详情
实验分为四个研究问题，每个 RQ 有明确的输入输出和操作。RQ1（最佳情况一致性）：将 TPB 仪器和行为任务放在单一消息线程中，无系统重置，使用参数网格诱导（3×3×3：温度 {0.2, 0.5, 0.9}、种子、系统提示变异，54 条件/模型）。输出是每单元 Fisher-z 汇总 $r$。RQ2（框架特异性）：相同设置，但增加 Big Five 测量（88 单元：11 模型 × 4 任务 × 2 特质/任务）。对比 TPB 和 Big Five 的最佳构造。RQ3（上下文分离）：每个（模型，条件）在同一会话和分离会话下运行，主要估计量是 $\Delta r = r_{same} - r_{separate}$，附加计算跨会话 SR 一致性和行为一致性。RQ4（Persona 诱导）：每个（模型，任务）在两种诱导 × 两种会话下运行，主要估计量是 $\Delta r_{induction} = r_{personas} - r_{grid}$，附加计算 SR 多样性（条件间 SD）和稳定性（跨会话 $r$）。所有 RQ 使用相同的共享分析程序：每单元 $n \approx 54$（persona 诱导 60），通过 Fisher-z 元分析汇总，95% CI，比例指标使用 Wilson 95% CI。
技术新颖性
技术新颖性体现在四个方面。一是首次在 LLM 中系统对比 TPB 和 Big Five 的行为预测有效性，证明框架粒度的决定性作用（人类 $r \approx 0.47$ vs $0.20$ 的差距在 LLM 中放大到完全预测 vs 无法预测）。二是通过分离会话设计区分启动效应和真实倾向，揭示 Sycophancy 完全由上下文启动驱动（行为跨会话 $r = -0.02$），而 IAT 反转是真正的训练锁定位移（行为跨会话 $r = +0.98$）。三是提出人格稳定性和可塑性作为中介分析，证明 persona 提示改善了 SR 属性（75% 单元稳定性 $\Delta r > 0$，50% 多样性 $\Delta SD > 0$）但不能恢复 SR-行为耦合（0 个模型满足救援标准）。四是建立了一套可复制的 LLM 心理测量框架（4 任务、TPB 仪器、评分方案），为未来基准测试提供基础。这些贡献将 LLM 心理测量从现象描述推进到机制理解。
实验结果
RQ1 证明在同一会话中，TPB 自我报告与行为之间实质性预测人类基线水平的一致性存在。Fisher-z 汇总平均相关系数为 $r = +0.25$，95% CI [+0.22, +0.28]；排除理论解离的 IAT 任务后增强到 $r = +0.40$，95% CI [+0.37, +0.43]，落在人类元分析意向-行为相关范围内（$r \approx 0.25-0.50$）。77 个单元中，41 个（53.2%，Wilson 95% CI [42.2%, 64.0%]）同时理论一致（自愿任务正 $r$，IAT 负 $r$）且在 $p < 0.05$ 显著——是纯零假设下预期 2.5% 的 21.3 倍（$z = 28.5$，$p < 0.0001$）。RQ2 证明 TPB 在三个自愿性任务上显著优于 Big Five。在同一会话、参数网格条件下，TPB 显示实质性单元内一致性：CCT $r = +0.22$，95% CI [+0.14, +0.30]；Sycophancy $r = +0.47$，[+0.39, +0.53]；Honesty $r = +0.67$，[+0.63, +0.72]。Big Five 在相同任务上无信号：最佳 Big Five $r_{aligned}$ 范围 +0.06 到 +0.07，每个 Big Five 95% CI 都跨越零。每任务框架差距：Honesty $\Delta = +0.61$，Sycophancy $\Delta = +0.40$，CCT $\Delta = +0.16$。RQ3 证明上下文分离使 TPB 一致性崩溃，但模式任务依赖。Honesty 部分存活：Attitude × align $r = +0.67 \rightarrow +0.53$，$\Delta r = +0.14$，95% CI [+0.04, +0.25]，$p < 0.001$。Sycophancy 完全崩溃：Intention × align $r = +0.47 \rightarrow -0.07$，$\Delta r = +0.54$，95% CI [+0.39, +0.69]，$p < 0.001$。分离会话 $r$ 与零无差异。CCT 边际下降：$r = +0.22 \rightarrow +0.12$，$\Delta r = +0.10$，95% CI [-0.06, +0.26]，ns。IAT 稳定反转：$r = -0.59 \rightarrow -0.66$，$\Delta r = +0.07$，ns。Big Five 在两种会话中均匀无预测（最佳构造 $|r_{aligned}| \leq 0.07$，所有 CI 跨越零）。11 个模型中仅 2 个保留跨会话一致性：Claude 4.5 Haiku（$r = +0.75 \rightarrow +0.65^{***}$，$\Delta r = +0.10^{**}$）和 LLaMA 3.3 70B（$r = +0.38 \rightarrow +0.66^{***}$，$\Delta r = -0.27^{***}$）。RQ4 证明 persona 诱导不系统恢复分离会话一致性。Sycophancy 部分恢复：Intention × align $r$ 从网格的 $-0.07$ [-0.18, +0.02] 移动到 personas 的 $+0.09$ [-0.01, +0.18]，$\Delta r = +0.16$ [+0.00, +0.32]，$p < 0.01$。Honesty 衰减：Attitude × align $r = +0.53 \rightarrow +0.38$，$\Delta r = -0.15$ [-0.28, -0.03]，$p < 0.001$。CCT 和 IAT 诱导不变：$\Delta r_{induction}$ 的两个 CI 都包含零。IAT 反转特别稳定（$r = -0.66 \rightarrow -0.63$，$\Delta r = +0.02$ ns），确认显式-隐式解离是倾向属性而非诱导人工产物。池化 TPB 单元后，0 个模型满足救援标准（网格 95% CI ≤ 0 AND personas 95% CI > 0）。机制上，personas 到达 SR 但不到 SR-行为耦合：50% 的（模型 × 任务）单元 SR 多样性为正，11/44 实质性（$>0.3$ SD）；75% 单元 SR 稳定性为正（平均 $\Delta r = +0.14$）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Honesty（诚实校准） | Fisher-z 汇总 r_aligned | TPB +0.67 [95% CI: +0.63, +0.72], Big Five +0.06 [CI 跨越零] | 人类意向-行为相关 $r \approx 0.25-0.50$，Han et al. Big Five 弱预测 | TPB vs Big Five 框架差距 $\Delta = +0.61$，同一会话达人类基线，跨会话部分存活（$\Delta r = +0.14$，$p < 0.001$） |
| Sycophancy（迎合倾向） | Fisher-z 汇总 r_aligned | TPB +0.47 [95% CI: +0.39, +0.53], Big Five +0.07 [CI 跨越零] | 人类意向-行为相关 $r \approx 0.47$，Big Five 无预测 | TPB vs Big Five 框架差距 $\Delta = +0.40$，但同一会话优势完全依赖上下文启动（跨会话崩溃 $\Delta r = +0.54$，$p < 0.001$，行为跨会话 $r = -0.02$） |
| CCT（风险承担） | Fisher-z 汇总 r_aligned | TPB +0.22 [95% CI: +0.14, +0.30], Big Five +0.06 [CI 跨越零] | 人类意向-行为相关 $r \approx 0.47$，Big Five 弱预测 | TPB vs Big Five 框架差距 $\Delta = +0.16$，跨会话边际下降（$\Delta r = +0.10$，ns），信号本身较弱 |
| IAT（内隐偏见） | Fisher-z 汇总 r_aligned | TPB -0.59 [95% CI: -0.64, -0.53], Big Five 无信号 | 人类显式-隐式解离常为负（抑制动机高时），Big Five 无预测 | 理论预期的显式-隐式解离，跨会话稳定（$\Delta r = +0.07$ ns），证明是训练锁定位移 |
局限与改进
作者承认的限制包括：依赖外部 API 限制了对专有前沿模型的内部探查（11 个模型中大多数无法访问内部表示），因此依赖输入/输出行为框架而非机制可解释性。四个行为任务虽然涵盖不同心理构造（自愿 vs 非自愿、上下文敏感 vs 训练锁定），但可能不足以代表 LLM 在所有部署场景中的行为谱系。实验仅测试了静态SR + 行为设计，未测试动态反馈循环（例如，模型在看到自身 SR-行为解离后是否能自我纠正）。方法学限制包括参数网格和 persona 提示可能不捕获所有身份诱导变体（例如，训练时人格注入可能更强）。我们的观察包括：研究聚焦于 SR-行为关联的统计显著性，可能低估了实际部署中的效应大小重要性（$r = +0.40$ 统计显著但在高风险场景可能不足）。研究未测试跨模型泛化（例如，Claude 4.5 Haiku 的强一致性是否在其他 Claude 模型中存在）。研究未分析不同任务间 SR-行为关联的一致性（例如，同一模型在不同任务中可能显示不同的一致性模式）。研究未考虑安全训练对 SR-行为耦合的影响（例如，RLHF 可能使模型'说一套做一套'）。
独立分析的弱点
独立分析的弱点包括：首先，研究框架依赖人类心理测量工具，可能不完全适合 LLM 响应模式。TPB 和 Big Five 都为人类设计，假设意向、态度等构造的存在，但 LLM 可能以不同方式编码这些构造。改进方向是开发 LLM 专用的自述框架，例如直接探查模型内部激活模式与行为输出的关联。其次，研究仅在四个行为任务上测试，虽然涵盖不同心理构造，但可能遗漏其他重要行为维度（例如，创造性、逻辑推理、道德决策）。改进方向是扩展任务谱系，特别是面向实际部署场景的任务（金融风险决策、医疗建议置信度）。第三，研究未测试 SR-行为关联的因果性，仅报告相关性。同一会话一致性可能由启动效应驱动而非真实倾向，但研究无法证明反向因果（行为影响 SR）。改进方向是设计因果干预实验（例如，人为操纵 SR 答案观察行为是否变化）。第四，研究未分析不同模型间的系统性差异（例如，Claude 4.5 Haiku 的强一致性 vs Claude 3.7 Sonnet 的负一致性）。改进方向是进行模型级分析，识别安全训练签名（例如，Claude IAT 反转梯度）或架构差异。第五，研究未考虑长期一致性（例如，模型在多次交互后是否保持倾向）。改进方向是进行纵向研究，测试 SR-行为关联在时间上的稳定性。
未来方向
作者提出的未来方向包括：LLM 自我纠正，将自述项与先前的 SR-行为解离反馈配对，测试推理训练的模型是否能弥合差距。这可能揭示 LLM 是否能元认知地理解和修正自身不一致性。LLM 专用自述框架，现有仪器从人类心理测量导入，从零开始设计针对 LLM 响应模式的框架可能将领域从适应人类量表转变为构建原生量表。这可能探索 LLM 特有构造（例如，'概率性意向'或'上下文敏感态度'）。机制可解释性，SR 和行为生成是否共享早期层激活但在后期层发散，但目前限于小开放模型。可访问内部表示的模型（如 LLaMA）可能允许探查解离的神经基础。我们的扩展方向包括：构建基准测试框架，让用户和其他利益相关者测试 LLM 在特定决策代理部署场景中的行为（例如，金融中的风险承担，医疗中的可靠置信度沟通）。这需要扩展任务谱系和标准化评估协议。跨任务泛化研究，测试在一个任务中测量的一致性是否翻译到另一个任务。这可能揭示一致性是任务特定还是跨任务稳健。安全训练影响研究，分析 RLHF 或宪法 AI 如何影响 SR-行为耦合。这可能揭示对齐训练是否引入'说一套做一套'模式。身份诱导变体研究，测试更强大的身份诱导（例如，训练时人格注入）是否能恢复 SR-行为耦合。这可能揭示当前 persona 提示的局限性。
复现评估
复现评估：论文未提供源代码或数据集，但详细描述了实验方法和指标，使独立复现可行。四个行为任务（CCT、Sycophancy、Honesty、IAT）的提示和评分方案在附录 D 中提供。TPB 仪器包含针对每个任务的 TACT 锚定项（例如，'在这个卡牌游戏中，我打算仔细翻牌'），提供了完整复制路径。11 个 LLM 都是通过 API 访问的专有模型，需要相应的 API 密钥和配额。参数网格设计（3×3×3：温度、种子、系统提示）明确描述，persona 提示使用 30 个 PersonaHub 人物描述，需要访问或重建此数据集。分析代码未提供，但 Fisher-z 元分析、Mundlak 分解、策略对比分数规范和模型重采样 bootstrap CIs 都有统计文献引用。计算成本取决于 API 配额，估计每模型每 RQ 约 100-200 API 调用（54 或 60 条件 × 2 会话类型 × 任务），总计约 5000-10000 调用。难度中等，主要挑战是获取 API 访问和重建 persona 提示数据集。复现需要统计软件（Python/R）和 API 客户端，但不需要特殊硬件（所有推理在提供商服务器上）。
论文图表
