探测大语言模型风险决策中的结果相似性与机制对齐：来自圣彼得堡游戏的证据 Probing Outcome-Level Resemblance and Mechanism-Level Alignment in LLM Risk Decisions: Evidence from the St. Petersburg Game
LLM表面谨慎不等于真正理解人类风险决策机制，圣彼得堡游戏实验揭示二者存在本质差异
前置知识
圣彼得堡游戏
圣彼得堡游戏是一个经典的概率悖论，由丹尼尔·伯努利于1713年提出。游戏规则是：反复抛掷一枚公平硬币，直到首次出现正面为止。如果第n次抛掷才首次出现正面，参与者获得$2^n美元。例如，第一次就是正面赢得$2，第一次反面第二次正面赢得$4，前两次反面第三次正面赢得$8，以此类推。这个游戏的期望收益为$E = \sum_{n=1}^{\infty} \frac{1}{2^n} \cdot 2^n = \sum_{n=1}^{\infty} 1 = \infty$，理论上期望值为无穷大。然而，人类在现实中只愿意支付很低的有限金额参与这个游戏（通常在$2-$20之间），这种数学最优行为与人类实际行为之间的差异被称为圣彼得堡悖论。人类风险决策理论用边际效用递减、风险厌恶、有限认知能力等概念来解释这种现象。
本文使用圣彼得堡游戏作为诊断工具，因为它提供了一个尖锐的对比：数学上最优策略是愿意支付无限大金额，而人类表现出谨慎的有限支付行为。这个对比使得研究者能够区分LLM是否真正模仿了人类的风险推理机制，还是仅仅产生了表面合理的数值输出。如果模型在游戏中表现出类似人类的谨慎行为，但决策机制在条件变化时崩溃，就说明这种对齐只是表面的结果相似性，而非真正的机制对齐。
结果相似性与机制对齐
结果相似性指模型的输出在表面上与人类回答看起来一致，例如在圣彼得堡游戏中给出一个低的、有限的出价金额。这种相似性可以通过训练数据中的模式匹配、学到的响应规范或一般的谨慎先验来实现，而不需要模型真正理解任务背后的风险推理机制。机制对齐则要求模型不仅产生类似的输出，还要在相关决策条件发生变化时，以与人类一致的方式调整其行为模式。例如，当游戏结构被截断、允许重复玩、改变可用财富或角色框架时，人类风险推理会展现出有界的、方向性的调整模式。如果模型能再现这种连贯的适应模式，就说明其决策机制与人类对齐。本文的核心论点是：结果相似性不保证机制对齐，高风险决策场景下的评估必须超越表面输出，检查机制层面的一致性。
在现实世界的决策支持场景中，模型面临的条件很少与标准提示完全匹配。如果模型只是通过表面模式匹配产生看似合理的输出，当决策环境发生微妙变化时，其行为可能会不可预测或不一致。特别是在金融、医疗、法律等高风险场景中，这种机制层面的不一致可能导致严重后果。因此，区分结果相似性和机制对齐对于评估LLM在高风险决策中的可靠性至关重要。
机制探针
机制探针是本文设计的受控实验变体，用于探测模型在相关决策条件下的行为适应性。四种探针分别是：截断探针（将游戏限制在最多20次抛掷，引入有限的期望值边界）、重复游戏探针（允许参与者在$10000预算下玩100次游戏，测试聚合敏感性）、数字禀赋探针（改变决策者可用财富，从$100到$10000，测试资源敏感性）和职业身份探针（使用低收入、中等收入、高收入职业框架，测试角色敏感性）。这些探针不是独立的任务，而是原始游戏结构的系统性变体，它们保持核心风险机制不变但修改决策环境的特定维度。通过观察模型在这些探针中的响应模式，可以判断其原始游戏中的谨慎行为是否反映了稳定的人类一致的决策机制。例如，如果模型在截断后直接输出截断期望值边界$21，或在重复游戏时直接采用上限$100，就说明它在进行边界追踪而非有界的适应性推理。
机制探针是本文的核心方法创新。传统的LLM评估通常只检查模型在标准任务上的输出是否正确或合理，但这种方法无法揭示模型是否真正理解了任务背后的决策机制。机制探针通过系统性地改变决策环境，使得研究者能够观察模型的响应表面，而不仅仅是单个输出点。这类似于在机器学习诊断中使用对抗样本或分布偏移测试，只是这里的对抗是结构性的而非输入扰动。机制探针的设计基于人类风险决策文献中的理论预期，因此能够提供关于模型是否以人类一致的方式处理不确定性的诊断性证据。
指令调优与提示工程
指令调优是通过在人类标注的指令-响应对上训练或使用人类反馈强化学习（RLHF）来调整模型行为的技术。目标是使模型更好地遵循人类偏好和预期行为。例如，通过指令调优，模型可以学会回答问题时更加安全、准确、有帮助。提示工程则是在推理时通过精心设计的提示来引导模型产生特定类型的响应。本文测试了两种转向策略：最小人类提示（在游戏描述前添加想象你是一个人类的最小身份提示）和指令调优（比较基础模型与其指令调优版本的响应）。研究发现，这两种方法都可以改变模型的可见行为（例如降低出价金额），但它们对机制级响应模式的恢复有限。例如，在人类提示下，只有23/112（20.5%）的机制探针配置改善向人类区域，而73/112（65.2%）保持不变。在指令调优中，只有10/42（23.8%）的机制状态转换改善，而30/42（71.4%）保持不变。
指令调优和提示工程是目前最常用的模型对齐技术，但它们的效果评估通常集中在输出层面的改进，如减少有害内容、提高准确性等。本文的发现揭示了这些技术在机制层面的局限性：它们可以有效地抑制极端或明显非人类的输出，但不能可靠地恢复人类一致的决策机制签名。这意味着，即使一个模型经过精心调优，在标准提示上表现出谨慎和合理，当决策环境发生微妙变化时，其行为可能仍然无法以人类一致的方式适应。这对于高风险决策应用具有重要的安全含义，因为这些应用中的现实条件很少与训练时看到的提示完全匹配。
研究动机
现有的LLM行为对齐评估存在一个关键盲点：它们通常只关注模型输出是否与人类答案相似，而不检查这些输出背后的决策机制是否与人类一致。具体而言，在风险决策任务中，模型可能因为学到了在风险场景中合理的回答通常是小的数字这样的表面模式而生成谨慎的输出，但当决策结构发生变化时，人类推理通常会以系统性和可预测的方式调整，而模型的行为如果不发生相应的连贯变化，那么原始的看似谨慎的响应可能只反映了表面的模仿而非人类一致的推理。这种表面对齐在风险敏感场景中特别危险，因为在金融、医疗、法律等高风险领域，现实世界的决策条件很少与基准提示完全匹配，如果一个模型只是在狭窄设置中复现合理的输出，而没有稳定的基础推理模式，当发生分布变化或对抗性框架时，它可能表现出不可预测的行为。
本文的目标是本文的目标是区分LLM在风险决策中的结果层面的相似性和机制层面的对齐。具体来说，研究者想要回答：当LLM在风险决策任务中产生谨慎的响应时，这是否反映了其与人类风险推理的机制层面对齐，还是仅仅反映了表面层面的输出相似性？为了实现这个目标，作者构建了一个结构化的提示套件，包括原始圣彼得堡游戏和四个机制探针，并评估28个LLM的响应模式。核心思想是：如果模型在原始游戏中表现出类似人类的谨慎行为，但当游戏结构被系统性地修改时，其行为崩溃或无法以人类一致的方式适应，那么原始的对齐只是表面的结果相似性，而非真正的机制对齐。
与已有工作不同的是，本文的独特切入角度在于使用圣彼得堡悖论作为诊断工具来区分结果相似性和机制对齐。与大多数评估LLM决策的研究不同，这些研究通常检查模型是否产生正确的答案或合理的输出，本文关注的是模型在相关决策条件变化时是否保持连贯的、人类一致的响应模式。圣彼得堡游戏提供了一个理想的测试床，因为它在数学上最优的行为（愿意支付无限大金额）和观察到的谨慎人类行为（只愿意支付低的、有限金额）之间产生了尖锐的对比。这个对比使得研究者能够测试一个看似谨慎的响应是否真正反映了人类一致的风险推理机制，或者只是表面模式匹配的结果。此外，本文评估了人类提示和指令调优这两种常用转向策略对机制层面对齐的效果，发现它们虽然可以改变可见行为，但对机制级响应模式的恢复有限，这一发现超出了现有研究的范围。
核心方法
本文的方法基于一个简单的直觉：如果一个模型真正理解了风险决策任务，那么它的行为应该在与任务相关的条件变化时保持连贯。具体而言，作者使用圣彼得堡游戏作为基准任务，因为它在数学上最优的行为（期望值无限大）和人类的谨慎行为（低的、有限出价）之间产生了对比。为了测试模型的谨慎行为是否反映了人类一致的决策机制，作者设计了四个机制探针，它们系统性地修改游戏结构的特定维度：截断（引入有限期望值边界）、重复游戏（允许多次机会）、数字禀赋（改变可用财富）和职业身份（使用不同收入水平的职业框架）。通过观察模型在这些探针中的响应模式，并将其与人类风险决策文献中的理论预期进行比较，可以判断模型是否以人类一致的方式处理不确定性。
本文的核心创新点在于将评估从单个输出点扩展到响应表面。传统评估只检查模型在标准任务上的输出是否合理，而本文通过机制探针观察模型在相关决策条件变化时的适应模式。这使得研究者能够区分三种行为模式：人类一致的模式（展现有界的、方向性的适应，如截断后出价降低但不超过截断期望值，重复游戏时出价增加但低于上限）、计算理性的模式（崩溃到任务隐含的数学边界，如截断后输出$21$，重复游戏时输出$100$）和条件理性的模式（对修改的决策结构表现出部分敏感性，但未能恢复预期的有界方向性特征，如截断后出价比原始游戏高但不是$21$，数字禀赋或职业身份变化时产生弱、不一致或不完整的行为变化）。通过这种模式分类，研究者可以判断模型的谨慎行为是否真正反映了人类一致的决策机制。
方法步骤详情
本文的实验步骤包括四个阶段。第一阶段是提示构造，研究者为原始圣彼得堡游戏和四个机制探针设计了详细的提示模板。原始游戏提示（用于RQ1）描述了重复抛硬币的机制和指数增长的奖励结构，并要求模型报告愿意支付的最大金额。机制探针提示（用于RQ2）通过在愿意支付问题前插入条件或替换游戏规则来修改决策结构，具体包括20次抛掷截断（截断期望值为$21$）、重复游戏（100次机会，每次上限$100$）、数字禀赋（$100$ vs $10000$）和职业身份（低收入、中等收入、高收入职业）。第二阶段是转向评估，研究者测试了人类提示（在游戏描述前添加想象你是一个人类的最小身份提示）和指令调优（比较基础模型与其指令调优版本）的效果。第三阶段是模型推理设置，研究者评估了28个LLM（包括闭源和开源模型），每个模型在两个温度下（$\tau = 0$和$\tau = 0.7$）进行10次（$\tau = 0$）或30次（$\tau = 0.7$）重复推理。第四阶段是响应归一化，研究者要求所有提示的响应只包含愿意支付的最大金额（美元数值），将Infinity或其文本变体归一化为$\infty$，对于不严格遵循输出格式的响应，手动提取数值意愿支付值。为了获得每个模型-条件对的稳定意愿支付估计，研究者使用中位数聚合重复推理结果。
技术新颖性
本文的技术新颖性体现在三个方面。首先，它提出了结果相似性与机制对齐的概念框架，这一框架虽然思想简单但具有广泛的适用性，可以用于评估LLM在各种决策任务中的对齐程度。其次，它设计了基于圣彼得堡游戏的机制探针，这些探针不是独立的任务，而是原始任务结构的系统性变体，使得研究者能够观察模型的响应表面而不仅仅是单个输出点。第三，它定义了三种行为模式（人类一致、计算理性、条件理性）来分类模型的响应配置，这种模式分类超越了简单的数值比较，关注的是模型在相关决策条件变化时的适应模式。这些方法的组合使得研究者能够进行机制层面的诊断评估，揭示表面谨慎行为背后的真实决策机制。
实验结果
本文的核心发现是LLM在风险决策中展现出一致的结果相似性-机制对齐差距。在原始圣彼得堡游戏（RQ1）中，大多数模型避免直接遵循游戏的无限期望值，产生有限出价。在$\tau = 0.7$时，28个模型中有26个产生有限出价，中位数为$10$；在$\tau = 0$时，28个中有25个产生有限出价，中位数为$20$。这种模式在解码温度间稳定，表明LLM通常生成有界响应而非无界的期望最大化行为。在结果层面，这些响应类似于人类决策中常见的有界意愿支付行为。然而，机制探针（RQ2）挑战了RQ1的结果层面解释。截断和重复游戏探针揭示出频繁的边界追踪：在20次抛掷截断探针中，大多数模型崩溃到截断期望值基准而非给出有界非边界出价。在$\tau = 0.7$时，28个模型中有26个是计算理性的；在$\tau = 0$时，25个是计算理性的。重复游戏显示出向硬任务边界的相同趋势，15个模型在$\tau = 0$时、13个在$\tau = 0.7$时被归类为计算理性。禀赋和身份探针揭示了一种不同的机制层面分歧形式：许多模型保持仅为条件理性的。在数字禀赋探针中，分布在两个温度下相同：5/28个模型是人类一致的，10/28是条件理性的，13/28是计算理性的。职业身份探针由条件理性配置主导：24/28个模型在$\tau = 0$和22/28个在$\tau = 0.7$落入这一中间类别，而分别只有4个和6个模型产生类人单调角色敏感配置。这种模式表明弱的或不完整的上下文敏感性而非简单的期望最大化。转向分析（RQ3）显示转向改变出价频率高于改变机制状态。对于人类提示，$\tau = 0$时类人机制配置从13/112增加到27/112，计算理性配置从53/112减少到40/112。然而，转换摘要显示这种效果的限度：只有23/112转换改善向类人区域，73/112保持不变，5/112退化。指令调优更清晰地抑制边界追踪而非恢复类人配置。匹配的基础/指导对在$\tau = 0$时比较：计算理性配置从17/42减少到8/42，类人配置从2/42增加到5/42，但大部分移入或保持在条件理性区域。在机制层面，只有10/42转换改善向类人区域，30/42保持不变。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 原始游戏有限出价率 | 产生有限出价的模型比例 | 25/28 (τ=0), 26/28 (τ=0.7) | 理论上应为0（计算理性） | N/A（任务描述不同） |
| 截断探针计算理性率 | 边界追踪的模型比例 | 25/28 (τ=0), 26/28 (τ=0.7) | 理论上应为0（人类应为有界但非边界） | N/A（这是失败模式） |
| 职业身份探针类人率 | 角色单调敏感的模型比例 | 4/28 (τ=0), 6/28 (τ=0.7) | 理论上应接近100% | N/A（这是失败模式） |
| 人类提示机制改善率 | 机制状态改善向类人区域的转换比例 | 23/112 (20.5%) | 保持不变73/112 (65.2%) | 有限改善但大部分不变 |
| 指令调优机制改善率 | 机制状态改善向类人区域的转换比例 | 10/42 (23.8%) | 保持不变30/42 (71.4%) | 有限改善但大部分不变 |
局限与改进
作者承认了几个局限性。首先，本研究使用圣彼得堡游戏作为受控诊断环境，而不是真实世界金融、保险、医疗或公共部门决策的完整模拟。这个选择是有意的：游戏提供了尖锐的计算理性极点、研究充分的人类行为锚点和自然的机制探针。然而，实际部署设置涉及更丰富的激励、制度约束、法律责任和多步骤交互。未来工作应该测试相同的结果相似性-机制对齐差距是否出现在更多领域特定的风险任务中。其次，本文的类人标签基于理论预期而非实际的人类受试者实验。这对当前的论点是适当的，因为作者不将任何单个意愿支付值视为黄金标签，而是问模型是否在重复游戏、截断、禀赋和身份之间展现有界的方向性响应。更强的未来设计将在完全相同的提示套件和聚合协议下收集人类响应，允许直接比较模型和人类响应表面。最后，作者的实验识别了模型在哪里未能恢复类人机制特征，但没有识别这种失败的内部来源。边界追踪、平坦响应和压缩的后对齐配置可能源于训练数据、指令调优、安全策略、数学显著性或模型家族特有行为。区分这些原因将需要额外的方法，如受控训练比较、过程级分析和更广泛的任务家族。因此，本文的贡献是诊断性的：它表明表面的谨慎在机制探针下可能失败，在将LLM风险行为视为稳健对齐之前应该测量这种失败。
独立分析的弱点
本文独立分析的第一个弱点是机制探针的设计仍然相对有限。四种探针（截断、重复游戏、数字禀赋、职业身份）虽然覆盖了风险决策的几个关键维度，但还有许多其他维度没有被探索，例如时间压力、社会影响、损失框架（相对于收益框架）、概率模糊性等。更全面的机制探针套件可能揭示更多关于模型风险决策机制的细节。第二个弱点是人类一致的标签基于理论预期而非实际的人类受试者数据。虽然作者引用了大量人类风险决策文献来支持这些预期，但实际的人类行为可能比理论预期的更加多样和噪声。使用匹配的人类受试者数据将允许更精确地比较模型和人类响应表面。第三个弱点是作者没有分析不同模型家族（例如基于Transformer的模型与其他架构）或不同规模（小模型与大模型）在机制对齐方面的差异。这种分析可能揭示机制对齐是否与模型架构或规模相关，从而为未来的模型设计提供指导。第四个弱点是作者没有探索更复杂的转向策略，例如多轮对话、思维链提示或上下文学习，这些策略可能比简单的身份提示更有效地促进类人推理。
未来方向
作者提出了几个未来研究方向。首先，在更多领域特定的风险任务（如金融决策、保险定价、医疗决策支持）中测试相同的结果相似性-机制对齐差距，以验证圣彼得堡游戏的发现是否泛化到实际应用场景。其次，收集匹配人类受试者数据，允许直接比较模型和人类响应表面，而不仅仅是依赖理论预期。第三，使用额外的方法（如受控训练比较、过程级分析和更广泛的任务家族）来识别模型未能恢复类人机制特征的内部来源，这可能揭示机制对齐失败的根本原因。第四，探索更复杂的转向策略（如多轮对话、思维链提示、上下文学习）对机制层面对齐的效果，以确定是否存在更有效的方法来促进类人推理。第五，分析不同模型家族或不同规模在机制对齐方面的差异，以确定机制对齐是否与模型架构或规模相关，从而为未来的模型设计提供指导。第六，扩展机制探针套件以覆盖风险决策的更多维度（如时间压力、社会影响、损失框架、概率模糊性），以提供更全面的诊断评估。
复现评估
本文提供了良好的复现支持。作者在附录中详细列出了28个评估模型的名称、组织、发布时间、最大长度和源，包括闭源模型（如GPT-5系列、Claude系列、Gemini系列等）和开源模型（如Qwen3系列、DeepSeek系列、GLM系列等）。对于开源模型，作者说明使用vLLM框架在NVIDIA A800 40GB GPU上提供服务。作者提供了详细的提示模板和机制探针条件（附录B），包括原始游戏、20次抛掷截断、重复游戏、数字禀赋（$100$和$10000$）和职业身份（低收入、中等收入、高收入）的完整提示。作者还提供了操作标签规则（附录C），定义了如何将模型的响应配置分类为类人、计算理性和条件理性。作者描述了推理参数设置（温度$\tau = 0$和$\tau = 0.7$，最大输出长度1500个标记，禁用推理模式）和响应归一化方法（将Infinity归一化为$\infty$，手动提取数值）。作者还提供了完全的状态转换矩阵和摘要计数（附录F），允许其他研究者验证和扩展分析。总体而言，本文提供了足够的细节来复现实验，但部分闭源模型的访问可能受限。
论文图表
这张图展示了研究的整体概念框架。左侧是圣彼得堡游戏的描述，对比了低的、有限的人类意愿支付与无限的期望价值。右侧说明研究者使用这个悖论来区分结果层面的相似性和机制层面的对齐：LLM可能在原始游戏中产生类人出价，但在机制探针下转向计算理性行为。图中央的核心信息是表面结果相似性可能掩盖机制层面的差异。
这张图对理解论文至关重要，因为它提供了研究的整体概念框架和核心论点的可视化表示。它清晰地说明了圣彼得堡游戏如何被用作诊断工具，以及结果层面相似性与机制层面对齐之间的区别。