对齐使语言模型成为规范性的而非描述性的 Alignment Makes Language Models Normative, Not Descriptive
对齐让LLM预测人类应该做什么，而非实际做什么
前置知识
RLHF / DPO 对齐
RLHF（基于人类反馈的强化学习）通过收集人类对模型输出的偏好标注，训练一个奖励模型，然后用 KL 正则化的强化学习优化语言模型的策略分布，使其生成人类评审员更认可的回答。DPO（直接偏好优化）则绕过显式奖励模型，直接从偏好对数据中优化策略。两者的核心数学形式为 $\pi^*(x) \propto \pi_0(x) \exp(r(x)/\beta)$，即对基础分布进行指数倾斜，将概率质量集中到高奖励（评审员认可）的行为模式上。这个过程被证明会导致输出分布的坍缩，减少多样性（Kirk et al., 2024; GX-Chen et al., 2026）。
本文的核心论点是：对齐过程将模型的预测分布从描述人类实际行为的分布，偏移为描述人类认可行为的分布。理解 RLHF/DPO 的数学机制是理解这种'规范性偏差'的关键。
规范性 vs 描述性理论
这是行为科学中的一个根本区分。规范性理论（normative theory）描述人们应该怎样行动——例如博弈论中的纳什均衡、贝叶斯最优决策等。描述性理论（descriptive theory）描述人们实际怎样行动——包括有限理性、框架效应、报复行为、互惠偏好等偏差。在经济学和心理学中，经典的实验发现（如囚徒困境中的合作率远低于理论预测）正是描述性理论的基石。
本文发现对齐使模型的预测更接近规范性理论（纳什均衡），而基础模型更能捕捉描述性行为模式。这个区分贯穿全文的实验设计和结论。
多轮策略博弈
本文使用了四类多轮策略博弈：讨价还价（bargaining，基于 Rubinstein 1982 的交替出价模型）、说服（persuasion，基于 Crawford-Sobel 1982 的廉价谈话博弈）、谈判（negotiation，含外部选择的双边价格谈判）、重复矩阵博弈（囚徒困境和性别之战）。这些博弈的共同特点是：参与者的行为取决于与特定对手的交互历史——互惠、报复、声誉动态等策略性行为自然涌现。人类参与者在 GLEE 基准中与 LLM 对手进行自然语言对话式的博弈。
多轮博弈中人类行为偏离规范性预测的程度最大，因此是检验对齐偏差的理想场景。单轮博弈则提供了一个对比：人类行为更接近规范性预测时，对齐应该有所帮助。
对数概率提取（logprob extraction）
本文不使用文本生成来评估模型，而是直接提取模型在决策 token 上的对数概率。具体做法是：为每个决策点构建提示（系统消息 + 对话历史），执行一次前向传播，提取模型对决策 token（如 accept/reject、yes/no）的概率分布，然后归一化得到 $p_{accept} \in [0,1]$。这种方法对基础模型和对齐模型都适用，无需不同的解码策略，可以直接比较两者对人类选择的预测概率。
这种评估方法使得基础模型和对齐模型在完全相同的输入上进行比较成为可能，消除了生成策略差异带来的混淆因素。
研究动机
越来越多的研究将大型语言模型用作人类行为的代理模型（homo silicus），用于复制心理学实验、近似子群体意见分布、预测调查实验结果，甚至在策略性博弈中预测人类决策。然而，几乎所有这些工作都使用对齐后的模型，隐含地假设对齐对行为预测是中性的或有益的。这个假设值得质疑：RLHF 或 DPO 优化的是人类评审员认可的回答——合作的、公平的、社会上得体的——但人类在策略性场景中的行为往往并非如此。人们会虚张声势（bluff）、报复（retaliate）、偏离被认可的行为模式。例如 RLHF 被发现会使模型的意见多样性坍缩到特定群体（Santurkar et al., 2023），指令微调会引入基础模型中不存在的认知偏差（Itzhak et al., 2024），对齐后的模型在零点意见预测上显著差于基础模型（Suh et al., 2025）。但这些证据主要来自观点和个体判断，是否能扩展到由历史和互惠驱动的多轮策略性交互尚未被系统测试。
本文的目标是本文的目标是首次系统性地比较基础模型与对齐模型在预测人类策略性决策上的表现。具体而言，作者选取了 120 对来自 23 个模型家族的同提供者基础-对齐模型对，在超过 10,000 个真实人类决策上进行评估，覆盖讨价还价、说服、谈判和重复矩阵博弈四类多轮策略博弈。同时，通过两个边界条件实验（单轮矩阵博弈和非策略性彩票选择）来确定对齐优势反转的精确边界。研究假设是：对齐会导致一种'规范性偏差'——在人类行为接近规范性预测的简单场景中帮助预测，在行为受交互历史驱动的复杂策略场景中损害预测。
与已有工作不同的是，本文的独特切入角度在于：它不是研究 LLM 如何玩博弈（play），而是研究 LLM 如何预测人类行为（predict）——这是两个根本不同的任务。一个处于纳什均衡的模型可能是一个好的博弈玩家，但会是一个糟糕的人类行为预测器，因为人类行为系统性地偏离均衡。此外，本文首次通过'规范性 vs 描述性'这一来自行为科学的经典框架来理解对齐的影响，将对齐税（alignment tax）的概念从推理基准分数扩展到行为预测保真度。通过限制为同提供者模型对的比较，每次比较直接隔离了对齐的效果，避免了不同模型架构间的混淆。
核心方法
本文的方法论可以分层理解。直觉层面：对齐过程通过奖励模型将语言模型的输出分布从'基础预训练中学到的丰富行为模式'偏移为'评审员认可的理想化行为模式'。这就像把一个见过各种人的'社会经验丰富的观察者'变成了一个只读过教科书的'理论家'——在教科书场景中表现不错，在复杂真实场景中就会丢失关键的行为多样性。技术路线：作者构建了一个大规模的头对头比较框架——从 23 个模型家族中选取 120 对同提供者的基础-对齐模型，在 4 类多轮策略博弈的 10,050 个人类决策点上，通过提取决策 token 的对数概率来评估每个模型对人类选择的预测准确性。主要指标是模型预测概率与人类实际选择之间的 Pearson 相关系数。通过逐对比较基础模型和对齐模型的相关系数，统计基础模型获胜的比例和显著性。
本文的核心创新点在于将对齐效应的分析从'生成质量'或'基准分数'扩展到'行为预测保真度'，并发现了对齐效应的选择性——对齐不是简单地'变差'或'变好'，而是系统性地将模型的预测分布从描述性模式偏移为规范性模式。这与已有的'对齐税'研究的本质区别在于：已有工作发现对齐降低推理能力（Munjal et al., 2026）或坍缩输出多样性（Kirk et al., 2024），但这些是均匀的能力退化；本文发现的是一种选择性的偏移——在单轮博弈和彩票选择中对齐模型反而更好，只有在多轮策略博弈中才变差。这种选择性模式排除了'灾难性遗忘'作为主要解释（如果是遗忘，应该在所有场景中都变差），而指向一个更精确的机制：KL 正则化的奖励最大化对基础分布进行指数倾斜 $\pi^*(x) \propto \pi_0(x) \exp(r(x)/\beta)$，将概率质量集中到被奖励的（即评审员认可的）行为模式上，而被抑制的尾部恰恰是多轮策略行为（互惠、报复、声誉动态）所居住的地方。
方法步骤详情
第一步：构建数据集。使用 GLEE 基准中的三类语言博弈（讨价还价 1,788 个人类决策、说服 3,180 个、谈判 1,182 个），以及 Akata et al. (2025) 的重复矩阵博弈（囚徒困境和性别之战各 1,950 个决策）。人类参与者在 GLEE 中与 LLM 对手进行自然语言对话式博弈，但不知道对手是 LLM。第二步：选取模型对。从 HuggingFace 收集所有提供基础模型和对齐模型的同提供者对，共 120 对来自 23 个家族，从 0.1B（SmolLM-135M）到 72B+（Qwen2-72B）不等。第三步：构建评估提示。为每个决策点构建提示——系统消息描述博弈规则和参与者角色，对话历史展示到当前决策点为止的所有交互。在末尾附加部分 JSON 对象（如 {"decision": "），提示模型以决策 token 完成。第四步：提取对数概率。执行一次前向传播，提取所有决策 token 的对数概率，归一化为 $p_{accept} = \frac{p(\text{yes})}{\sum_d p(d)}$。应用两个筛选器：概率质量筛选（排除任一模型决策 token 平均概率质量 < 0.8 的对）和最小相关性筛选（排除两个模型与人类行为的相关性都 < 0.3 的对）。第五步：逐对比较。对每个有效的基础-对齐模型对，计算各自与人类行为的 Pearson 相关系数，记录'基础获胜'或'对齐获胜'。使用单侧二项检验和 Wilcoxon 符号秩检验评估统计显著性。第六步：边界条件测试。在单轮 2×2 矩阵博弈（2,416 个生成的游戏，约 93,000 个汇总人类决策，12 种游戏类型）和非策略性二元彩票选择（1,001 个问题）上重复评估，检验假设的边界。
技术新颖性
本文的技术新颖性体现在多个层面。首先，这是首次系统性地在 120 对模型上比较基础模型与对齐模型的行为预测能力——之前的工作要么只用对齐模型（隐含假设对齐中性），要么只在个别模型或个别任务上零星比较。其次，通过将评估严格限制为同提供者模型对（如 Llama-3.2-1B vs Llama-3.2-1B-Instruct），每次比较直接隔离了对齐的效果，避免了不同预训练数据或架构差异带来的混淆。第三，使用对数概率提取而非文本生成进行评估，使得基础模型和对齐模型在完全相同的输入和评估条件下进行比较，消除了采样策略差异的影响。第四，通过多轮博弈与单轮博弈的对比、以及逐轮分析（第 1 轮对齐更好，第 2 轮起基础更好），精确定位了对齐偏差的边界条件。第五，将理论分析（KL 正则化导致分布坍缩的数学性质）与大规模实验证据（超过 240 万次预测）相结合，为分布坍缩理论提供了首个行为层面的证据。
实验结果
本文的核心发现是基础模型在多轮策略博弈中以压倒性优势胜过对齐模型。在四种博弈家族的 235 次有效比较中，基础模型获胜 213 次，对齐模型获胜 22 次，总体比率 9.7:1（$p < 10^{-40}$）。具体到每个博弈家族：讨价还价中基础模型获胜 75 次 vs 对齐模型 4 次，说服中 32 vs 4，谈判中 25 vs 1，重复矩阵博弈中 81 vs 13。这一优势在所有 23 个模型家族中都成立——最大的七个家族中，Qwen 82:15、Gemma 28:2、Falcon 21:6、Llama 17:0、OLMo 16:3、DeepSeek 8:4、SmolLM 5:3，基础模型均占多数。在提示鲁棒性测试中，10 种可测试的提示变体（包括改变任务描述、分配不同角色人格、修改格式等）中，基础模型在 959 次比较中获胜 956 次（95.6%，$p < 10^{-200}$），每种变体都单独达到 $p < 0.01$。排除提示格式混淆因素的控制实验表明：当两个模型都使用纯文本格式时，基础模型仍以 5.0:1 胜出（$p < 10^{-34}$）；当两个模型都使用对齐模型的聊天模板时，基础模型仍以 5.3:1 胜出——优势存在于模型权重中，而非提示格式中。效应随模型规模增长：讨价还价中从中位相关性差异 +0.22（<3B）增长到 +0.36（≥14B），谈判从 +0.35 增长到 +0.43。边界条件实验则发现了预期的反转：在单轮 2×2 矩阵博弈中，对齐模型以 4.1:1 胜出（57 vs 14，$p < 10^{-6}$），在所有 12 种游戏类型中一致成立；在非策略性彩票选择中，对齐模型以 2.2:1 胜出（62 vs 28，$p = 2.19 \times 10^{-4}$）。逐轮分析揭示了关键的动态转变：在第 1 轮（交互历史尚未建立时），对齐模型在讨价还价（61:32）、谈判（39:33）和说服（30:23）中实际更好；但从第 2 轮起优势急剧反转（讨价还价 82:4、谈判 56:1、说服 31:8）。进一步的分析发现，对齐模型的预测更接近纳什均衡（平均 $r = 0.41$ vs 基础模型的 $0.28$），在 76 对过滤后的比较中 59 对对齐模型更接近均衡（$p < 10^{-6}$），直接证实了对齐诱导的规范性偏移。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多轮讨价还价博弈（Bargaining） | Pearson 相关系数逐对胜率 | 基础模型胜 75 对 | 对齐模型胜 4 对 | 比率 18.75:1（p < 10^{-18}） |
| 多轮说服博弈（Persuasion） | Pearson 相关系数逐对胜率 | 基础模型胜 32 对 | 对齐模型胜 4 对 | 比率 8:1（p < 10^{-6}） |
| 多轮谈判博弈（Negotiation） | Pearson 相关系数逐对胜率 | 基础模型胜 25 对 | 对齐模型胜 1 对 | 比率 25:1（p < 10^{-6}） |
| 重复矩阵博弈（PD + BoS） | Pearson 相关系数逐对胜率 | 基础模型胜 81 对 | 对齐模型胜 13 对 | 比率 6.2:1（p < 10^{-13}） |
| 单轮 2×2 矩阵博弈（12种类型） | Pearson 相关系数逐对胜率 | 对齐模型胜 57 对 | 基础模型胜 14 对 | 对齐优势 4.1:1（p < 10^{-6}），反转方向 |
| 非策略性二元彩票选择 | Pearson 相关系数逐对胜率 | 对齐模型胜 62 对 | 基础模型胜 28 对 | 对齐优势 2.2:1（p = 2.19×10^{-4}），反转方向 |
局限与改进
作者在论文中坦诚地指出了几项局限。首先，GLEE 多轮博弈数据来自人类参与者与 LLM 对手的对弈（Shapira et al., 2024b），而非与其他人——虽然参与者不知道对手是 LLM（界面中对手以人名显示），且矩阵博弈参与者被告知对手可能是人类或 AI，但人类在面对已知或疑似 AI 对手时的行为可能不同于面对真实人类。其次，分析限于二元或三元决策；研究结论是否能扩展到连续行动空间尚不清楚。第三，所有 120 对模型都是开源权重的，无法评估不提供基础版本的闭源模型，尽管从 1B 到 70B+ 的一致趋势暗示效应可能具有普遍性。第四，单轮边界条件使用了与多轮博弈不同的数据集（Zhu et al., 2025），虽然多轮博弈内部的第 1 轮分析提供了收敛性证据，但数据来源的差异可能引入混淆。从独立观察来看，还有一些额外的局限值得注意：本文的评估完全基于西方经济学实验范式的博弈，文化差异可能影响结论的普遍性；此外，虽然作者排除了灾难性遗忘作为主要解释，但并未完全排除对齐过程中某些能力选择性退化的可能性——规范性偏差和能力选择性退化可能是同一现象的不同描述。
独立分析的弱点
本文的一个显著弱点是评估场景相对有限——仅覆盖了四种博弈家族和二元/三元决策。真实的策略交互往往涉及连续行动空间（如定价、资源分配）、不完全信息下的动态决策、以及多人博弈中的联盟形成和背叛。在这些更复杂的场景中，对齐偏差的效应模式可能更加复杂。第二个弱点是依赖 Pearson 相关系数作为唯一的主要指标——这个指标对模型预测值的校准（calibration）不敏感，两个模型可能有相同的相关性但截然不同的预测分布形态。第三个弱点是所有实验都是零样本评估，没有探索少量样本微调是否能部分恢复对齐模型的行为预测能力。改进方向：可以引入 Brier 分数或对数损失等校准敏感的指标作为补充；在连续行动空间的博弈（如拍卖、谈判中的价格连续体）中验证发现；探索在行为数据上进行轻量级微调能否在保持对齐模型的帮助性的同时恢复其行为预测保真度。
未来方向
作者提出了几个自然延伸的研究方向：第一，识别多轮博弈中驱动基础优势的具体机制——是对手建模、历史整合、还是轨迹新颖性？通过消融实验逐步移除这些因素可以定位关键驱动因素。第二，扩展到连续谈判、拍卖或联盟形成等更复杂的策略场景，检验发现的普遍性。第三，从对齐角度出发，开发能够在保持帮助性的同时保留经验行为分布的新方法——可能的方向包括基于熵正则化的对齐（Xiao et al., 2025 提出的框架）、多目标对齐、或在行为数据上进行条件化。第四，测试在极端规模（如 100B+ 参数）下效应是否持续，这将澄清规范性偏移是对齐的固有属性还是随模型能力增长而减弱。基于本文的成果，还可以延伸到：使用基础模型而非对齐模型重新评估之前的 LLM 行为模拟研究，量化规范性偏差在多大程度上影响了已发表的结论；开发混合方法，在需要描述性预测时使用基础模型、需要规范性建议时使用对齐模型的自适应切换机制。
复现评估
本文的可复现性非常高。所有 120 对模型均来自 HuggingFace 的开源权重模型，作者在附录 A 中提供了完整的模型清单和对应的 HuggingFace 标识符。评估数据来自两个已发表的基准：GLEE（Shapira et al., 2024b）和 Akata et al. (2025) 的重复矩阵博弈数据，以及 Zhu et al. (2025) 的单轮矩阵博弈数据和 Marantz & Plonsky (2025) 的彩票选择数据——这些数据集都已公开或可获取。评估方法是确定性的对数概率提取，不涉及采样随机性。作者还在附录 C 中提供了完整的敏感性分析，展示了在不同概率质量阈值和最小相关性阈值下结果的稳健性。唯一的计算需求是需要在 120 个模型上各执行一次前向传播（总计超过 240 万次预测），对于 70B+ 规模的模型需要较大的 GPU 内存，但较小的模型（如 SmolLM-135M）可以在消费级硬件上运行。总体而言，复现难度为中等——数据和模型都公开可获取，但计算量较大。
论文图表