思维语言塑造大语言模型的输出多样性 Language of Thought Shapes Output Diversity in Large Language Models
通过切换思维语言，可系统性地提升LLM输出多样性，且语言距英语越远增益越大
前置知识
Language of Thought（思维语言）
指大语言模型在生成最终回答之前，进行中间推理（thinking/reasoning）时所使用的语言。在支持思考模式的模型中（如Qwen3、DeepSeek-R1），模型会先在 ... 标签内进行推理，再输出最终答案。本文通过在 标签后插入特定语言的前缀引导，控制模型的中间思维过程使用目标语言，而最终输出始终为英语。这一概念借鉴了认知科学中的「思维语言假说」（Language of Thought Hypothesis），即不同语言编码不同的概念结构和推理偏见。
本文的核心论点是：思维语言不仅是表面的翻译问题，而是影响模型内部表征空间几何结构的结构性因素。理解这一点是理解整篇论文实验设计和结论的关键。
Output Diversity（输出多样性）
衡量语言模型对同一开放性问题生成多个不同回答的能力。在没有标准答案的任务中（如创意写作、开放问答），多样性是评估模型质量的重要维度。常用的评估指标包括 Distinct Score（功能等价类数量除以总采样数）和 Similarity Score（输出对之间的语义余弦相似度均值）。低多样性意味着模型倾向于生成同质化回答，即所谓的模式坍塌（mode collapse），这会压制少数文化视角和非主流价值。
输出多样性是多元对齐（pluralistic alignment）研究的基础指标。本文的核心贡献正是提出一种新的多样性提升手段——通过切换思维语言来结构性地增加输出多样性。
Pluralistic Alignment（多元对齐）
指让AI系统的输出能够反映人类社会多元的文化知识和价值取向，而非仅服务于主流群体。传统对齐方法（如RLHF）通常基于人类偏好数据训练，容易导致模型过度偏向某一种文化（通常是英语文化）的价值观。多元对齐要求模型在面对文化相关问题时，能够覆盖更广泛的文化视角。评估方法包括在BLEND数据集上测量文化知识覆盖的熵，以及在WVS（世界价值观调查）数据集上测量价值取向的熵。
本文最终的实验将思维语言多样性与多元对齐联系起来，证明了混合语言采样能在文化知识和价值取向两个维度上显著提升模型的文化多元性。这是本文从理论观察走向实际应用的关键桥梁。
Repeated Sampling（重复采样）
对同一个输入问题进行多次独立采样（通常设置解码温度 > 0），得到一组输出集合，再对该集合进行多样性评估。这是评估LLM输出多样性的标准范式。采样数 M 和温度是两个关键参数：M 越大，观察到的多样性越高（但会趋于饱和）；温度越高，单次采样的随机性越大。本文的核心贡献是在重复采样的基础上引入「语言异质性」——每次采样使用不同的思维语言——作为第三维度来提升多样性。
理解重复采样机制是理解本文两种采样策略（单语言采样和混合语言采样）的基础，也是理解实验设计中如何控制变量进行公平比较的前提。
研究动机
当前大语言模型的输出多样性不足是一个被广泛确认的问题。现有提升多样性的方法主要包括：提高解码温度（temperature scaling）、使用高级解码算法、聚合多个模型的输出、增加提示词变体，以及在训练时引入多样性驱动的RLHF/SFT目标。然而，这些方法几乎全部聚焦于英语场景或仅在输入端引入多语言变化。更重要的是，现有方法大多从「输出端」或「训练端」入手，没有人从模型内部的「思考过程」这一结构性维度来探索多样性的来源。认知科学中的Sapir-Whorf假说提示我们，不同语言编码了不同的概念结构和推理偏见——那么，如果让模型用不同语言进行「思考」，是否会产生结构性不同的输出？这一问题在现有文献中完全未被触及。
本文的目标是本文的具体目标是：（1）验证不同思维语言是否会在模型的思维空间中产生几何上可区分的表征；（2）量化思维语言切换对输出多样性的提升效果；（3）探索混合语言采样（每次采样用不同思维语言）是否能通过组合效应进一步放大多样性增益；（4）验证这些发现能否转化为多元对齐场景下的实际收益。实验覆盖4个模型（Qwen3-8B/14B/32B、DeepSeek-R1-Distill-Qwen-14B）、15种思维语言、2个评估基准和2种多样性指标，力求结论的系统性和普适性。
与已有工作不同的是，本文的独特切入角度在于将「思维语言」视为模型思维空间的一个结构性控制轴（structural control axis）。与现有工作不同，本文不是在输入端做多语言变化（如多语言提示），也不是在训练端修改目标函数，而是在推理时通过控制中间思维过程的语言来系统性地操控输出分布。这一视角的优势在于：它不改变模型权重、不需要重新训练，仅通过简单的前缀注入即可实现，是一种低成本、高灵活性的推理时多样性调控手段。同时，本文将认知科学中「语言塑造思维」的经典假说首次引入LLM多样性研究，建立了一个全新的跨学科联系。
核心方法
本文的方法可以用一个直觉来理解：想象模型的内部思维空间是一片广阔的海洋，英语思维占据了其中一个主导区域。当模型用英语思考时，它在这片区域反复采样，得到的回答趋于同质化。但如果切换到其他语言（如希伯来语、保加利亚语）进行思考，模型实际上是在思维空间中「跳」到了另一个远离英语的区域，在那里采样得到的回答自然更加不同。混合语言采样则相当于同时在多个不同的区域采样，通过组合效应进一步扩大多样性。技术路线上，作者首先通过PCA可视化证明了不同思维语言在模型隐藏层中占据几何上可分离的区域；然后设计了两种重复采样策略（单语言采样和混合语言采样），在控制输出语言为英语的前提下评估多样性；最后通过控制变量实验验证了距离-多样性的正相关关系。
本文最核心的创新点是发现并量化了「思维空间距离与输出多样性之间的正相关关系」。具体来说，作者发现不同非英语语言在模型的思维空间中距离英语的远近是不同的——某些语言（如中文、法语）的思维表征距离英语较近，而另一些语言（如希伯来语 iw、保加利亚语 bg、塔加洛语 tl）则距离英语较远。关键发现是：距离英语越远的思维语言，在重复采样时产生的输出多样性越高。这一正相关关系在所有被测模型上都成立（Pearson's r 范围 0.72–0.88，Spearman's $\rho$ 范围 0.58–0.89）。这意味着思维空间的几何结构可以作为输出多样性的预测器，而思维语言的选择则成为一个可操控的、有理论依据的多样性控制手段。这一发现与已有方法的本质区别在于：它不是通过增加随机性（如提高温度）或改变输入（如多语言提示）来「暴力」提升多样性，而是利用模型内部的多语言几何结构来「结构性地」扩展输出的覆盖范围。
方法步骤详情
方法分为三个主要阶段。第一阶段是思维空间几何分析：（1）选择15种语言（含英语）作为思维语言；（2）对每个输入问题，通过在 标签后插入目标语言的翻译前缀（如「Okay, the user is asking」的各语言翻译）来引导模型用目标语言进行思维；（3）收集模型各层的隐藏状态，对所有思维token和所有样本取平均，得到每种语言在每层的单一向量表征 $h_j^{(l)}$；（4）以英语为锚点，计算各语言与英语的余弦距离 $d_j(l, en) = 1 - \cos(h_j^{(l)}, h_j^{(en)})$；（5）对中心化后的表征做PCA降维可视化。第二阶段是重复采样实验：（1）单语言采样——固定一种思维语言，对该语言进行 $M$ 次独立采样，收集英语输出集合 $O_l$；（2）混合语言采样——每次采样随机选择一种不同的思维语言，收集英语输出集合 $O_{mixed}$；（3）在两种输出集合上分别计算 Distinct Score、Similarity Score 和 Output Quality。第三阶段是应用验证：在BLEND和WVS两个文化多元性数据集上，将混合语言采样与英语采样、高温采样、显式多样性请求、多语言提示四种基线进行对比。
技术新颖性
本文的技术新颖性体现在多个层面。首先，将思维语言作为多样性控制轴是一个全新的视角——此前所有关于输出多样性的研究要么在输出端做文章（温度、解码策略），要么在输入端做文章（提示变化），要么在训练端做文章（多样性目标函数），从未有人系统地探索中间思维过程的语言选择这一维度。其次，「思维空间几何距离可预测输出多样性」这一发现提供了理论上的可解释性——不是经验性的试错，而是基于模型内部表征几何的有理论依据的预测。第三，混合语言采样策略利用了多语言思维区域的组合效应（compositional effect），实验证明移除单个语言仅导致约2.7%的多样性下降，但移除多个语言会导致超线性的多样性退化，表明语言间的贡献是互补而非简单叠加的。第四，这一方法完全在推理时实现，不需要修改模型权重或重新训练，具有极高的实用价值。
实验结果
实验结果呈现了多个层次的一致性发现。在单语言采样方面，以NOVELTYBENCH上的Distinct Score为例，将思维语言从英语切换到非英语语言，平均可提升5.3到7.7个百分点（Qwen3-8B从28.55%提升至36.00%，DeepSeek-14B从38.33%提升至46.03%）。个别语言的提升尤为显著：希伯来语（iw）在Qwen3-8B上将Distinct Score从28.55%提升至41.33%，提升幅度达12.78个百分点。Similarity Score方面，非英语思维语言平均降低1.04到2.56个百分点（越低越好）。思维距离与多样性的相关性分析显示，Pearson's r 在0.72到0.88之间，Spearman's $\rho$ 在0.58到0.89之间，证实了距离英语越远的语言产生越高多样性的规律。在混合语言采样方面，NOVELTYBENCH上Qwen3-32B的Distinct Score从英语采样的35.00%提升至46.53%（提升11.53个百分点），Qwen3-8B从28.55%提升至43.73%（提升15.18个百分点）。混合语言采样经常匹配甚至超越最佳单语言采样的效果。组合效应分析显示，移除单个语言仅导致2.7%的平均多样性下降，但移除5个语言导致的退化呈超线性增长。采样数量缩放实验表明，随着采样数 M 从1增加到200，混合语言采样的多样性增长曲线远比单语言采样平缓，有效扩展了模型的多样性天花板。输出质量方面，非英语思维语言仅导致1.02到2.24个百分点的质量下降，且没有系统性的质量-多样性权衡模式。在多元对齐应用中，混合语言采样在BLEND数据集上为Qwen3-8B带来8.8个百分点的文化多元性提升（从67.9到76.7），在WVS数据集上带来19.0个百分点的提升（从40.0到59.0），均显著优于高温采样、显式多样性请求和多语言提示等基线。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| NOVELTYBENCH 开放问答多样性 | Distinct Score (%) | Qwen3-8B: 43.73 (Mixed), DeepSeek-14B: 52.07 (Mixed) | 英语采样: Qwen3-8B 28.55, DeepSeek-14B 38.33 | Qwen3-8B +15.18pp, DeepSeek-14B +13.74pp |
| INFINITY-CHAT 开放问答多样性 | Distinct Score (%) | Qwen3-8B: 28.13 (Mixed), Qwen3-32B: 31.47 (Mixed) | 英语采样: Qwen3-8B 20.67, Qwen3-32B 27.00 | Qwen3-8B +7.46pp, Qwen3-32B +4.47pp |
| BLEND 文化知识多元性 | 归一化熵 (0-100) | Qwen3-8B: 76.7 (MLS), DeepSeek-8B: 83.0 (MLS) | 英语采样: Qwen3-8B 67.9, DeepSeek-8B 78.6 | Qwen3-8B +8.8, DeepSeek-8B +4.4 |
| WVS 价值观多元性 | 归一化熵 (0-100) | Qwen3-8B: 59.0 (MLS), DeepSeek-8B: 73.3 (MLS) | 英语采样: Qwen3-8B 40.0, DeepSeek-8B 52.3 | Qwen3-8B +19.0, DeepSeek-8B +21.0 |
| 输出质量（不退化程度） | Quality Score (0-100) | 非英语平均: 93.60-95.80 | 英语: 95.84-97.36 | 仅下降1.02-2.24pp，无系统性权衡 |
局限与改进
作者在论文中明确指出了两个主要局限。第一，虽然观察到思维空间几何距离与输出多样性之间的正相关关系，但许多跨语言对齐方法（如将非英语表征向英语对齐）可能会无意中缩小非英语语言的思维空间距离，从而削弱其带来的多样性增益。这种对齐操作是否以及如何影响多样性，本文未能回答。第二，多元对齐评估依赖输出熵作为代理指标，这是对真实世界部署场景的简化。实际的多元对齐往往需要模型在特定、上下文相关的文化价值之间做出选择，而非简单地最大化输出分布的熵。从我的观察来看，本文还存在以下局限：（1）实验仅在Qwen3系列和DeepSeek-R1-Distill两个模型家族上进行，这些模型原生支持多语言思维，对于不原生支持思维链或仅支持英语思维的模型，结论的泛化性存疑；（2）思维语言控制依赖简单的前缀注入，语言控制的精确度并非100%（虽然sanity check显示99%以上的一致性），在更复杂的任务中可能退化；（3）多样性评估仅使用了两个基准（NOVELTYBENCH和INFINITY-CHAT），均为开放问答类型，在创意写作、代码生成等其他多样性敏感场景中的效果未被验证。
独立分析的弱点
本文的几个值得深入探讨的弱点。首先，思维语言控制采用的是简单的前缀注入法（在 后插入翻译后的「好的，用户在问」），这种方法的鲁棒性有待验证——在更长、更复杂的推理链中，模型可能会中途切换回英语思维，尤其是在遇到模型训练数据中主要以英语出现的专业概念时。改进方向可以是设计更持续的语言引导机制，如在思维过程中周期性注入语言锚点。其次，混合语言采样的计算成本是单语言采样的15倍（因为需要对15种语言各采样一次），虽然作者展示了混合语言采样在相同采样预算下优于单语言采样，但未充分讨论如何在实际部署中平衡多样性增益与推理成本。一个改进方向是基于思维距离选择「多样性增益最大」的语言子集，而非使用全部语言。第三，本文的多样性评估采用的是「固定输出语言为英语」的设定，这排除了输出语言本身带来的多样性贡献。在真实应用场景中，多语言输出可能是更自然的多样性来源，本文的方法与直接多语言输出的比较缺失。第四，论文未探讨思维语言选择与任务类型的交互效应——不同类型的开放性问题（事实性 vs. 价值性 vs. 创意性）是否对思维语言的敏感度不同，这一信息对实际应用有重要指导意义。
未来方向
作者提出了几个值得探索的方向。首先是跨语言对齐方法与输出多样性的交互——许多对齐方法会将非英语表征拉向英语，这可能无意中削弱了非英语语言的多样性增益，如何在对齐和多样性之间找到平衡是一个重要问题。其次是将思维语言路由适应到特定应用场景中，如根据问题的文化背景自动选择最合适的思维语言，而非随机或均匀分配。基于本文的成果，还可以延伸出多个方向：（1）探索思维语言与提示工程的联合优化，例如为特定类型的任务找到最优的思维语言组合；（2）将本文方法与训练时的多样性增强方法（如多样性驱动的RLHF）结合，实现推理时和训练时的双重多样性调控；（3）在更多模型架构（如非推理型模型）上验证思维空间距离-多样性的关系；（4）探索动态思维语言切换——在单次推理过程中根据思维内容的变化自适应地切换语言，而非全程使用同一语言。
复现评估
本文的复现条件较为友好。代码已在GitHub开源（iNLP-Lab/Multilingual-LoT-Diversity），这大大降低了复现门槛。实验使用的所有模型均为公开可用的开源模型（Qwen3-8B/14B/32B和DeepSeek-R1-Distill-Qwen-14B），无需私有API访问。思维语言控制的技术实现非常简单——仅需在 标签后插入特定语言的前缀字符串，无需修改模型权重或复杂的推理流程。评估数据集（NOVELTYBENCH和INFINITY-CHAT）均为公开基准，评估指标（Distinct Score使用deberta-v3-large模型，Similarity Score使用Qwen3-Embedding-8B）也使用公开模型。主要的计算开销在于需要对每个问题进行15次独立采样（M=15），且混合语言采样需要为每次采样指定不同的语言。对于4个模型 x 2个数据集 x 100个问题 x 15种语言的设置，总推理量约为12,000次前向传播，在单张A100 GPU上大约需要数小时到一天的时间。整体复现难度为中等偏易。
论文图表
