采样迷失：通过词汇覆盖率分数评估大语言模型的词汇可达性

提出WCS度量量化LLM采样过滤对词汇多样性的系统性抑制

前置知识

Token Sampling（Token采样）

LLM生成文本时对每位置预测所有token的概率分布并选择输出。采样非选最高概率token，而是基于概率分布随机采样以平衡确定性和多样性。常见方法包括Top-k（从最高k个token）、Top-p（累积概率达阈值p的最小集合）、Min-p（概率超最大概率的m倍）。采样影响输出是否重复、有创造性。

本文核心是研究采样机制如何影响词汇可达性，必须理解采样算法的实现原理和概率分布操作方式，才能理解WCS如何衡量词汇被'数学修剪'的程度。

Zipf's Law（齐普夫定律）

自然语言词频分布的幂律规律，第n高频词出现频率约与n成反比，公式为f(n) ∝ 1/n^s，s接近1。少数高频词占很大比例，大量低频词出现很少。人类语言遵循此分布，但LLM输出词频分布更陡峭，长尾衰减更快。这是本文选择10k-40k频段词汇的理论基础，聚焦人类使用的丰富中长尾词汇。

论文关键发现是LLM违反齐普夫定律，词频分布过于陡峭导致词汇多样性受损。理解齐普夫定律才能明白为什么这种'人工陡峭化'是问题，以及如何通过WCS度量词汇侵蚀程度。

RLHF/DPO（人类反馈强化学习/直接偏好优化）

对齐技术，通过人类偏好数据微调预训练模型使其输出更符合人类期望。RLHF训练奖励模型预测人类偏好再用强化学习优化；DPO直接在偏好对上优化。这些方法改变模型概率分布使其倾向生成'安全'、'流畅'回复，但可能压缩词汇多样性。研究发现指令微调模型通常词汇可达性更低。

论文重要发现是Base模型与Instruct模型词汇可达性的差异，反映RLHF/DPO等对齐方法对语言表达力的潜在负面影响。理解对齐技术才能深入解读Base vs Instruct对比的意义。

Forced-Path Audit（强制路径审计）

本文核心评估方法，量化词汇采样过程的'存活'情况。给定人类文本S，识别目标词w及其子词token序列，提供模型真实前缀C，强制沿w路径生成。每步提取完整概率分布，记录真实token排名和概率，判断其是否通过采样过滤器。审计每步在给定配置下是否'理论上可达'，隔离采样机制影响。

这是WCS计算的基础技术，必须理解其如何提取完整logit分布、定义'存活'条件、结合多token词汇存活逻辑，才能理解WCS度量的准确性和可靠性。

研究动机

现代大语言模型虽然拥有庞大的潜在词汇量，但生成的文本往往缺乏人类语言的丰富性，趋向同质化和重复。大规模研究表明，不同模型家族的LLM输出之间的相似度甚至高于人类撰写的文本之间的相似度，这种现象被称为概率分布的'模式崩溃'。虽然可能原因是RLHF或DPO等对齐技术使模型学会选择标注者偏好的'安全'回复，但现有研究忽略了采样机制本身的作用。标准采样过滤器在确保局部连贯性的同时，是否也在数学上'修剪'了模型应该能够访问的词汇？具体数据表明：人类语言遵循齐普夫定律，而前沿LLM输出收敛于两参数Mandelbrot排名分布，尾部概率衰减显著快于自然人类语料库，这暗示对齐模型在词汇使用深度上受到约束。例如在常见采样配置（Top-p=0.8-0.95、T=0.7-1.0）下，即使模型内部'知道'这些词汇，也无法在实际生成中输出。

本文的目标是本文的具体目标是量化标准采样过滤器（Top-p、Top-k、Min-p）对词汇可达性的系统性影响，揭示工业界默认采样配置如何充当'非预期的审查机制'。为此引入Word Coverage Score (WCS)度量，测量上下文中合适的人类词汇被采样过滤器数学修剪的程度，重点关注低频但高信息量的人类词汇的'存活率'。通过审计开放权重模型在人类撰写的语料库片段上的表现，识别哪些逻辑上合理的词汇选择被解码器渲染为不可达，即使这些词仍然存在于概率空间中。WCS提供优化文本连贯性与词汇丰富性之间权衡的严格框架，成为保护生成模型中人类语言多样性的诊断工具。

与已有工作不同的是，与现有研究的独特切入点在于，本文不是评估模型的静态知识或训练数据质量，而是研究解码力学对语言多样性的主动抑制。之前工作关注模型'知道'什么、如何通过训练增加知识，但忽略了即使模型'知道'一个词，采样机制也可能使其在实际生成中不可达。这种视角转换揭示了问题的新维度：不是模型能力不足，而是采样配置限制了能力的表达。例如模型可能在内部将'ephemeral'赋予合理的概率，但如果Top-k=20或Top-p=0.8的过滤器将其从候选集中移除，这个词就变成了'理论存在但生成不可用'。本文通过WCS将这个隐藏问题量化为可测指标，为优化采样参数提供了理论依据。

核心方法

WCS方法学整体上分为四个核心阶段，旨在隔离采样机制对词汇可达性的直接影响。直觉上，我们想回答的问题是：给定一个人类真实使用的词，在自然语境中，如果让模型生成，采样过滤器是否会阻止它输出？技术路线是先选择有代表性的目标词汇集，再为每个词找到自然的使用语境，然后审计这些词在采样过程中的'存活'情况，最后聚合得到WCS分数。这种方法不是让模型自由生成文本，而是强制沿着人类选择的路径走，只检查每一步采样过滤器是否会'切断'这条路。这样可以分离采样机制的作用，排除模型本身不知道这个词或在该语境下不应该用这个词的混淆因素。

核心创新点是引入'词汇存活'的二元定义和Forced-Path Audit评估协议。与传统的生成质量评估不同，WCS不关心模型实际生成了什么，只关心模型'能够'生成什么。具体来说，定义Reachability R为二元指示器，表示token在采样过滤器后是否仍保留在'活跃'词汇集中。多token词汇w被'覆盖'（R=1）当且仅当其所有组成token t_i在各自步骤中都存活。这种定义抓住了采样过滤器的离散修剪特性：token要么完全可达，要么完全不可达，不存在中间状态。三种生存函数分别是：Top-k生存要求token排名在前k个内（$R_k(w,c) = \prod_i I(rank(t_i) \leq k)$），Top-p生存要求token属于累积概率达到阈值p的最小集合$V(p)$（$R_p(w,c) = \prod_i I(t_i \in V(p))$），Min-p生存要求token概率超过最大概率的m倍（$R_m(w,c) = \prod_i I(P(t_i) \geq m \cdot P(t_{top}))$）。关键创新是将多token词汇的可达性定义为所有子词存活率的乘积，这正确捕捉了多token词更容易被'切断'的特性。

方法步骤详情

方法步骤的完整描述如下：第一阶段词汇选择，使用Google Web Trillion Word Corpus作为频次参考（因为它镜像了LLM预训练常用的Common Crawl等大规模爬取数据集的分布），从总语料库中分离'Middle-Long Tail'频段，选择排名在10,000到40,000之间的词。这个范围刻意避开高频功能词（排名<10,000，可达性不应成问题）和极端低频噪声（排名>40,000，模型训练数据可能不足）。使用Band-Limited Random Sampling协议随机选择，并在加入目标词汇集W之前应用Dictionary-Validation Filter，将候选词与Moby Word Lists交叉引用，移除URL、OCR错误、技术元数据等非词汇伪影，同时保留大规模网络语料库的权威频次采样。第二阶段语境配对，为每个词从PG-19数据集（Project Gutenberg图书馆中1919年前出版的完整书籍，提供语言丰富且多样化的词汇，反映人类多样性，避免现代网络爬取数据中常见的风格同质化）映射回C个自然语境。语境生成使用随机初始化协议：对每个目标词w在PG-19测试分区选择随机字节偏移，执行前向线性搜索找到w的首次出现，提取前L=256个token作为前缀C。如果词出现在文档前256个token内，继续搜索下一次出现以确保完整语境窗口。第三阶段Forced-Path Audit，对每对(w,c)执行采样审计：提供模型真实前缀C，强制沿着w的路径确定性地遍历，在每个转换i提取完整概率分布$P(\cdot|C, t_1, \ldots, t_{i-1})$，记录真实token $t_i$的排名和标量概率，判断其是否会通过给定采样算法的修剪逻辑。第四阶段指标计算，WCS是目标词汇集W中每个词w及其语境集$C_w$在特定参数配置$\theta \in \{k,p,m\}$下的平均可达性：$WCS(\\theta) = \\frac{1}{|W|} \\sum_{w \\in W} \\frac{1}{|C_w|} \\sum_{c \\in C_w} R_\\theta(w,c)$通过在连续值范围内计算$WCS(\theta)$，生成词汇衰减曲线，识别采样参数如何影响潜在词汇丰富度。每个词使用多个语境也支持逐词计算$WCS(\theta,w) = \frac{1}{|C_w|} \sum_{c \in C_w} R_\theta(w,c)$，这允许分析每个词的可达性。

技术新颖性

技术新颖性体现在多个方面：首先，WCS是第一个专门量化采样机制对词汇多样性影响的度量，填补了评估框架的空白。传统评估关注困惑度、BLEU、语义一致性等，但忽略了'词汇可访问性'这一维度。其次，Forced-Path Audit方法创新性地将'生成质量'问题转化为'可达性审计'问题，通过强制沿着人类选择的路径走，隔离了采样机制的作用。第三，频率限制定位的词汇选择协议（10k-40k频段）避免了高频功能词和极端低频噪声的干扰，聚焦于真正有价值的中长尾词汇。第四，多token词汇可达性的乘积定义（$\prod_i I(\cdots)$）正确捕捉了分词器异质性带来的跨模型不可比性问题。第五，使用PG-19而非现代网络语料库获取语境，避免了对LLM训练分布的循环依赖，确保测量的是'人类语言中的真实可达性'而非'模型习惯输出中的可达性'。最后，WCS框架同时支持模型级别聚合（$WCS(\theta)$）和逐词细粒度分析（$WCS(\theta,w)$），为不同粒度的诊断提供工具。

**Figure 1**: Four-stage methodology for calculating the Word Coverage Score (WCS): select frequency-bounded target words, pair them with human-written contexts, audit token survival under sampling filters, and aggregate reachability into WCS.

实验结果

核心发现揭示了采样机制对词汇多样性的系统性抑制。首先，即使在Top-p=0.95的相对宽松配置下，大多数模型仍有显著比例的词汇在所有10个语境中都无法采样，显示词汇可达性很差。事实上，即使将p提高到0.99，仍然有很多词被排除在采样之外。对比Base模型（实线）和指令微调版本（虚线），除了Gemma-3-12B外，对齐版本表现出相对于基础变体更大的'被擦除'词比例。这提供了强有力的证据，表明偏好优化过程（如RLHF或DPO）在大多数情况下对生成多样性有直接的、限制性影响。平均匹配的Base/Instruct模型对在相同温度、采样器和参数设置下，对齐模型词汇可达性有小但一致的降低：平均词级可达性从Base模型的0.740降至Instruct模型的0.728，WCS从0.290降至0.277。具体到各模型家族，Gemma家族在世代间表现非均匀模式：预训练的Gemma-3-12B-pt和Gemma-4-E4B基础结果相当，但对齐产生相反效果——Gemma-3-12B-it减少词侵蚀，而Gemma-4-E4B-it加剧侵蚀，实际上消除了大多数评估词的可访问分布。相比之下，Qwen和Llama家族整体词侵蚀较低，各自的Instruct版本跟踪其基础对应版本，但降低词汇多样性。DeepSeek-R1-Distill-Qwen-14B相对于其衍生基础模型Qwen2.5-14B表现出显著词汇损失，这表明结构推理能力的蒸馏引入了额外的词汇可达性约束。在文档化或推荐的解码设置下，词侵蚀严重：22%到57%的词汇在所有语境中都不可达，只有59到230个（总共1000个）语境可达。最差性能是Gemma-4-E4B-it模型，其默认配置仅对43%的目标词覆盖至少一个语境，只有5.9%的所有评估语境可达。Top-k和Min-p的词覆盖率对大多数模型有所改善，但仍有一些模型即使在激进设置下也丢失很大比例词汇。Gemma家族再次显示出跨世代的不同模式：Gemma-3-12B-pt和Gemma-4-E4B的行为大致与其他基础模型相似，而Gemma-4-E4B-it在Top-k和Min-p下保留的词可达性显著低于其基础对应版本。这种差距在Gemma-4的默认设置（Top-p=0.95、Top-k=64、T=1.0）下也很明显：Gemma-4-E4B的WCS为0.173，而Gemma-4-E4B-it降至0.059。由于Gemma模型使用相同的分词器，差异只能归因于训练（Gemma-3 vs Gemma-4）或对齐（Base vs 指令微调），显示了这些过程在保留词汇方面的冲击。即使在T=1.5的激进高温度设置下，语境的很大比例也永远不会选择该词，这意味着即使词没有从所有10个语境中完全移除，它们也遭受显著侵蚀，减少了在应该考虑作为完成选项的文本中的使用。

**Table 1**: Selected model pairs for evaluating the Word Coverage Score (WCS).

**Table 2**: WCS under documented default or recommended decoding settings for representative evaluated models.

**Figure 2**: Fraction of words with WCS(θ, w) = 0 when using Nucleus Sampling (p) and T = 0.7. Instruct models (dashed lines) and their Base counterparts (solid lines).

**Figure 3**: Fraction of words with WCS(θ, w) = 0 when using Top-k Sampling and T = 0.7. Instruct models (dashed lines) and their Base counterparts (solid lines).

**Figure 4**: Fraction of words with WCS(θ, w) = 0 when using Min-p Sampling and T = 0.7. Instruct models (dashed lines) and their Base counterparts (solid lines).

**Figure 5**: Fraction of the 1,000 contexts (100 words each with 10 contexts) that are reachable WCS(θ) when using Top-p (top), Top-k (top), Min-p (bottom) Sampling and T = 1.5.

查看结构化数据

任务	指标	本文	基线	提升
词汇可达性评估（10k-40k频段词，100词×10语境）	词级可达性（至少一个语境可达的词比例）	0.43-0.78（不同模型和配置下）	理论最大值1.0（无采样限制）	N/A（度量下降反映问题严重性，非改进）
词汇覆盖率分数WCS	WCS(θ)所有语境的平均可达性	0.059-0.230（默认解码配置下）	理论最大值1.0（无采样限制）	N/A（度量越低表示词汇侵蚀越严重）
Base vs Instruct词汇可达性对比	平均词级可达性	Base 0.740, Instruct 0.728	Base模型作为参考	Instruct相对降低1.6%，表明对齐过程损害词汇多样性
Base vs Instruct WCS对比	平均WCS	Base 0.290, Instruct 0.277	Base模型作为参考	Instruct相对降低4.5%，进一步确认对齐的负面影响
Gemma-4-E4B对齐影响	WCS在默认配置（p=0.95, k=64, T=1.0）	Base 0.173, Instruct 0.059	Gemma-4-E4B-Base	Instruct相对降低65.9%，显示对齐的极端负面影响

局限与改进

作者承认的局限性包括：模型架构和参数约束，实证评估严格限制在200亿参数以下的开放权重模型架构，这个阈值特意选择以确保独立研究者的计算可访问性和可复现性，但这使得大型前沿模型的行为未被探索；由于方法学依赖于在每个token转换时提取完整的逐步logit概率分布，该协议无法扩展到专有、闭源模型，其API端点只生成编译的文本输出或高度受限的top-k logit值；语言和历史偏倚，整个分析管道针对英语语言优化并限制于英语，用于频次估计和验证的底层语料库以英语为中心，此外语境选择来源于PG-19数据集，它只包含1919年前出版的人类撰写书籍，这种选择规避了现代网络抓取文本数据中看到的系统性风格同质化，但引入了历史偏倚；频段边界，基于频次的token选择隔离了排名阈值10,000到40,000之间的特定频段，虽然这个特定窗口有效避开普遍功能词和极端低频噪声，但意味着对该范围外词的影响未被探索；WCS的二元特性，WCS的限制是可达性的二元公式（$R \in \{0,1\}$），该度量作为绝对排斥的分析工具，突出复杂token序列变为数学上不可能生成的时刻，但不捕获软概率抑制的情况，词技术上保持在有效采样集$V(\theta)$内但其概率质量显著降低；静态语境和前缀长度约束，Forced-Path Audit在固定前缀长度$L=256$个token的局部窗口内操作，这为局部句法评估提供足够语境但不评估长范围语境依赖如何与token概率交互；分词器子词分割，评估模型使用高度多样化的子词分词词汇表，因此相同目标词w可以在不同模型家族间分割成不同数量的子词片段，token数量决定词可达必须通过的过滤步骤数量，这意味着跨模型结果对某些词不完全可比。

独立分析的弱点

独立分析的弱点包括：WCS度量只捕获二元排斥（完全可达vs完全不可达），忽略了软概率抑制现象。在不太严重的场景中，采样过滤器可能允许复杂词汇保留在修剪候选池$V(\theta)$中，但将其分配的概率质量显著低于自然人类话语中观察到的阈值，这种词技术上可达但其生成频率降低，导致更微妙的软侵蚀形式。由于WCS严格关注语言路径的完全消除，它不计算这种软概率侵蚀，因此实证结果必须解释为词汇侵蚀真实尺度的保守下界，实际应用中人类词汇多样性的绝对损失可能更大。另一个弱点是语境窗口的静态性：使用固定$L=256$ token的前缀可能不足以捕获某些词汇的语义约束，特别是在复杂长文档中，词的合理性可能依赖于远超256 token的上下文。第三个弱点是温度作用的简化处理：虽然实验评估了$T=0.7、1.0、1.5$三个温度，但温度与采样参数的交互效应未被充分探索，特别是不同模型族可能对温度变化有不同的敏感度。第四个弱点是频段选择的任意性：10k-40k的排名范围基于启发式考虑，但不同领域或应用场景可能关注不同频段，例如技术写作可能需要更极端的长尾词，而创意写作可能更需要中高频词的微妙变化。

未来方向

作者提出的未来研究方向包括探索语义引导解码器，能够主动区分低概率数据噪声和语境丰富的低频人类词汇，通过将外部词汇约束直接集成到推理循环中，模型可以安全扩展其表达能力。另一个方向是修改LLM的训练目标，将显式词汇多样性和可达性惩罚直接纳入损失函数，例如直接奖励维护10k-40k齐普夫频段中扩展的'分叉路径花园'，偏好优化框架可以修改以奖励风格和词汇变化，而不仅仅是优化平面的对话一致性。将词汇可达性视为优化指标，模型可能能够更好地保留词汇。基于成果可延伸的方向包括扩展到其他语言和文化语境，验证英语中发现的词汇侵蚀是否普遍存在；开发更细粒度的WCS变体，捕获软概率抑制而不仅仅是二元排斥；研究长语境依赖对词汇可达性的影响；设计自适应采样算法，根据词汇频率动态调整采样参数；探索分词器设计对词汇可达性的影响，开发对词汇多样性更友好的分词策略。

复现评估

开源情况方面，代码和结果在https://github.com/WordsGPT/WCS公开，促进进一步分析和可复现性。仓库还包括静态交互式可视化器https://wordsgpt.github.io/WCS/temperature.html，允许检查跨模型、采样器、参数、温度和聚合级别的WCS曲线。数据方面，词频来源使用Google Web Trillion Word Corpus（由[17]编译），语境来源使用PG-19数据集，两者都是公开可用的标准语料库。模型方面，评估了多个开放权重模型对（Llama-3.1-8B Base/Instruct、Mistral-7B-v0.3 Base/Instruct、Qwen3.5-9B Base/Instruct、Qwen2.5-14B Base/Instruct、Gemma-3-12B-pt/it、Gemma-4-E4B Base/it、DeepSeek-R1-Distill-Qwen-14B相对于Qwen2.5-14B Base），全部从Hugging Face公开获取。算力方面，方法学需要提取每一步的完整logit分布，这对计算资源有一定要求，但论文说明选择200亿参数以下的模型确保独立研究者的计算可访问性。难度评估为中等：代码已开源，数据集公开，模型可获取，实验协议清晰，但需要GPU资源运行模型推理，理解方法学需要一定的NLP和概率论背景知识。

采样迷失：通过词汇覆盖率分数评估大语言模型的词汇可达性 Lost in Sampling: Assessing Lexical Reachability in LLMs via the Word Coverage Score (WCS)