压缩偏好一致性而非真理：语言模型何时以及为何偏爱正确信息 Compression Favors Consistency, Not Truth: When and Why Language Models Prefer Correct Information
研究表明语言模型在训练中偏好可压缩的一致模式而非真理本身
前置知识
最小描述长度（MDL）原理
MDL 是一个基于信息论的模型选择原则，认为最好的模型是能够以最短描述长度编码数据的模型。它由 Rissanen 在 1978 年形式化，本质是在模型复杂度和数据拟合度之间找到最佳平衡。在机器学习中，这意味着模型倾向于学习更简洁、更有结构的规律，而不是记住每个数据点。对于语言模型，训练时最小化交叉熵损失等价于最小化代码长度，因此语言模型的训练可以看作是在寻找数据的最佳压缩表示。
这篇论文的核心假设基于 MDL 框架，作者用 MDL 来解释为什么语言模型在某些情况下偏好正确答案，而在其他情况下偏好错误的连贯答案。理解 MDL 原理是理解这篇论文的理论基础和核心论点的前提。
交叉熵损失（Cross-Entropy Loss）
交叉熵损失是语言模型训练的核心目标函数，定义为 $\mathcal{L} = -\sum_{i} \log p(y_i | x_i)$，其中 $p(y_i | x_i)$ 是给定上下文 $x_i$ 时 token $y_i$ 的预测概率。从信息论角度看，交叉熵等价于编码真实 token 所需的平均比特数，因此最小化交叉熵就是最小化描述长度。论文中模型在正确和错误完成项上的 NLL 差异直接反映了模型的偏好程度，更低的 NLL 意味着更高的似然和更强的偏好。
这篇论文通过测量模型在正确和错误答案上的 NLL 差异来判断偏好，交叉熵与压缩的直接等价性是连接训练目标和 MDL 框架的关键桥梁，理解这一点才能看懂实验设计的原理和结果的意义。
去噪训练（Denoising Training）
去噪训练是一种常见的数据增强和预训练策略，模型被训练从被噪声污染的输入中恢复原始干净的信号。在这篇论文中，去噪指的是每个数学问题都同时出现正确的和错误的解答，模型需要从中提取真实规律。这种设计模拟了现实世界中同一问题在不同文档中可能有矛盾答案的场景。论文的核心对比是随机错误（去噪成功）vs 连贯错误（去噪失败），显示了压缩目标的局限性。
论文的主要实验使用去噪设置，理解去噪训练的设计目的和工作原理，才能明白作者为什么选择这样的实验设置来研究错误结构对模型学习的影响，以及实验结果说明了什么。
成对评估（Paired Evaluation）
成对评估是这篇论文的主要评估方法，对每个测试问题生成一个共享的 prompt 和两个完成项（正确和错误），然后计算模型在完成 token 上的负对数似然（NLL）。准确率定义为模型给正确完成项分配更低 NLL 的比例。这种方法等价于 Common Language Effect Size（CLES），测量的是模型的相对偏好而非绝对质量。与生成评估相比，成对评估更敏感地捕捉到了压缩目标的影响。
论文的核心实验指标都是基于成对评估的准确率，理解这种评估方法的优势和局限性，才能正确解读实验结果，特别是为什么成对准确率远高于生成准确率（85% vs 53%），以及这种差异说明了什么。
研究动机
现实世界的训练语料库充满噪声，同一个问题可能在不同文档中收到矛盾的答案，然而在这样数据上训练的语言模型仍然倾向于偏好正确信息。如果我们不理解这种过滤机制为何有效，就无法预测它何时会失效——例如当错误不是多样化的而是内部一致的时候。现有的解释包括规模改善事实性能、频率很重要（事实准确性与训练数据中正确信息出现的频率相关）、以及发现了真理相关的内部表示。然而，没有一个解释能够说明为什么当正确和错误的答案以相同频率、相同格式出现时，训练目标本身会偏好其中一个而非另一个。这个问题在实践中非常重要，因为它关系到我们能否设计更好的数据筛选策略和更可靠的语言模型。
本文的目标是本文的具体目标是测试一个单一假设：在受控的矛盾语料库中，压缩目标偏好的是一致性而非真理本身。作者想要理解语言模型在训练过程中如何选择偏向哪种答案，特别是当正确和错误答案以相同频率和格式出现时，模型的选择机制是什么。通过系统地变化错误的结构，作者试图找出真理偏好在什么条件下会出现、在什么条件下会消失，以及背后的理论解释是什么。最终目标是建立一个基于最小描述长度（MDL）原理的理论框架，用于预测和控制语言模型在矛盾数据上的行为。
与已有工作不同的是，本文的独特切入角度是将错误的结构性而不是频率或格式作为独立变量，在所有其他条件（频率、格式、领域）保持不变的情况下，系统变化错误的可压缩性。这与之前的研究形成鲜明对比，之前的工作要么关注频率和统计相关性，要么关注内部表示分析，要么研究知识冲突的后验解决。论文的核心洞见是：当错误是随机的时候，它们缺乏内部结构，必须单独记忆；但当错误遵循一个连贯的规则系统时，它们同样紧凑，压缩偏好就消失了。这个视角揭示了一个新的机制边界：压缩目标本身并不提供固有的"真理罗盘"，只有当错误在结构上不连贯时，真理偏好才会出现。这个理论框架能够解释为什么多样化的错误被有效过滤，但协调的错误可能不会被过滤。
核心方法
方法整体思路基于最小描述长度（MDL）原理：语言模型的训练目标最小化交叉熵等价于最小化代码长度，因此模型应该偏好描述长度更短的答案系统。直觉上，在论文的任务中，正确的规则系统是紧凑的，多样化的随机错误必须单独记忆，因此正确的系统有更低的描述长度。但连贯的错误系统——内部一致、只是错误——可能同样紧凑，这时偏好就会消失。技术路线上，作者从零开始训练了一系列 transformer 模型（3.5M–1B 参数），使用受控的语料库，其中每个数学问题都同时出现正确和错误的解答。关键设计是系统地变化错误的结构：随机错误（高描述长度）vs 连贯错误（低描述长度），然后通过多规则错误（中等可压缩性）来探测边界。评估使用成对方法，测量模型给正确完成项分配更低 NLL 的比例。
核心创新点是将错误的可压缩性（描述长度）而非频率或格式作为控制变量，在所有其他条件保持不变的情况下，系统变化错误的结构来观察压缩目标的行为。与已有方法的本质区别在于：之前的研究关注频率、统计相关性或内部表示分析，而本文直接操作错误的描述长度。论文的关键洞见是，当一个矛盾系统（$T_2$）的描述长度 $K(T_2)$ 远大于真实系统（$T_1$）的描述长度 $K(T_1)$ 时（随机错误），错误系统的描述长度随语料库大小增长，偏好 $T_1$；当 $K(T_2) \approx K(T_1)$ 时（连贯错误），两者都紧凑，学习器没有基础偏好其中一个；当有 $N$ 个竞争的错误规则时，一个随机选择器（哪个规则适用于哪个问题）每个问题增加 $\log N$ 比特，逐渐降低错误簇的可压缩性。这个框架成功预测了实验中的所有主要发现。
方法步骤详情
方法步骤的完整描述如下：第一步是语料库设计，生成器创建四种类型的数学问题（多步算术、因式分解、方程求解、求导），格式化为英语的分步推导。关键是每个问题都出现矛盾答案——模拟同一个问题收到冲突回答的场景。第二步是错误结构变化，设计了多种条件：同等随机错误（1 正确 : 1 随机错误）、同等连贯错误（1 正确 : 1 连贯错误）、2:1 噪声（1 正确 : 2 随机错误）、4:1 噪声（1 正确 : 4 随机错误）。每个语料库包含 5000 个唯一问题。第三步是模型训练，使用自定义的仅解码器 transformer，采用 GPT-2 架构，大小从 tiny（3.5M）到 large（86M）。优化器是 AdamW（weight_decay=0.01），余弦衰减加线性预热，学习率 $\eta = 3e-4$，序列长度 256，批次大小 32，训练 5000 步。核心实验使用 4 个随机种子。第四步是评估，主要使用成对评估：对每个问题生成一个共享的 prompt 和两个完成项（正确和错误），计算模型在完成 token 上的 NLL，准确率定义为模型给正确完成项分配更低 NLL 的比例。生成评估使用贪婪解码和 SymPy 自动验证。
技术新颖性
技术新颖性分析：这篇论文的方法在多个方面具有创新性。首先，它是第一个在去噪设置中系统变化错误可压缩性的研究，将最小描述长度（MDL）原理作为可操作的实验变量，而不仅仅是理论工具。其次，多规则实验设计（$N=1 \to 10$）提供了一个尖锐的交叉点（$N=1 \to 2$），强烈支持压缩性是操作变量而非表面形式复杂性的假设，这个结果很难用仅基于词汇多样性或损坏 token 数量的解释来调和。第三，实验在多个维度上验证了效果的稳健性：不同模型规模（3.5M–1B）、不同架构（GPT-2 和 Qwen3）、不同评估方法（判别式和生成式）、不同领域（数学和自然语言）、不同分词器（字符级和 BPE）。第四，Wikipedia 实体替换实验提供了在真实文本上的转移验证，而不仅仅是合成数学数据。第五，1B 规模实验在混合自然文本语料上确认了效果的持久性，初步解决了玩具规模和合成数据的担忧。最后，论文发现了频率和压缩性之间的不对称性：对于随机错误，压缩性压倒频率（即使 10/90 正确-错误比例下，真理偏好仍然存在，准确率 67%）；对于连贯错误，频率主导偏好（在 40/60 连贯混合下，模型跟随多数群体，有 72% 的偏好偏向错误系统；在 20/80 下，上升到 91%）。这个不对称性是 MDL 框架的直接预测：当竞争系统同样压缩良好时，更频繁的获胜。
实验结果
核心发现支持一个统一的假设：在论文的受控设置中，压缩目标跟踪的是一致性而非真理。在论文的任务家族中，内部一致的错误规则系统与真实的系统相比压缩性相当。真理偏好只在错误 alternatives 结构不连贯时才出现。证据在多个设置中收敛：去噪、标准、Wikipedia；错误类型（随机、连贯、多规则）；评估模式（判别式和生成式）。具体来说：第一，中心对比实验（Table 3, Figure 1）显示，当同一问题出现正确和随机错误答案时，模型学会偏好正确的——在 86M 参数下准确率达到 85%（tiny: 65.3%, small: 74.6%, medium: 81.1%, large: 85.2%）。当错误答案遵循连贯的规则系统时，效果消失：在所有规模下准确率徘徊在 50% 左右（tiny: 43.5%, small: 44.5%, medium: 45.8%, large: 51.0%）。随机准确率随规模单调增加，连贯准确率在所有规模下保持接近机会水平，与 MDL 预测一致，即在同等频率下同样可压缩的系统应该无法区分。第二，多规则实验（Table 4, Figure 2）是最具机制揭示性的结果。一个错误规则时，$K(T_2) \approx K(T_1)$，准确率 46.6%。两个规则时，学习者必须编码一个随机选择器——哪个规则适用于哪个问题——这增加了高复杂度的比特，破坏了可压缩性，准确率跳到 77.6%。三个规则时准确率 82.8%，五个规则时 84.8%，十个规则时 88.3%。$N=2$ 时的急剧跳跃强烈支持压缩性是操作变量。第三，Wikipedia 文本转移实验（Table 5）重现了随机/连贯对比：随机替换产生 70-71% 准确率（所有 p < 10^−6），连贯替换产生 46-49%（机会水平或以下）。这个效果比数学弱（71% vs 85%），因为自然语言为局部流畅的错误提供了更多的文本灵活性。第四，生成评估（Table 6）确认判别式偏好转化为生成优势：随机训练模型在所有规模下都优于连贯训练模型。差距随规模扩大（tiny: 10 pp, large: 17 pp），确认判别式偏好扩展到生成优势。第五，架构稳健性实验（Table 7）在 Qwen3-0.6B（420M 非嵌入参数，28 层，RoPE + GQA + SwiGLU + RMSNorm）上从零训练，模式重现：随机错误产生 86.8% 准确率，连贯错误产生 50.6%（机会）。随机/连贯对比不是特定于主要实验中使用的 GPT-2 架构的。第六，1B 规模实验（Table 8）在 FineWeb-Edu（1 GB 真实网络文本）上训练，将数学内容过滤掉并替换为 8% 的矛盾数学问题，确认随机/连贯对比成立：随机错误产生 76.8% 成对准确率（$\Delta$Loss = +0.098, p < 10^−6），连贯错误产生 46.7%（机会）。即使在这种稀释的、自然化设置中，压缩目标仍然区分随机和连贯错误。第七，频率 vs 压缩性实验揭示了一个不对称性：对于随机错误，真理偏好即使在正确示例是少数时也持续存在；对于连贯错误，模式反转——频率主导偏好强得多：在 40/60 连贯混合下，模型跟随多数群体，有 72% 的偏好偏向错误系统，在 20/80 下上升到 91%。这是 MDL 框架的直接预测：当竞争系统同样压缩良好时，更频繁的获胜。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学去噪任务（随机 vs 连贯错误） | 成对评估准确率 | 85.2% (random) vs 51.0% (coherent) @ 86M 参数 | 50%（随机猜测） | 随机错误条件下准确率比机会高 35.2 个百分点 |
| 多规则错误实验 | 成对评估准确率 | 88.3% @ N=10 rules (3.5M 参数) | 46.6% @ N=1 rule | 从 N=1 到 N=10 准确率提升 41.7 个百分点 |
| Wikipedia 实体替换 | 成对评估准确率 | 71.4% (random) vs 45.9% (coherent) @ 86M 参数 | 50%（随机猜测） | 随机错误条件下准确率比机会高 21.4 个百分点 |
| 数学生成任务 | 生成准确率 | 52.8% (random-trained) vs 35.6% (coherent-trained) @ 86M 参数 | 25%（完全随机） | 随机训练比连贯训练高 17.2 个百分点 |
| 1B 规模混合文本实验 | 成对评估准确率 | 76.8% (random) vs 46.7% (coherent) | 50%（随机猜测） | 随机错误条件下准确率比机会高 26.8 个百分点 |
局限与改进
局限性分析：作者承认了几个关键限制。第一，模型规模：主要实验使用 3.5M–86M 参数的模型，Section 4.7 扩展到混合自然文本语料库上的约 1B 参数，但每个条件只有一个种子，提供了规模上升的合理性检查但不是确定性的大规模确认。这仍然远低于生产 LLM（7B–400B+）。第二，领域特异性：数学提供了异常清晰的正确/不正确区分。在自然语言中效果变弱（71% vs 85%），其中错误可以保持局部流畅。扩展到有竞争现实世界知识系统的领域（例如冲突的新闻来源、历史修正主义）仍然开放。第三，判别式 vs 生成差距：在大规模下成对准确率（85%）显著超过生成准确率（53%）。这很重要：现实世界 LLM 行为取决于生成而非判别式。几个因素可能导致：生成需要自回归地产生正确的 token（错误复合），而成对评估只需要相对似然排序。差距随规模缩小（tiny: 49 pp, large: 32 pp），表明规模部分地桥接了它。关键的是，两个指标在所有测试规模上在方向和随机/连贯对比上一致——判别式偏好不是评估假象。第四，种子计数：核心条件使用 4 个种子；一些条件使用 2 个。对于方向稳定性足够，但对于紧密的置信区间不足。第五，因果识别：虽然作者变化错误结构作为独立变量，随机和连贯破坏可能在额外方面不同（影响的推导步骤数量、表面形式简单性）。多规则实验部分解决了这个问题，通过保持个别规则复杂度不变，但一个完全匹配的控制（相同的破坏负荷、词汇多样性和输出长度）会加强因果主张。第六，机制分析：论文在行为水平上操作，识别数据级别条件下压缩产生对正确完成偏好的条件，为未来工作保留激活级别分析。第七，实验条件限制：Wikipedia 实验仅使用 20,000 段落和 2,000 测试段落，可能不足以捕捉自然语言的全部复杂性。1B 规模实验只使用了一个种子，结果需要更多验证。第八，实际应用相关性：作者强调，在论文的受控设置中，训练目标不提供固有的"真理罗盘"，内部连贯的错误保持竞争力。嵌入跨域验证可以部分恢复真理偏好，但效果表现出逆向缩放：验证准确率从 3.5M 的 71% 下降到 86M 的 61%，因为更大的模型更容易吸收连贯的域内模式。这个逆向缩放在 10 个模型上验证（4 tiny + 4 small + 2 large），结果一致。这可能与对齐、幻觉和数据策划有关，但所有这些仍然是假设，需要更多研究。
独立分析的弱点
独立分析的弱点：第一，实验设置过于理想化，与现实世界训练数据存在巨大差距。论文使用的数学问题都是格式化的分步推导，错误要么是完全随机的数字替换，要么是严格遵循代数规则的系统性错误，这两种极端情况都不能很好地反映现实世界中的错误类型。现实世界的错误可能更复杂，包括部分正确、逻辑谬误、事实扭曲、上下文误解等。改进方向：在更自然的错误分布上测试假设，例如从真实社交媒体、论坛、博客等来源收集错误信息，研究混合类型错误的可压缩性和模型偏好。第二，论文的连贯错误过于简单，基本上是单一的代数变换（例如在求导中丢弃项）。这种连贯性与现实中精心设计的系统性错误相比可能过于弱小。现实中复杂的错误系统可能包含多个相互关联的错误规则，形成一个内在一致但错误的"世界观"。改进方向：设计更复杂的连贯错误系统，模拟现实世界中的系统性错误，例如替代性历史、阴谋论、伪科学等，研究多规则连贯错误的可压缩性和对模型的影响。第三，论文的评估主要依赖成对评估，虽然对检测压缩偏好敏感，但与实际生成任务存在差距。成对评估测量的是相对偏好，而不是绝对质量。改进方向：开发更全面的评估套件，包括自由生成、开放域问答、事实核查等任务，测量压缩偏好在更真实场景下的表现。第四，论文没有研究错误结构的演化动态。在预训练过程中，模型可能在不同阶段对错误的敏感度不同。改进方向：研究训练过程中的动态变化，观察压缩偏好何时出现、何时稳定，以及是否可以被干预。第五，论文没有考虑跨域验证的效果。作者提到嵌入跨域验证可以部分恢复真理偏好，但效果表现出逆向缩放，没有深入分析。改进方向：系统研究跨域验证的策略、有效性和限制，设计更好的验证机制来对抗连贯错误。
未来方向
未来研究方向：作者提出了几个自然的扩展方向。第一，线性探针：线性探测在论文条件下训练的模型中的"真理方向"vs"连贯方向"，可以将行为发现与内部表示文献连接起来，理解压缩偏好如何在模型内部实现。第二，与 RLHF 的交互：研究压缩机制是否与人类反馈强化学习交互，RLHF 是否可以增强或改变真理偏好，以及在什么条件下 RLHF 最有效。第三，与上下文学习的交互：研究压缩机制是否与上下文学习交互，连贯错误是否会影响模型的上下文学习能力，以及在上下文学习中如何恢复真理偏好。第四，更大规模的验证：在多十亿规模上进行复现，使用计算匹配的训练和多个种子，这是重要的下一步。这将确认效果是否扩展到大规模预训练，是否仍然在与生产 LLM 相关的规模上成立。第五，扩展到更多领域：扩展到有竞争现实世界知识系统的领域，例如冲突的新闻来源、历史修正主义、替代性医学等。这些领域可能更贴近现实世界的挑战，测试理论的边界。第六，自然语言中的结构化错误：研究自然语言中的结构化错误，而不仅仅是实体替换。例如，连贯的错误叙事、逻辑谬误、因果错误等，这些可能更接近现实世界中的系统性错误。第七，错误结构的连续谱：研究错误结构的连续谱，从完全随机到部分连贯到完全连贯，测量可压缩性如何连续变化，以及模型偏好如何沿着这个谱变化。第八，干预策略：开发干预策略来对抗连贯错误，例如数据策划、训练目标修改、后处理验证等。特别重要的是设计在错误结构未知或不明确的情况下也能工作的策略。第九，理论扩展：扩展理论框架，考虑更多因素，例如错误可检测性、错误代价、错误频率分布等，建立一个更全面的模型来预测和控制语言模型在矛盾数据上的行为。第十，实际应用：将研究发现应用于实际的语言模型训练和评估，例如设计更好的数据筛选策略、开发更鲁棒的评估指标、设计更有效的对齐方法等。
复现评估
复现评估：论文的复现性情况一般。积极方面：论文提供了详细的实验设置，包括模型架构（GPT-2-like）、超参数（AdamW, weight_decay=0.01, 余弦衰减加线性预热, 学习率 $\eta = 3e-4$, 序列长度 256, 批次大小 32, 5000 步）、评估方法（成对评估的完整描述）、数据生成策略（四种数学问题类型、错误生成模板）。论文还提供了多规则实验、Wikipedia 实验、1B 规模实验的足够细节，使得独立研究团队可以复现核心发现。消极方面：论文没有提供代码开源，没有公开数据集，这使得复现需要从头实现所有组件。论文的实验需要大量计算资源：86M 参数模型需要训练 5000 步，4 个种子，每个条件 5000 个问题；1B 参数模型在 1GB 语料库上训练需要更多资源。虽然论文提到所有问题都由 SymPy 生成和验证，但详细的生成模板只在补充材料中提供，可能需要额外请求。种子计数不一致（核心条件 4 个种子，一些条件 2 个，1B 规模只有 1 个），这使得结果的统计强度不同。论文没有提供错误条或置信区间的可视化，只在表格中报告了标准差。总体而言，论文的核心发现应该可以复现，但需要相当的工程工作和计算资源。为了提高复现性，作者可以开源代码、公开数据集、提供预训练模型检查点、提供详细的环境配置（例如 Dockerfile）、提供评估脚本和可视化工具。
论文图表
这个表格列出了论文中使用的所有模型配置。表格有五列：Config（配置名称）、Layers（层数）、dmodel（模型维度）、Heads（注意力头数）、Parameters（参数数量）。四个配置分别是：tiny（4 层，256 维度，4 个头，约 3.5M 参数）、small（6 层，384 维度，6 个头，约 12M 参数）、medium（8 层，512 维度，8 个头，约 26M 参数）、large（12 层，768 维度，12 个头，约 86M 参数）。作者特别说明这些大小标签是内部指定，不对应 OpenAI 的 GPT-2 检查点（例如作者的"large"在 86M 比 GPT-2 Small 在 117M 更小）。
这个表格对理解论文很重要，因为它提供了模型规模的基本信息，这对于解释缩放结果和计算资源需求是必要的。读者可以从中看出论文研究的模型规模范围，以及为什么作者认为需要扩展到 1B 参数来验证效果的持久性。此外，这个表格也说明了论文的模型设计选择——使用 GPT-2-like 架构但不同的规模，这可能影响与其他工作的比较。
这个表格描述了去噪语料库的条件。表格有五列：Condition（条件）、Correct（正确）、Incorrect（不正确）、Ratio（比例）、Purpose（目的）。四个条件分别是：Equal random（1 正确，1 随机错误，1:1 比例，目的是从随机噪声中提取信号）、Equal coherent（1 正确，1 连贯错误，1:1 比例，目的是控制：连贯错误消除偏见）、2:1 noise（1 正确，2 随机错误，1:2 比例，目的是中等噪声下的噪声容忍度）、4:1 noise（1 正确，4 随机错误，1:4 比例，目的是高噪声下的噪声容忍度）。每个语料库包含 5000 个唯一问题。
这个表格对理解论文很重要，因为它展示了作者如何设计实验来系统地变化错误结构。特别是 Equal random 和 Equal coherent 之间的直接对比是论文的核心实验设置。通过保持所有其他条件（频率、格式、领域）不变，只变化错误的结构，作者能够将错误结构作为独立变量来研究其对模型偏好的影响。这个设计是论文方法论的核心。
这个表格展示了去噪成对评估的结果，对比了等量随机错误和等量连贯错误在不同模型规模下的表现。表格有六列：Size（规模）、Params（参数）、Random Accuracy（随机准确率）、Coherent Accuracy（连贯准确率）、Random Seeds（随机种子数）、Coherent Seeds（连贯种子数）。四个规模的结果分别是：tiny（3.5M 参数，随机准确率 65.3% ± 1.3%，连贯准确率 43.5% ± 2.6%，各 4 个种子）、small（12M 参数，随机准确率 74.6% ± 1.6%，连贯准确率 44.5% ± 3.0%，各 4 个种子）、medium（26M 参数，随机准确率 81.1% ± 1.2%，连贯准确率 45.8% ± 3.4%，各 4 个种子）、large（86M 参数，随机准确率 85.2% ± 2.3%，连贯准确率 51.0% ± 0.8%，各 2 个种子）。所有 ± 值是随机种子间的标准差。随机准确率随模型规模缩放，连贯准确率在所有规模上保持接近机会水平。
这个表格对理解论文至关重要，因为它提供了中心对比实验的定量结果。数值清晰展示了论文的核心发现：随机错误下准确率随模型规模从 65% 增加到 85%，连贯错误下准确率在所有规模上都保持在接近 50% 的水平。这个表格支持了 Figure 1 的可视化结果，并提供了详细的数值和标准差，使得读者可以评估结果的统计显著性。
这个表格展示了 Wikipedia 实体替换实验的结果。表格有三列：Size（规模）、Random Accuracy（随机准确率）、Coherent Accuracy（连贯准确率）。四个规模的结果分别是：tiny（3.5M）69.6% ± 0.1% vs 48.7% ± 0.5%；small（12M）70.7% ± 0.4% vs 46.6% ± 0.4%；medium（26M）71.5% ± 0.8% vs 46.4% ± 0.8%；large（86M）71.4% ± 0.7% vs 45.9% ± 1.5%。随机/连贯对比在真实文本上重现。随机准确率在约 70-71% 饱和，连贯准确率在约 46-49%。
这个表格对理解论文很重要，因为它展示了论文的核心发现在真实文本上的转移验证。虽然效果比数学弱（71% vs 85%），因为自然语言为局部流畅的错误提供了更多的文本灵活性，但随机/连贯对比仍然清晰存在。这支持了论文的核心论点，即压缩偏好一致性而非真理不仅适用于合成数学数据，也适用于真实自然文本。表格也显示自然语言中的准确率在约 70% 饱和，说明自然语言中的可压缩性差距在这个规模下不会显著受益于额外的容量。
这个表格展示了生成评估的结果。表格有五列：Size（规模）、Random-trained（随机训练）、Coherent-trained（连贯训练）、Gap（差距）。四个规模的结果分别是：tiny（3.5M）30.5% ± 1.7% vs 20.8% ± 3.6%，差距 +9.7 pp；small（12M）46.7% ± 1.9% vs 31.7% ± 1.8%，差距 +15.0 pp；medium（26M）50.5% ± 1.3% vs 36.1% ± 2.7%，差距 +14.4 pp；large（86M）52.8% ± 1.1% vs 35.6% ± 1.8%，差距 +17.2 pp。差距随模型规模扩大（tiny: 10 pp, large: 17 pp）。作者补充说明每任务分解显示生成难度随类型急剧变化：随机训练 large 模型中，求导（79.5%）、代数（70.4%）、方程（61.0%）、算术（0%）。
这个表格对理解论文很重要，因为它确认判别式偏好转化为生成优势。虽然绝对生成准确率远低于成对准确率（53% vs 85% 在大规模），但差距随规模扩大，两个指标在所有测试规模上在方向和随机/连贯对比上一致。这确认了判别式偏好不是评估假象，而是反映了模型偏好的真实差异。表格也显示了生成任务的挑战性，特别是多步算术（0%），这是一个众所周知的在这个规模下自回归生成的困难。
这个表格展示了 Qwen3-0.6B 架构的成对评估结果。表格有四列：Condition（条件）、seed43、seed44、seed45、Mean（平均）。两个条件的结果分别是：Random 85.3%、85.7%、89.3%，平均 86.8%；Coherent 49.3%、52.8%、49.8%，平均 50.6%。随机/连贯对比在不同架构上重现。作者说明 Qwen3-0.6B 有 420M 非嵌入参数，28 层，RoPE + GQA + SwiGLU + RMSNorm。
这个表格对理解论文很重要，因为它展示了随机/连贯对比不是特定于主要实验中使用的 GPT-2 架构的。Qwen3 的架构在多个方面与 GPT-2 不同：位置编码（RoPE vs 学到的位置编码）、注意力机制（GQA vs 标准注意力）、激活函数（SwiGLU vs GELU）、归一化（RMSNorm vs LayerNorm）。在这些差异下，模式仍然重现（86.8% vs 50.6%），这支持了论文的核心论点，即压缩偏好一致性而非真理是自回归 transformer 的一个普遍性质，不是特定于某个架构的。
这个表格展示了在 FineWeb-Edu 上训练的约 1B 参数 Qwen3 架构模型的结果。表格有五列：Condition（条件）、Accuracy（准确率）、$\Delta$Loss（损失差异）、p（p值）、Seeds（种子数）。两个条件的结果分别是：Random 76.8%，$\Delta$Loss +0.098，p < 10^−6，1 个种子；Coherent 46.7%，$\Delta$Loss -0.003，p ~ 1.0，1 个种子。随机/连贯对比在 1B 规模上成立。作者说明这是在 FineWeb-Edu（一个策划的真实网络文本子集）上从零训练，将数学内容过滤掉并替换为 8% 的矛盾数学问题（去噪格式，等量随机或连贯）。
这个表格对理解论文非常重要，因为它确认随机/连贯对比在 1B 规模上仍然成立，即使矛盾数学信号只占训练语料库的 8%。这解决了论文的一个主要担忧：效果可能特定于玩具规模模型或合成数据。虽然在混合自然文本语料库上的随机准确率（76.8%）低于仅数学的 GPT-2 large（85.2%）和 Qwen3-0.6B（86.8%），可能因为矛盾数学信号只占 8%，但关键是即使在这种稀释的、自然化设置中，压缩目标仍然区分随机和连贯错误。$\Delta$Loss 幅度（+0.098）是作者观察到的最大的，表明 1B 模型发展了更强的每对偏好，尽管聚合准确率较低。