有效的推理链能够降低内在维度 Effective Reasoning Chains Reduce Intrinsic Dimensionality
内在维度是衡量推理策略有效性的新指标，与泛化能力呈强负相关
前置知识
内在维度 (Intrinsic Dimensionality)
内在维度是衡量神经网络学习特定任务所需最少参数数量的指标。对于一个过参数化的模型（参数数量 $\theta \in \mathbb{R}^D$），可以将参数表示为 $\theta = \theta_0 + P(\theta_d)$，其中 $\theta_0$ 是预训练模型参数，$\theta_d \in \mathbb{R}^d$ 是低维参数向量，$P: \mathbb{R}^d \to \mathbb{R}^D$ 是投影算子。内在维度 $d_{int}$ 定义为达到指定性能阈值 $\tau$ 所需的最小维度数：$d_{int} = \min\{d : A(d) \geq \tau\}$。这个概念最初由 Li et al. (2018) 和 Aghajanyan et al. (2021) 提出，为参数高效微调方法（如 LoRA）提供了理论基础。内在维度同时依赖于模型和任务，本文固定模型而变化任务（通过不同的推理策略），从而首次量化评估不同推理策略对任务可压缩性的影响。
本文的核心贡献就是提出内在维度作为衡量推理策略有效性的定量指标，理解这个概念是理解论文的前提
Chain-of-Thought (CoT) 推理
Chain-of-Thought 推理是一种让语言模型在给出最终答案前先生成中间推理步骤的方法。最初由 Wei et al. (2022) 通过 few-shot prompting 提出，Kojima et al. (2022) 扩展到 zero-shot 设置，Zelikman et al. (2022) 和 Chung et al. (2024) 将其与后训练方法结合。后续发展出多种变体：基于代码的解决方案如 Program-of-Thought（Gao et al., 2023; Chen et al., 2023）、分解策略如 Plan and Solve（Zhou et al., 2023; Khot et al., 2023; Wang et al., 2023b）、带验证循环的扩展推理（Snell et al., 2024; Muennighoff et al., 2025）、批判性推理（Zhou et al., 2024）等。不同策略在推理长度、结构和生成方法上差异显著，例如在 GSM8K 上总体准确率从无 CoT 的 7.18% 到执行 PoT 的 46.15%。
论文的核心问题就是比较不同 CoT 策略的有效性，理解这些策略的变体和特点是基础
LoRA (Low-Rank Adaptation)
LoRA 是由 Hu et al. (2022) 提出的参数高效微调方法，其本身受到 Li et al. (2018) 和 Aghajanyan et al. (2021) 关于内在维度研究的启发。对于预训练权重矩阵 $W_0 \in \mathbb{R}^{m \times n}$，LoRA 将权重更新表示为 $W = W_0 + BA$，其中 $B \in \mathbb{R}^{m \times r}$ 和 $A \in \mathbb{R}^{r \times n}$ 是学习的低秩矩阵，$r \leq \min(m, n)$。训练时 $W_0$ 冻结，只优化 $B$ 和 $A$。可应用于注意力模块（$W_q, W_k, W_v, W_o$）、MLP 层或所有 Transformer 层。总可训练参数为 $params(r, L_{LoRA}) = 2 \times L_{LoRA} \times d_{model} \times r$，其中 $L_{LoRA}$ 是应用 LoRA 的权重矩阵数量，$d_{model}$ 是模型隐藏维度。本文将 LoRA 用作结构化低维投影来测量内在维度。
论文使用 LoRA 作为结构化低维投影来测量内在维度，理解 LoRA 的工作原理对于理解实验方法至关重要
最小描述长度原则 (Minimum Description Length, MDL)
MDL 原则源于信息论，由 Rissanen (1978) 提出，由 Grunwald (2007) 和 Hinton & Van Camp (1993) 进一步发展。它假设解决方案的表示容量与其预期泛化能力之间存在反向关系：能够用更少信息编码的模型或解决方案往往泛化能力更强。MDL 原则将学习视为数据压缩问题：在准确率相同的情况下，最优模型是描述长度最短的那个。本文的理论基础建立在 MDL 原则之上——如果推理策略有效地桥接了输入和答案之间的逻辑间隙，它应该使得底层映射更可压缩，从而需要更少的自由度来学习，最终降低内在维度。
论文的理论基础就是 MDL 原则，用它来解释为什么内在维度能预测推理策略的泛化能力
研究动机
当前对于 Chain-of-Thought 推理有效性的解释存在显著局限。首先，定性假设（如推理链的'结构'重要性或相关性）无法量化（Wang et al., 2023a; Li et al., 2025），这些假设受到解释限制，既缺乏预测能力，也无法提供理论基础的解释。其次，现有定量指标存在相互矛盾的证据：关于推理轨迹长度与推理时计算容量增加的关系，Muennighoff et al. (2025) 和 Li et al. (2025) 发现明显收益，而 Wu et al. (2026) 和 Marjanovic et al. (2025) 表明较短的链条更有效，继续延长推理（如通过'wait' token）可能导致性能下降。目前的方法如过程奖励模型或基于正确性的分类器需要主观指定理想属性，且无法提供有效性原则性度量。在 GSM8K 数据集上，不同推理策略的表现差异显著：Gemma-3 4B 模型上，从无 CoT 的 7.18% 到执行 PoT 的 46.15% 总体准确率，但缺乏可靠的定量指标来预测哪种策略最优。
本文的目标是本文旨在提出一个有原则、可量化的指标来衡量推理策略的有效性。具体目标包括：（1）识别内在维度作为定量指标来表征推理链的有效性；（2）验证内在维度与泛化性能之间是否存在强相关关系，通过 Spearman 秩相关系数进行定量评估；（3）比较内在维度与替代指标（轨迹长度、token 级困惑度、序列 KL 散度）的预测能力；（4）在多个模型规模（Gemma-3 1B 和 4B 参数）和多个推理领域（GSM8K 数学推理、Reasoning Gym 的算法推理和认知推理）上验证结论的普适性。最终目标是为数据标注、模型对齐和训练优化提供实用指导。
与已有工作不同的是，本文的独特切入角度在于将内在维度理论应用于推理策略分析——这是前人未曾做过的事情。虽然 Li et al. (2018) 和 Aghajanyan et al. (2021) 已经证明大型预训练模型具有较低的内在维度，但他们的工作是固定数据、变化模型来研究预训练质量。而本文反过来：固定模型（Gemma-3 1B/4B），通过改变训练数据（不同的推理策略生成的输出）来测量不同推理策略的内在维度。虽然底层能力需求（如解决数学问题）保持不变，但不同推理策略改变了训练过程中模型接收的监督信号。直觉上，人们可能期望要求模型生成长推理链会增加输出复杂度，使任务更难拟合。但本文假设相反：如果推理策略有效地桥接了输入和答案之间的逻辑间隙，它应该使底层映射更可压缩。这种逆向实验设计首次量化评估了不同推理策略对任务可压缩性的影响，填补了推理有效性定量评估方法的空白。
核心方法
本文的方法整体思路是将内在维度理论应用于推理策略分析。核心直觉是：如果一个推理策略有效地桥接了输入和答案之间的逻辑间隙，它应该使底层映射更可压缩，从而需要更少的维度来学习。技术路线如下：首先固定模型架构（Gemma-3 1B 或 4B），然后使用 LoRA 作为低维投影方法。LoRA 的灵感本身就来自内在维度研究，它在低秩子空间中约束权重更新，非常适合测量内在维度。对每种推理策略，进行 $k$ 次 LoRA 配置扫描（$k=20$ 用于 1B 模型，$k=30$ 用于 4B 模型），配置的参数数量 $params(r, L_{LoRA})$ 在对数尺度上均匀分布，从最小配置（rank $r=1$，仅应用于查询和值投影矩阵 $W_q$ 和 $W_v$）到最大配置（全秩 $r=d_{model}$ 应用于所有注意力和 MLP 层）。对于每个配置，训练模型并记录训练完成时的训练准确率，然后识别训练准确率超过阈值 $\tau$ 的最小参数数量，该数量即为该推理策略的内在维度 $d_{int}$。
本文的核心创新点在于将内在维度作为衡量推理策略有效性的定量指标。与已有方法的本质区别体现在三个方面。第一，不是基于定性假设（如推理链的'结构'重要性），而是提供可量化的度量——内在维度是一个具体的数值，可以进行统计分析和比较。第二，不是基于单个轨迹的统计（如长度、困惑度），而是评估整个推理策略的可学习性——内在维度捕捉的是推理策略的整体压缩性，而非单个样本的属性。第三，不是基于主观规范（如过程奖励模型），而是基于泛化原则——内在维度基于 MDL 原则，与泛化能力直接相关。关键假设是：有效的推理策略应该降低任务的内在维度，这与 MDL 原则一致：如果准确率固定，最优模型是描述长度最短的。实验验证表明内在维度与泛化性能的 Spearman 秩相关系数达到 0.93（4B 模型），显著高于所有基线指标。
方法步骤详情
方法步骤的完整描述如下。第一步，准备训练数据。使用 GSM8K 训练集的 7473 道数学应用题，对每种推理策略（如 No CoT、Short CoT、Executed PoT 等共 14 种），使用指令微调的 Gemma-3 27B 生成推理链，并过滤掉最终答案不正确的生成。第二步，进行 LoRA 配置扫描。对每种推理策略，在 $k$ 种 LoRA 配置下微调目标模型。配置的参数数量从最小（rank=1，仅应用于 $W_q$ 和 $W_v$）到最大（全秩应用于所有注意力和 MLP 层），参数数量在对数尺度上均匀分布。第三步，记录训练准确率。对每个配置，使用 AdamW 优化器，批大小 8，训练直到准确率稳定：1B 模型训练 8000 步（学习率 $10^{-3}$），4B 模型训练 6000 步（学习率 $10^{-4}$），在验证集上评估以选择检查点。第四步，计算内在维度。对每种推理策略，找到训练准确率首次超过阈值 $\tau$ 的最小参数数量。阈值 $\tau$ 设置为所有策略在第一轮训练后达到的最大训练准确率的 90%（4B 模型为 63.0%，1B 模型为 24.3%）。第五步，计算基线指标。包括平均轨迹 token 长度、token 级困惑度（相对于预训练学生模型）、序列 KL 散度（经验数据分布与学生模型分布之间的平均序列级负对数似然）。第六步，评估泛化性能。在分布内（GSM8K 测试集）和分布外数据（GSM-Symbolic 的 3 个压力测试集、GSM-IC、GSM-Hard）上评估每种策略微调后的模型，计算几何平均作为总体性能。
技术新颖性
本文的技术新颖性体现在以下几个方面。首先，实验设计创新——固定模型、变化数据（推理策略），而非固定数据、变化模型。前人工作（Li et al., 2018; Aghajanyan et al., 2021）使用内在维度来分析预训练质量，而本文首次将其逆向应用来评估推理策略的有效性。其次，使用 LoRA 作为内在维度测量的结构化低维投影工具。虽然 LoRA 本身就是受内在维度研究启发而设计的（Hu et al., 2022），但本文将其逆向应用——用它来测量不同任务（推理策略）的内在维度，而非用它来微调模型。第三，提出使用第一轮训练后的训练准确率作为阈值的选择标准。这避免了过拟合或记忆化带来的污染，不需要验证集评估，使得指标更易获取。第四，发现内在维度与泛化能力之间存在强相关性——Spearman 秩相关系数 0.93（4B 模型）和 0.75（1B 模型），显著优于所有基线指标。这为推理策略有效性提供了首个有原则的定量预测指标，具有重要实践意义：可指导如何标注或收集推理数据、如何对齐推理策略与特定学生模型、以及如何设计更好的正则化器。
实验结果
本文的核心发现包括六个方面。第一，内在维度与泛化性能呈强负相关：在 Gemma-3 4B 模型上，Spearman 秩相关系数达到 0.93（p < 0.01），在 1B 模型上达到 0.75（p < 0.05）。这意味着具有更低内在维度的推理策略通常具有更高的泛化准确率。第二，Executed PoT 策略在两个模型规模上都实现了最低的内在维度和最佳的分布外性能：在 4B 模型上内在维度仅为 1.49M 参数，总体准确率为 46.15%（ID: 62.77%, OOD: 43.40%）；在 1B 模型上内在维度为 1.03M，总体准确率为 11.76%。第三，与其他指标相比内在维度的预测能力显著更强：轨迹长度的相关系数仅为 0.31（4B）/0.24（1B），KL 散度为 -0.17/-0.18（负相关或无关），token 级困惑度为 0.82/0.63。第四，训练数据的正确性对内在维度有显著影响：对 Short CoT 混入 50% 不正确推理链使内在维度从 3.92M 增加到 2729.64M（增长约 700 倍），总体准确率从 32.63% 下降到 20.61%。第五，内在维度对阈值选择具有鲁棒性：在 70%、80%、90% 的训练准确率阈值和 90% 的验证准确率阈值下，4B 模型的相关系数范围从 0.93 到 0.94，1B 模型从 0.72 到 0.75。第六，在 Reasoning Gym 的算法推理任务上 Executed PoT 再次实现最低内在维度（0.74M）和最高总体性能（73.21%），而在认知任务上 No CoT 实现最低内在维度（0.40M）和最高总体性能（49.82%），内在维度在两个类别中都达到完美相关（1.00）。此外，对于低效推理策略（如 No CoT、Very Short CoT），更大模型反而需要更多参数来拟合：4B 模型上 Very Short CoT 需要 532.81M 参数，而 1B 模型上仅需 31.45M。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GSM8K 数学推理 (Gemma-3 4B, 14 种策略) | Spearman 秩相关系数（指标 vs 总体准确率） | 内在维度: 0.93 | KL 散度: -0.17, Token PPL: 0.82, 长度: 0.31 | 内在维度相关系数比 Token PPL 高 0.11，比 KL 散度高 1.10，比长度高 0.62 |
| GSM8K 数学推理 (Gemma-3 1B, 14 种策略) | Spearman 秩相关系数（指标 vs 总体准确率） | 内在维度: 0.75 | KL 散度: -0.18, Token PPL: 0.63, 长度: 0.24 | 内在维度相关系数比 Token PPL 高 0.12，比 KL 散度高 0.93，比长度高 0.51 |
| Reasoning Gym 算法推理 (Gemma-3 4B, 4 种策略) | Spearman 秩相关系数（指标 vs 总体准确率） | 内在维度: 1.00 | KL 散度: 0.60, Token PPL: 0.80, 长度: 0.80 | 内在维度达到完美相关，比次优指标 Token PPL 和长度高 0.20 |
| Reasoning Gym 认知推理 (Gemma-3 4B, 4 种策略) | Spearman 秩相关系数（指标 vs 总体准确率） | 内在维度: 1.00 | KL 散度: 0.40, Token PPL: -1.00, 长度: -1.00 | 内在维度达到完美相关，而 Token PPL 和长度呈完美负相关，KL 散度仅 0.40 |
| Executed PoT vs No CoT (Gemma-3 4B) | 内在维度和总体准确率 | Exec PoT: 1.49M 参数, 46.15% 准确率 | No CoT: 5246.16M 参数, 7.18% 准确率 | 内在维度降低约 3521 倍，总体准确率提升约 5.4 倍 |
局限与改进
本文的局限性包括以下几个方面。首先，作者承认内在维度是统计度量，可能反映特定模型家族或数据集的伪影，需要谨慎解释。第二，测量内在维度的方法需要微调不同大小的适配器（20-30 种 LoRA 配置），每个配置都需要完整训练过程，计算成本较高，对于直接优化策略不够实用。作者建议未来工作可以探索更计算可行的替代方法。第三，LoRA 作为低维投影可能只是内在维度的上界，相对于某些任务的底层 Kolmogorov 复杂度，这个界限可能是松散的（Shaw et al., 2026）。第四，本文仅在 GSM8K 和 Reasoning Gym 的有限任务上进行评估，虽然涵盖数学、算法和认知推理，但更广泛的推理领域（如常识推理、科学推理、代码推理等）尚未验证。第五，推理策略的生成主要依赖 Gemma-3 27B 这一教师模型，Gemini CoT 是唯一的例外（由 Gemini 2.5 Flash 生成），教师模型的选择可能影响结论的普适性。第六，Token 级困惑度的相关系数（0.82 对于 4B）与内在维度（0.93）差距相对较小，且计算成本低得多，在实际应用中可能更具吸引力。第七，作者指出内在维度捕捉的是整个推理策略的可学习性，而非单个推理轨迹的质量，这限制了其在实例级推理链选择中的应用。
独立分析的弱点
本文的弱点及改进建议如下。首先，计算成本问题是最大的实际障碍：测量内在维度需要在 20-30 种 LoRA 配置下微调模型，每个配置都需要完整训练过程，总计算量相当于数十次完整微调。改进方向包括：探索基于早期训练曲线的预测方法（如前几百步的损失趋势）、基于梯度的代理指标、或者使用更少配置的插值方法。其次，投影方法的选择可能不是最优的：本文使用 LoRA 作为低维投影，但 LoRA 约束了特定的权重矩阵子集和秩结构，可能不是测量内在维度的最紧上界。改进方向包括探索其他参数高效微调方法（如 Prefix Tuning、Adapter Tuning、IA3 等）或组合多种 PEFT 方法。第三，模型规模验证范围有限：仅在 1B 和 4B 模型上验证，而当前主流模型规模为 7B-70B+。应在更大模型上验证，特别是确认'更大模型能更有效地压缩有效推理策略'这一发现是否在更大规模上成立。第四，推理策略覆盖的多样性不足：虽然涵盖 14 种策略，但大部分基于 Gemma-3 27B 生成，缺乏使用不同家族、不同规模教师模型生成的推理策略。第五，阈值选择需要全容量训练：当前阈值的确定需要先运行所有策略的全容量训练，这增加了一轮额外的计算开销。探索不需要全容量训练的阈值选择方法（如基于任务复杂度的先验估计）将使方法更自包含。
未来方向
作者提出的未来研究方向及基于成果可延伸的研究包括以下几个方面。首先，作者建议探索更计算可行的替代方法来识别有效推理链——这是将内在维度从分析工具转化为实用工具的关键。可能的方向包括基于训练曲线的早期预测、基于梯度的代理指标、或者基于信息论的分析方法。其次，作者建议探索其他后训练设置（如强化学习 Zelikman et al., 2022; Agarwal et al., 2024），不仅限于监督微调。第三，作者建议使用其他层投影或 PEFT 方法来验证是否能获得一致的推理策略相对排序，虽然界限可能更松。基于本文成果可延伸的研究方向包括：（1）将内在维度应用于推理链选择——选择具有最低内在维度的推理链作为训练数据，替代现有的基于正确性的过滤方法；（2）将内在维度应用于模型对齐——使用内在维度作为奖励信号来优化推理策略；（3）将内在维度应用于训练优化——在训练过程中动态调整推理策略以最小化内在维度；（4）探索内在维度与模型可解释性的关系——低内在维度是否对应于更可解释的推理过程；（5）将内在维度理论应用于其他任务领域如代码生成、自然语言理解、多模态推理等；（6）研究内在维度的理论性质——是否可以形式化地证明有效推理策略降低内在维度的充要条件。
复现评估
复现评估：本文提供了良好的复现条件。数据方面，使用公开数据集 GSM8K（Cobbe et al., 2021，训练集 7473 题）和 Reasoning Gym（Stojanovski et al., 2025），数据获取无门槛。模型方面，使用 Gemma-3 模型（1B 和 4B 参数），这些模型已公开发布（Gemma Team et al., 2025）。训练超参数详细说明：1B 模型训练 8000 步（学习率 $10^{-3}$），4B 模型训练 6000 步（学习率 $10^{-4}$），使用 AdamW 优化器，批大小 8。LoRA 配置扫描范围：$k=20$ 用于 1B，$k=30$ 用于 4B，参数数量从 rank=1 仅应用于 $W_q$ 和 $W_v$ 到全秩应用于所有层。计算成本方面，假设每个配置训练时间约为 1-2 小时（取决于硬件），总训练时间约为 20-60 小时（单 GPU）对于单个模型规模。代码方面，论文未明确提到是否开源代码，但方法描述足够详细，理论上可以复现。复现难度中等偏高，主要挑战在于：需要正确实现 LoRA 配置扫描和内在维度计算逻辑、需要使用 Gemma-3 27B 生成 14 种推理策略的训练数据、需要在多个数据集上评估泛化性能。总体而言，复现可行性良好，但计算成本较高，需要充足的 GPU 资源。
论文图表
