形式化潜在思维：LLM中思维表示的四条公理 Formalizing Latent Thoughts: Four Axioms of Thought Representation in LLMs
提出评估LLM潜在思想表示的公理化框架，发现现有方法存在结构性缺陷
前置知识
Chain-of-Thought (CoT) 推理
链式思维推理是一种提示方法，通过要求模型在给出最终答案之前显式地展示推理步骤，来提高复杂任务的表现。这些步骤通常以自然语言形式生成，每个步骤都构建在前一个步骤的基础上，形成一条完整的推理链。CoT 的核心思想是将复杂的推理过程分解为更小、更易处理的子问题，使得模型的推理过程更加透明和可解释。然而，CoT 方法依赖于离散的 token 生成，存在效率低和计算成本高的问题。
论文提出的方法旨在替代或压缩 CoT 的离散推理步骤为连续的潜在表示，因此理解 CoT 的工作原理和局限性对于评估新方法的优劣至关重要。
Information Bottleneck (IB) 原理
信息瓶颈原理是一种信息论方法，旨在找到一个表示，该表示在最大化与目标变量之间的互信息的同时，最小化与输入变量之间的互信息。形式上，给定输入随机变量 X 和目标随机变量 Y，IB 原理寻找一个压缩表示 T，使得 I(X; T) 最小化同时满足 I(T; Y) 的约束。这本质上是在信息的压缩性和相关性之间寻找最佳平衡。IB Lagrangian 描述了这个优化问题，其中 beta 是平衡参数。
论文中的 Minimality 公理直接基于 IB 原理，用于量化思想表示是否有效地压缩了输入并保留了对输出预测相关的信息。理解 IB 原理对于理解该公理的理论基础和设计相应的度量指标至关重要。
KL 散度
KL 散度是衡量两个概率分布之间差异的一种方法，定义为两个分布的期望对数差异。它表示使用分布 Q 来近似分布 P 时的信息损失，是非对称的。KL 散度在机器学习中广泛应用于度量模型预测分布与真实分布之间的差异，以及在对比学习、变分推断等领域中作为损失函数。KL 散度为 0 表示两个分布完全相同，值越大表示差异越大。
论文使用 KL 散度作为 Causality 公理的量化指标，通过测量替换推理前缀为思想表示后对后续生成分布的影响来评估因果关系。理解 KL 散度的含义和计算方式对于理解 Causality 度量的物理意义至关重要。
束搜索
束搜索是一种启发式搜索算法，用于在序列生成任务中找到高质量的输出序列。它维护一个固定大小的候选集合，称为束，在每个生成步骤中，从当前束中的每个序列扩展多个可能的下一个 token，然后保留整体得分最高的前 k 个序列继续扩展。束搜索在探索性和贪心性之间提供了平衡，比单纯的贪心解码能找到更好的全局解，同时计算成本远低于完全的穷举搜索。
论文使用束搜索来生成多个高概率的输出序列，这些序列用于估计模型的高概率输出分布，进而用于评估思想表示的各个公理。理解束搜索的工作原理对于理解实验设计和结果解释至关重要。
语义嵌入
语义嵌入是将离散的语言符号如单词、句子、文档映射到连续的向量空间中的方法，使得语义相似的文本在向量空间中距离更近。现代文本嵌入模型通过大规模对比学习训练，在多种语义相似度任务上表现出与人类语义判断高度一致的性能。嵌入之间的相似度通常通过余弦相似度来度量。论文使用 Embed-Nemotron-8B 作为嵌入模型，它是当时 MTEB 排名领先的文本嵌入模型。
论文使用语义嵌入来定义语义空间和度量语义相似性，这是 Separability 和 Stability 公理评估的基础。理解语义嵌入的工作原理和度量方式对于理解这些公理的量化指标至关重要。
潜在空间
潜在空间是指模型内部学习到的高维表示空间，其中每个点对应输入数据在模型内部的一种表示。在深度学习中，潜在空间通常是通过多层非线性变换从输入数据映射而来的，能够捕获数据的高级抽象特征和语义信息。潜在空间的几何结构、拓扑性质和流形特征反映了模型对输入数据的理解方式。论文关注的是用于推理的潜在表示，这些表示旨在捕获模型在生成输出前的推理过程。
论文的核心研究对象是大语言模型中的潜在思想表示，这些表示存在于模型的潜在空间中。理解潜在空间的概念和性质对于理解论文的研究目标和贡献至关重要。
研究动机
大语言模型的推理方法正从离散的 Chain-of-Thought token 转向连续的潜在表示，越来越多的工作致力于压缩或替换显式的 CoT 步骤为连续向量以提高效率。然而，现有评估方法几乎完全依赖于下游任务准确率来评估这些连续思想表示。对连续推理 token 的探针研究发现，不同的推理路径在早期层就坍缩为单一解释，而下游准确率保持不变。这种评估方式存在三个关键问题：第一，没有关于思想表示必须做什么的原则性定义，现有方法优化启发式代理如步骤数、token 预算、显式 CoT 的模仿而没有正式的功能要求陈述；第二，没有独立于下游准确率的内在评估来测量表示质量，因此无法将失败归因于表示而不是解码器或提示；第三，因此当前方法的状态未知。近期审计发现潜在推理 token 对于驱动它们的预测通常是不必要的，潜在推理也没有忠实地实现激励它的结构化潜在空间搜索。
本文的目标是本文的目标是建立一个原则性的评估框架，用于评估大语言模型中的潜在思想表示。具体而言，论文提出了一个公理化表征，将思想表示表征为四个功能属性：因果性、最小性、可分离性和稳定性。对于每个公理，论文定义了一个直接在源 LLM 上计算的定量度量，无需重新训练，并且与下游任务准确率解耦。应用该协议在 BBEH 数据集上审计候选思想表示，目标是揭示下游任务准确率无法暴露的表示失败模式，并为未来的思想表示开发和审计提供明确、可量化的优化目标。
与已有工作不同的是，本文的独特切入角度是采用公理化方法来形式化思想表示，从功能属性而不是形式属性来描述思想表示应该做什么。这与现有工作形成鲜明对比，后者通常专注于设计新的表示提取方法或优化下游任务准确率，而缺乏对表示质量本身的原则性评估。本文的贡献在于提供了一个独立于下游任务准确率的内在评估协议，能够直接测量表示的功能属性，并将表示质量与推理步骤的性能解耦。这种公理化方法使得研究人员能够将下游准确率的变化归因于特定的表示属性，而不是聚合的基准分数，为思想表示的发展提供了统一的诊断和比较框架。
核心方法
论文的方法整体思路是建立一个公理化评估框架，用于评估大语言模型中的潜在思想表示。框架从功能属性的角度出发，定义了一个理想化的思想表示应该满足的四个公理：因果性、最小性、可分离性和稳定性。对于每个公理，论文定义了一个定量度量，这些度量直接在源 LLM 上计算，无需重新训练，并且与下游任务准确率解耦。论文将这个框架应用于审计候选思想表示，包括从最后一个输入 token 的隐藏状态提取的表示、软思维和潜在思维方法在不同思考步数下的表示，以及输出嵌入和输入嵌入等参考表示。审计覆盖了五个开源 LLM，包括密集、稀疏混合专家、推理蒸馏和 RL 训练的模型家族，在 BBEH 的 23 个推理任务上进行。
核心创新点是提出了四个公理来形式化思想表示的功能要求，并为每个公理定义了独立的定量度量。这些度量能够直接在源 LLM 上计算，无需重新训练，并且与下游任务准确率解耦。具体而言，Causality 用 KL 替换错误来衡量，Minimality 用 IB 残差 Gap Delta_IB 来衡量，Separability 用判别器准确率来衡量，Stability 用分布一致性得分 DCS AUROC 来衡量。与现有方法相比，这种公理化方法提供了一个统一的评估框架，能够揭示下游任务准确率无法暴露的表示失败模式，并为思想表示的开发提供明确、可量化的优化目标。
方法步骤详情
方法步骤包括：使用束搜索生成高概率输出序列；提取候选思想表示，包括隐藏状态、软思维和潜在思维在不同步数下的表示；训练探针计算四个公理的度量：Causality 通过 $D_{KL} P(y_{suf} | y_{pre}) \| P(y_{suf} | T)$，Minimality 通过 $\Delta_{IB} = CE(X | Y, T) - CE(Y | T)$，Separability 通过判别器准确率要求 $d_S(\phi(T_{x_1}), \phi(T_{x_2})) > \delta$，Stability 通过 DCS AUROC；与参考比较并分析表现；综合识别结构性缺陷。
技术新颖性
技术新颖性分析体现在几个方面：首先，论文首次提出了思想表示的公理化形式化，定义了四个功能属性并证明了它们的逻辑一致性、独立性和完备性；其次，论文提出了一个内在评估协议，为每个公理定义了直接在源 LLM 上计算的定量度量，无需重新训练，并与下游任务准确率解耦；第三，论文将该框架应用于审计广泛的候选思想表示，包括隐藏状态、软思维、潜在思维等方法，在 BBEH 的 23 个推理任务上审计了五个开源 LLM，覆盖密集、稀疏混合专家、推理蒸馏和 RL 训练的模型家族；第四，论文发现了一个表示坍缩现象，即候选表示保留了粗粒度的任务标识但失去了区分同一任务内不同问题的细粒度标识，这种坍缩在不同模型家族中是一致的，表明这是结构性问题而不是模型大小或训练程序的属性。
实验结果
核心发现：在 Causality 方面，所有 TR 的 KL 约 3.90-5.32 nats，低于 RV 约 9.31-9.60 nats 但不持续超过 IE。在 Minimality 方面，OE 排名高于 IE 但混合结果。在 Separability 方面，跨任务准确率接近饱和，但同任务除 OE 约 68.8-72.6% 外都接近随机约 48.9-54.8%。在 Stability 方面，候选超过 RV 约 0.49-0.56，IE 匹配或超过迭代候选。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Causality | KL substitution error (nats, lower is better) | 3.90-5.32 (TR candidates) | 3.90-5.36 (Input Embedding), 9.31-9.60 (Random Vector) | Significantly below Random Vector but not consistently above Input Embedding |
| Minimality | IB residual gap Delta_IB (nats, higher is better) | -0.30 to 0.25 (TR candidates) | -0.23 to 0.22 (Input Embedding), -0.99 to -0.40 (Random Vector) | OE ranks above IE but mixed for others, no consistent advantage |
| Separability (cross-task) | Discriminator accuracy (%) | 68.8-72.6 (OE), 51.6-54.8 (other TRs) | 49.5-54.5 (Input Embedding), 48.9-51.0 (Random Vector) | All candidates near saturation except RV |
| Separability (same-task) | Discriminator accuracy (%) | 68.8-72.6 (OE), 50.3-54.8 (other TRs) | 52.1-54.5 (Input Embedding), 48.9-51.0 (Random Vector) | Only OE above random baseline, others near random |
| Stability | DCS AUROC (higher is better) | 0.55-0.97 (TR candidates) | 0.59-0.94 (Input Embedding), 0.49-0.56 (Random Vector) | Clears RV by wide margin, IE matches or exceeds iterative candidates |
局限与改进
局限性：Stability 的词法不变性未测量，因候选通过构造在改述中产生相同向量。测量成本超过单一基准，需要 LLM 生成和探针训练。审计覆盖 BBEH 23 个任务和五个英语 LLM，结论不一定适用于多语言或推理外生成。候选都从预训练 LLM 获得，满足四公理可能需要专门设计的提取。此外框架依赖束搜索，探针使用冻结骨干可能限制表达力，Separability 同任务接近随机可能表明缺乏区分信息或探针需改进。
独立分析的弱点
独立分析的弱点包括：首先，框架的计算成本较高，需要对每个输入生成多个输出序列并训练多个探针，这限制了在大规模数据集上的应用。改进方向包括开发更高效的近似方法，减少生成序列的数量或使用更轻量级的探针架构。其次，框架假设语义嵌入能够准确反映语义相似性，但现有的嵌入模型可能在某些特定任务或领域上表现不佳，改进方向包括针对特定领域微调嵌入模型或使用领域特定的语义度量。第三，Separability 度量在同任务上的准确率接近随机基线，这可能表明候选表示确实缺乏区分同任务内不同问题的信息，但也可能表明探针的设计或训练需要改进，改进方向包括使用更复杂的判别器架构或改进训练策略。第四，Stability 度量目前主要测量模式坍缩抵抗，而没有测量词法不变性，改进方向包括开发能够产生对改述敏感的候选表示的方法，以及设计相应的度量指标。
未来方向
未来研究方向包括：作者提出的方向包括将协议应用于满足所有四个公理可能需要专门设计明确满足那些功能要求的提取，将协议应用于这样的表示是未来工作的自然方向。基于成果可延伸的方向包括开发新的候选构造超越这里考虑的软思维、潜在思维和隐藏状态家族，设计专门训练以满足四个公理的表示提取方法，探索表示的层次结构或多粒度表示，在不同语言和推理任务中验证框架的普适性，研究表示质量与下游推理性能之间的因果关系，以及开发更高效的近似方法来降低框架的计算成本。另一个有前景的方向是探索表示的几何结构和拓扑性质，以及它们与四个公理之间的关系，这可能为设计更好的表示提供洞察。
复现评估
复现评估显示：论文提供了开源代码，托管在 https://fard-lab.github.io/formalize-thoughts，包括实现细节和实验协议，为复现提供了良好基础。实验使用的五个开源 LLM 都是公开可用的：Llama-3.1-8B-Instruct 和 Llama-3.3-70B-Instruct、DeepSeek-R1-Distill-Qwen-32B、Skywork-OR1-32B 和 GPT-OSS-20B。BBEH 数据集也是公开可用的。计算成本方面，实验需要对每个输入生成 8 个最多 8192 token 的序列，并训练多个探针，这可能需要相当的计算资源，但论文没有提供具体的算力需求。难度方面，虽然代码是开源的，但实验涉及多个组件和步骤，包括生成序列、训练探针、计算度量等，可能需要对代码和实验协议的详细理解，因此复现难度中等。总体而言，论文的开源情况和文档提供了良好的复现基础，但计算成本和复杂性可能是一个挑战。
论文图表
