加法运算的形状：大型语言模型中算术的几何结构 The Shape of Addition: Geometric Structures of Arithmetic in Large Language Models
揭示LLM算术表示的几何结构，IRST框架与噪声量化模型解释进位错误机理
前置知识
残差流
残差流是Transformer架构中每一层添加到表示的信息载体。输入token通过embedding层转换成向量后，经过每层的自注意力和前馈网络处理，各层的输出都会累加到残差流中，形成逐渐累积的表示。最终层的残差流包含整个模型处理后的信息，会被用于生成输出token。残差流作为信息的传递通道，承载了模型从输入到输出的所有计算轨迹，是理解模型内部工作机制的关键对象。
本文通过对残差流的分析，揭示了LLM内部算术状态的几何组织结构，是理解模型如何编码和处理算术信息的基础，也为解释探测多功能性现象提供了几何解释。
UMAP降维
UMAP是一种非线性降维技术，通过假设数据均匀分布在黎曼流形上来学习高维数据到低维空间的映射。与PCA等线性方法不同，UMAP能够保持数据的局部邻域结构和全局拓扑结构，特别适合可视化高维神经激活数据。它通过构建加权k近邻图，然后优化低维表示以保持图中节点间的模糊拓扑关系，从而在保留数据内在结构的同时实现维度降低。该方法在可视化复杂神经网络内部表示方面表现出色。
本文使用UMAP将高维残差流映射到二维空间，从而能够直观地观察和发现IRST几何结构，这是研究的关键可视化工具，也是理解算术错误在几何空间中分布的基础。
Q函数
Q函数是标准正态分布的右尾概率函数，定义为Q(x)等于1减去标准正态分布的累积分布函数。它表示标准正态随机变量大于等于某个值的概率，常用于信号检测理论中计算误警率和漏检率。在噪声环境下进行阈值检测时，Q函数可以用来量化噪声超过阈值的概率，从而评估系统的错误率。该函数在通信系统、雷达检测和机器学习中的噪声建模中有广泛应用。
本文的噪声量化模型中使用Q函数来计算进位势能在量化边界附近的错误概率，推导出浴盆形状的错误分布公式，从而解释了为什么错误率呈现周期性变化模式，为模型的噪声水平提供了量化估计。
研究动机
大型语言模型在基础算术运算中表现出令人费解的脆弱性。尽管LLMs在GSM8K和MATH等复杂数学推理基准测试中展现了出色的性能，但在多操作数加法这样的基本算法原语上却频繁失败，特别是随着操作数数量的增加，模型经常出现差一错误。这种能力的断连更加令人困惑的是，最近的探测研究发现，轻量级探测器可以准确地检测到错误信号，甚至可以从失败模型的残差流中解码出正确答案。这意味着模型内部实际上编码了正确的信息，但在最终的token选择阶段却输出了错误的结果。这一现象指向了一个根本性的问题，即模型的内部表示几何结构与最终离散输出之间的映射存在系统性的故障，需要深入理解其背后的机制。
本文的目标是本文旨在揭示LLM内部算术表示的几何结构，并从机制上解释为什么模型内部正确信息无法正确转换为输出。具体而言，作者试图解决几个关键问题：首先是LLM在执行多操作数加法时，其残差流激活是如何组织成几何结构的；其次是算术错误，特别是差一错误，在这个几何空间中是如何产生和传播的；第三是为什么轻量级探测器能够从单个激活向量中解码出正确答案，而模型自身却无法做到；最后是能否基于对几何结构的理解设计出有效的推理时干预方法来纠正错误。通过解决这些问题，作者希望为理解LLM的内部计算机制提供新的视角和工具。
与已有工作不同的是，与之前的研究相比，本文的切入角度具有独特性。一方面，之前的算术研究要么将算术视为纯粹的符号操作，模型通过优化的tokenization方案执行算法逻辑，要么通过探测方法映射算术信号的层级演化。然而，这些方法主要将内部状态视为离散变量处理，缺乏对连续表示机制的理解。本文挑战了这一假设，通过将算术生成重新解释为连续进位势能的噪声量化，提供了一个机制性的解释框架。另一方面，虽然神经表示的几何研究提供了背景，但本文专注于特定的代数结构，揭示了局部分层流形中进位纤维的邻近性如何通过机制性的几何滑移决定错误概率。这种将抽象拓扑与具体失败模式直接联系起来的方法是本文的核心创新点。
核心方法
本文首先使用UMAP降维技术对LLM在执行多操作数加法时的残差流激活进行可视化，发现了高度有序的几何结构。作者将这种结构命名为等原始和轨迹框架，这是一个分层几何结构，包含宏观的数字骨架和微观的进位状态纹理。宏观骨架由输出数字的身份主导，激活向量强烈聚类成以特定数字锚点为中心的十个不同盆地。微观纹理由输入进位状态决定，每个数字盆地的内部进一步分层为由不同输入进位值确定的平行子流形或纤维。在此框架下，算术错误被刻画为沿等原始和轨迹的几何滑移，即激活向量漂移到连接稳定节点的不稳定段上，而不是与稳定节点本身对齐。基于这些观察，作者提出了噪声量化模型，将LLM的内部算术表示视为连续进位势能的估计，该估计受到神经噪声影响，导致量化边界附近的错误。
本文的核心创新点包括多个方面。首先发现了等原始和轨迹几何结构，这是连接所有具有相同原始和的内部状态的连续流形。该轨迹不会停留在单个数字盆地内，而是随着进位的变化跨越相邻盆地，这打破了算术运算纯粹是离散符号操作的观点。其次提出了噪声量化模型，将算术错误解释为由内部神经噪声将连续潜在进位势能推过量化阈值而引起的几何滑移，这一模型能够预测周期性的浴盆错误分布。第三从几何角度解释了探测多功能性现象，说明轻量级探测器为什么能够从单个激活向量中解耦并存的潜在信号如正确答案与幻觉，这是因为探测器的性能差异本质上直接反映了底层流形的几何可分性。第四提出了双层一致性检查方法，通过逻辑对齐约束缓解量化噪声，验证了即使在错误情况下模型的内部表示仍然保留了正确的数学成分。
方法步骤详情
本文的方法包含以下主要步骤。首先进行数据准备，构建包含多个加法问题的数据集，每个问题涉及多个多位十进制整数，语言模型以自回归方式逐token生成和。其次进行激活提取，在生成过程中提取每层主要关注最终层在每个位置的隐藏状态。第三步是几何可视化，使用UMAP降维技术将高维激活空间映射到二维，同时将数字token的输出解嵌入向量作为固定锚点包含在内，从而观察到分层几何结构。第四步是等原始和轨迹框架构建，识别连接具有相同原始和的状态的连续流形，分析稳定节点和过渡区域。第五步是噪声量化建模，定义连续进位势能，建模感知进位势能，其中包含高斯噪声，推导错误概率公式。第六步是轨迹级验证，定义轨迹局部引导方向，通过注入引导向量验证等原始和轨迹几何结构。最后一步是双层一致性检查，训练两个正交轻量级探测器分别解码局部计算流和全局上下文流，检测并纠正几何发散。
技术新颖性
本文的技术新颖性体现在多个方面。首先与之前将算术视为离散符号操作的研究不同，本文通过等原始和轨迹框架揭示了语言模型内部算术表示的连续本质，提供了将离散数字表示与连续潜在变量相结合的新视角。其次噪声量化模型从机制上解释了算术错误的产生，将抽象的脆弱性概念具体化为可量化可预测的神经噪声影响下的量化失败。第三本文从几何角度统一解释了探测多功能性现象，将探测器的性能差异直接映射到底层流形的拓扑可分性上，这比之前的信息可提取性解释更加根本。第四轨迹级验证方法通过因果引导提供了对等原始和轨迹几何结构的直接验证，超越了纯观察性的可视化分析。最后双层一致性检查方法不仅实现了错误纠正，更重要的是它充当了一个因果探测器，验证了等原始和轨迹几何结构本身，而不是仅仅提供性能提升。
实验结果
本文的实验结果有力地支持了提出的理论框架。首先UMAP可视化揭示了高度有序的几何结构，激活向量聚类成以数字锚点为中心的十个不同盆地，每个盆地内部进一步分层为由不同进位值确定的平行纤维。正确预测密集聚类在这些进位特定纤维的中心，而错误主要发生在数字盆地之间或进位纤维之间的稀疏过渡区域。其次噪声量化模型的预测得到了实证验证，进位势能的全局分布和条件错误率都展示了显著的周期性浴盆模式。当进位势能接近整数边界时错误率急剧上升，这些区域被识别为信号最模糊的亚稳态。当进位势能接近半整数值时错误率达到最小值，这些稳健平台代表了信号与量化阈值最不同的状态。通过将理论曲线拟合到实证分布，提取出的噪声参数约为零点零五，这一数值量化了模型在当前计算上下文中的处理不确定性。第三轨迹级验证实验显示了预测的V形进程，差一错误状态聚类在连接稳定纤维的过渡区域中，验证了几何滑移假设。引导实验显示稳定状态需要更大的扰动幅度才能翻转，而边界附近的亚稳态错误状态需要更小的扰动。第四探测实验显示了显著的性能差异，模型输出探测器达到很高的准确率，原始和探测器也达到很高的准确率，而正确性探测器仅达到较低的准确率，这直接反映了底层流形的几何可分性。最后双层一致性检查方法在所有比较方法中达到了最高的准确率，且消融研究表明使用真实进位和原始和探测器可以达到很高的token准确率，证明即使在最终输出token错误时模型的潜在局部计算仍然高度稳健。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 10位数加法（3操作数） | Token级准确率 | 89.56% | 86.26% | +3.30% |
| 探测正确性分类 | 准确率 | 82.41% | 98.81% | -16.40%（表明正确/错误边界模糊） |
| 探测原始和分类 | 准确率 | 98.60% | 94.85% | +3.75%（等原始和轨迹结构验证） |
| 真实错误纠正 | 真阳性纠正率 | 44.39%（容差为0） | 0.08% | +44.31% |
| 噪声量化拟合 | 决定系数 | 0.80 | 无 | 首次量化语言模型内部噪声水平 |
局限与改进
本文的研究也存在一些局限性，部分是作者承认的，部分是我们自己的观察。首先本文的研究范围主要局限于加法运算，虽然作者假设基于字节对编码的模型依赖于类似的潜在几何结构，但尚未在其他算术运算如减法乘法上验证等原始和轨迹框架的普适性。其次本文的方法论依赖于单数字tokenization，这允许视觉数字与内部算术状态之间的直接对齐，而不受多位数字分组的干扰。然而对于基于字节对编码的模型，其进位信号可能被纠缠在密集的多数字嵌入中，这给几何分析带来了额外挑战。第三本文的证据结合了UMAP可视化和基于探测器的解码，而非对算术计算的完整电路级定位，这意味着我们仍然缺乏对算术在各个层中如何精确流动的细粒度理解。第四虽然双层一致性检查验证了幻觉通常是正确连续势能的量化失败，但当前的干预方法需要在推理时进行额外的探测和解码，这会增加计算开销。第五本文的实验主要在Qwen3-4B模型上进行，虽然作者在附录中提供了其他模型的分析，但缺乏跨模型规模的系统研究，限制了对等原始和轨迹结构如何随模型规模变化的全面理解。最后噪声量化模型假设噪声是加性高斯的，这一假设虽然与实验数据拟合良好，但可能过于简化了真实的神经噪声分布特性。
独立分析的弱点
本文存在几个潜在的改进方向。实验范围有限是一个重要问题，主要聚焦于加法运算，缺乏对减法乘法除法等其他算术运算的验证。改进方向是在更广泛的算术运算上测试等原始和轨迹框架的普适性，探索不同运算是否共享相似的几何结构或具有独特的表示模式。模型单一性是另一个问题，主要在Qwen3-4B上进行实验，缺乏跨模型规模和架构的系统研究。改进方向包括在更大规模的模型和不同架构上重复实验，研究等原始和轨迹结构如何随模型参数规模训练数据和架构设计变化。方法计算开销也需要关注，双层一致性检查需要额外的探测和解码，增加推理时计算成本。改进方向是开发更高效的探测方法，或者将探测逻辑直接集成到模型的注意力或前馈机制中，实现端到端的几何一致性检查。噪声模型简化也可能影响模型的准确性，假设噪声是加性高斯的可能过于简化。改进方向是探索更复杂的噪声分布模型，如非高斯噪声或状态依赖噪声，以更好地捕捉真实的神经噪声特性。缺乏电路级分析限制了理解的深度，主要依赖UMAP可视化和探测器解码。改进方向是使用电路机制技术来精确追踪算术信号在各个层和头之间的流动路径，构建更完整的计算图。长序列泛化性也是一个问题，主要关注中间位置，边界位置的行为可能不同。改进方向是系统分析所有位置的几何结构，研究长序列中的进位传播如何影响表示的稳定性。
未来方向
基于本文的研究成果，未来可以从多个方向拓展研究。扩展到其他算术运算是一个重要方向，将等原始和轨迹框架应用于减法乘法除法等运算，探索是否需要构建不同的几何结构，或者是否可以通过对加法框架的适当扩展来解释这些运算。特别是乘法，其进位传播模式更复杂，可能需要引入新的几何概念。跨算术运算的统一几何框架是另一个有前景的方向，探索是否存在一个统一的几何框架能够解释所有基本算术运算，这可能揭示数字表示的更深层原理。与符号方法的结合也值得探索，将几何表示与符号操作方法结合，探索混合模型是否能够结合连续表示的灵活性和符号操作的精确性。训练时干预是提高模型可靠性的重要途径，基于对几何结构的理解，设计新的训练目标或损失函数，鼓励模型形成更稳定的几何表示，减少量化边界附近的噪声敏感性。进阶干预方法可以进一步提升性能，开发更复杂的推理时干预方法，如动态调整量化阈值使用多个探测器的集成预测或者基于不确定性估计的自适应纠正策略。跨领域应用是另一个有前景的方向，探索等原始和轨迹框架是否适用于其他需要精确计数或累加的任务，如序列长度估计集合大小判断时间序列累加等。认知科学联系也值得深入研究，将本文发现的几何结构与人类算术认知的神经科学发现进行对比，探索是否存在跨系统的共同几何原理。计算效率优化对于实际应用至关重要，研究如何在保持几何准确性的同时，将双层一致性检查的计算开销降到最低，可能涉及量化探测稀疏探测或其他技术。
复现评估
本文的复现性评估如下。开源情况方面，作者声明代码将在GitHub上公开，这是一个积极因素。数据方面，论文使用了自建的10位数三操作数加法数据集，虽然没有提供数据集下载链接，但数据生成过程描述清晰，可以复现。算力方面，实验主要使用Qwen3-4B模型，这需要中等规模的图形处理器资源，对于大多数研究机构来说是可及的。难度评估为中等偏易，实验的核心包括激活提取和UMAP可视化，这有标准工具支持。探测器训练使用逻辑回归等简单模型，噪声量化模型拟合需要计算进位势能和拟合曲线，引导实验需要对激活向量进行干预。这些步骤都不涉及极端复杂的实现。然而复现者需要注意以下细节。UMAP的超参数如近邻数最小距离可能影响可视化结果，探测器的训练数据平衡策略可能影响性能比较，引导实验中的干预强度范围需要仔细选择，双层一致性检查中的容差参数需要针对具体任务调优。总体而言本文的复现性较好，但仍需要一定的技术背景和调试经验。特别是几何可视化部分，可能需要多次尝试不同的参数设置才能获得清晰的结果。探测器训练的数据平衡策略也需要仔细设计，以确保不同类别之间的公平比较。
论文图表
