基于System-2策略的大规模语言模型计数机制可解释性研究

提出分解聚合策略突破LLM大规模计数瓶颈并揭示其内部机制

前置知识

System-1与System-2认知

System-1指快速、自动、直觉的思维过程，如看到物体立即识别；System-2指慢速、深思熟虑、需要努力控制的思维过程，如心算多位数乘法。在LLM中，System-1对应单次前向传播的层间隐式计算，System-2对应通过显式中间步骤扩展计算的多阶段推理。这一概念源于Kahneman的认知心理学理论，现在被用于描述模型的不同推理模式。

本文的核心假设是LLM在计数任务上的失败源于依赖System-1机制，而提出的改进方案是引入System-2式的分解策略，理解这一二元对立框架是把握论文方法论的基础。

因果中介分析

一种用于识别神经网络中哪些成分因果地影响特定行为的方法。核心思想是通过干预（如零消融、激活补丁、注意力剔除）来测量某部分被修改后对输出的影响，从而建立因果关系而非仅仅是相关性。例如，将某层的激活置零观察输出变化，或在不同样本间交换激活来测试信息流向。这种方法结合了干预性操作和统计测量，是机制可解释性研究的重要工具。

本文使用因果中介分析来验证System-2计数机制中特定token和注意力头的因果作用，这是理解模型内部计算流程的关键技术手段，读懂本文需要理解这种方法的原理和应用。

注意力剔除

一种精细化的干预方法，通过选择性屏蔽或置零特定注意力头的输出来研究其对模型行为的影响。不同于整层消融，注意力剔除可以识别出哪些特定的注意力头负责特定的计算任务。通过对每个注意力头的输出进行零化处理，可以测量模型性能下降的程度，从而量化该头的重要性。这种方法常与层掩码实验结合，形成从粗粒度到细粒度的完整分析框架。

本文使用注意力剔除精确定位了Qwen2.5-7B模型中第22层的特定注意力头（如头13和头1）在计数信息传递中的关键作用，理解这种方法对于理解论文的机制分析部分至关重要。

CountScope

一种用于解码LLM隐式计数信息的因果探测方法。其核心操作是将目标token的激活补丁到一个空白的计数上下文中，然后观察模型输出的解码数字。与logit-lens等方法不同，CountScope专门针对数值信息设计，可以更可靠地提取隐藏在token表示中的数量信息。该方法通过干预性操作揭示模型内部知道但没有显式输出的计数状态，是研究隐式推理能力的重要工具。

本文使用CountScope证明分区数量信息被编码在边界token中，这是支撑System-2机制解释的关键实验证据，理解该方法有助于理解论文的探测分析部分。

研究动机

大语言模型在计数任务上存在系统性但被忽视的缺陷。虽然LLM在复杂数学问题上表现出色，但当需要计数的物品数量超过一定阈值时，性能急剧下降。实验数据显示，在无结构的计数任务中，当物品数量超过30时，Llama 3 8B模型的准确率几乎降至零，Qwen2.5 7B模型在31-40个物品时的准确率仅为6%。这种失败不是偶发的，而是随着问题规模扩大而系统性恶化。更深层的原因在于transformer架构的内在约束：计数是一个跨层的渐进过程，数值信息在每一层逐步累积，但由于深度限制，这种渐进计数机制随着物品数量增加而饱和。举例来说，一个有32层的模型在处理100个物品的计数时，每一层平均只能处理约3个物品的信息，远远超出了其精确表示的容量。这种限制反映了架构约束而非训练数据不足。

本文的目标是本文的目标是提出一种简单但有效的测试时策略，使LLM能够克服架构限制，在大规模计数任务上实现高精度。具体来说，作者希望解决以下三个子目标：一是设计一种无需修改模型参数或重新训练的方法，就能扩展模型的计数范围；二是通过这种策略深入理解LLM内部计数机制的工作原理；三是验证该方法在不同模型架构、不同tokenizer和不同输入格式下的泛化能力。最终目标是打破LLM计数能力的固定上限，使其能够处理任意长度的计数任务，只要每个子任务保持在模型的可靠计数范围内。

与已有工作不同的是，本文的独特切入点是将人类认知中的System-2思维模式引入LLM的测试时推理，这与现有工作形成鲜明对比。先前的研究主要集中在理解LLM计数失败的表面现象（如tokenization影响、表面形式敏感性）或尝试通过训练数据增强来改进，但未能从计算架构的根本约束出发。本文认识到，问题的根源在于模型依赖System-1式的单次层间隐式计数，这种机制有固定的容量上限。与之不同，本文提出的System-2策略通过显式分解任务和中间步骤，本质上改变了计算模式，从固定深度的隐式计算转变为可扩展的多阶段显式推理。这一切入角度不仅解决了性能问题，还提供了深入的机制可解释性见解，这是纯工程优化或训练调整无法实现的。

核心方法

本文提出的方法受到人类System-2认知策略的启发，核心思想是将大规模计数任务分解为一系列可独立解决的小规模子问题。整体方法包含三个关键环节：输入结构化、中间推理步骤和最终聚合。首先，在输入阶段使用分隔符（垂直线|）将长列表分割成多个分区，每个分区的物品数量保持在模型的可靠计数范围内（例如6-9个物品）。然后，通过提示工程引导模型先计算每个分区的数量并显式输出这些中间结果（如part 1: 4, part 2: 2, part 3: 3）。最后，模型将各分区的数量相加产生最终答案。这种方法的优势在于它将原本需要跨越所有层才能完成的单一大计数任务，转化为多个可以在有限层内完成的小计数任务，从根本上规避了深度约束导致的容量饱和问题。

核心创新点在于将System-2式的分步推理与结构化输入相结合，创造了显式的计算阶段边界。与传统的Chain-of-Thought不同，本文的分解不仅要求输出中间步骤，还在输入中预先定义了计算单元（通过分隔符标记的分区）。这种双重结构确保了中间推理步骤与实际的数据分区严格对应，使得计数、信息传递和聚合三个计算阶段被清晰分离。另一个关键创新是利用分区边界token作为数值信息的载体，这些token（最后一项和分隔符）充当了隐式计数器的存储单元。通过这种方式，模型的内部计数机制在每个分区边界重置，避免了累积误差的放大，这是与传统单次计数最本质的区别。

方法步骤详情

方法的完整执行包含以下步骤。步骤1是输入准备，生成一个包含重复物品的列表，使用垂直线分隔符将其分成多个分区，每个分区的物品数量随机选择在可靠范围内（对于7B级模型为6-9个，对于更大的模型为15-25个）。步骤2是模型推理，使用结构化提示要求模型对每个分区计数并显式输出，提示格式为For each partition: Count the number of items. Report using format part1: [x1], part2: [x2]... After counting all partitions: Compute total by summing. Output: Final answer: [x]。步骤3是内部计算，模型在处理每个分区时，在早期层逐token累积计数信息，这些信息最终被编码在分区边界token（最后一项和分隔符）中，主要在中后期层（第19-23层）形成稳定的数值表示。步骤4是信息传递，通过特定的注意力通路（特别是第22层的头13和头1），边界token中的计数信息被转移到中间推理token（冒号、空格和分区数字）中。步骤5是最终聚合，模型通过注意力聚合各分区的中间计数结果，执行加法运算产生最终总数。整个过程中，每步的输入输出都明确定义：输入是结构化列表，中间输出是分区计数序列，最终输出是总数。

技术新颖性

本文的技术新颖性体现在多个层面。首先，在方法论层面，将System-1/System-2认知二元性引入LLM推理研究是一个新颖的视角，虽然CoT和任务分解已有研究，但将其与认知心理学中的双系统理论相结合来解释LLM的计算限制是新的尝试。其次，在机制分析层面，本文使用了一套完整的可解释性工具链（注意力分析、CountScope探测、零消融、注意力剔除、跨上下文激活补丁）来系统性地追踪数值信息的流动，这种多角度、多层次的因果分析在计数任务研究中是前所未有的。第三，在发现层面，本文识别出边界token作为计数信息存储单元的机制，以及特定注意力头在信息路由中的作用，这些发现扩展了我们对transformer内部数值表示的理解。最后，在应用层面，本文证明了简单的测试时结构化策略可以绕过架构约束，这为不重新训练模型就能扩展其能力提供了新思路，这种测试时扩展的理念在当前依赖参数调优的研究环境中是一个重要的技术方向。

**Figure 2**: Internal mechanism of System-2 test-time counting in LLMs

**Figure 4**: Attention patterns of selected tokens under the System-2 counting strategy

**Figure 5**: Average attention of correctly generated intermediate counts to the final item of their partition, alongside attention of the final answer to partition-level counts, across layers

**Figure 6**: Heatmap of average attention to final items of partitions across layers and heads for intermediate counting steps

**Figure 7**: Ground-truth probabilities across different tokens of partitions decoded by CountScope

**Figure 8**: Average ground-truth probability drop after masking the final item and comma from each partition

**Figure 9**: Average change in log probability of intermediate counts after layer masking (deletion) and unmasking (insertion) of the final item and separator of each partition

**Figure 10**: Heatmap of the average probability drop after attention knockout across layers and heads for intermediate (top) and final counting steps (bottom)

**Figure 11**: Average log probabilities of the first and second contexts before (left) and after (right) activation patching

实验结果

实验结果清楚地展示了System-2策略的有效性和机制的合理性。在行为层面，对于开源模型（Qwen2.5-7B、Llama3-8B、Gemma3-27B），结构化输入配合中间推理步骤（Structured + w/ steps）始终是表现最佳的配置。具体来看，Qwen2.5-7B在11-20个物品区间达到95%准确率，在31-40个物品区间仍保持38%准确率，而无结构的短答案基线在同一区间仅6%准确率。Llama3-8B在41-50个物品的困难区间仍达到26%准确率，而无结构基线为1%。对于闭源模型（GPT-4o、Gemini-2.5-Pro），在更长的上下文（51-100个物品）上，结构化CoT方法分别达到86-96%和91-97%的准确率，而无结构方法仅18-70%。平均绝对误差（MAE）数据进一步印证了这一趋势：结构化CoT的MAE通常低于1，而无结构基线可达10以上。在机制层面，CountScope探测显示分区数量信息被高置信度地编码在边界token中，对于最后一项的置信度在第一个分区可达0.90以上。因果中介实验证明，零消融边界token会导致对应计数概率大幅下降。注意力剔除识别出第22层的头13（负责中间步骤）和头1（负责最终聚合）是最关键的组件。跨上下文激活补丁实验提供了最强因果证据：交换中间token的激活会直接改变最终输出，证明了信息流的因果路径。

**Table 1**: Average accuracy and mean absolute error (MAE) across open-source models for context sizes from 11 to 50

**Table 2**: Average accuracy and MAE across closed-source models for context sizes from 51 to 100

**Table 3**: Failure analysis of the structured CoT setting

**Figure 1**: System-1 vs. System-2 counting performance as a function of problem size

查看结构化数据

任务	指标	本文	基线	提升
计数（11-20项）	准确率	Qwen2.5-7B结构化CoT: 0.95	Qwen2.5-7B无结构短答案: 0.38	提升150%
计数（21-30项）	准确率	Gemma3-27B结构化CoT: 0.85	Gemma3-27B无结构短答案: 0.05	提升1600%
计数（31-40项）	准确率	Qwen2.5-7B结构化CoT: 0.38	Qwen2.5-7B无结构短答案: 0.06	提升533%
计数（51-60项）	准确率	GPT-4o结构化CoT: 0.96	GPT-4o无结构短答案: 0.37	提升159%
计数（51-60项）	准确率	Gemini-2.5-Pro结构化CoT: 0.97	Gemini-2.5-Pro无结构短答案: 0.52	提升87%
计数（91-100项）	平均绝对误差	GPT-4o结构化CoT: 0.04	GPT-4o无结构短答案: 4.26	误差降低99%
中间步骤准确率	准确率	Gemini-2.5-Pro: 0.94	GPT-4o: 0.89	相对基线
最终聚合准确率	准确率	Gemini-2.5-Pro: 0.97	GPT-4o: 1.00	相对基线

局限与改进

作者明确指出了几个局限性。首先，本文的研究范围限于文本计数任务，使用的是合成数据（重复名词列表）而非自然文本，这限制了发现的泛化性。实际应用中可能面临更复杂的对象多样性和语言结构。其次，方法的有效性依赖于结构化提示和对模型可靠计数范围的先验知识，在实践中可能需要针对不同模型调整分区大小。第三，分解策略主要适用于可以分解为近独立子任务的问题（如多步算术或序列规划），对于存在强相互依赖的任务可能不适用。第四，虽然实验覆盖了多种模型架构和tokenizer，但所有模型都是基于transformer的，方法在其他架构上的有效性未知。此外，本文没有讨论计算开销，System-2策略需要生成更多token，这可能增加推理时间和成本。最后，机制分析主要集中在特定模型（Qwen2.5-7B）上，虽然其他模型显示相似趋势，但具体电路细节可能因架构而异。

独立分析的弱点

独立分析的第一个弱点是方法对提示工程的高度敏感性。实验显示Structure A优于Structure B，说明细微的格式变化会影响性能，这增加了实际应用的复杂度。改进方向是开发自动化提示优化方法或设计更鲁棒的提示模板。第二个弱点是需要预先知道模型的可靠计数范围，这在面对未知模型时是一个挑战。改进方向是设计自适应分区策略，根据模型在当前任务上的表现动态调整分区大小。第三个弱点是方法的有效性依赖于可分解性，对于存在跨分区依赖的任务（如需要保持顺序或语义一致性的计数）可能失效。改进方向是扩展框架以支持带依赖的分解，如引入分区间的信息传递机制。第四个弱点是计算开销增加，虽然不涉及训练，但生成更多token会增加推理时间和成本。改进方向是探索压缩中间表示或并行生成分区计数的方法。第五个弱点是机制分析主要在合成数据上进行，自然文本中的噪声和变化可能破坏边界token的编码机制。改进方向是在更真实的数据集上验证方法，并开发更鲁棒的信息编码方案。

未来方向

作者提出未来研究可以从多个方向延伸。首先是探索System-2策略在其他推理任务上的应用，如多跳问答、复杂算术、序列规划等，检验分解范式是否广泛有效。其次是扩展到多模态设置，将图像分区策略与本文的文本计数方法结合，实现跨模态的System-2推理。第三是深入研究不同模型架构（如非transformer、混合专家模型、循环transformer）在System-2策略下的行为差异，理解架构如何影响分解策略的有效性。第四是开发自适应分区算法，能够根据任务复杂度和模型能力自动确定最优分解方案。第五是探索更复杂的信息聚合机制，如加权聚合、层次聚合等，以处理非均匀或分层的子任务。第六是研究System-2策略与训练的结合，例如通过课程学习训练模型自发学习分解策略，或通过微调增强模型在结构化输入上的表现。第七是从理论角度研究transformer的计数容量限制，建立更精确的容量-深度关系模型，为分区大小选择提供理论依据。最后是开发更高效的可解释性工具链，特别是在长上下文和复杂推理场景下的因果分析方法。

复现评估

本文的复现性总体良好。论文提供了详细的实验设置说明，包括输入格式、提示模板、分区大小范围等关键参数。所有模型都是公开可用的（除了GPT-4o和Gemini-2.5-Pro，但这些是商业API，易于访问）。使用的可解释性方法（注意力分析、零消融、激活补丁）都是标准化的，有公开实现可用。实验使用的是合成数据，可以完全复现。主要的复现挑战在于计算资源：需要能够运行7B+级模型的GPU，且因果中介分析需要多次前向传播，计算开销较大。另一个挑战是某些实验（如CountScope）需要特定的工具实现，虽然论文提供了方法描述，但实际实现可能需要调整。总体而言，对于有相应计算资源的研究团队，复现主要结果是可行的。代码和数据如果开源将进一步提高复现性，但基于论文的详细描述，独立复现是可能的。

基于System-2策略的大规模语言模型计数机制可解释性研究 Mechanistic Interpretability of Large-Scale Counting in LLMs through a System-2 Strategy