语言模型在长程规则执行上的失败

简单计数任务揭示了所有大语言模型在持续规则执行上存在不可逾越的有界状态上限。

前置知识

大型语言模型 (LLM)

基于 Transformer 架构的大规模自回归语言模型，通过预测下一个 token 的方式生成文本，已在问答、编程、推理等任务上展现出强大能力。

本文评测的就是 LLM，需要理解其上下文窗口、推理变体、Chain-of-Thought 等术语指向的具体能力。

上下文窗口 (Context Window)

模型在一次前向传播中能够同时关注的最大 token 数量，通常以数千到数十万 token 为单位，代表模型"看到"的输入上限。

本文核心论点之一就是'大上下文窗口不等于可靠的程序状态维护'，必须先理解上下文窗口指代什么才能领会这种解耦。

激活补丁 (Activation Patching)

机制可解释性中的因果干预技术，将一次前向传播某一层的隐状态替换为另一次前向传播的对应值，以定位信息在网络中的因果路径。

论文用序列级与 token 级两类 patching 分离了 LLM 内部计数轨迹在哪一层具有因果作用，是读懂机制分析的关键。

稀疏自编码器 (Sparse Autoencoder, SAE)

训练于模型残差流激活之上的分解模型，将密集向量表示重写为少量可解释特征的稀疏组合，用于探测模型的语义单元。

论文用 Gemma Scope 2 SAE 探查计数相关特征，发现并非单一累加器而是复杂协调特征集，需要 SAE 知识才能看懂。

工具使用 / 思维链 (CoT)

通过让模型生成中间推理步骤 (CoT) 或调用外部计算工具来扩展模型推理能力的技术，被广泛用于提升复杂任务表现。

论文核心反驳点是这些'推理增强手段'无法挽救已经崩塌的程序状态，必须先理解这些手段的工作原理才能理解为什么它们仍不够。

研究动机

当前 LLM 评估范式主要依赖 GPQA、SWE-bench、ARC-AGI 等综合性基准，这些基准虽然贴近真实应用、能考察综合能力，但答案正确可能源于检索、记忆、预训练数据重叠或任务专属启发，掩盖了模型的底层力学。具体而言，对智能体任务而言真正关键的能力是"在长上下文中持续维持一个精确状态并反复套用规则"，但这一能力长期缺乏直接探测手段。论文在 126 个前沿 LLM 变体上观察到，即使模型的标称上下文窗口高达数十万 token，其有效计数上限 (Counting Capacity, CC) 往往只在几十到几百之间，意味着"看到长上下文"和"在长上下文中维持精确过程变量"是两件截然不同的事情，被业界普遍混淆。

本文的目标是本文提出稳定计数容量 (Stable Counting Capacity, SCC) 评测协议：让模型对相同字符组成的均匀序列返回精确计数，以确定性 prompt 模板配合自适应随机阶梯方案迭代加长序列长度，直到模型连续报错，将该失败边界定义为 Counting Capacity (CC)。该评测目标是把"程序状态保持能力"从综合基准的噪声中剥离出来，提供一个最小化、无语义、跨家族可比的可靠性指标，并用机理探针把行为失败与内部表征的崩塌对应起来。

与已有工作不同的是，已有研究多聚焦 LLM 的检索、变换或语义推理能力，对"规则执行"这一独立维度的直接、可重复评测几乎空白；同时业界习惯用更大模型、更多测试时计算、调用工具等手段应对 agentic 失败，但缺少把这些手段和真实状态崩塌机制联系起来的诊断。本文用 SCC 这一可量化的失败边界，配合激活补丁、teacher-forced logit 分析、SAE 表征三类机制手段，把 SCC 失败精确锚定到中间层到末层的分布式计数轨迹上，构成与既有研究互不重叠的全新切入。

核心方法

直觉上，模型能写代码不代表它能数 a 的个数——前者可以做局部变换，后者要求在长上下文中累加并精确报告一个整数变量。SCC 通过把这一变量"剥离"到极致简单的形式 (无变化符号、无语义、无外部提示) 来剥除所有启发式策略的干扰，再用自适应阶梯法逼近失败边界。技术路线分为三段：(1) 在 126 个模型变体上运行 SCC 得到每模型 CC 分布；(2) 对开放权重的 Gemma 3 27B-it 做内部机制分析——残差流投影寻找线性计数方向、teacher-forced logit 评估解码偏好、SAE 特征定位、与 activation patching 验证因果；(3) 用 GPQA Diamond、SWE-bench Verified、ARC-AGI-2 三个标准基准与 CC 做相关性分析。

与已有方法最大的区别在于：把"程序可靠性"从一个隐含概念转化为一个有明确失败边界 (CC) 的可测量指标，并把行为失败因果对应到"模型在中间层构建一个有限 per-token 进度轨迹、末层转移到 SoT token、再交给解码"这一具体表征模式。核心创新不是新的干预手段，而是 "minimal + non-semantic + adaptive ladder" 三要素组合出的全新评测协议，以及把 SCC 失效与具体层 (中间层 31、末层 51) 的因果关系画出来，证明了输入 token 数不是限制因素、真限制来自内部状态轨迹的有界性。

方法步骤详情

方法分四步。第一步 SCC 输入构造：给定均匀字符序列 (如 a,a,…,a) 与问题 "How many 'a' are in this sequence?"，用自适应随机阶梯方案从短到长尝试 (28-36、51-77、102-154、205-307)，错误率 ≥5% 时停止，把失败长度记为 CC。第二步行为刻画：在 CC 附近观察预测是否跳到 {500, 1000, 2000} 等吸引子，并换字符/分隔符测 CC 偏移验证 syntax-sensitivity。第三步机制剖开 (限于 Gemma 3 27B-it)：在 16/31/40/53 层对 SoT token 残差流做一维投影找线性计数坐标；teacher forcing 测正确 token logit 间隔；Gemma Scope 2 SAE 提取高相关特征；两类 activation patching 评估因果层位。第四步对比：将 CC 与 ARC-AGI-2、GPQA Diamond、SWE-bench Verified 公开分数做相关性，按基准发布时间划分前后模型。

技术新颖性

技术新颖性体现在三层：评测层首创 SCC 这一不依赖语义、不依赖工具、不依赖 prompt 工程的极简协议，能跨模型家族分离状态保持与综合能力；机制层首次把 SCC 失败与"中间层构造 per-token 进度轨迹、末层转交"的双段结构因果绑定，单变量补丁无法挽救失败序列证明计数表征远比单一标量方向丰富；诊断层把 CC 与 ARC-AGI-2 等"看似抽象"的基准画在同一坐标系上，发现 2025 年基准公开后发布的模型 CC 与分数呈近乎线性相关，反向证明基准可以被"熟悉度"提升得分但无法绕过 CC 上限，为业界提供了一个独立于刷榜的可靠性指标。

**Fig. 4**: Internal model probes reveal bounded state representations

实验结果

核心发现可归纳为六点。第一，126 个 LLM 变体无一例外具有有限 CC，跨度大但均远低于其标称上下文窗口；典型失败是精确输出突然跳到 500、1000 等吸引子。第二，失败是突发的离散跃迁而非渐进漂移，5% 输出完全失去指令格式 (501/9797)。第三，状态 syntax-sensitive：切换字符/分隔符使多个模型 CC 显著变化。第四，测试时计算无济于事：推理变体耗 token 数倍于基础变体但 CC 提升近 0；gpt-5.4-mini 同时计数与 BBH/CRUXEval/MATH/MMLU 任务时错误率超过所有控制任务。第五，工具/外化不能逃逸：gpt-5.4 精确计数降到 15.8%，claude-sonnet-4-6 copy+agent 可解析输出降至 14.2%、下游任务 12.5%。第六，Gemma 3 27B-it 在 16/31/40/53 层均显线性计数坐标直到 CC 边界，final-token patching 影响末层约 51、full-sequence 在中间层 31 效果最强，Qwen 3.5 35B-A3B 复现相同模式。

**Fig. 2**: Model dynamics near the CC threshold

**Fig. 3**: Impact of token consumption and test-time compute on procedural state maintenance

**Fig. 5**: Relation between stable counting capacity and standard AI evaluations

查看结构化数据

任务	指标	本文	基线	提升
Stable Counting Capacity (SCC)	Counting Capacity (CC) — 模型能稳定通过的均匀字符序列最大长度	126 个模型变体全部展现有限 CC；典型前沿模型 CC 跨度从约 28 到 500+ 不等，远低于其标称上下文	无先例，这是首个跨家族 SCC 评测	首次量化"程序可靠性"独立维度，定义新指标
CC vs GPQA Diamond (知识型)	Pearson/Spearman 相关性	弱到中等正相关	无对照基准	证明高知识问答得分不蕴含高 CC
CC vs SWE-bench Verified (编程)	相关性系数	弱到中等相关	无对照基准	证明高编码得分不蕴含高 CC
CC vs ARC-AGI-2 (抽象流体智力)	log(CC) 与分数相关性，2025 基准发布前后分组	发布前模型：宽 CC 范围但分数普遍低；发布后模型：log(CC) 与分数近似线性相关	传统解读假设 CC 与综合能力高度相关	首次揭示基准"熟悉度"通过提升分数但仍受 CC 限制
Dual-task 计数 × 推理 (BBH)	标记序列精确计数错误率	gpt-5.4-mini 错误率显著上升，超过长度匹配的控制任务	长度匹配的控制任务、第二个独立计数控制	证明复杂任务与计数争夺同一有限内部资源
Agent 外化计数 (工具实验)	精确计数/可解析输出比例	gpt-5.4 精确计数降到 15.8%、文件外化 15.0-16.7%；claude-sonnet-4-6 copy+agent 可解析输出降至 14.2%、下游任务 12.5%	纯计数条件下的近 100% 成功率	证明工具外化是转移可见而非修复底层机制

局限与改进

局限性可分四层。第一，均匀计数任务被作者承认是"故意人工化"的、并不覆盖 agent 实际所需的全部程序种类。第二，闭源模型评测依赖外部 API 服务，其预处理、隐藏 system prompt、推理 token 计量并不完全透明，论文明确指出这些是不可观测变量。第三，机制剖开只在 Gemma 3 27B-it (Dense Transformer) 与 Qwen 3.5 35B-A3B (MoE) 两个开放模型上完成，结论需要作为"代表性证据"而非"普遍机制证明"来解读。第四，CC 与基准分数相关性统计依赖公开排行榜快照与已发布权重，对应的版本可能与论文评测日的 API 实际行为有偏差。

独立分析的弱点

独立观察到的弱点有三处。其一，SCC 的失败判据使用"错误率 ≥5%"作为稳定边界，但对长尾分布极度敏感——若某模型对某字符序列形式特别敏感、可能因此被误判为低 CC 而非真限制，建议引入跨字符形式的最低 CC 作为下限估计。其二，激活补丁中为对齐长度对 donor 序列做了线性插值，可能掩盖非线性匹配关系，单变量"clamping scalar progress"干预也未能挽救失败，说明内部表征比想象中更复杂，原文未给出更细粒度的特征级干预实验，留下了对具体哪一组 SAE 特征联合贡献于 CC 的因果证据空白。其三，与 ARC-AGI-2 的相关性高度依赖基准发布时间分组 (2025 年 5 月)，采样若错位会得到非常不同的 $\rho$ 值，建议复现时固定权威发布日期并对每个基准做多个时间窗口分组敏感性分析。改进方向可考虑：(a) 用最小可观察失败长度而非 5% 错误率作为更激进 CC；(b) 引入特征级 patching 直接干预 SAE 激活；(c) 在多个公开榜单快照上重做基准相关性以验证稳定性。

未来方向

作者明确提出需要"持久变量、显式中间状态、外部记忆、循环机制、可验证执行轨迹"等架构方向，并指出针对性消融实验以识别最主导失败原因 (稀疏专家路由、有限精度计算、位置编码衰减、注意力稀疏化、缺乏显式循环)。从结果外推，我建议三个延伸方向：(1) 把 SCC 推广到嵌套结构、自然语言状态描述、概率性规则，探索"规则空间"下 CC 的拓扑；(2) 探索 neuron-level 或 SAE-level 的"功能模块识别"，寻找能够被显式 patch 修复的内部单元，这将对训练阶段形成可验证目标；(3) 与可验证代码执行 (verifiable execution traces) 结合设计 hybrid agent，使得一旦 SCC 状态崩塌能被显式检测并回滚到外部可信状态，而非让模型在崩塌后写出错误计数。

复现评估

复现性评估中等偏难。SCC 评测本身只需确定性 prompt 模板与多次 API/权重调用，作者已公开 126 个模型变体 (含 GPT-5.x、Claude 4.x、Gemini-3.x、DeepSeek、Qwen、Mistral、Llama 4、MiniMax、GLM 等) 的可复现协议，但闭源 API 的版本、preprocessing 与 reasoning token 计量不透明仍影响模型间比较。机制部分完全依赖 Gemma 3 27B-it + Gemma Scope 2 SAE，权重与特征集已公开 (Gemma 3 Technical Report arXiv:2503.19786, Gemma Scope 2 Technical Paper 2025)，具备完整复现条件。算力要求：单模型 SCC 在单张 A100/H100 上分钟级完成；机制 patching + SAE 分析对一张 H100 (80G) 数小时足够；批量 126 模型的失败模式 profiling 需要 API 配额或大规模 serving 集群。

语言模型在长程规则执行上的失败 Counting as a minimal probe of language model reliability