思维缺乏系统性吗？在规则归纳任务上评估推理模型 Thought without systematicity? Evaluating reasoning models on rule induction tasks
推理模型能解某个任务却常败给其结构等价变体，系统性缺口普遍存在
前置知识
系统性（Systematicity）
系统性指认知的一种性质：理解一个概念就隐含着能理解它的诸多近邻变体，例如学会'红色方块是wudsy'后应同样能学会'蓝色圆形是wudsy'。Fodor 与 Pylyshyn 将其视为思维语言假说的核心：心智表征具有组合式的语法与语义，能力应随结构等价的变化保持不变。
本文全部实验设计都围绕'能力是否随结构等价变体保持不变'展开，不理解系统性就无法理解其三个评价指标的动机与含义。
规则归纳任务
认知科学经典范式：学习者先看到若干输入→输出样例（支撑集 S），需推断背后的隐含规则 $f$，再对未见过的输入（查询集 Q）预测输出。典型例子包括布尔概念学习、瑞文推理测验和人工语法学习，考察从少量样本抽取潜在结构的能力。
论文的四类任务家族全部是规则归纳任务，实验刺激、指标与结论都建立在该范式之上。
任务同构与结构等价变体
同构是保持结构的一一映射：对任务 $T=(f,S,Q)$ 施加变换 $\tau=(\pi,\sigma,\varphi,\psi)$，其中 $\varphi$、$\psi$ 分别是输入/输出空间的双射，$\pi$、$\sigma$ 重排支撑与查询样例，变换后的新规则为 $\tilde{f}=\psi\circ f\circ\varphi^{-1}$，只改变表面特征而完全不变更难度与逻辑结构。
'结构等价'是公平比较的前提：只有难度被数学保证相同的变体之间的成绩差异，才能归因于系统性缺失而非任务变难。
元变测试
一种软件测试思想：不检验单个输入的输出对错，而是检验相关输入之间的输出是否满足已知关系，例如句子改写后语义应保持不变。近年来被用于评估大模型在改写、跨语言、逻辑传递闭包等扰动下的一致性。
作者明确把本文定位为一类元变测试——验证解题能力对组合式数据生成过程的扰动保持不变，理解这一点有助于把论文放进模型一致性评估的研究谱系。
组合泛化
指用熟悉的部件组合出新的整体时仍能正确处理的能力，如学过 'dax fep' 与 'zup' 后能处理 'dax zup fep'。Lake 与 Baroni 的 grammar-based CoGenT 任务正是为此设计，用元语法程序化生成无穷多门人工语言。
本文第一类任务家族直接源自组合泛化研究，任务家族的组合结构正是构造同构变体的技术基础。
推理模型与推理努力
推理模型指在给出最终答案前先生成较长思维链的模型。'推理努力'（reasoning effort，low/medium/high）是控制思考深度的 API 参数；实践中这类模型通常配合随机采样（temperature>0）使用，同一问题多次作答结果可能不同，因此需要多次尝试加多数投票。
实验对象就是这类模型，论文还专门考察推理努力与采样随机性对系统性的影响，不了解这些概念就读不懂第 5.2、5.3 节。
研究动机
认知心理测验隐含一个前提：在特定情境中测得的能力可以推广到其他情境，而这依赖于系统性——理解一个概念就应理解其近邻变体。早期大语言模型极其脆弱，拼写错误、无关句子、措辞变化甚至样例重排都会让成绩大幅波动（Jia & Liang 2017 等对抗脆弱性研究）。经过指令微调、规模扩展与推理时思考后，模型对表面变化的敏感度显著下降，但脆弱性问题依然是安全与对齐领域的核心担忧。更关键的是，现有评测几乎都只报告模型在'某个具体表述'任务上的分数，无法回答：当任务在保持结构不变的前提下换成等价变体时，模型是否依然能解？如果模型只是碰巧会做某个表面形式，那么基准分数对真实认知能力的指示作用就很有限，这也是作者所说的'测试效度'问题。
本文的目标是本文的目标是把'系统性'从哲学口号变成可量化、可复现的数值指标，并用它严格检验当前最强推理模型。具体包含四件事：借鉴认知科学的规则归纳范式，构造四个具有组合结构的任务家族；利用组合结构定义任务同构，为每个任务自动生成结构等价变体（每类不变性采样 $K=5$ 个）；提出'解出任一变体 / 解出变体比例 / 解出全部变体'三个单调递减指标来刻画系统性；在 Gemini 3.1 Flash-Lite/Flash/Pro、Claude Opus 4.7、GPT-5.5 五个专有模型上回答三个问题——模型是否存在系统性缺口、提高推理努力能否补救、采样随机性是否是缺口的来源。
与已有工作不同的是，与已有一致性/元变测试工作（改写不变性、跨语言一致性、逻辑传递闭包等）相比，本文有三个独特之处。第一，它借用了认知科学中历经数十年打磨的规则归纳任务（人工语法、瑞文矩阵、整数序列程序归纳、布尔概念学习），任务本身就承载着'测的是思维而非表面匹配'的研究传统。第二，通过数学上严格的同构变换保证所有变体难度完全相同，排除'变体更难'这一混淆因素——这是让'成绩差异=系统性缺失'这一推断成立的关键，优于以往只做同义词替换的脆弱性测试。第三，模型可以在互不影响的'反事实世界'中重复评测，这比人类实验更严格：人的每次经验都会改变后续心理状态，而模型面对同一隐含规则的多个表面变体，其行为可被干净地比较，实现了系统性检验的'最严格形式'。
核心方法
直觉上，作者把系统性定义为：如果学习者真正抓住了任务家族背后的组合结构，其解题能力就应对保持结构不变的表面变换免疫。技术路线上，先把规则归纳任务形式化为三元组 $T=(f,S,Q)$：$f:X\to Y$ 是隐含规则，$S=((x_i, f(x_i)))_{i=1}^{N}$ 是支撑集，$Q=(x'_j)_{j=1}^{M}$ 是查询集，学习者只看 $S$ 需对 $Q$ 全部输入预测 $f$ 的取值，全对才算通过。随后按任务的组合结构采样 $K=5$ 个同构变换 $\tau=(\pi,\sigma,\varphi,\psi)$，变换后规则为 $\tilde{f}=\psi\circ f\circ\varphi^{-1}$。每个变体独立评测 $N=5$ 次并按多数投票判定通过，以抵消解码噪声。最后对每个任务计算三个指标：$\max_k \text{pass}(\tau_k(T))$（任一变体通过）、$\frac{1}{K}\sum_k \text{pass}(\tau_k(T))$（通过比例）、$\min_k \text{pass}(\tau_k(T))$（全部通过），在任务家族内取平均并用子弹图可视化。
核心创新是把'能否解出任务'与'是否系统性地解出任务'区分开来，并用严格同构保证这种区分是公平的。传统评测只问单个任务的 $\text{pass}\in\{0,1\}$；本文追问：在难度被数学证明完全相同的 $K$ 个反事实版本上，pass 是否一致？三个递减指标构成一个诊断谱系：一个变体都解不出说明任务太难；全部解出说明在该任务上是系统的；只解出部分则缺口大小由比例指标直接度量。另一个关键思想是利用模型的独特优势做'严格形式'的系统性检验——所有变体共享同一隐含规则，仅差表面双射映射，且各次评测互不干扰，这比人类实验干净得多。由此，认知科学中'系统性与组合性'数十年的理论争论，变成了可以直接在模型 API 上运行的数值实验。
方法步骤详情
全文四步：第一步构造四个任务家族——(1) 语法化指令学习——模型从支撑样例推断人工语言的原语规则（如 dax→RED）与函数规则（fep 把输入复制三份、zup 交换两个参数），作者设计词汇锚点、模板求解器、优先级证明三类样例保证语法可被唯一恢复；(2) 符号化瑞文矩阵——3×3 网格每格是 $F=2$ 维整数特征向量，前两行按隐含规则（常数、等差、模加减、最值等）横向生成第三列，列内特征置换增加难度；(3) 整数序列程序归纳——用概率上下文无关文法组合插入/删除/交换半边等操作，支撑集同时覆盖比查询集更长和更短的序列长度以防抄近道；(4) 布尔概念学习——用不含 NOT 的 PCFG 生成逻辑规则，并用 Hamming 图选决策边界对象保证支撑集只被最简规则解释。第二步为每个家族定义不变性类型（符号替换、特征重绑定、成分置换、样例重排）并各采 $K=5$ 个变体。第三步用官方 API 以 reasoning effort=high、结构化输出评测五款模型，每变体 5 次尝试取多数投票。第四步计算三个指标，再做推理努力消融（low/medium/high）、零温度贪心解码复测和方差分解。
技术新颖性
技术新颖性有四点。其一，任务同构的形式化：$\tau=(\pi,\sigma,\varphi,\psi)$ 把样例重排与输入/输出双射统一进一个数学框架，$\tilde{f}=\psi\circ f\circ\varphi^{-1}$ 保证难度不变，这是'缺口=不系统'这一推断成立的基础，比改写或同义词替换类的脆弱性测试严格得多。其二，三指标子弹图设计：any/fraction/all 单调递减，一张图同时读出'能力'与'系统性'两个独立维度，避免单一准确率掩盖的问题。其三，把随机性的影响变成可分解的量：利用全方差公式把跨变体、跨尝试的总方差分解为变体内（采样噪声）与变体间（系统性缺失）两个成分，再用零温度复验证明缺口不是噪声造成的。其四，四个任务家族全部来自认知科学经典范式并被改造成可程序化无限生成，兼具历史权威性与大规模可控性，而且作者额外证明可以精确控制支撑集的信息量（如布尔任务用理想观察者模型保证规则唯一性）。
实验结果
主要结果（Figure 1）显示，除布尔范畴学习外，所有任务家族都存在明显的系统性缺口。最突出的是程序归纳任务：Claude Opus 4.7 能在 91.67% 的任务变体组中解出至少一个变体，但只能在 50.00% 的组解出全部变体，缺口高达 41.67 个百分点。布尔范畴学习是显著例外：几乎所有模型都能解出全部任务和变体，证明完美系统性可实现。语法化指令学习成绩偏低且普遍不系统，唯一例外是 GPT-5.5：它呈'全有或全无'模式，能解一个变体就能解全部，否则全败。Figure 8 表明缺口对各类同构普遍存在，且增加支撑样例让任务变简单后缺口依旧。消融方面：给程序归纳任务提供程序组件提示（Figure 9）可明显提升强模型成绩但不消除缺口；把瑞文矩阵从 2 个特征加到 3 个（Figure 10）性能进一步下降。Figure 6 显示推理努力从 low 提到 high 对系统性没有一致改善，且效应高度依赖具体模型。Figure 7 显示零温度贪心解码下成绩与缺口基本不变，缺口并非采样噪声所致；Table 1 的方差分解进一步表明变体内噪声往往占总方差大头，它在掩盖而非制造缺口。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 整数序列程序归纳 | 解出任一变体 / 解出全部变体的任务组比例 | Claude Opus 4.7：91.67% vs 50.00% | 严格系统的学习者应两者相等（100% 一致） | 系统性缺口 41.67 个百分点，暴露最严重的不一致 |
| 布尔范畴学习 | 解出全部变体 | 几乎所有模型（含 Gemini 3.1 系列与 Claude Opus 4.7）全部解出 | 无（所有模型均达标） | 证明完美系统性可实现，作为其他任务家族的对照 |
| 语法化指令学习 | any/all 一致性 | GPT-5.5 全有或全无（解出任一即解出全部） | 其余模型解出任一变体但普遍无法解出全部 | GPT-5.5 是该家族唯一的完全系统模型 |
| 零温度贪心解码复测（Gemini 3.1 三型号） | 三指标变化 | 成绩与系统性缺口与随机采样基本一致 | 随机采样（正温度）下的原结果 | 排除采样噪声解释，缺口为真实行为差异 |
局限与改进
作者承认的局限：全部任务由合成数据生成，虽保证了同构可控，但与真实世界的推理需求有距离；因每道题要跑 $K=5$ 个变体 × $N=5$ 次尝试的长推理链，评测成本高，故每类不变性只采 5 个变体，覆盖有限（尽管严格系统的系统应对 $K=100$ 也同样稳）。我自己的补充观察：其一，只测了 Gemini、Claude、OpenAI 的旗舰专有模型，开源权重模型完全缺席，结论普适性存疑；其二，论文未分析失败变体的思维链内容，无法区分特征绑定错误、规则记错还是解析歧义等不同失败机制；其三，GPT-5.5 与 Claude Opus 4.7 不支持零温度推理，贪心解码结论只能在 Gemini 上验证；其四，多数投票把'不稳定但偶尔做对'与'真正系统'混在一起，虽然作者用方差分解补救，但二元 pass 判定仍偏粗糙。
独立分析的弱点
第一，诊断粒度不足：三个指标只刻画'过了几个变体'，不解释为何同一规则换套符号就失败。改进方向是引入思维链自动分析，把失败归类为绑定、检索或组合错误。第二，任务覆盖面：四个家族虽经典但都偏纯符号推理，缺少自然语言推理、数学应用题等更接近实际部署场景的组合结构任务。第三，缺少人类对照：论文主张机器应比人更系统，却没有在同一框架下报告人类被试数据，'人与机器谁更系统'仍是推测，可招募被试跑相同任务家族的子集。第四，$K=5$ 使 fraction 指标的分辨率只有 0.2，对接近系统的模型区分度不够，可对廉价任务加大 $K$ 或用序贯采样、贝叶斯估计改进。第五，模型均为 API 黑箱，无法检验是否是训练数据污染或分词器差异导致某些表面形式吃亏，补充开源模型对照实验会很有价值。
未来方向
作者提出的方向：把严格系统性作为训练目标或数据增强原则——既然组合结构已知，可在训练中显式加入同构变体做一致性正则；以及在安全评测中把系统性检验作为基准分数可信度的前提检查。可以延伸的方向：一是把方差分解框架用于定位模型内部对表面扰动敏感的成分，例如在开源模型上做表征探针，检验同构变体的内部表征是否真的'同构'；二是把任务家族扩展到多模态（图像版瑞文矩阵）与具身指令，检验系统性是否随模态漂移；三是研究推理努力与系统性的交互为何高度依赖模型（Figure 6 中 Flash-Lite、Flash、Pro 表现迥异），这可能揭示不同模型利用'更长思考'的方式存在质的差异；四是设计教学干预实验：给模型看一个变体的失败案例与解释后，能否迁移到其余变体，以检验纠错本身的系统性。
复现评估
复现条件较好。代码已在 GitHub 开源（github.com/smonsays/systematicity-eval），四个任务家族的生成器（PCFG 与同构采样）、系统提示模板（论文 Figure 11-14）与指标计算都在仓库中；数据全部程序化生成，无需下载外部数据集，本地即可造出无限任务。主要成本在于调用专有模型 API：主实验为 5 个模型 × 4 个任务家族 × $K=5$ 变体 × $N=5$ 次尝试，全部使用 reasoning effort=high 的长思维链，Token 费用可观（作者也坦承成本是限制 K 的原因）；复现 Gemini 相关图表还需 Google Cloud Credits。若改用开源权重模型加 vLLM 本地推理，可避开 API 成本并补上原论文缺失的对照。总体难度中等：跑通评测流程不难，难在预算——完整复现估计需数千美元级 API 开销，缩配版（减少任务数或用中档模型）足以验证方法本身。
论文图表
