NeuroCogMap：揭示大语言模型的认知组织结构 NeuroCogMap Reveals Cognitive Organization of Large Language Models

第一步『能力空间策划』：从 5683 篇论文抽取能力术语、基准数据集，合并同义，得到 45 个能力及数据集映射。第二步『稀疏特征提取』：把样本拼成问答对，截断到 1024 token，bfloat16 推理，提取答案跨度上非特殊 token 的 SAE 激活，按句切分并句内取平均，得到句级稀疏激活矩阵；Gemma 用 Gemma Scope（16384 latents/层）、Llama 用 Llama Scope（32768 latents/层）。第三步『功能图谱』：对特征做选择性筛选（用 $G(x)=1-\mathrm{mean}(|x|)^2/\mathrm{mean}(x^2)$ 滤掉广谱特征）、L2 归一、SVD 降到 ≥80% 方差；用代价 $J(j,p)=1-\cos(z_j,\mu_p)+\lambda_{layer}\sum_l r_{p,l}|l-l_j|$ 做带层正则的聚类；用联合分 $C(k)=0.4\,Gap+0.3\,Q+0.3(1-R)$ 在 $k=10\dots300$ 中选最优，得到 $k=270$（分值 0.771）。第四步『结构连接组』：对前向跨层 latent 对用 decoder/encoder 方向余弦相似 $s(f\to g)$，parcel 级取平均得到有向边 $S_{p\to q}$。第五步『认知图谱』：每 parcel 取至多 1000 高激活样本，TF–IDF 抽词，喂给 GPT-OSS-20B 产出 100–200 字功能描述。第六步『能力映射』：融合数据集激活 $A_d(p)$、干预效应 $L_d(p)$（增强 $\gamma=0.5$、抑制 $\gamma=-1.0$）与语义一致性，得到 $M(c,p)=(1-\beta)z(R_c(p))+\beta z(Q_c(p))$，$\alpha=\beta=0.5$。第七步『层级』：按 Bloom 复杂度把能力分到感知/表征/抽象/应用四层。第八步『病理分析』：用 normative − pathological 对比在电路、parcel、能力、层级四个层面求 $\Delta a,\Delta c,\Delta F,\Delta G,\Delta h$。第九步『检测』：对每个响应抽 12 维特征（4 激活指标 + 4 连接失配 + 4 原型对齐），L2 正则 + 类平衡逻辑回归，五折分层交叉验证取 AUROC。第十步『干预』：选 3 个最显著正 parcel 增强、3 个最显著负 parcel 抑制，系数 $\alpha_p=\pm\lambda_{steer}\tanh(\Delta_p/s)$，$\lambda_{steer}=0.3,s=80$，强度 $\eta\in\{0.1,0.3,0.5,1.0\}$。

技术新颖性集中在五点。一是首次把 SAE 特征聚类成『功能分区 + 结构连接组 + 认知图谱 + 能力映射 + 层级』五合一的多层级图谱，并用联合分（含 LLM 辅助质量与冗余评估）数据驱动地选出 $k=270$，而不是拍脑袋定粒度。二是用 decoder/encoder 方向余弦相似估计跨层 parcel 间『有向结构连接』，把功能性连接约束在结构连接组上，避免把相关误读成因果。三是把病理分析转化为 12 维极简可解释特征 + 逻辑回归，AUROC 在拒绝失败上接近 0.99，说明问题不在分类器复杂度而在『签名特征』本身的组织力。四是把同一张图谱既用于检测又用于 mechanistic-guided 干预，实现『诊断—归因—消解』闭环。五是首次把 LLM 内部签名倒过来指导经典认知模型（Dual-systems）的可检验改造，让人工系统真正反哺认知科学。

第一个弱点是严重依赖公开 SAE checkpoint（Gemma Scope、Llama Scope）。对没有高质量 SAE 的模型（多数非主流开源模型、许多闭源模型）整个 pipeline 失效；改进方向是训练即插即用的通用 SAE，或改用其他可解释基（如 transcoders、JumpReLU SAE）让图谱对基选择稳健。第二个弱点是 LLM 辅助标注的可重复性：GPT-OSS-20B/temperature 0.3 的描述、跨模型判定 $H(p,q)=0.4E+0.6J$ 都受生成随机性影响；可引入多模型投票、确定性约束或人工全量复核。第三个弱点是病理检测特征里『top-k 显著 parcel/capability/edge 的选择』在训练折内用固定规则但 k 是手设的（10/10/10/10/25/25），对未见失败模式（新型越狱、新型偏见）泛化存疑；可改为端到端可学习的签名选择或加入对抗鲁棒性评测。第四个弱点是干预只在『有明显残留 pathology』时收益大，对基线已近天花板的场景几乎无效，说明图谱更适合作诊断而非通用增强；改进方向是把干预强度 $\eta$ 与 parcel 选择做成自适应、甚至与 RLHF/SFT 联合训练。第五，认知模型发现目前只在 Two-Step 单一范式验证，是否可推广到工作记忆、强化学习等其他经典范式未知。

作者提出的方向：扩展到更大模型、更多架构与更广后训练流程，以分离稳定组织原则与偶发项；迁移到多模态系统，检验功能分区能否跨模态或需要新的跨模态组织；把静态图谱升级为动态与因果模型，刻画内部状态轨迹、有向交互与系统性扰动，朝『人工智能的认知神经科学』迈进。基于成果可延伸的方向：第一，把 NeuroCogMap 当作对齐/安全的内部监控层，在线检测拒绝失败与谄媚（图4 已显示 AUROC 近 0.99，工程化潜力大）；第二，把能力—parcel 映射用于数据高效的能力定向训练，只增强相关 parcel；第三，把皮层对齐（图5）反过来指导模型架构搜索，看哪种训练目标更能逼近高级联合皮层；第四，把认知模型发现 pipeline（图6e 的 reasoning agent + model-writing agent）泛化到 Psych-101 的其余范式（情景记忆、Shepard 分类、跨期选择），建立『LLM 引导的科学发现』通用范式；第五，结合 causal mediation 把 parcel 间的『结构连接组』升级为真正的因果链路图。

复现评估总体较好但需大量资源与外部依赖。代码与归档 release 已承诺公开，硬件明确（8×NVIDIA RTX A6000、Intel Xeon Gold 6346、CUDA 12.2），所有数据集均公开（TruthfulQA、NQ-Open、HaluEval、MedHallu、Dolly、SciQ、AdvBench、JBB-Behaviors、BBQ、Sycophancy-Eval、LeBel fMRI、Psych-101、Two-Step fMRI）。SAE checkpoint 亦公开（Gemma Scope、Llama Scope）。关键外部依赖是 GPT-OSS-20B（本地 vLLM 端点）用于标注/判定/跨模型匹配，以及 GPT-5.2（temperature 0.7）用于模型发现 agent——这两者并非完全可复现的开放权重模型，端点与版本变化会影响结果。聚类超参与随机种子固定为 42，给出了 16 种 SVD×聚类迭代的稳定性分析（Supplementary Table 4）。合成训练实验用 GPT-NeoX/Pythia（70M/160M/410M）从配置初始化而非预训练权重，可严格复现。主要难点在于：(1) 重新提取 SAE 激活的算力开销；(2) LLM 辅助标注的非确定性；(3) $k=270$ 由 LLM 辅助打分驱动，重建需复现该评分协议。综合判断：方法学核心可复现，但完全比特复现需复刻相同的 LLM 标注端点，存在中等难度。