人类认知与行为的小型基础模型 Small Foundation Models of Human Cognition and Behaviour
训练14个小模型证明0.6B即可匹配70B认知代理,且模型靠真实任务信息而非统计捷径
前置知识
行为/认知基础模型 (Behavioural Foundation Model)
指在人类行为数据(如心理学实验的逐试次选择)上微调大语言模型,使其成为能跨多个实验范式预测人类选择的通用代理。代表工作是Centaur(Binz et al., 2025),它把Llama-3.1-70B在Psych-101(1070万次逐试次选择、160个实验、6万多名被试)上做监督微调,得到的模型在预测留出被试的行为时优于专门设计的领域认知模型,并能泛化到未见过的任务。
本文的全部讨论都围绕"Centaur这种范式"展开:既要追问70B这个规模是否必要,又要追问模型到底学到了什么。不理解Centaur的工作方式与Psych-101的数据结构,就读不懂本文"匹配70B基线""留出被试""留出实验"等核心比较。
LoRA (Low-Rank Adaptation) 与适配器秩 rank
LoRA是一种参数高效微调方法:冻结预训练权重 $W$,只在选定线性层旁路加一个低秩更新 $\Delta W = BA$,其中 $B \in \mathbb{R}^{d \times r}$、$A \in \mathbb{R}^{r \times d}$、秩 $r$ 远小于 $d$。秩 $r$ 越大,适配器能调整的"容量"越大。Centaur原版用QLoRA(4-bit基权重)且 $r=8$。本文把 $r \in \{4,8,16,32,64\}$ 作为独立变量扫描,并采用rank-stabilized LoRA。
本文一个关键发现是"适配器容量可以替代参数量":Qwentaur-0.6B在 $r=64$ 时(0.513)能匹配Qwentaur-14B在 $r=4$ 时(0.516),参数量少23倍。理解LoRA秩的含义才能看懂这个"以容量换规模"的核心结论。
噪声天花板 (Noise Ceiling) 与科学遗憾最小化
噪声天花板是指:由于人类反应存在不可约的随机性,任何模型对某数据集的预测准确率都有一个理论上限。Agrawal et al. (2020)提出的"科学遗憾最小化"思路是:用DNN估计这个上限(噪声天花板),再用它减去某个可解释理论模型的预测,差值就标记出"行为比现有理论更有结构、理论还有改进空间"的数据点。本文主张微调后的小模型正是这种"噪声天花板估计器"。
这是本文对自身工作的最终定位:不声称模型是"认知理论",而是"噪声天花板估计器"。作者反复强调模型"承诺了任何架构、任何机制",它们的科学价值在于为in-distribution范式标定可预测性上限。不掌握这个概念就抓不住论文的论点层次。
负对数似然 (NLL) 与信息保留量 R
本文用平均负对数似然(NLL,单位nats)评估模型,越低越好;chance水平对应 $\ln k$($k$ 为选项数)。为做消融分析,作者定义信息保留量 $R = (\ln k - \text{NLL}_{\text{ablation}})/(\ln k - \text{NLL}_{\text{original}})$,$R=1$ 表示无信息损失,$R=0$ 表示退化为随机水平。这个量把"消融带来的NLL退化"归一化到可解释的0-1区间。
Figure 1/2/4几乎全以NLL或 $R$ 为纵轴。例如"指令占12.5%、刺激与反馈内容占75.7%、模板占11.7%"就是靠 $R$ 的逐步下降分解得到的。看懂 $R$ 的定义是解读消融实验的前提。
提示的信息通道分解 (I, S, F, C)
作者把Centaur的预测目标 $P(C_{t+1} \mid C_{1:t}, T)$ 中笼统的 $T$ 拆成四个可独立操纵的通道:任务指令 $I$、实验刺激 $S_{1:t+1}$(含当前试次的刺激)、结果反馈 $F_{1:t}$、选择历史 $C_{1:t}$。由此可以设计四种消融:original(全保留)、instruction-ablated(去指令)、content-masked(把刺激值与反馈结果替换为通用占位符如"some points""a shape",但保留格式,并把指令压成最小动作空间定义 $I_{\min}$)、history-only(只留选择历史)。
这是本文第二大贡献的技术骨架。"内容遮蔽(content-masked)"是本文新提出的、能区分"靠内容"还是"靠模板"的关键条件;正是它摧毁了75.7%的已学信息并把模型压到随机以下,从而驳斥了"模型只靠选择历史/模板统计捷径"的质疑。
研究动机
Centaur(Binz et al., 2025)通过在Psych-101上对Llama-3.1-70B做监督微调,建立了"通用认知代理"这一范式,并在预测留出被试的行为上超越了专门设计的领域认知模型。但这个范式留下两个悬而未决的问题。第一是规模问题:70B参数是否真的必要?预测精度可能受限于基模型容量、适配器(LoRA)能调动的容量、行为训练数据量,或人类反应的不可约随机性,而这些因素从未被独立地分开考察过。第二是机制问题:近期一批工作(Xie & Zhu, 2025;Liu & Ding, 2025;Namazova et al., 2025;Schlegelmilch & Dome, 2026)提出严重质疑——这些模型可能并没有真正"处理任务结构",而是利用选择序列里的统计捷径(例如只看选择历史的位置模板)就达到了高准确率;Xie & Zhu (2025)发现"仅用选择历史"条件下模型大部分精度仍能保留,Liu & Ding (2025)发现去掉任务指令影响很小。如果捷径假说成立,那么这些模型作为科学仪器的价值就大打折扣,因为它们的预测并非建立在被试真正使用的信息之上。
本文的目标是本文设定两个具体目标。其一是厘清规模:训练14个从135M到14B参数、横跨四个架构族(Llama-3.1/3.2、Qwen3、SmolLM2/3、OLMo2/3)的模型,在统一超参下(rank-stabilized LoRA、AdamW、学习率 $5 \times 10^{-5}$、bf16、单卡A100 80GB)微调,从而把"参数量""适配器秩 $r \in \{4,8,16,32,64\}$""训练数据量(1/16到全量的嵌套分层子集)"三个旋钮分别独立地扫描,弄清楚要匹配一个复现的Centaur-70B(在Psych-101上0.524 nats)到底需要多大的模型、多大的秩、多少数据。其二是弄清机制:把提示分解成四个信息通道(指令 $I$、刺激 $S$、反馈 $F$、选择历史 $C$),在32个序列实验上做结构化消融,并在2个具有相反可交换性的实验上做试次顺序置换检验,从而系统性地判定模型到底依赖哪些信息、是否按照任务结构所要求的方式使用它们。
与已有工作不同的是，本文的独特切入角度体现在方法论的两个精细化上。针对规模问题,以往研究把"模型大小""适配器容量""数据量"混为一谈,本文则首次将三者解耦并独立扫描,从而揭示出适配器秩与参数量之间存在可量化的替代关系。针对机制问题,以往工作要么只覆盖4个实验(Xie & Zhu 2025的history-only条件、Liu & Ding 2025的instruction-ablated/choice-only条件),要么没有区分"内容"与"位置模板"这两个概念上不同的信息源,因此无法区分"强捷径假说"(选择历史已蕴含全部信息)与"格式捷径假说"(模型只靠试次语句的重复排布定位答案)。本文新提出的content-masked条件恰好填补了这个空白:它用通用占位符替换具体刺激值与反馈结果、保留每个试次的格式,因此由它造成的退化只能归因于"信息内容"而非"位置模板";再配合27个实验的覆盖面和顺序置换的负对照,本文得以把"是否靠内容、是否按结构用内容"这两件事分别检验清楚。
核心方法
整体思路是"先用一组训练好的小模型回答规模问题,再用其中一组固定配置(rank 16、全量数据)回答机制问题"。直觉上,如果认知代理的高精度只来自"在Psych-101上记住选择分布",那么再小的模型只要能塞下这些统计量就应该足够;反之若精度依赖对任务结构的处理,则更细的提示通道会显著影响预测。技术路线上,作者先在Psych-101(1070万次逐试次选择、160个实验)上对14个base模型做监督微调,损失为对人类响应token做掩码的交叉熵,不优化任务指令或上下文;再在两个基准上评测:Psych-101(in-distribution,留出被试)与Psych-201-RT(out-of-distribution,18个留出实验)。机制分析阶段固定用8个匹配模型(Qwentaur和Llama-Centaur各4档),先做四档结构消融(original / instruction-ablated / content-masked / history-only)跨27个有序列响应选项的实验,再做试次顺序置换:在可交换的THINGS odd-one-out(独立三元组、无反馈、无自适应)上期望顺序不变,在自适应阶梯的跨期选择(每个offer由上一次响应生成)上期望顺序敏感。
核心创新点有三处,与已有方法的本质区别如下。第一,把"规模"问题从单一变量重构成"参数量 × 适配器容量 × 数据量"的三维独立扫描,从而能分离出"适配器容量可替代参数量"这一性质——这是Xie & Zhu、Liu & Ding等此前质疑/复现工作都没做过的分解。第二,把Xie & Zhu形式化里笼统的 $T$ 进一步分解为四个可独立操纵的通道,并新提出content-masked这一关键条件:它通过用占位符替换内容而保留格式,把"内容"与"模板"两个混在一起的信息源干净地切开,这是判定"模型靠内容还是靠模板"的决定性实验设计。第三,用可交换性(exchangeability)作为"是否按结构使用信息"的可证伪检验:在试次独立的设计上要求顺序置换下预测不变、在自适应设计上要求顺序敏感,这一"对称的双向检验"远比单纯做ablation更能说明模型是否真正学到了任务结构,而非默认套用序列启发式。
方法步骤详情
完整步骤分五阶段。阶段一·模型选择:14个base(非instruct)模型来自四族——5个Qwen3-Base(0.6B/1.7B/4B/8B/14B)、3个Llama-3(1B/3B/8B)、4个SmolLM(SmolLM2的135M/360M/1.7B + SmolLM3的3B)、2个OLMo(OLMo-2的1B + OLMo-3的7B);微调后分别命名为Qwentaur、Llama-Centaur、Smoltaur、Olmotaur。阶段二·训练:rank-stabilized LoRA作用于所有线性层,AdamW(学习率 $5 \times 10^{-5}$、weight decay 0.01)、线性warmup 100步、单epoch、bf16、单卡A100 80GB、训练时长3到49小时;损失为对人类响应token掩码的交叉熵,不优化指令与上下文。阶段三·能力扫描:在固定数据下扫秩 $r \in \{4,8,16,32,64\}$;在固定秩 $r=16$ 下扫嵌套分层子集(1/16、1/8、1/4、1/2、全量,每个更大子集严格包含更小者,且160个实验在每个比例都保留,从而把"数据深度"与"范式覆盖"解耦)。阶段四·评测:在Psych-101(38个有领域认知模型基线的任务)与Psych-201-RT(18个留出实验)上计算平均NLL(nats),并以复现的Centaur-70B(0.524)与各base checkpoint为对照。阶段五·机制诊断:对8个匹配模型(Qwentaur/Llama-Centaur各4档)在27个有序列响应选项的实验上做四档结构消融,计算信息保留量 $R = (\ln k - \text{NLL}_{\text{ablation}})/(\ln k - \text{NLL}_{\text{original}})$;并在THINGS odd-one-out(768被试,可交换)与跨期选择(1295被试,自适应阶梯)上,对每个(被试,目标试次)对抽取50次上下文试次的随机置换,测量响应token概率在置换下的方差,低方差即顺序不变。
技术新颖性
技术新颖性可分四点。其一,首次把"参数量—适配器秩—数据量"三者解耦并独立扫描,得出三者中适配器秩与参数量存在可替代关系(0.6B/$r{=}64$ ≈ 14B/$r{=}4$)、数据量收益递减(连续翻倍增益从0.016降到0.008 nats)这样的定量化结论,远比"训个更大的模型"更具工程指导价值。其二,content-masked条件是本文独有,填补了"内容 vs 模板"的判别空白——以往history-only和instruction-ablated都只能检验强捷径假说,无法区分格式捷径。其三,用可交换性做"双向"证伪:既要在可交换任务上看到顺序不变、又要在自适应任务上看到顺序敏感,这种对称设计比单向ablation更有说服力地说明"模型按任务结构使用信息"。其四,对自身工作给出克制的定位——明确声明这些模型不是ACT-R/Soar意义上的认知理论(不承诺架构与机制),而是噪声天花板估计器,这种诚实的范畴界定本身就是方法论贡献,因为它厘清了"预测"与"解释"的边界,为后续机制与表征分析留出了明确的研究空间。
实验结果
核心发现分三层,每层都带具体数字。第一层·规模(in-distribution):在Psych-101上"是否经过微调"比"模型多大"重要约10倍。Qwen3-0.6B微调前后从0.731降到0.528(增益0.203 nats),8个匹配模型平均增益0.188(区间0.138–0.295);而Qwentaur-0.6B到Qwentaur-14B只增益0.019、Llama-Centaur-1B到8B只增益0.024。在Centaur原版的秩 $r=8$ 下,四个模型即可匹配复现的Centaur-70B(0.524):Qwentaur-8B与Llama-Centaur-8B均0.517、Qwentaur-4B 0.520、Smoltaur-3B 0.523。秩可替代参数量:Qwentaur-0.6B在 $r=64$(0.513)匹配Qwentaur-14B在 $r=4$(0.516),参数少23倍;Llama-Centaur-1B在 $r=64$(0.520)匹配Llama-Centaur-8B在 $r=4$(0.521),参数少8倍;匹配Centaur-70B所需规模随秩从 $r=4$ 的8B一路降到 $r=32$ 及以上的0.6B。数据量收益递减:Qwentaur-14B连续四次翻倍的增益为0.016/0.013/0.009/0.008 nats。第二层·规模(OOD):在Psych-201-RT上画风突变,8个匹配模型(秩16、全量)的NLL从0.788到1.033,跨度0.244 nats,远大于in-distribution的0.028;微调前每10倍参数Qwen3在两基准上分别领先0.062/0.118 nats、Llama-3领先0.177/0.204,微调后in-distribution优势几近消失(0.014/0.026)而OOD优势大体保留(0.104/0.172);所有14个微调模型在in-distribution上都击败最强的base(Qwen3-14B,0.647),但OOD上只有3个能击败同一base(0.869)。第三层·机制:结构消融信息保留量从original(1.00)→instruction-ablated(0.84)→content-masked(-0.12)→history-only(-0.26)单调下降,每步显著(Friedman $\chi^2(3)=63.76$,$p=9.3 \times 10^{-14}$;两两Wilcoxon $p<10^{-3}$),8个模型一致;指令占损失12.5%、刺激与反馈内容占75.7%、模板占11.7%,27个任务中18个(67%)严格单调退化。顺序置换:THINGS odd-one-out上微调模型方差近零(学到独立判断的可交换性),跨期选择上明显顺序敏感(符合自适应阶梯的设计要求)。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Psych-101 留出被试 (in-distribution) 预测 | 平均负对数似然 NLL (nats, 越低越好) | Qwentaur-8B / Llama-Centaur-8B 均为 0.517 (r=8); Qwentaur-0.6B 在 r=64 为 0.513; 8个匹配模型在 r=16 跨度 0.509–0.537 | 复现的 Centaur-70B 为 0.524 (r=8); 最强 base Qwen3-14B 为 0.647 | 在 r=8 下多个3–8B模型以约1/10到1/20的参数达到或略优于70B基线; 在 r=64 下0.6B模型以1/23的参数匹配14B/r=4 |
| Psych-201-RT 留出实验 (out-of-distribution) 迁移 | 平均负对数似然 NLL (nats, 越低越好) | 8个匹配模型 (r=16) 跨度 0.788–1.033, 最大模型 Qwentaur-14B 与 Llama-Centaur-8B 最佳 | 最强 base Qwen3-14B 为 0.869; 14个微调模型中仅3个在OOD上击败该base | OOD上规模优势保留 (10倍参数约领先0.10–0.17 nats), 说明规模应按迁移而非in-distribution拟合来选择 |
| 结构消融: 内容遮蔽 vs 历史-only (27个序列任务, 8模型) | 信息保留量 R = (ln k − NLL_ablation)/(ln k − NLL_original) | instruction-ablated 0.84; content-masked −0.12; history-only −0.26 (内容占损失75.7%) | original R=1.0; chance 水平 R=0 | 内容遮蔽把模型压到随机以下, 直接驳斥"模型只靠选择历史/模板"的捷径假说 |
局限与改进
作者明确承认三点。其一,数据结构:分层子集是在"整段被试session"级别抽取的,且保证160个实验在每个比例都出现,因此隔离的是"数据深度"(每实验更多被试),"数据广度"(更多范式)未被测量;且被试嵌套在实验内、没有同一个人跨多个范式的数据,无法做Gobet & Ritter (2000)、Orr et al. (2025)指出的person-task分解,Psych-201也仍受此结构限制。其二,训练与架构:全程是低秩LoRA,秩扫描虽证明容量可替代参数,但没测全量微调,无法区分"真天花板"与"低秩施加的天花板";且四个架构族全是dense decoder-only Transformer,MoE、状态空间、混合架构下平台是否会移动仍未知;SFT优化对训练分布的模仿,对远离训练分布的能力有可测代价(见附录E)。其三,作为科学仪器的范围被训练数据的范式覆盖所限,对产生比Psych-101更极端结果的条件下能否外推未经检验(Schlegelmilch & Dome, 2026),D'Alessandro & Thompson (2025)还警告廉价AI生成行为数据可能诱发"路灯效应"。我额外观察到两点:噪声天花板这一角色本质上仍是"黑箱预测器",作者自己也承认它"不解释任何选择如何生成",因此把噪声天花板与可解释理论之间的差距解读为"理论改进空间"时,仍隐含假设SFT已榨干了数据中的可预测信号——而作者在Section 6也承认这无法从benchmark本身分离(method的极限 vs data的极限)。
独立分析的弱点
独立分析有四点弱点。第一,广度未测:作者只扫了数据深度,但模型恰恰是"in-distribution饱和、OOD远未饱和",所以最该测的其实是"按实验而非按被试分子集"来估计认知基础模型到底需要多少种不同范式;改进方向是构造按实验分层、且同被试跨多范式的数据集(作者自己也点到了)。第二,低秩天花板与全量微调未分离:秩扫描显示 $r$ 与参数可替代,但从未做full fine-tuning,因此"Psych-101上的窄带到底是认知信号的天花板还是LoRA的天花板"仍无法区分;改进方向是在最小尺度(135M/360M)上做full fine-tuning对照。第三,架构多样性窄:仅dense decoder-only,MoE/SSM/混合架构未覆盖;鉴于OOD才是规模收益所在,不同容量分配方式可能显著改变平台位置,值得专门扫描。第四,content-masked虽巧妙,但它把指令压缩成 $I_{\min}$ 时同时改变了"信息量"与"指令长度"两个变量,严格说仍存在混淆;改进方向是设计"长度匹配但语义保留/破坏"的对照,或对指令做更细粒度的语义扰动,以更干净地隔离"指令内容"的贡献。
未来方向
作者明确提出的方向包括:(1)按实验而非按被试做子集,估计所需范式数量;(2)采集同一被试完成多个范式的数据,支持person-task分解以真正界定可预测性;(3)在最小尺度上做full fine-tuning,分离低秩天花板与信号天花板;(4)扩展到MoE/状态空间/混合架构;(5)结合RL(GRPO/对比DPO)向person-level行为档案而非task-level分布微调,因为RL"在SFT记忆处泛化"。基于本文成果可延伸的方向我认为还有:(a)把content-masked与顺序置换做成"诊断套件"自动评估任何新认知代理,形成标准化基准;(b)把"噪声天花板估计器"的定位工程化,即对每个心理学实验自动产出逐数据点的可预测性地图,直接服务于"科学遗憾最小化";(c)探索不同通道(尤其反馈 $F$)在online/RLHF式微调下的相对权重变化,验证"按结构用信息"是否随训练目标改变而漂移;(d)用机制可解释性工具(探针、激活修补)检验content-masked退化时究竟是哪些注意力头/层失效,从而把"黑箱预测器"向"部分机制化"推进,回应作者"是否向内移动了一步"的开放问题。
复现评估
复现性总体很强。代码、所有四族的训练/评测/可视化脚本全部开源(https://github.com/socius-org/Centauri),LoRA适配器权重在HuggingFace发布(https://hf.co/collections/socius/Centauri),训练数据Psych-101公开可得且作者使用与Centaur完全相同的train-test划分与提示模板(无修改)。超参完全统一并完整披露:rank-stabilized LoRA作用于所有线性层、$r=\alpha \in \{4,8,16,32,64\}$($r=16$为参考配置)、AdamW学习率 $5 \times 10^{-5}$、weight decay 0.01、线性warmup 100步、单epoch、bf16、单卡NVIDIA A100 80GB、训练时长3–49小时(完整训练时间与batch配置见附录A的Table 2)。结构消融与顺序置换用确定性的提示操纵脚本(已入库),置换检验每(被试,目标试次)对抽50次随机置换。复现门槛主要是算力:单卡A100即可复现单族训练,但14个模型×多秩×多数据子集的全量扫描需要可观的GPU-时。一个需要留意的复现陷阱是上下文窗口:Qwen3/Llama-3/SmolLM3/OLMo-3在32768 token(损失2.5%试次),SmolLM2在8192(损失25.0%),OLMo-2在4096(损失39.6%),因此不同族的"缩放"比较会与代际/窗口混淆,作者也因此主要聚焦Qwentaur与Llama-Centaur两族,这点在复现时必须照搬才不会得到误导性结论。
论文图表
