← 返回 2026-06-03

从激活到因果：人脑中因果视觉表征的发现 From Activation to Causality: Discovery of Causal Visual Representations in the Human Brain

Yuval Golbari, Navve Wasserman, Matias Cosarinsky, Roman Beliy, Aude Oliva, Antonio Torralba, Michal Irani, Tamar Rott Shaham 📅 2026-05-22 👍 54 2026-07-13 08:36
fMRI 反事实编辑 因果推断 生成式模型 脑神经科学 脑编码模型 视觉表征
arXiv HuggingFace PDF

BrainCause用反事实因果测试取代激活最大化来发现脑视觉表征。

前置知识

Image-to-fMRI 编码模型 (Encoding Model)

一类回归模型，输入自然图像、输出大脑皮层约40K个体素的预测fMRI响应。它在(image, fMRI)配对数据上训练，可对从未被真实扫描过的图像预测脑活动，从而把'脑响应'变成可批量计算的资源，是BrainCause几乎所有响应数据的来源。

BrainCause的体素得分大多基于预测而非实测脑响应，不读懂编码模型就无法理解它如何把生成图像转成体素层面的分数。

激活最大化与类别选择性

神经科学定位视觉概念的标准范式：比较目标类别与对照类别的平均响应差，响应更强的体素/区域即被判定为'该概念的选择性区域'，由此发现了FFA(面孔)、EBA(身体)、VWFA(词)等功能区。它本质是相关性度量。

论文正是要批判这套范式——高激活≠真表征，因为响应可能来自颜色、背景、姿态等混淆因素。理解这一点才能读懂全文立意。

反事实编辑 (Counterfactual Edit)

在尽量保留图像其余内容(背景、颜色、构图)的前提下，用图像编辑模型把目标概念移除或替换，例如把人脸换成动物脸或抹除文字。它构造出'只差概念本身'的最小对照对，是BrainCause把相关性升级为因果性的核心工具。

反事实体素得分是BrainCause三大得分之一，区分真因果区域与假阳性的关键机制，也是读懂方法与公式的前提。

体素(voxel)与功能性ROI

fMRI把脑切成3D网格，每个单元称体素，其信号反映血氧水平(近似神经活动)。ROI是已知对某类别选择性响应的脑区，如FFA/OFA(面孔)、EBA/FBA(身体)、VWFA/OWFA(词)。BrainCause在体素级打分并用ROI对齐率验证。

BrainCause既在体素级打分又用ROI对齐率验证，是读懂表2和图5的脑图、判断发现是否落在已知功能区的前提。

Natural Scenes Dataset (NSD)

大规模7特斯拉fMRI数据集，8名被试每人观看约1万张自然图像。本文用其中完成全部会话的4名被试。NSD是BrainCause实测评估、CLIP检索、脑编码模型训练的数据基础。

所有'实测数据'评估都来自NSD，读懂概念覆盖率与实测得分必须先知道它的规模与结构。

语义负样本 (Semantic Negatives)

由LLM提议的、与目标概念语义/视觉相关但本身不含目标的概念，例如目标'人手'时提议'人腿''机器人手'。它们用于测试体素响应的是'概念本身'还是与之共现的相关物，是三大得分中因果性检验的一支。

语义负得分是区分因果区域与假阳性的核心机制之一，理解它才能看懂因果得分公式与表1的对比。

研究动机

识别大脑中哪些区域表征某个视觉概念是神经科学的核心挑战。现有方法几乎都基于激活最大化：比较目标类别与对照类别的平均响应差，响应更强的体素即被判定为'该概念的选择性区域'，并由此发现了面孔(FFA)、场景、身体(EBA)、词(VWFA)等功能区。但激活强并不等于真正表征该概念——响应可能被与之共现的相关线索驱动，例如一个对'冲浪'高响应的区域，真正在意的可能是水面、人体存在或姿态，而非冲浪本身。这种混淆在类别集合很小、对照可控的早期研究里尚可接受，但在数百概念的大规模分析中会系统性地制造假阳性。此外现有方法也很少告知哪些后续fMRI实验值得做、哪些概念在已有数据中代表性不足。

本文的目标是本文目标是把'相关性定位'升级为'因果性定位'：给定一个目标视觉概念，自动找出对它有因果特异性响应的脑区/体素集合并给出置信度。具体地，作者提出BrainCause框架，要求发现的区域不仅对正样本(含概念的图像)响应强，而且其响应必须显著高于语义相关但不含目标的负样本、以及把概念移除而保留其余内容的反事实编辑图像。作者还希望该框架在已有数据不足以验证时，自动指出缺口并提议后续实验所需的正样本、语义负样本与反事实编辑。他们在NSD上系统评测260个概念，既验证已知功能区的恢复，也发现手部、腿部、文字、路标、logo等新概念的细粒度表征。

与已有工作不同的是，独特切入角度在于：作者意识到生成式模型(FLUX.2)与LLM(Gemma)的成熟，使'为任意概念自动构造受控刺激集'在工程上变得可行，从而把神经科学里'难以扩展'的传统因果手段(病灶、刺激)转化为可批量计算的流程。关键区别是，BrainCause不依赖扫描仪里的真实刺激干预，而是用反事实编辑构造'虚拟干预'，再用image-to-fMRI编码模型预测被干预图像的脑响应，从而在体素层面回答'若去掉这个概念，响应是否仍高'。这与只看激活幅度的MindSimulator等检索式方法、以及只生成图像最大化某区域激活的方法形成本质区别——后者无法区分真表征与混淆驱动的响应。

核心方法

BrainCause整体思路是'用生成模型批量造受控实验，再用编码模型读脑响应'。输入是目标概念(如'人脸')与被试的image–fMRI数据集，输出是候选体素集+置信度。流水线分三步：先构造因果数据集，含正样本、语义负样本、反事实编辑三类刺激，并从实测数据用CLIP检索补充正/负样本；再对每个体素计算三类得分——激活得分(对正样本的平均响应)、语义负得分(正样本与最难负样本之差)、反事实得分(每张正图与其最难编辑版之差)，后两者平均成因果得分，用以筛选候选体素集；最后在留出集与实测数据上验证，并结合'概念在实测集中的覆盖率'给出最终裁决：覆盖高且因果证据强为高置信发现，覆盖低则触发后续实验建议。

核心创新是把'因果性'显式编码进体素打分函数。对每个体素v，定义激活得分 $A(v)=\mathrm{mean}_{i\in Pos}\, r_v(i)$；语义负得分 $S(v)=A(v)-\mathrm{mean}_{j\in\text{hardest 10 neg}}\, r_v(j)$；反事实得分 $C(v)=\mathrm{mean}_{i}\big(r_v(i)-r_v(\mathrm{edit}^*(i))\big)$，因果得分取 $S(v)$ 与 $C(v)$ 的平均。候选区域=因果得分>0或排名最高的体素集。与激活最大化的本质区别在于：后者只要求 $A(v)$ 大，而BrainCause额外要求响应在概念被移除/替换后显著下降，从而把混淆驱动的响应显式排除。这把'高激活=表征'的隐含假设改成了'高激活且因果特异=表征'的可证伪判据。

方法步骤详情

步骤一，因果数据生成：LLM(Gemma-3-27B-IT)为目标概念生成200张训练+100张验证的正样本提示，并提议10个语义负概念各10条提示；再为50张训练图、20张验证图各提议10条反事实编辑指令，全部用FLUX.2生成图像，用VLM(Qwen3-VL-8B)验证目标概念的在场/缺席，最终得约80–100张语义负、400–500张反事实负。步骤二，编码：所有图像过image-to-fMRI编码器得到约40K维体素响应。步骤三，打分搜索：按上述公式给每体素算三得分，因果得分平均后取top-100体素作为候选区域。步骤四，验证与裁决：在生成留出集与CLIP检索到的实测数据上重算得分，用统计检验给出p值(见附录A.8)；同时统计实测集对概念的正/负样本覆盖率。步骤五，按'覆盖×证据'组合出最终结论，证据不足时输出后续实验所需的刺激建议。

技术新颖性

新颖性有四点。其一，首次把'反事实编辑'作为体素级因果探针引入脑表征发现，且整个流程由LLM+生成模型+VLM自动闭环，可扩展到260个任意概念，突破了传统类别集合小而固定的瓶颈。其二，得分函数把'最难负样本'(hardest negative)思想引入神经科学——用每体素最敏感的负样本而非平均，更严苛地暴露混淆。其三，把'实测数据覆盖率'显式作为置信度的一部分，承认预测脑响应有系统偏差，因此证据强度要与实测覆盖联合解读，而非单纯相信生成数据上的高分。其四，闭环到实验设计：当证据不足时自动提议下一轮该采集哪些正样本/负样本/编辑，把发现、验证、再设计串成迭代闭环，这在以往脑表征发现工作里是缺失的。

Concept-Targeted Causal Data Generation.
Figure 2: Concept-Targeted Causal Data Generation.

实验结果

实验在NSD上对260个概念、4名被试(约40K体素/人)进行。发现一：激活法假阳性惊人地高——以MindSimulator发现的区域为例，仅26.6%的概念通过因果验证，假阳性率高达73.4%；改用因果得分排名后，假阳性降到23%、真阳性升到38.7%。发现二，表1对比四方法(top-100体素，top-50概念)：BrainCause保持高激活(生成数据2.05、实测1.08)的同时因果得分全面提升——生成语义负得分从MindSimulator的−0.44升到0.62，实测从0.27升到0.71，反事实编辑得分达0.98，远超所有基线。发现三，表2验证已知功能区对齐：top-100体素中Bodies 99%、Words 99%、Faces 90%、Places 74%落在对应NSD功能ROI内。发现四，因果发现的体素空间上自发聚集(图5)，如tools聚到EBA附近、animal faces落在FFA/OFA；图6还显示人脸/手/腿在FFA、EBA、FBA间形成细粒度分工，文字/路标/logo在VWFA/OWFA间各成模式。发现五，反事实编辑尤其有力，如把文字路标改成同背景的形状后，文字区的响应显著下降。

Quantitative comparison across discovery methods.
Table 1: Quantitative comparison across discovery methods.
BrainCause aligns with known functional regions.
Table 2: BrainCause aligns with known functional regions.
Causal evaluation of discovered regions.
Figure 3: Causal evaluation of discovered regions.
Causal ranking reduces false discoveries.
Figure 4: Causal ranking reduces false discoveries.
Concepts discovered by causal evaluation.
Figure 5: Concepts discovered by causal evaluation.
Fine-grained organization of related concepts.
Figure 6: Fine-grained organization of related concepts.
查看结构化数据
任务指标本文基线提升
区域发现假阳性率(260概念, subject 1) FPR (高激活但因果得分为负的比例) 23% (因果得分排名) MindSimulator 73.4% 下降50.4个百分点，假阳性大幅削减
区域发现真阳性率(260概念) TPR (高激活且因果验证通过的比例) 38.7% (因果得分排名) MindSimulator 26.6% 提升12.1个百分点，真发现更多
因果特异性(生成数据语义负得分) Semantic-negative score (越高越因果) 0.62 (BrainCause) -0.44 (MindSimulator) +1.06，从负转正且大幅领先
因果特异性(反事实编辑得分) Counterfactual edit score 0.98 (BrainCause) 0.23 (MindSimulator) +0.75，反事实干预下响应下降最显著
已知功能区对齐(top-100体素) 落入NSD功能ROI的比例 Bodies 99% / Words 99% / Faces 90% / Places 74% MindSimulator 等未提供 证明因果发现能恢复已被确立的功能组织

局限与改进

作者自承：BrainCause依赖当前语言/视觉模型，生成、编辑、检索、验证任一环出错都可能让相关混淆未被测试到，因此发现的区域只是'相对于当前流水线考虑的替代方案'而言因果。附录A.7分析其假阳性，常与天空、反射、光照对比等宽泛图像属性有关，且不少源自语义负样本生成失败(LLM没真正排除目标概念)。此外我观察到：所有'生成数据'评估本质是模型预测模型，编码模型的偏差可能被因果得分掩盖；反事实编辑虽保留背景但仍可能改了不该改的因素(如整体光照)，因此因果特异性的'干净度'受生成模型保真度限制；260概念由GPT-5自动列出，概念空间的覆盖与边界本身带LLM偏见；且只在4名NSD被试上验证，跨人群、跨扫描仪的稳健性未知。

独立分析的弱点

弱点一：因果性边界受限于生成模型能力。改进方向是引入更细粒度的编辑约束(如分割引导的局部inpainting)与多模型交叉验证编辑是否引入额外变化。弱点二：hardest-negative选取固定为top-10，对混淆分布敏感；可改为自适应阈值或对抗式采样。弱点三：实测覆盖率与因果证据的'裁决规则'是手工启发式，缺少理论保证；可用贝叶斯证据合成或校准的概率输出替代。弱点四：260概念由单一LLM生成，存在概念空间偏倚；应结合本体论/认知科学概念库做覆盖性审计。弱点五：评估只在4名被试、单一7T数据集，泛化到3T、临床人群、个体差异未验证；建议在BOLD5000等数据集复现。弱点六：流水线一次性生成、非迭代，作者自己也指出应做成'用当前结果引导下一轮反事实提议'的主动学习闭环。

未来方向

作者明确提出的方向是把流水线迭代化：用当前的激活/因果模式主动提议下一轮该补充的反事实与语义负样本，逐步收紧因果证据，并随语言/视觉模型进步减少生成失败。基于本成果可延伸的方向还包括：(1)把因果框架从静态图像扩展到视频/时序概念(动作、事件)，用视频编辑模型做反事实；(2)从群体平均的脑区下沉到单被试的精细拓扑，服务神经外科规划或脑机接口；(3)把因果得分作为奖励信号，反过来指导脑编码模型训练，形成'编码模型-因果发现'协同优化；(4)结合颅内记录/经颅磁刺激(TMS)等更强的因果手段，对BrainCause提出的候选区域做真实干预验证，把'虚拟因果'升级为'实验因果'；(5)探索概念间的因果依赖图(手→身体→人)，从单概念发现走向结构化的脑表征知识图谱。

复现评估

作者承诺提供生成刺激、代码与补充结果(project page)，是正面信号。复现门槛中等偏高：需要NSD数据访问(需申请且受许可限制)、一个像样的image-to-fMRI编码模型，以及Gemma-3-27B-IT、FLUX.2、Qwen3-VL-8B三个生成/验证模型——三者都较重，FLUX.2尤其吃显存。算力上，260概念×(200训练正+约100负+约450反事实)≈20万张图像的生成+编码+VLM验证，外加每概念约40K体素的得分计算，单卡难以为继。概念列表、编辑提示、检索阈值、p值阈值等关键超参在正文/附录给了指针但未全列，需配合代码仓库核验。最大不确定性在于编码模型：若不复现其训练细节，预测体素得分难以严格对齐；复现实测评估部分还需NSD原始fMRI。

论文图表

Overview of our approach.
Figure 1: Overview of our approach.

上半部分对比激活最大化方法：它在动物图像上找到高响应区域，但无法区分真表征与混淆。下半部分展示BrainCause三步——反事实生成、因果脑响应测试、发现因果脑区，并用两组脑图说明：高激活但因果差异低为假阳性，高激活且因果差异高为真因果区域。

一图讲清全文立意：激活≠因果，反事实干预是区分两者的关键。是理解动机与方法的最重要一图。