← 返回 2026-09-08

因果基础模型：用预训练与上下文学习做因果推断的实践导论 Causal Foundation Models

Christopher Stith, Hossein Rahmani, Jesse C. Cresswell 📅 2026-09-02 👍 28 2026-09-12 18:30
先验拟合网络 因果推断 基础模型 摊销贝叶斯推断 综述与基准
arXiv HuggingFace PDF

预训练Transformer上下文学习零训练估计因果效应，精度媲美调优基线且推理快约百倍

前置知识

潜在结果框架

Neyman-Rubin 框架假设每个个体对每个处理值 $t$ 都存在潜在结果 $Y(t)$，一致性假设要求实际施加处理 $T=t$ 时观测结果 $Y=Y(t)$。核心困难是“因果推断的根本问题”：个体接受处理 $t$ 后永远无法观测反事实 $Y(t')$（$t'\neq t$），且即使协变量完全相同，外生噪声也使潜在结果非确定，因此因果量只能以期望或分布形式定义。

论文所有因果估计量（CEPO/ATE/CATE）都定义在该框架上，CFM 的训练标签也是从 SCM 模拟出的潜在结果，不懂它就无法理解模型到底在学什么。

因果估计量：CEPO、ATE、CATE

CEPO $\mu_t(x)=\mathbb{E}[Y(t)\mid X=x]$ 是给协变量为 $x$ 的个体施加处理 $t$ 的期望结果；ATE $=\mathbb{E}[Y(1)-Y(0)]$ 是全体平均处理效应；CATE$(x)=\mu_1(x)-\mu_0(x)$ 是条件平均处理效应；连续处理下 ITRC 是 $t\mapsto\mu_t(x)$ 的整条剂量-反应曲线。三者由 $\mathrm{ATE}=\mathbb{E}[\mathrm{CATE}(x)]$ 联系。

首批三个 CFM 分别对这些量的后验预测分布建模——CausalPFN 对 CEPO、Do-PFN 对 CID、CausalFM 对 CDTE——选择哪个预测目标是它们最核心的设计差异。

可识别性与后门设定

可识别性指因果量能否写成观测分布 $P_{obs}$ 的函数。常用充分条件是强可忽略性（可忽略性 $Y(t)\perp\!\!\!\perp T\mid X$ 加正值性 $P(T=t\mid X=x)>0$）与 SUTVA，合称后门设定，此时条件干预分布可由后门调整 $P(Y\mid do(T=t))=\int P(Y\mid T=t,x)P(x)dx$ 从观测数据恢复；但可忽略性在实践中不可检验。

训练先验覆盖哪些可识别设定直接决定 CFM 能估计什么：Do-PFN 刻意用非可识别先验，CausalPFN 限缩到后门先验，CausalFM 为 backdoor/IV/frontdoor 训练三个独立模型。

结构因果模型（SCM）

SCM 是贝叶斯网络 $G$ 加上每个节点的结构方程 $Z_k=f_{Z_k}(\mathrm{pa}(Z_k),U_k)$，其中 $U_k$ 是外生噪声变量。采样噪声并沿 DAG 传播即可生成观测数据；把处理节点的方程替换为常数 $T=t^*$（图上等价于删除指向 $T$ 的边）即可模拟干预 $do(T=t^*)$，生成潜在结果与反事实。

SCM 是 CFM 合成先验的基本构件：只有从 SCM 出发才能同时高效生成观测数据与带真实因果标签的干预数据，这是整个训练范式的地基。

后验预测分布（PPD）与摊销贝叶斯推断

在数据生成过程参数 $\psi$ 上设先验 $\pi(\psi)$，观测数据 $D_{obs}$ 经贝叶斯法则更新为后验；因果量 $g$ 的 PPD 是 $\pi_g([a,b]\mid D_{obs})=\int\pi(\psi\mid D_{obs})\mathbf{1}_{g(P^\psi)\in[a,b]}d\psi$，同时表达认知不确定性（哪个 DGP 生成了数据）与偶然不确定性（外生噪声）。摊销贝叶斯推断指训练一个网络直接从数据集映射到 PPD，跳过 MCMC/变分等显式后验近似。

CFM 输出的正是因果 PPD，因此单次前向传播自带不确定性量化；理解 PPD 才能明白训练损失为何等价于对真实 PPD 的前向 KL 散度。

先验拟合网络（PFN）与上下文学习

PFN 是在合成先验采样的海量任务上预训练的 transformer：每个任务采样一个数据集作上下文、留出查询点，用先验数据损失 $\mathcal{L}_{pred}(\theta)=\mathbb{E}[-\log q_\theta(y\mid x,D_{sup})]$ 训练——只需评估模型在真值标签处的似然，无需闭式 PPD。推理时权重完全冻结，查询 token 通过注意力读取上下文 token 完成预测，即上下文学习。TabPFN 等表格基础模型是其成功范例。

CFM 就是把 PFN 范式从预测任务迁移到因果任务的产物，理解 PFN 的三要素（损失、先验、架构）才能看懂 CFM 对应的三项改造。

研究动机

传统因果推断没有“通用模型”：面对每个新问题，分析者必须先研究数据、提出背后的因果机制，再选择与该机制兼容的估计器（如贝叶斯加性回归树 BART、双机器学习 DML、因果森林、S/T/X-learner），用验证数据调超参数，最后才训练出最终估计器——整套流水线在每个新任务上都要从头重来，调好的模型与积累的知识无法跨任务复用。更深层的是因果推断的根本问题：个体一旦接受处理 $t$，反事实结果 $Y(t')$（$t'\neq t$）永远无法观测，而可识别性又依赖不可检验的假设；把预测模型误当因果模型会闹出公共政策灾难——经典的“鹳鸟与出生率”例子中，纯预测模型会建议通过进口鹳鸟来提高出生率。结果是：因果分析门槛高、流程慢，非专家难以正确使用，对大量小数据集做快速因果分析在实践中几乎不可行。

本文的目标是本文要为因果基础模型（CFM）写一份“实用入门 + 统一视角 + 公平评测”的导论。具体包括：给出 CFM 的工作定义——在多样因果任务上预训练的 PFN，用上下文学习在全新数据集上估计因果量，且推理时不更新任何权重；用统一框架讲清三大支柱——因果先验数据损失、可采样的 SCM 合成先验、支持上下文学习的 transformer 架构；在同一个半合成基准（RealCause-Lalonde）上，对首批三个开源 CFM（Do-PFN、CausalPFN、CausalFM）与经过充分调优的经典因果机器学习基线做标准化比较，同时量化估计精度与推理墙钟时间；最后综述结构知识注入、连续/纵向处理、部分可识别、敏感性分析、因果发现、单细胞扰动与生存分析等最新进展。全文配有可运行的示例代码与 Jupyter notebook，完整代码库开源于 github.com/layer6ai-labs/cfms，目标是让读者读完能立即在自己的工作中用上 CFM。

与已有工作不同的是，已有 CFM 论文各自提出模型，但缺两样东西。一是把因果推断的贝叶斯理论（PPD、可识别性）与 PFN 的摊销推断机制统一讲清楚的教程性框架——各论文的符号、假设与设计动机散落各处；二是跨模型的标准化实证比较——文献中的比较基本局限于纯合成结构模拟，唯一例外是 Ma 等在 Jobs 数据上的实验且只报告条件效应误差。本文的独特切入正是补齐这两块：明确提出“因果先验数据损失”这一统一损失家族（对 CEPO/CID/CDTE 三种 PPD 各有对应形式），把三个 CFM 放进同一张设计空间表（预测目标、先验与识别策略、嵌入方式）；并建立首个在更复杂半合成观测数据上的公平基准——RealCause-Lalonde 含强混杂与真实协变量/选择分布，基线用 FLAML 自动化机器学习按“每个干扰模型、每个估计器、每个实现”独立调优 900 秒预算，对照零调参开箱即用的 CFM。评测还系统记录了一个此前未被凸显的现象：CID/CDTE 型 CFM 的 ATE 估计存在系统性收缩。

核心方法

直觉上，CFM 把“从观测数据推断因果效应”这件事本身当成一个可学习的预测任务：既然任何单个真实数据集上都没有因果量的训练标签，那就在无数由 SCM 合成、自带真实干预标签的任务上预训练一个网络，让它学会从“观测数据集 + 查询点”直接映射到因果量的后验预测分布；推理时权重完全冻结，把新数据集作为上下文喂给模型，一次前向传播即完成 CEPO/CID/CDTE 估计并附带不确定性。技术路线分四步：（1）开发者指定 SCM 空间上的先验 $\pi(\psi)$；（2）从采样的 SCM 生成观测数据集 $D_{obs}=\{(x_n,t_n,y_n)\}_{n=1}^N$；（3）在同一个 SCM 上模拟干预 $do(T=t^*)$，生成带真实因果标签的监督信号；（4）用因果先验数据损失做随机梯度下降。推理时数据被分词并嵌入为上下文 token 与查询 token，注意力掩码保证查询只读上下文、上下文表示不依赖查询，因此批量查询的预测彼此独立。

核心创新是因果先验数据损失：模型只被展示 $(x,t,y)$ 形式的观测数据，却被要求预测干预量，训练标签来自同一个 SCM 模拟出的干预数据。例如 CEPO 形式为 $\mathcal{L}_t(\theta)=\mathbb{E}_{\psi\sim\pi,\,D_{obs}\cup\{x\}\sim P_{obs}^\psi}\left[-\log q_\theta(\mu_t(x;P^\psi)\mid x,t,D_{obs})\right]$，CID 形式则把标签换成从真实条件干预分布采样的 $y$。它与预测 PFN 的本质区别在训练-预测错配：上下文里每个个体只有一个处理和一个事实结果，而预测目标是任意 $(x,t)$ 组合的干预量，模型必须超越条件关联、学会干预语义——这在结构上比预测任务更难。理论上，Balazadeh 等证明在先验支撑几乎处处满足 positivity 的条件下，该损失等于真实 CEPO-PPD 与模型输出的期望前向 KL 散度（差一个常数），且当 $|D_{obs}|\to\infty$ 时均值点估计收敛到真值当且仅当目标量在先验支撑上可识别。另一个关键洞察：合成 SCM 先验是必需品而非便利——因果损失需要任意组合的真实 CEPO 或干预结果，这在真实观测数据中根本不存在，所以无法像 TabDPT 那样用真实数据训练。

方法步骤详情

训练的每次迭代分四步（对应 Figure 5）。第一步：从先验 $\pi$ 采样一个 SCM $S_\psi$——Do-PFN 用拓扑排序直接实例化随机 DAG 并赋加性噪声方程；CausalPFN 沿用 TabPFNv1 的随机 MLP 并随机选取节点子集；CausalFM 用随机 MLP 采样 DAG 簇，再用贝叶斯神经网络为每个簇赋值。第二步：采样外生噪声 $U_k\sim P_U$ 并沿结构方程传播，生成规模 $N$ 的观测数据集 $D_{obs}$。第三步（因果任务的心脏）：把处理节点的结构方程替换为常数 $T=t^*$，图上删除指向 $T$ 的入边，用另一批噪声样本生成干预数据 $\{(x_m,t^*,y_m(t^*))\}$；CEPO 真值需对噪声取期望 $\mu_t(x)=\mathbb{E}_{U\sim P_{U|X}}[Y(t)\mid X=x]$，一般无闭式解、蒙特卡洛估计又太慢，CausalPFN 的技巧是用 CEPO 节点 $\mu$ 替换 $Y$ 并新增中心化缩放后的噪声节点 $\xi$，使 $Y(t)=\mu_t(x)+\xi(x,t)$，一次前向传播同时产出两者。第四步：把 $D_{obs}$ 作为上下文、查询协变量作为查询，对所有 $t\in\mathcal{T}$ 求和的因果先验数据损失做监督学习。推理时（Figure 4）完全跳过传统流水线的假设设定、干扰模型拟合与训练循环，直接输出 $q_\theta$ 并取均值作点估计；CausalFM 用 5 分量高斯混合头输出 CDTE-PPD，其 CATE 点估计为 $\hat\tau(x)=\sum_{k=1}^5 w_k\mu_k(x)$。

技术新颖性

技术新颖性体现在三个层面。第一，范式层面：它首次把 PFN/摊销贝叶斯推断完整迁移到因果推断（本文统一了 Do-PFN、CausalPFN、CausalFM 三者），区别于早期算法级尝试 CaML 与 BBCI（先验窄、低维、未证明可扩展）以及只建立理论与零样本原型的 CInA。第二，设计空间被首次明确刻画：预测目标（CID/CEPO/CDTE-PPD）、先验可识别性（Do-PFN 刻意用非可识别先验以便在隐藏混杂下表达不确定性；CausalPFN 限缩到后门先验换取后门设定上的更强性能；CausalFM 为 backdoor/IV/frontdoor 训练三个独立模型）与嵌入表示（处理列固定为第一列加指示符 vs 处理与协变量拼接后嵌入 vs 三者分别编码）——Ma 等的定理 4.3 进一步证明：若先验支撑不可识别，PPD 即便在无穷数据下也无法恢复真效应，为限缩先验提供了理论依据。第三，规模效率：这些模型仅 2.7M–20M 参数（对比 TabPFN-3 的 58M、TabDPT-Turbo 的 63M），却在因果任务上超过现成的表格基础模型，说明因果先验预训练本身（而非模型容量）才是性能来源。

An example DAG arising from the SCM given in Example 2.1, with endogenous variables {X, T, Y} and exogenous variables {U1, U2, U3}. Dashed nodes denote exogenous variables.
Figure 2: An example DAG arising from the SCM given in Example 2.1, with endogenous variables {X, T, Y} and exogenous variables {U1, U2, U3}. Dashed nodes denote exogenous variables.
Sampling data from a synthetic causal prior. Step 1. Sample an SCM from π. Step 2. Generate an observational dataset Dobs from the SCM. Step 3. Simulate interventional supervised learning targets, such as the CEPO or CATE. Step 4. Provide the observational data to the CFM as context and train it to estimate the target.
Figure 5: Sampling data from a synthetic causal prior. Step 1. Sample an SCM from π. Step 2. Generate an observational dataset Dobs from the SCM. Step 3. Simulate interventional supervised learning targets, such as the CEPO or CATE. Step 4. Provide the observational data to the CFM as context and train it to estimate the target.
Observational and interventional dataset generation from an SCM Sψ. (a) The full set of original structural equations map a batch of exogenous noise vectors to observational data Dobs. (b) The intervention do(T = t∗) sets the value of treatment for the mth query individual to be t∗, replacing the structural equation fT of T with T = t∗.
Figure 6: Observational and interventional dataset generation from an SCM Sψ. (a) The full set of original structural equations map a batch of exogenous noise vectors to observational data Dobs. (b) The intervention do(T = t∗) sets the value of treatment for the mth query individual to be t∗, replacing the structural equation fT of T with T = t∗.

实验结果

作者在 RealCause-Lalonde 半合成基准（Lalonde-CPS 16,177 样本、Lalonde-PSID 2,675 样本；结果由协变量的显式函数生成以保证条件可忽略性，同时保留真实协变量与选择分布；所有指标在 10 个独立随机实现上以均值±标准误报告）上完成了首批标准化比较。精度方面：CausalPFN 是最佳 CFM——PEHE（×10³，越低越好）在 CPS/PSID 上为 8.97±0.06 与 14.00±0.41，PEHE 平均秩 1.75±0.16，整体略逊于重度调优的 T-Learner（9.04±0.08、13.65±0.47，秩 1.40±0.11）但在 CPS 上反超（8.97 vs 9.04）；其 ATE 相对误差为 0.17±0.03（CPS）、0.24±0.04（PSID），且该数字独立复现了 Balazadeh 等原论文的报告值。Do-PFN（PEHE 11.96±0.09 / 20.20±0.39）与 CausalFM（12.34±0.02 / 22.27±0.43）与调优的 X/S-Learner 相当。重要发现：Do-PFN 与 CausalFM 的 ATE 相对误差停留在 0.88±0.01 至 0.95±0.00，两队列间几乎一致且标准误极小，说明预测效应被系统性收缩向零，而非估计不稳定；专攻 ATE 的 IPW 仍是总体层面最佳（0.15±0.03 / 0.08±0.02），但无法给出个体级估计。效率方面：三个 CFM 在 CPU 上比“训练+调参+推理”的传统管线快 1–2 个数量级——CausalPFN 中位耗时 18.4 秒 vs T-Learner 1803 秒（约 98 倍）与 X-Learner 2707 秒，GPU 上还可进一步加速。

The main design choices of the first CFMs. All are PFNs and use in-context learning, but differ in their prediction target, prior design, identification strategy, and architectural details.
Table 1: The main design choices of the first CFMs. All are PFNs and use in-context learning, but differ in their prediction target, prior design, identification strategy, and architectural details.
Model size and transformer depth for different CFMs and TFMs.
Table 2: Model size and transformer depth for different CFMs and TFMs.
Empirical Results on RealCause-Lalonde. Metrics are aggregated across 10 random seeds (realizations). PEHE and ATE Relative Error are reported as mean±standard error.
Table 3: Empirical Results on RealCause-Lalonde. Metrics are aggregated across 10 random seeds (realizations). PEHE and ATE Relative Error are reported as mean±standard error.
CATE Estimation Ranking vs. Wall-Clock Runtime on RealCause-Lalonde. Causal foundation models deliver competitive estimation results while achieving orders-of-magnitude faster inference compared to tuned classical estimators because they do not need to be trained on RealCause.
Figure 7: CATE Estimation Ranking vs. Wall-Clock Runtime on RealCause-Lalonde. Causal foundation models deliver competitive estimation results while achieving orders-of-magnitude faster inference compared to tuned classical estimators because they do not need to be trained on RealCause.
查看结构化数据
任务指标本文基线提升
CATE 估计（个体效应异质性，Lalonde-CPS） PEHE ×10³（越低越好） CausalPFN：8.97 ± 0.06 T-Learner（FLAML 每个干扰模型独立调优 900 秒）：9.04 ± 0.08 略优（−0.07），且 CFM 零训练、零调参、零超参搜索
CATE 估计（个体效应异质性，Lalonde-PSID） PEHE ×10³（越低越好） CausalPFN：14.00 ± 0.41 T-Learner：13.65 ± 0.47；S-Learner：20.61；DR-Learner：24.09 较 S/DR/X-Learner 明显更好，较 T-Learner 略逊（+0.35）
ATE 估计（总体效应，CPS/PSID 两队列） ATE 相对误差（越低越好） CausalPFN：0.17±0.03 / 0.24±0.04；Do-PFN：0.88/0.89；CausalFM：0.94/0.95 IPW：0.15±0.03 / 0.08±0.02；T-Learner：0.28±0.04 / 0.04±0.01 CausalPFN 为 CFM 最佳且接近 IPW；但 Do-PFN/CausalFM 系统性收缩（误差约 0.9），IPW 仍最优
从观测数据到预测的端到端耗时（每队列，CPU） 中位墙钟时间（秒） CausalPFN：18.4 s（CFM 仅推理） T-Learner：1803 s；Debiased ML：1807.9 s；X-Learner：2707.3 s（含训练与调参） 约 98–147 倍加速（1–2 个数量级），GPU 上更快

局限与改进

作者承认的局限：其一，模型间分化明显——输出 CID-PPD/CDTE-PPD 的 Do-PFN 与 CausalFM 在 ATE 上系统性收缩（相对误差约 0.9），只有 CEPO 型的 CausalPFN 能恢复总体效应幅度；其二，即便最佳 CFM 在 PEHE 平均秩上仍略逊于充分调优的 T-Learner，在总体效应上不敌专用方法 IPW；其三，评测限缩在 backdoor 设定与二值处理，未覆盖 IV/frontdoor、连续与纵向处理（这些由后续模型 CCPFN、CausalLongPFN、IV-ICL 补充）。我自己的观察：第一，基准只有 RealCause-Lalonde 一个家族，且其结局由协变量的显式函数生成、条件可忽略性 by construction——这天然偏爱假设强可忽略性的 CausalPFN，结论对存在隐藏混杂、假设被违反的真实观测数据的外推性存疑；第二，只报告点估计精度，未评测 PPD 的校准与可信区间覆盖率，而 Mourao 等已对 CausalPFN 的区间覆盖率提出质疑；第三，运行时间对比是摊销意义上的——单次推理快约百倍，但预训练的一次性成本被完全排除，对想自训因果先验的团队不可忽略；第四，CFM 的黑箱性使“识别假设是否成立”更加隐晦，Ham 等已记录向模型传入后处理变量时的出错模式，非专家误用风险真实存在。

独立分析的弱点

独立分析的弱点：（1）ATE 收缩问题——Do-PFN/CausalFM 相对误差稳定在 0.88–0.95，最可能的解释是先验支撑上的 DGP 混杂强度偏低（Melnychuk 等也指出先验诱导偏差）或标准化处理不当，改进方向是一步后验校正、任务特定微调，或直接在先验中提高混杂强度的覆盖；（2）先验-目标失配不可检测——观测数据无法判断新数据集是否落在训练先验的支撑内，而因果量又恰恰不被观测数据完全刻画，改进方向是建立先验覆盖度的定量度量与失配自动告警机制；（3）评测单薄——仅一个基准家族、10 个实现、无校准指标、无统计显著性检验，改进方向是纳入 IHDP/ACIC/真实 RCT 等多源基准并报告区间覆盖率与校准误差；（4）识别假设的隐式化——传统流程强迫分析者显式声明假设与调整集，CFM 把这一切藏进先验，输出不会告诉你“这个数建立在哪些假设上”，改进方向是把可识别性状态（可识别/部分可识别/不可识别）连同效应区间一起作为模型输出；（5）输入模态受限——三个 CFM 只接受表格观测数据，文本、图像、网络数据上的因果任务尚无对应基础模型，改进方向是设计多模态 token 化与相应先验。

未来方向

作者明确提出的方向：（1）统一 CFM——单一模型同时支持二值/多臂/连续处理、backdoor/IV 等多种识别设定、CEPO/CID/CDTE 多种估计量，并提供让分析者声明假设、检查可识别性、把结构不确定性传播到下游估计与不确定性量化的接口，共享内部表示以避免每个组合一个预训练模型（TabPFN-CFM 的“结构+效应”联合建模与 CDFM/DAG-FM 等因果发现基础模型是早期雏形）；（2）更丰富的输入信息源——纳入实验数据、部分祖先知识（Reuter 等的可学习注意力偏置方案已证明有可观增益）、领域约束，并支持新实验或新结构知识到来时增量修正估计；（3）先验工程——建立因果先验覆盖度的定量度量（类比 TFM 侧 Zhang 等的多样性量化与 Türkmen 等的先验比较接口）与目标 DGP 失配的自动检测。基于本文成果可延伸的方向：把敏感性分析 PFN（Javurek 等）与部分可识别估计（IV-ICL、Bellot & Dhir）整合进主流 CFM，使模型在隐藏混杂下输出有保证的效应区间而非单点；推广 MapPFN/PerturbPFN 式领域专用先验到更多科学领域；研究 CFM 的频率学派一致性与有限样本保证；探索因果发现与因果估计的端到端联合基础模型。

复现评估

复现条件在同类论文中属于最好的一档。代码与结果完全开源：github.com/layer6ai-labs/cfms 提供完整代码库、贯穿全文的交互式 Jupyter notebook（论文中点击图标直达）以及全部基准结果数据（作者明知跑 10 个 seed 需要 GPU 和不少时间，特意发布了结果数据供核对）。三个被评测的 CFM 均有公开的冻结预训练权重（Do-PFN 7.3M、CausalPFN 20M、CausalFM 2.7M 参数），开箱即用、无需任何微调或超参调整——在 CPU 上做一次 CausalPFN 推理仅约 18.4 秒。基准 RealCause-Lalonde 是因果机器学习社区的通用标准，公开可得。难度分层来看：应用层面（在自己数据上试用 CFM）几乎零门槛，一个 notebook 即可跑通，普通笔记本 CPU 即可；复现论文的比较表需要搭建 EconML + FLAML 调参管线（每个干扰模型、每个估计器、每个实现独立 900 秒预算、3 折交叉验证），完整跑 10 个实现需要可观时间与 GPU，但结果数据可直接下载验证；唯一的重活是从头预训练 CFM（设计 SCM 先验 + 大规模合成数据 + transformer 训练），但那是模型原作者已完成的一次性摊销成本。总体评级：低难度、高透明度。

论文图表

Causal foundation models predict on each new dataset using in-context learning without training or fine-tuning. Labeled context data (X_ctx, etc.) are provided as examples so that the model can predict causal effects on unlabeled query data (X_qry).
Figure 1: Causal foundation models predict on each new dataset using in-context learning without training or fine-tuning. Labeled context data (X_ctx, etc.) are provided as examples so that the model can predict causal effects on unlabeled query data (X_qry).

展示 CFM 的核心使用方式：冻结的预训练网络接收带标签的观测上下文数据 $(X_{ctx}, T_{ctx}, Y_{ctx})$，通过上下文学习直接预测无标签查询数据 $X_{qry}$ 上的因果效应；配图代码显示 model.fit() 只是把数据载入上下文而不做任何训练，随后 estimate_cate() 一次前向传播给出 CATE。

一图定义了整篇论文的研究对象——“零训练、上下文学习”的因果推断范式，是理解 CFM 与传统估计器本质区别的起点。

Traditional vs. CFM workflows. (Top) For each new problem, the traditional pipeline involves analyzing the dataset, proposing a model, and training it before inference. (Bottom) CFMs are applied off-the-shelf to new problems, without training, fine-tuning, or hyperparameter optimization.
Figure 3: Traditional vs. CFM workflows. (Top) For each new problem, the traditional pipeline involves analyzing the dataset, proposing a model, and training it before inference. (Bottom) CFMs are applied off-the-shelf to new problems, without training, fine-tuning, or hyperparameter optimization.

上下对照的两条工作流：上半部分是传统流水线——每个新问题都要分析数据、提出模型、训练后才能推理，循环往复；下半部分是 CFM——预训练模型开箱即用地应用于新问题，无需训练、微调或超参数优化。

直观呈现 CFM 的价值主张：把整个因果分析工作流压缩为一次前向传播，这是论文宣称的“大幅降低使用门槛”的图形化总结。

Figure 4: A high-level comparison between traditional causal estimators and CFMs (shown with the example task of CATE estimation). The traditional estimators must be trained for each new task, updating model parameters on a training set, whereas the CFM workflow keeps pretrained parameters fixed and uses the training dataset as context.

并排的两个伪代码（Algorithm 1 vs Algorithm 2）：传统估计器需要指定假设与干扰成分、初始化参数、循环“计算损失 $\mathcal{L}(\theta;D_{obs})$ → 梯度下降更新”直到收敛才能估计；CFM 只有两行——$\hat g(x_m)=M_\theta(D_{obs},x_m)$ 直接返回。

以 CATE 为例把“每任务训练”与“上下文推理”的范式差异落到算法层面，配合 Table 3 的运行时数据最能说明摊销带来的速度优势。