用于时序因果发现的大型因果模型

预训练Foundation模型实现零样本时序因果发现

前置知识

结构因果模型（SCM）

结构因果模型是一种用于表示变量间因果关系的数学框架，将每个内生变量表示为其因果父节点和外生噪声项的函数。对于多元时间序列，时序结构因果模型定义为每个变量是其过去因果父节点的函数加噪声，其中父节点从过去最大滞后时间步中提取。这种模型通过显式编码因果机制和噪声分布，能够从观测数据中识别因果结构。

本文的核心任务是从时间序列数据中恢复因果结构，理解SCM是理解整个问题的基础。论文中的TSCM定义、滞后因果图表示以及邻接张量编码都直接基于SCM框架。

滞后因果图

滞后因果图是一种有向无环图，其节点对应于时间索引变量，有向边形式为过去时间步变量指向当前时间步变量，其中滞后在1到最大滞后之间。这种图表示了变量间的时间因果依赖关系，边只允许从过去指向未来。等价地，滞后因果图可以用二进制邻接张量表示，其中张量元素为1表示存在从过去变量到当前变量的因果边。这种表示便于神经网络处理和损失计算。

滞后因果图是本文的核心输出表示，LCM模型的训练目标是预测这个邻接张量。理解这种表示对理解模型架构、损失函数设计和评估指标都至关重要。

因果发现

因果发现是从观测数据中恢复变量间因果关系的过程，目标是从数据分布中识别底层的因果图。传统方法包括基于约束的方法（如PCMCI，通过条件独立性测试）、基于评分的方法（如DYNOTEARS，通过优化评分函数）和基于功能模型的方法（如VARLiNGAM，假设已知函数形式）。这些方法通常为每个数据集单独拟合新模型，计算和统计复杂度随输入维度增长而恶化。

本文提出的LCM正是为了解决传统因果发现方法的问题，理解传统方法的局限性（计算复杂度高、无法跨数据集泛化、假设强限制）有助于理解LCM的动机和创新点。

Foundation Models

Foundation Models是一类在大规模多样化数据上预训练的大型神经网络架构，能够跨任务有效泛化。典型的例子包括语言模型（GPT、BERT）、视觉模型（CLIP）和时间序列模型（MOIRAI、TimesFM）。这些模型通过预训练学习通用的表示和先验知识，然后可以通过微调或零样本迁移到下游任务。LCM将这一范式引入因果发现领域，预训练一个模型可以处理多个时间序列因果发现任务。

LCM的核心思想就是将Foundation Model范式应用到因果发现领域，理解FM的预训练-微调范式、零样本泛化能力等概念是理解LCM方法的基础。

研究动机

传统因果发现方法遵循数据集特定范式，即每个数据集都需要拟合一个新的模型。这种方法的局限性非常明显：计算和统计复杂度随输入维度（变量数量和时间长度）增长而恶化，约束方法依赖条件独立性测试或组合搜索，复杂度随变量数量超线性增长。假设已知函数形式（如线性）的方法在假设被违反时性能下降严重。神经因果发现方法虽然试图摊销因果发现，包括变分方法、自回归和注意力模型、对抗框架等，但这些方法仍然是数据集特定的，难以跨异构系统泛化，特别是在零样本设置下。更关键的是，先前的大型因果模型工作仍处于概念验证阶段，受限于低维度（3-5个变量）和狭窄的合成训练分布，性能随维度增加急剧下降，这阻碍了LCM在实际应用中的部署。

本文的目标是本文的目标是构建一种可扩展、鲁棒的大型因果模型（LCM），能够从多元时间序列中推断滞后因果图，同时跨领域、跨长度、跨因果机制泛化。具体来说，LCM应该能够在多个数据集上预训练，然后对未见过的数据集进行零样本因果发现，不需要针对每个新数据集重新训练或优化。模型应该能够处理比先前工作更多的变量（论文中展示了最多12个变量），并保持高性能。同时，LCM应该提供快速的单次推理，替代传统因果发现方法的迭代搜索过程，大幅降低运行时间。

与已有工作不同的是，本文的独特切入角度在于强调训练数据多样性是规模化的先决条件。与先前工作不同，作者认为LCM规模化失败的根本原因不在于架构限制，而在于训练数据分布的多样性不足。先前工作主要依赖狭窄的合成生成器，这限制了模型的泛化能力。本文构建了一个大规模异构语料库，结合多样化的合成生成器和真实世界时间序列数据集，总共275k实例、137.5M时间点，并展示了通过这种数据多样性训练，LCM可以规模化到更高的变量计数和更深层的架构，同时保持强性能。这种数据中心的视角是本文与先前工作的本质区别。

核心方法

LCM的整体思路是将因果发现任务转化为监督学习问题，在大量配对的时间序列-因果图样本上预训练一个神经网络，使其能够直接从时间序列预测滞后因果图。直觉上，如果模型看到了足够多样的因果机制和数据分布，它就能学习到因果发现的一般模式，而不需要为每个数据集重新训练。技术路线上，模型采用卷积增强的Transformer encoder作为骨干网络，输入时间序列经过Conv1D嵌入和位置编码后，通过多层多头自注意力处理，最终通过前馈头输出滞后邻接张量。为了增强归纳偏置，模型在训练时加入了滞后交叉相关性作为辅助信息，并通过相关性正则化鼓励预测与观测统计依赖对齐。

LCM的核心创新点在于将Foundation Model范式系统性引入时序因果发现领域，替代数据集特定的因果发现算法。与已有方法的本质区别在于，传统方法（PCMCI、DYNOTEARS、VARLiNGAM）都需要针对每个数据集进行独立的因果图搜索或优化，而LCM通过大规模预训练学习了一个参数化的映射，能够在单次前向传播中完成因果发现。另一个关键创新是数据混合训练策略，通过将合成数据与真实世界数据（80/20比例）混合，在保持结构多样性的同时增强现实世界保真度，这被证明是实现零样本泛化的关键。此外，训练辅助机制（CI和CR）将观测统计依赖注入模型，显著提升了性能。

方法步骤详情

LCM的完整流程包括三个主要步骤。第一步是数据策展：合成数据通过采样参数化随机图家族（如Erdos-Renyi）和祖先采样生成，动态变化变量数量、最大滞后、图密度和功能机制（线性和非线性加性噪声模型），生成230k实例。半合成数据使用机制模拟器生成（fMRI动态非线性模型、Kuramoto耦合振子系统），仅用于OOD评估。真实数据从真实世界时间序列构建，涵盖能源、天气、交通等领域，生成45k实例。混合数据集按不同合成/真实比例（100/0、80/20、50/50、20/80）构建。第二步是监督训练：输入时间序列经过噪声填充和归一化，通过Conv1D投影到模型维度，添加位置编码，经过多层Transformer encoder处理，最终通过前馈头和sigmoid输出滞后邻接张量。损失函数包括边预测损失（使用二元交叉熵）和相关性正则化损失（使用均方误差），总损失为边预测损失加上0.75倍的相关性正则化损失。第三步是零样本因果发现：对于未见过的数据集，LCM直接进行单次前向传播，不需要任何梯度更新或重新训练，输出预测的滞后邻接张量，可以通过阈值化或直接使用边缘概率进行评估。

技术新颖性

LCM的技术新颖性体现在多个方面。首先，这是首个系统性探索Foundation Model范式用于时序因果发现的工作，将数据集特定的因果发现算法替换为预训练的参数化映射。其次，构建了迄今为止最大规模的时序因果发现基准语料库，包含275k实例和137.5M时间点，这不仅支持LCM训练，也为整个领域提供了系统评估资源。第三，通过实验揭示了先前LCM规模化失败的根源是训练数据分布多样性不足，而非架构限制，这一洞察为未来的研究指明了方向。第四，训练辅助机制（CI和CR）的有效性得到了系统验证，特别是相关性正则化通过对齐预测与观测滞后交叉相关性，显著提升了稳定性和泛化性。最后，数据混合策略（80/20合成/真实比例）被证明是实现OOD泛化的关键，这为时间序列Foundation Model的训练提供了实践指导。

**Fig. 1**: Temporal causal dependencies represented as a (a) lagged causal graph and (b) binary adjacency tensor. Each slice A^(l-1) encodes edges at a discrete lag l less or equal l_max, where entry A^(l-1)_j,i = 1 denotes V_{t-l} to V_t^j.

**Fig. 2**: Overview of the large causal model (LCM) pipeline. (1) Synthetic and realistic TSCM generators produce training pairs of multivariate time series and their lagged causal graphs. (2) The LCM is trained via supervised learning on these pairs to discover a lagged adjacency tensor for a time series X, padded and normalized for stability. (3) At inference (CD phase), the pre-trained LCM predicts causal strengths on unseen datasets in a zero-shot manner.

**Fig. 3**: A multivariate time series is embedded via Conv1D layers and positional encodings, processed through a Transformer encoder stack with optional distillation blocks, and augmented with lagged cross-correlations (training aids). A feedforward head outputs a lagged adjacency tensor representing the discovered temporal causal graph.

实验结果

论文的实验评估跨越了广泛的设置，包括分布内（holdout测试集）和分布外场景。第一个关键发现是训练辅助机制显著提升LCM性能：在Synthetic_1 holdout集上，基线LCM的AUC为0.868，加入CI后提升至0.914（p小于0.05），进一步加入CR后提升至0.926（p小于0.05），最佳相关性正则化权重在0.25到0.75之间无显著差异。第二个关键发现是数据混合训练对OOD泛化的重要性：在半合成fMRI基准上，100%合成训练的AUC为0.924加减0.050，80/20混合提升至0.966加减0.028（p小于0.05）；在真实数据衍生Power和Climate集上，100%合成的AUC分别为0.966加减0.011和0.938加减0.035，80/20混合提升至0.981加减0.006和0.982加减0.011（p小于0.05）。第三个关键发现是LCM在合成数据上超越所有基线：在Synthetic_1上，LCM-12.2M的AUC为0.996加减0.013，显著优于PCMCI（0.671加减0.444）、DYNOTEARS（0.551加减0.216）和VARLiNGAM（0.922加减0.145）；在Synthetic_2上，LCM-12.2M的AUC为0.909加减0.103，显著优于PCMCI（0.800加减0.181）和DYNOTEARS（0.605加减0.152）；在CDML上，所有LCM的AUC约0.77，显著优于PCMCI（0.521加减0.108）和DYNOTEARS（0.490加减0.087）。第四个关键发现是LCM在OOD评估中展现卓越的零样本泛化能力：在半合成fMRI_5上，LCM2.5M的AUC为0.981加减0.017，显著优于PCMCI（0.746加减0.111）、DYNOTEARS（0.528加减0.152）和VARLiNGAM（0.793加减0.095）；在fMRI上，LCM2.5M的AUC为0.978加减0.017，显著优于所有基线；在Kuramoto_5和Kuramoto_10上，LCM24M的AUC分别为0.973加减0.007和0.931加减0.010，远超PCMCI（0.476加减0.103和0.635加减0.046）和DYNOTEARS（0.498加减0.077和0.519加减0.027）；在真实数据AirQualityMS上，LCM2.5M的AUC为0.985加减0.014，显著优于PCMCI（0.565加减0.209）和DYNOTEARS（0.706加减0.218）。第五个关键发现是LCM运行时间与输入维度几乎无关，在Synthetic_2 holdout集上，LCM_2.5M平均运行时间约0.2秒，LCM_24M约0.4秒，而PCMCI、DYNOTEARS和VARLINGAM的运行时间分别为约1.1秒、0.7秒和0.3秒，且传统方法随滞后和变量计数超线性增长。最后一个关键发现是训练数据和模型规模的协同效应：在10K训练样本上，500K、1M和2M参数模型的测试AUC分别为约0.88、0.89和0.90；在100K训练样本上，同样模型的AUC分别为约0.90、0.92和0.94，表明小模型在较少数据下饱和早，而大模型在更多数据下持续改进，说明LCM性能受模型容量和数据可用性共同约束。

**Table 1**: Ablation of training aids on Synthetic_1. Asterisks (*) indicate statistical significance over the preceding model (left column).

**Table 2**: Out-of-distribution performance of LCMs trained on varying synthetic/realistic mixtures, evaluated on semi-synthetic fMRI benchmarks and the OOD Power and Climate benchmarks. Statistical significance versus the 80/20% reference (bold) is indicated by an asterisk (*).

**Table 3**: Causal discovery performance (AUC) of large-scale LCMs and baseline methods across synthetic benchmarks. Results are reported as mean plus/minus standard deviation across datasets. An asterisk indicates a statistically significant difference with respect to the best-performing model (LCM-12.2M), which achieves the highest mean AUC across all semi-synthetic collections.

**Table 4**: Out-of-distribution (zero-shot) causal discovery performance (AUC) of large-scale LCMs and baseline methods across semi-synthetic benchmarks. Results are reported as mean plus/minus standard deviation across datasets.

**Table 5**: Out-of-distribution (zero-shot) causal discovery performance (AUC) of large-scale LCMs and baseline methods across realistic benchmarks. Results are mean plus/minus std. across datasets. AQ = AirQualityMS, Clim = Climate, Gar = Garments, ETT = ETTm2.

**Fig. 4**: Running times (in seconds) for LCMs and baseline algorithms on the Synthetic_2 holdout set, averaged over 10 runs. Traditional methods (e.g., PCMCI and DYNOTEARS) scale superlinearly with lag and variable count, while Transformer-based LCMs remain effectively independent of input dimensionality due to their constant-time forward pass.

**Fig. 5**: Empirical convergence of LCMs with increasing training data. Test AUC for 500K, 1M, and 2M parameter models trained on subsampled datasets. Validation/test sets are fixed to isolate the effect of data scale.

查看结构化数据

任务	指标	本文	基线	提升
时序因果发现（合成数据）	AUC	LCM-12.2M: 0.996 (Synthetic_1), 0.909 (Synthetic_2), 0.773 (CDML)	PCMCI: 0.671/0.800/0.521; DYNOTEARS: 0.551/0.605/0.490; VARLiNGAM: 0.922/0.861/0.517	在Synthetic_1和2上显著优于所有基线（p小于0.05），在CDML上显著优于PCMCI和DYNOTEARS（p小于0.05）
零样本时序因果发现（半合成）	AUC	LCM2.5M: 0.981 (fMRI_5), 0.978 (fMRI); LCM24M: 0.973 (Kuramoto_5), 0.931 (Kuramoto_10)	PCMCI: 0.746/0.768/0.476/0.635; DYNOTEARS: 0.528/0.483/0.498/0.519; VARLiNGAM: 0.793/0.781/0.479/0.647	在所有半合成基准上显著优于所有基线（p小于0.05），提升幅度从10%到50%不等
零样本时序因果发现（真实数据）	AUC	LCM2.5M: 0.985-0.998 (6个真实数据集)	PCMCI: 0.565-0.980; DYNOTEARS: 0.551-0.706; VARLiNGAM: 0.539-0.995	在大多数真实数据集上显著优于PCMCI和DYNOTEARS（p小于0.05），与VARLiNGAM相当或更优
推理效率	平均运行时间（秒）	LCM_2.5M: 约0.2秒; LCM_24M: 约0.4秒	PCMCI: 约1.1秒; DYNOTEARS: 约0.7秒; VARLINGAM: 约0.3秒	LCM运行时间与输入维度几乎无关，而传统方法随滞后和变量计数超线性增长

局限与改进

作者明确指出了LCM的局限性：LCM在第一部分定义的因果假设下运作，不检测或不纠正假设违反。当假设被违反时，预测可能反映训练分布偏差而非真实因果结构，应相应解释。这些假设包括加性噪声模型、因果平稳性、无潜在混淆因子和无同期效应（滞后0内的效应）。此外，作者假设最大滞后已知，这在实际应用中可能不成立。我的观察是，LCM在更高维度（超过12个变量）上的性能尚未验证，论文中的分析表明模型参数复杂度在最大变量数乘以最大滞后平方的尺度上增长，这可能限制扩展性。另外，LCM的训练需要大量配对的时序-因果图数据，这在真实世界中非常稀缺，论文主要依赖合成数据和有限的真实衍生数据。最后，LCM的概率输出需要阈值化才能得到确定性因果图，论文没有系统分析不同阈值策略的影响。

独立分析的弱点

LCM的主要弱点之一是对因果假设的强依赖性。当存在潜在混淆因子、同期效应或非平稳性时，LCM的预测可能完全偏离真实因果结构，因为模型没有检测假设违反的机制。改进方向可以是设计假设验证模块，在输出前检查数据是否满足模型假设，或者扩展架构以处理更复杂的因果设置。另一个弱点是训练数据的依赖性，LCM需要大规模配对的时序-因果图数据，而真实世界中这种数据非常稀缺。虽然论文提出了真实数据衍生方法，但这些方法本身依赖于强假设。改进方向可以是开发更鲁棒的半监督或自监督学习方法，减少对精确地面真实因果图的依赖。第三个弱点是模型在更高维度上的扩展性未经验证。论文的参数复杂度分析显示主导项与最大变量数乘以最大滞后平方成正比，对于最大变量数为25、最大滞后为3的情况，仅输出头就贡献约2M参数，总共约75M参数。改进方向可以包括设计更高效的输出表示（如稀疏邻接预测）、采用注意力蒸馏减少序列长度，或者将高维系统分解为低维子系统。第四个弱点是概率输出的解释性问题，论文没有系统分析不同阈值策略的影响，也没有提供置信度校准的方法。改进方向可以包括系统评估阈值策略、集成方法或贝叶斯扩展以提供更好的不确定性量化。

未来方向

作者提出的未来工作方向包括放宽因果充分性假设以处理潜在混淆因子、同期效应，并扩展到更高维系统和更长的时间视界。这些方向非常有意义，因为实际应用中经常遇到违反这些假设的情况。基于本文成果的可延伸方向包括：第一，探索更复杂的生成模型和训练数据策展策略，如使用更逼真的模拟器（基于物理的模拟、多模态数据）或开发主动学习方法，让模型主动查询信息量大的样本。第二，研究LCM与其他因果发现方法的组合，如使用LCM的输出作为传统方法的初始化或约束，或者设计分层框架让LCM识别粗粒度结构，传统方法进行精细化。第三，扩展LCM到其他因果发现任务，如静态因果发现、因果效应估计或干预策略学习，构建统一的因果推理基础模型。第四，探索LCM的可解释性和可靠性，如通过注意力权重分析模型的决策依据，开发对抗鲁棒性测试，或设计领域适应机制以更好地处理OOD数据。第五，将LCM应用于实际科学领域，如生物学（基因调控网络推断）、神经科学（脑网络因果分析）、经济学（宏观经济因果发现）等，验证其在真实场景中的价值和局限性。

复现评估

论文在复现性方面表现良好。作者声明实验和模型权重可在github.com/kougioulis/LCM-paper/获取，这为复现提供了基础。数据集方面，合成生成器描述详细（附录.3），真实数据来源明确（能源、天气、交通领域），半合成模拟器也是公开的。论文提供了详细的模型配置、实现和训练细节（附录.7），包括不同模型规模的参数计数（从约900K到24M）、编码器块数、模型维度、注意力头数、前馈维度等超参数。训练设置也很详细，包括损失权重（边预测损失权重为1，相关性正则化权重为0.75）、优化器、学习率调度、批大小、训练轮数等。评估指标（AUC）和统计显著性检验方法（Wilcoxon符号秩检验，Bonferroni校正）都有明确描述。基线方法使用官方实现，输出转换为滞后邻接张量以进行公平比较。论文没有明确报告所需的计算资源，但考虑到训练语料库规模（275k实例、137.5M时间点）和模型规模（高达24M参数），训练可能需要多个GPU。推理时间测试显示在Synthetic_2 holdout集上运行10次的平均时间，但没有报告硬件配置。总体而言，论文提供了充分的复现信息，主要挑战可能是计算资源需求和数据处理细节。