← 返回 2026-09-17

LimiX-2：面向通用结构化数据智能的上下文机制网络 LimiX-2: A Contextual Mechanism Network Towards General Structured-Data Intelligence

Xingxuan Zhang, Gang Ren, Hao Yuan, Hao Zou, Hongze Tan, Hui Wang, Jianhao Song, Jiansheng Li, Jiayao Zhang, Jinghan Zhang, Kaifang Li, Lang Mo, Li Mao, Mingchao Hao, Nuo Xu, Rui Ding, Ruiji Zhang, Shuyang Li, Siyu Mei, Tianyang Zhang, Weiyang Mu, Yancheng Dong, Yongxian Wei, Yuan Xue, Yuanrui Wang, Yue He, Zijia Yang, Ziyun Li, Dongzhe Li, Fuqiang Wang, Jiandong Liu, Jiawei Chen, Jiaxin Du, Kaijie Cheng, Kehan Li, Lei Sun, Linjun Zhou, Ningbo Dai, Qi Wang, Renzhe Xu, Shaoxing Du, Shumeng Yang, Wang Lu, Wenjing Chu, Xiannan Huang, Xiaoyu Lin, Xing Ai, Xinyan Han, Xuanyue Li, Xuanyue Su, Xukun Zhang, Yan Lu, Yaxin Zhang, Yi Qin, Yifei Huang, Yihan Xu, Yongle Lv, Yuanyuan Jiang, Yushan Han, Peng Cui 📅 2026-09-15 👍 284 2026-11-02 18:30

上下文学习因果发现掩码建模结构因果模型缩放定律表格基础模型

arXiv HuggingFace PDF

以联合分布建模取代单目标预测，一个模型前向完成表格分类回归插补与因果发现

前置知识

PFN（先验数据拟合网络）

一类在合成任务上预训练、推理时通过上下文学习直接预测的表格基础模型范式。它假设任务来自某个先验分布，预训练即"拟合先验"，前向传播中用带标签的上下文集 $D_{ct}$ 近似后验预测分布 $p(y\mid x, D_{ct})$，代表作有 TabPFN、TabICL、TabFM、Mitra。

本文的 CMN 范式正是针对 PFN"只监督单一目标列"的局限提出的，理解 PFN 的目标函数才能看出 CMN 的本质区别与优势来源。

上下文学习（In-Context Learning）

模型不更新任何参数，把支持集（上下文样本）与查询样本一起送入网络，靠注意力机制在单次前向传播中完成新任务。对表格数据意味着换数据集不用重新训练，只需更换上下文行；查询行只能关注上下文行，保证预测与批内其他查询无关。

LimiX-2 的分类、回归、插补、因果发现全部通过上下文学习完成，这是基础模型区别于传统逐数据集训练模型的核心能力。

SCM（结构因果模型）

用有向无环图刻画变量间因果结构、用函数机制 $X_i = f_i(\{g_{i,j}(X_j)\}_{j\in PA(X_i)}, \epsilon_i)$ 刻画变量如何由父节点生成的生成模型，包含链式、混淆、碰撞等基本因果 motif。本文用它合成全部预训练数据。

LimiX-2 完全在 SCM 合成数据上预训练，其因果骨架恢复能力直接源于对这类机制的学习，是理解数据引擎与因果实验的前提。

CCMM（上下文条件掩码建模）

本文的预训练目标：把表格划分为上下文行与查询行，对查询行中任意被掩码的列（不只是目标列）预测 $q_\theta(x_{i,j}\mid x_{i,-\pi_i}, X_{ct}, y_{ct})$，同时保留目标列预测，将特征重建与标签预测融合为统一的条件推理任务，掩码粒度覆盖单元格、整列和块。

CCMM 是 CMN 范式的具体实现，监督信号比纯标签预测稠密得多，是 LimiX-2 超越 PFN 系列模型的关键机制。

Elo 评分与 Bradley–Terry 模型

把每个数据集上的成对胜负转化为比较数据，用 Bradley–Terry 模型拟合出每个方法的标量分数，随机森林锚定在 1000 分；配合自助法（TabArena 用 2000 轮）给出 95% 置信区间，用于跨基准聚合比较模型强弱。

TabArena、TALENT、BCCO 三个基准的主要指标都是 Elo，本文几乎所有结论都以此为核心，必须理解其锚定与置信区间的含义。

因果骨架与 SHD

骨架指去掉方向的因果图邻接结构；骨架恢复即判断变量对之间是否存在直接因果边。评价指标为骨架 F1 分数与结构汉明距离 SHD（错误边的数量），F1 越高、SHD 越低说明恢复的骨架越接近真值。

论文用骨架恢复作为"模型是否内化因果结构"的可操作度量，第 5.5 节的因果意识实验完全建立在这两个指标上。

双轴注意力（dual-axis attention）

Transformer 在两个维度交替做注意力：特征轴在行内建模变量间关系，样本轴利用上下文样本形成对当前表的先验；配合"查询行只能看上下文、目标表示只能看特征"的非对称设计，信息被约束为从特征流向任务读出。

这是 LimiX-2 保留单元格级表示并实现条件推理的架构基础，读懂 Figure 2 的结构图和因果探针实验都依赖它。

研究动机

结构化数据支撑着医疗、金融与科学发现中的预测和决策，但通用建模长期缺位：梯度提升树（XGBoost、LightGBM、CatBoost）、深度网络（FT-Transformer、RealMLP、TabM）与 AutoML 框架（AutoGluon）虽然单项性能强，却要为每个新数据集单独训练、调参与模型选择，知识几乎无法跨任务复用。近年 TabPFN、TabICL、TabFM、Mitra 等 PFN 系表格基础模型通过合成任务预训练实现了上下文学习，免去了逐数据集训练；但它们的标准形式只逼近给定上下文集 $D_{ct}$ 后单一目标列的后验预测分布 $p(y\mid x, D_{ct})$——任务内的直接监督局限于一个目标列，模型从未被显式要求理解整张表的联合依赖结构。这限制了变体数据推理能力：任意列插补、跨变量条件推理、因果结构感知等任务缺乏统一接口。相对于语言与物理世界两个前沿，结构化数据的通用智能明显滞后，缺少覆盖广泛任务分布、统一建模范式、推理时零参数更新的大规模结构化数据模型（LDM）。

本文的目标是本文要建立并验证一种新的结构化数据建模范式——上下文机制网络（CMN），并以 LimiX-2 为实例落地。具体目标有三：其一，单一预训练模型在不更新任何参数的情况下同时支持分类、回归、缺失值插补与因果骨架发现，把"从可用证据推断未观测量"作为统一接口，监督式预测只是其中的特例；其二，在 TabArena（51 个数据集）、TALENT（288 个数据集）、BCCO（156 个数据集）三个社区公认基准上全面超越现有表格基础模型与逐数据集训练的传统模型，在三个基准上都取得最高 Elo（最终分别为 1935、1506、1432）；其三，遵循前作 LimiX 建立的缩放定律，用 12.5M 到 406.2M 参数的六个模型规模做受控缩放实验，按 $E_i=\alpha+\beta\log_2(N_i/100)+\epsilon_i$ 拟合并外推，验证模型容量是可预测的扩展轴，为迈向十亿参数规模提供实证依据。

与已有工作不同的是，本文的独特切入点是把上下文学习的组织原则从"以目标为中心的预测"转向"面向机制的联合建模"。与 PFN 只监督 $p(y\mid x, D_{ct})$ 不同，CMN 围绕 $p(x,y\mid D_{ct})$——数据生成背后的联合依赖结构——来设计网络与训练目标，通过 CCMM 在同一数据集上构造多种条件预测任务（目标列预测加任意列掩码重建），使跨变量推理成为显式预训练目标而非附带能力，监督密度因此大幅提高。另一个差异化设计是坚持单元格级表示：TabFM、TabPFN-3、TabICLv2、Xiaomi-TabLDM 等竞品把整行压缩为行级向量，特征注意力只能算到特征组粒度；LimiX-2 给每个单元格独立表示，特征注意力能精确到单个特征，这既保留了表格细粒度结构，也让"注意力即因果强度"的探针实验成为可能。此外，本文沿前作建立的缩放定律做受控模型规模扩展（12.5M–406.2M 六档、五个评估序列拟合 $R^2\geq 0.9617$），这种系统化的缩放研究在表格基础模型领域尚属少见。

核心方法

LimiX-2 延续前作的单元格级设计并扩大规模。每个原始单元格经两层 MLP（RMSNorm+GELU）映射为 $d=256$ 维向量（前代为 192），缺失格共享可学习嵌入 $E_{miss}$；列身份由低秩判别特征编码（DFE）提供，每列持有 $s=d/4=64$ 维码，经映射矩阵加到特征表示上，避免模型把列位置当捷径。目标按任务类型编码为 $K=4$ 个任务嵌入槽并附加 cls/reg 类型嵌入。主干为 $M=24$ 层双轴 Transformer，每块依次做样本轴注意力（上下文行互相可见、查询行只见上下文，特征与目标的 Q/K/V 映射不共享）、特征/目标各自独立的 SwiGLU 门控 FFN 与非对称特征轴注意力（特征可看目标与其他特征，目标只能看特征）；交叉注意力用全部 K/V 头，查询按长度因子 $s^h=(1+w^h\log n)^{\beta^h}$ 缩放。预测头挂在不同深度：掩码重建用浅层表示 $x^{(l_{mask})}$，分类与回归（$B=5000$ bin，$\hat y=\sum_i p_i c_i$）从末层 $y^{(M)}$ 解码。

核心创新是 CMN 范式本身：把网络组织原则从 PFN 的目标中心预测 $p(y\mid x, D_{ct})$ 转向机制导向的联合建模 $p(x,y\mid D_{ct})$。本质区别在监督的构造方式——传统 PFN 每个任务只对单一目标列回传梯度，而 CMN 通过 CCMM 在同一数据集上同时构造两类条件任务：目标列预测（分类交叉熵 / 5000-bin 回归）与掩码特征重建（浅层头），掩码粒度横跨单元格、整列、块三种模式，使"从其余观测加上下文集推断任意未观测列"成为统一接口，标签预测只是其中的特例。由此监督信号密度成倍提升，模型被迫学习变量间的依赖机制而非单一映射。配套的架构差异同样关键：特征与目标走独立通路（独立 Q/K/V 映射与独立 SwiGLU），非对称注意力保证信息只从特征流向任务读出；交叉注意力使用全部 K/V 头（LimiX 只用一个）。这使得单元格级表示在大模型下仍能稳定编码细粒度列间关系，是竞品行级压缩架构做不到的。

方法步骤详情

数据生成按 SCM 五阶段流水线：(1) 超参采样——从正态/均匀/Beta 分布抽样本量、特征数、任务类型；(2) DAG 生成——以链式/混淆/碰撞等因果 motif 递归展开构图，再施加保无环的拓扑变换；(3) SCM 传播——其余节点按 $X_i=f_i(\{g_{i,j}(X_j)\},\epsilon_i)$ 沿拓扑序生成，边函数含 MLP/CNN/决策树与线性/周期/乘性等且可复合，多父聚合方式多样；(4) 特征与目标抽样——按子图结构与特征冗余构造描述符并多目标筛选；(5) 任务适配——施加随机数值变换：分类目标离散化并调节类不平衡，回归目标改尺度与偏度。预训练用 CCMM：每次采样把表分为上下文行与查询行，按单元格/整列/块三种掩码遮挡查询格并替换为 $E_{miss}$，预测条件分布 $q_\theta(x_{i,j}\mid x_{i,-\pi_i}, D_{ct})$ 并同时预测查询目标列。推理时查询行目标位填 MASK、上下文行带真实标签，单次前向完成预测；缩放阶段在 12.5M–406.2M 六档规模上做 log-linear 拟合并外推至 2B。

技术新颖性

技术新颖性体现在四个层面。(1) 目标函数层面：CCMM 把跨变量条件推理变成显式预训练目标，比 PFN 的单目标监督稠密得多，且掩码嵌入与自然缺失共享同一编码，天然统一了插补与预测，条件似然还可直接用于异常评分。(2) 架构层面：与竞品普遍的行级压缩不同，LimiX-2 保持 $N\times F\times d$ 的单元格张量，配合低秩 DFE（$s=64$ 维列码）在 $d=256$ 的更大表示空间里抑制列索引捷径，并把新增参数预算主要投给任务通路（$K=4$ 槽、独立 SwiGLU），容量配置有的放矢而非均匀放大。(3) 数据层面：SCM 引擎在图结构（motif 递归展开加拓扑变换）、函数机制（新增核函数、分段、周期、乘性交互及复合）与观测过程三个维度同步扩张，变量抽样被形式化为多属性多目标选择问题。(4) 评估层面：首次用特征注意力阈值化做因果骨架恢复来度量表格基础模型的因果意识，并给出表格基础模型领域少见的受控 log-linear 缩放研究（五条序列 $R^2$ 介于 0.9617 与 0.9808）。这些设计共同支撑了"一个模型、一次前向、四类任务"的统一性。

**Figure 2**: Overall structure of LimiX-2

**Figure 3**: Schematic overview of the synthetic data generation process for pretraining

实验结果

核心结果分四块。(1) TabArena：默认配置 Elo 1935，领先亚军 TabFM+（1818）117.4 分，平均秩 5.5 对 9.0，胜场 18.9 对 5.3；对最强对手胜率 65.2%–81.3%；分类 Elo 1917、回归 2206，超 TabFM+ 143 分。(2) TALENT（288 数据集）：总体 Elo 1506，超 TabFM 35 分、AutoGluon 68 分；分类/回归 Elo 1475/1584，三类任务平均秩均最低。(3) BCCO（156 含缺失数据集）：总体 Elo 1432，领先 AutoGluon 56、TabFM 63、LimiX-16M 202 分；回归 Elo 1859 显著领先。(4) 因果骨架恢复：六个真实数据集平均 F1 0.7972，F1 全第一、SHD 五项最低，超 EXAONE（0.6591）与 PC/GES/LiNGAM 等专用方法。缩放实验中 Elo 随参数对数上升（TabArena 每翻倍 +34.68，12.5M 到 406.2M 提升 169 分且未饱和）；参数量比 TabFM 小 4 倍仍全面领先。

**Table 1**: Task composition and evaluation metrics of the 3 tabular benchmarks

**Table 2**: Performance on the TabArena benchmark

**Table 3**: Performance on classification tasks in the TabArena benchmark

**Table 4**: Performance on regression tasks in the TabArena benchmark

**Table 5**: Performance on the TALENT benchmark

**Table 6**: Performance on the BCCO benchmark

**Table 7**: Comparison of causal skeleton recovery among tabular foundation models, XGBoost, and dedicated causal discovery methods

**Figure 1**: Performance overview on evaluated benchmarks

**Figure 5**: Pairwise win rates on the TabArena benchmark

**Figure 6**: Average-rank comparison on the TALENT benchmark across binary classification, multiclass classification, and regression tasks

**Figure 7**: Pairwise win rates on the TALENT benchmark

**Figure 8**: Model rankings across dataset meta-features on TALENT

**Figure 9**: Average-rank comparison on the BCCO benchmark across binary classification, multiclass classification, and regression tasks

**Figure 10**: Pairwise win rates on the BCCO benchmark

**Figure 11**: Model rankings as a function of meta-features on the BCCO benchmark

**Figure 12**: Parameter scaling on TabArena

**Figure 13**: Parameter scaling on TALENT classification and regression

**Figure 14**: Parameter scaling on BCCO classification and regression

查看结构化数据

任务	指标	本文	基线	提升
TabArena 全量（51 数据集：30 二分类/8 多分类/13 回归）	Elo（随机森林锚定 1000，2000 轮自助法 95% CI）	1935（默认配置）	TabFM+ 1818；AutoGluon 1.6（NC,4h）1789；TabPFN-3 1632	+117.4 分；improvability 3.3% vs 6.2%；平均秩 5.5 vs 9.0；聚合胜场 18.9 vs 5.3（约 3.6 倍）
TabArena 分类（38 数据集）	Elo	1917	TabFM+ 1796；Causilo 1768；Mitra-v2 1754	+121.1 分；improvability 4.3% vs 7.5%（约低 42.7%）；平均秩 6.0 vs 9.9
TabArena 回归（13 数据集）	Elo	2206	TabFM+ 2063；AutoGluon 1.6（NC,4h）2060	+143.2 / +146.3 分；improvability 0.6%；平均秩 3.8；聚合胜场 8.3 vs 0.5
TALENT 总体（288 数据集，15 随机种子）	Elo	1506	TabFM 1471；AutoGluon 1.6（EX,4h）1438；EXAONE Tabular 1393	+35 / +68 分；improvability 6.75% vs 9.17%（相对降 26.4%）；胜场 84.3 vs 50.1（1.7 倍）
TALENT 分类与回归	Elo 与数据集级平均秩	分类 1475、回归 1584、二分类 1455、多分类 1520；平均秩 4.62/3.91/3.88 全部最低	TabFM 分类 1449、回归 1529；AutoGluon 回归 1581	分类 +26 分、回归 +55 分；三个子任务平均秩均为第一
BCCO 总体（156 个含缺失数据集：71 二分类/35 多分类/50 回归）	Elo	1432（分类 1321、回归 1859、二分类 1284、多分类 1414）	AutoGluon 1.6（EX,4h）1376；TabFM 1369；LimiX-16M 1230	+56 / +63 / +202 分；improvability 6.97% vs 12.24%（相对降 43.1%）；胜场 50.4 vs 16.7（3.0 倍）；多分类落后 AutoGluon 1443 约 29 分
因果骨架恢复（Sachs/UF/CausalChamber/PATHFINDER/DIABETES/PIGS 六个真实数据集）	骨架 F1 与 SHD	平均 F1 0.7972；六项 F1 全部第一（PIGS 0.9385、UF 0.8617）、五个 SHD 最低（Sachs 8、UF 26）	EXAONE Tabular 均值 0.6591；XGBoost 增益重要性及 PC/GES/LiNGAM/AVICI/NOTEARS-MLP/DAG-GNN/TabCausal	均值 +0.1381；PC/GES/NOTEARS-MLP 在部分数据集 12 小时超时
参数缩放（12.5M–406.2M 六档，log-linear 拟合）	$E_i=\alpha+\beta\log_2(N_i/100)$ 的拟合优度	$R^2$ 0.9617–0.9808；TabArena 斜率最大（β=34.68 Elo/翻倍，1766 到 1935，+169）	基线模型仅作参考点，不参与拟合	五条序列均正斜率、无饱和迹象；TALENT 分类/回归 +109/+89，BCCO 分类/回归 +56/+147

局限与改进

作者承认的局限主要有：2B 参数的结果是外推预测而非实测，更大模型可能进入不同的优化或数据机制，且 Elo 分数依赖基准上的对比池；TabArena 上不同方法的架构、预训练分布与训练算力存在差异，不能把差距完全归因于模型设计；TALENT 评测排除了 12 个类别数超过 10 的数据集。从结果本身看，BCCO 多分类上 AutoGluon 1.6（EX,4h）以 Elo 1443 领先 LimiX-2 的 1414，TabArena 回归的 improvability 已低至 0.6%，说明改进空间在收窄；因果骨架评测只有 6 个数据集，且依赖注意力分数阈值的选择；行级压缩的竞品只能按特征组分配注意力，其因果指标恶化可能部分来自测量粒度而非能力差异。此外，报告没有消融实验章节（掩码方案、DFE 秩、$K$ 槽数量、长度缩放各自的贡献不明），单元格级注意力的 $O(NF)$ 计算与显存开销、大样本长上下文下的可扩展性也未系统披露，基准样本量基本在 $10^5$ 以内，更大规模场景仍是未知数。

独立分析的弱点

独立分析后我认为有四个值得注意的弱点。(1) 因果探针的公平性：TabFM、TabPFN-3、TabICLv2、Xiaomi-TabLDM 是行级架构，论文把特征组注意力均分到成员特征再算骨架，这种测量方式系统性低估它们，"组级模型因果能力差"的结论部分混淆了架构差异与测量差异，改进方向是在行级模型上用梯度乘输入或 SHAP 类归因重做对照实验。(2) "注意力即因果强度"只是相关性证据而非干预证据，六个数据集规模较小、阈值超参未做敏感性分析，改进方向是补充跨噪声水平、跨样本量的稳定性曲线与置信区间。(3) 评测集中在类别数不超过 10、样本量 $10^3$–$10^5$ 的表格任务，未覆盖时间序列、面板数据、超高维（$10^4$ 以上特征）场景，而单元格级注意力的开销在宽表上会率先成为瓶颈，改进方向是引入列稀疏注意力或检索式上下文选择。(4) 全部预训练数据来自 SCM 合成引擎，真实表格与合成分布之间的失配只能靠基准间接验证，且未报告合成数据的规模（数据集数、token 数）与训练算力，改进方向是公开数据配方与规模细节，让社区检验多样性覆盖是否充分，并探索掺入真实数据的预训练。

未来方向

作者指出的方向包括：把 LimiX-2 推向十亿参数量级——缩放曲线外推到 2B 且 406.2M 处无饱和迹象，TabArena 每参数翻倍约 +34.68 Elo 的斜率提供直接动机；继续沿数据引擎扩展图结构、函数机制与观测过程。基于其成果还可自然延伸：(1) 更丰富的任务族——条件似然已可用于异常评分，可系统化扩展到异常检测、分布漂移检测与数据质量修复；(2) 因果深化——在骨架之上做边定向与因果效应估计，把"预训练从 SCM 采样、推理反推 SCM"做成显式闭环，并量化因果能力随规模的涌现规律；(3) 与语言模型融合——用 LLM 提供列语义元数据，弥补纯数值嵌入对列含义不敏感；(4) 其他缩放轴——上下文长度、测试时算力、数据多样性的单轴或多轴缩放律；(5) 工程化——宽表与长上下文的注意力近似、量化与上下文表示缓存；(6) 把统一条件接口推广到时间戳列、文本列、嵌套结构列，形成更完整的结构化数据智能体系。

复现评估

复现条件总体较好。模型与代码已开源：GitHub（github.com/limix-ldm/LimiX）、HuggingFace（stableai-org）与 ModelScope（stable-ai）均给出入口；推理只需加载权重并对新表做上下文编码，中小规模表格单卡即可完成，对使用者几乎无损。评测协议完全公开且可复算：TabArena 用官方流水线与已发布排行榜（2026-09-15 取数），TALENT 用官方 64%/16%/20% 划分并跑 15 个随机种子，BCCO 从训练集随机留 20% 做验证；Elo 以随机森林=1000 锚定，2000 轮自助法给 95% CI，平均秩用 1000 轮自助法。难点在预训练侧：论文描述了 SCM 五阶段引擎与 CCMM 目标的设计，但未披露合成数据的具体规模、超参分布的完整配方与训练算力，从零复现预训练需要可观的 GPU 预算，缩放实验横跨 12.5M–406.2M 六个规模进一步放大成本。复现因果骨架实验时需注意对分组注意力模型的均分处理细节与阈值选择。总体判断：推理与评测复现难度中低，预训练复现难度高。