超越 IID：表格基础模型究竟有多通用？ Beyond IID: How General Are Tabular Foundation Models, Really?
统一基准评估发现表格基础模型在非IID场景中不及传统模型
前置知识
IID数据
独立同分布数据是机器学习中最基本的假设，指训练数据和测试数据来自同一分布且相互独立。在表格数据场景中，这通常意味着可以随机划分数据集，测试样本不遵循特定的时间或分组结构。例如预测历史交易是否欺诈时，可以用随机split。
本文的核心就是区分IID和非IID数据，因为TFMs在IID数据上表现优异，但在非IID数据上会失败。理解这个概念是读懂本文实验设计和结论的基础。
表格基础模型
表格基础模型是近年来兴起的大规模预训练模型，设计用于处理表格结构数据。不同于传统的树模型（如XGBoost、CatBoost），TFMs在大规模数据上预训练，通过上下文学习的方式直接用于下游任务。代表性模型包括TabPFN、TabDPT、TabICL等。
本文的研究对象就是TFMs，评估它们是否真正基础、是否能泛化到各种真实场景。论文对比了3个TFMs和8个传统模型，发现TFMs的泛化能力有限。
Elo评分系统
Elo评分源自国际象棋，用于衡量相对实力。在机器学习基准测试中，Elo通过建模成对比较来计算，反映模型获胜的概率。本文将默认XGBoost校准为1000分，得分更高的模型在整体上更可能胜出。Elo的优势是对性能差距敏感，能更好地区分模型强弱。
本文使用Elo和改进性两个指标来聚合结果。Figure 1和Figure 5都展示了Elo分数，这是理解TFMs在不同子基准上表现的关键度量方式。
分组数据
分组数据是指样本之间存在隐式分组结构的数据，需要保证同一组的样本不出现在训练和测试集中。例如预测新医院的患者时，同一医院的数据应该全在训练或全在测试，否则会产生组泄漏。分组任务分为label-per-group（预测组级标签）和label-per-sample（预测样本级标签但组独立）。
这是本文引入的三种任务类型之一（IID、分组、时序）。实验发现TFMs在分组数据上表现不佳，这是论文的一个重要发现。Ablation study还表明，错误的分组划分会严重扭曲模型排名。
上下文学习
上下文学习是基础模型的一种使用方式，不需要更新模型权重，而是将训练样本作为上下文输入，让模型从上下文中学到任务规律然后进行预测。本文对TFMs只评估ICL性能，不进行fine-tuning，这是为了评估预训练后的开箱即用能力。
本文明确说明只评估TFMs的ICL性能，这是理解实验设置的关键。Figure 4的Default列就是TFMs的ICL性能，而传统模型的Tuned+Ensembled性能代表最优可能性能。
研究动机
表格基础模型已经在学术界和工业界获得关注，来自不同领域的研究者开始在各种数据集和任务上评估这些模型。然而，这些特定任务和特定领域的评估对模型研究者来说大多不可访问，因为基准软件和评估协议是碎片化的。结果就是，模型研究者依赖标准基准，但这些基准主要是针对TFMs已经表现良好的任务定义的。最具挑战性的场景被排除在外，限制了该领域的有意义进展，因为关注的是IID数据上的边际改进，而不是更广泛、更苛刻的挑战。
本文的目标是本文的目标是引入BeyondArena，这是第一个用于表格数据的统一整体基准，支持多样化的任务类型（IID、temporal、grouped），涵盖样本规模和特征维度的各种规模，包含多样化的特征类型（文本、高基数类别），来自广泛的不同学科。作者还引入DataFoundry，一个Python框架和元数据模式，用于策展用于预测机器学习的表格数据集。
与已有工作不同的是，本文的独特切入角度是：当前表格基准测试社区存在碎片化问题，不同项目（如PMLB-Mini用于小数据、TabReD用于时序数据、TextTabBench用于表格-文本数据）有独立的基准基础设施和科学标准。BeyondArena首次将这些不同任务类型统一到一个框架中，并引入了更严格的数据策展协议和标准化的评估流程，填补了表格数据非IID基准测试的空白。
核心方法
本文的方法分为三个层面：数据策展、基准设计和实验评估。首先，作者从1128个候选数据集中人工策展了142个高质量数据集，建立了DataFoundry框架来标准化数据集的元数据、预处理和训练-测试划分。然后，设计了BeyondArena基准，包含12个子基准：按任务类型（IID、分组、时序）、样本规模（100-1k、1k-10k、10k-100k、100k-1M）、维度（≤100列、>100列）、特征类型（文本、高基数类别）划分。最后，在142个数据集上评估了11个模型（3个TFMs、8个传统模型），使用Elo和改进性指标聚合结果，并通过ablation study验证实验设置的有效性。
本文的核心创新点是提出应用驱动的数据划分方法：确定数据集是IID还是非IID，基于应用场景中合适的训练-测试划分。例如，两个从业者可以用相同数据做不同事情：Alice用随机split预测历史交易（IID），Bob用时序split预测未来交易（非IID）。这种思想扩展到数据策展和学术基准测试，避免了不当划分导致的性能高估或低估。此外，DataFoundry的标准化元数据模式和reproducible notebooks也是关键创新。
方法步骤详情
方法步骤分为四个阶段：数据策展、预处理、评估和聚合。数据策展从21个基准和公共仓库收集1128个数据集，经过去重、筛选（必须至少100训练样本、来自真实应用、代表实际问题、无明显伦理问题），最终保留142个。每个数据集通过DataFoundry的Python notebook进行统一处理：格式统一、特征类型标注、任务定义（目标列、划分方式）、必要的特征工程。预处理包括模型无关步骤（日期编码用skrub转10个数值特征、文本编码用Qwen3-Embedding-8B转32维向量、分组数据的组索引处理）和模型特定步骤（如类别编码、缩放）。评估使用不同的外部划分策略：IID任务用重复3-fold CV，分组任务用组-based CV，时序任务用应用特定的时序划分（多个时间点，每个点之前训练、之后测试）。内部验证用8-fold CV（<500样本用5×5重复CV），用25个随机搜索配置调优传统模型，TFMs只用ICL。最后用ROC AUC（二分类）、log-loss（多分类）、RMSE（回归）评估，归一化后用Elo和改进性聚合，Elo校准为默认XGBoost的1000分。
技术新颖性
本文的技术新颖性体现在四个方面：第一，首次将IID和非IID任务（时序、分组）统一到一个表格基准中，填补了非IID基准测试的空白。第二，提出了BeyondArena-Core方法，自动选择每个数据集的划分子集，确保排名与全划分相当，但计算成本降低5倍。第三，引入了标准化的数据策展流程和元数据模式，每个数据集都有reproducible notebook，解决了基准碎片化问题。第四，全面的ablation study验证了实验设置的每个关键决策：外部划分（正确划分对分组数据至关重要）、内部划分（5×5 CV对小数据避免过调优）、预处理（分组数据预处理提升性能，文本预处理中Qwen3对短文本更好但TF-IDF对长文本更好）、概率校准（对大多数模型有帮助但TabPFN-2.6和RealMLP更差）。
实验结果
核心发现可以从四个维度分析：按模型家族看，Figure 1显示TFMs在Tiny、Small和IID子基准上表现最好，Elo分别为约1450、1300和1200，明显高于其他家族；但在Grouped（约700）、Temporal（约800）、Large（约850）、High（约900）、High Card.（约750）子基准上被传统模型（GBDT和MLP）超越。按具体模型看，Figure 4的leaderboard显示，在默认ICL性能下，TabICLv2的Elo最高（约1180），其次是TabPFN-2.6（约1150）和TabDPT（约1130）；但在调优+集成后，CatBoost（约1230）、RealMLP（约1220）、XGBoost（约1200）超越了所有TFMs。按峰值性能看，Figure 6显示TabICLv2在19%的数据集上排名第一，TabPFN-2.6在10.5%的数据集上排名第一；TFMs在49%的数据集上显著优于其他模型，在额外的21%数据集上至少与最佳非TFM持平，因此TFMs在70%的数据集上能达到峰值性能。然而，在42个数据集上TFMs被明显超越，这些数据集的特点是Large、High-dimensional、非IID或包含高基数类别特征。按训练成本看，Figure 4右侧显示TFMs的默认训练成本（包括CV）显著低于调优后的传统模型，但TFMs有更高的推理成本。统计检验（附录E）证实了全局排名和成对比较在模型和子基准之间都是显著的。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| IID分类/回归 | Elo评分 | TabICLv2 (约1200) | CatBoost tuned (约1180) | TFMs在IID数据上略有优势，约1.7%提升 |
| 分组数据分类/回归 | Elo评分 | TabICLv2 (约700) | RealMLP tuned (约1100) | 传统模型优于TFMs约57% |
| 时序数据分类/回归 | Elo评分 | TabPFN-2.6 (约800) | LightGBM tuned (约1050) | 传统模型优于TFMs约31% |
| 大规模数据（>100k样本） | Elo评分 | TabICLv2 (约850) | CatBoost tuned (约1250) | 传统模型优于TFMs约47% |
| 高维数据（>100列） | Elo评分 | TabICLv2 (约900) | XGBoost tuned (约1150) | 传统模型优于TFMs约28% |
| 高基数类别数据 | Elo评分 | TabPFN-2.6 (约750) | CatBoost tuned (约1200) | 传统模型优于TFMs约60% |
| 峰值性能占比 | 数据集百分比 | TabICLv2 19% | 最佳传统模型 | TFMs在70%数据集上能达到峰值性能 |
局限与改进
本文的局限性作者承认了五点：第一，由于计算约束，只调优了25个随机配置，可能没有找到传统模型的最优性能。第二，只评估了TFMs的上下文学习性能，没有探索fine-tuning TFMs，这可能低估了TFMs的真实潜力。第三，只包含了来自TabArena的三个TFMs，没有探索其他开源或闭源模型。第四，在142个数据集中，一些子基准的数据集比其他的多，导致所有数据集上计算的leaderboard存在子基准的过度和不足代表性。第五，虽然向预处理、验证和调优的统一管道迈出了第一步，但时序和分组数据的最佳验证实践、分组和文本数据的最佳预处理实践仍有待探索。此外，我观察到BeyondArena的计算成本极高（约5万美元、16.25墙钟年），虽然提出了BeyondArena-Core来缓解，但这仍可能限制研究社区的广泛使用。
独立分析的弱点
独立分析的弱点包括三个方面：第一，论文只评估了三个TFMs（TabICLv2、TabPFN-2.6、TabDPT），但近年来出现了更多TFMs（如FT-Transformer、SAINT、GatedTabNet等），扩展评估可以更全面地了解TFMs的泛化能力。改进方向是增加更多开源TFMs到基准中。第二，论文只评估了ICL性能，没有探索fine-tuning或few-shot learning，而TFMs的一个重要优势可能是通过少量样本快速适配新任务。改进方向是增加fine-tuning和few-shot评估协议。第三，论文的维度划分（Low≤100列、High>100列）可能不够细致，因为不同模型对维度的敏感性不同。改进方向是设计更细粒度的维度分析（如<50、50-100、100-200、>200列）。第四，论文没有考虑数据质量的影响（如噪声、缺失值、异常值），这些在真实应用中很常见。改进方向是增加数据质量维度的分析。
未来方向
未来研究方向包括作者提出的和基于成果可延伸的：作者提出扩展到few-shot预测（<100样本）、更多多模态表格数据（如图像-表格-文本）、其他任务如关系学习或生存分析。基于成果可延伸的方向包括：第一，探索TFMs在非IID数据上的改进，可能是通过预训练时引入时序或分组结构，或者在ICL时提供更好的上下文组织方式。第二，研究自动化的预处理管道，将分组索引处理、文本编码、日期编码等步骤集成到模型训练中，而不是手工设计。第三，开发更高效的评估协议，BeyondArena-Core是第一步，可以进一步优化选择策略或采用更早停止。第四，探索TFMs与其他方法的集成，如用TFMs初始化传统模型、用TFMs生成特征、用TFMs进行模型选择等。第五，研究TFMs的calibration问题，因为ablation study显示概率校准对大多数模型有帮助但对TabPFN-2.6和RealMLP有负面影响，需要理解原因并改进。
复现评估
复现评估方面，本文的开源情况非常完善：代码在https://tabarena.ai/code开源，数据在https://github.com/TabArena/data-foundry开源，数据集在Hugging Face（https://huggingface.co/datasets/TabArena/BeyondArena）发布。DataFoundry提供了每个数据集的reproducible notebook，包含元数据编辑、预处理、数据集检查、训练-测试划分和导出artifacts。模型实现基于TabArena的AutoGluon框架，都经过unit测试。然而，复现难度主要来自计算成本：论文估计BeyondArena成本约5万美元，耗时约16.25墙钟年。作者提出了BeyondArena-Core来降低5倍成本，但这仍然很高。对于资源受限的研究者，可以使用TabArena-Lite（只用第一个划分），这会降低9倍速度但win rate稳定性降低2.3倍。总体来说，代码、数据、笔记都开源，但完全复现需要大量计算资源，部分复现（如某些子基准）是可行的。
论文图表
这个漏斗图展示了从1128个初始数据集到最终142个数据集的筛选过程。漏斗从上到下有四个层次：Dataset Discovery、No duplicates、No few-shot prediction task、Must be from a predictive task、Represents a real application。每个层次标注了过滤掉的数据集数量和主要原因，例如-171 unsuited modality、-115 artificial datasets、-89 data quality issues等。最终结果是142个tiny to large-sized, tabular IID and non-IID tasks。右侧还标注了过滤后的剩余数据集数量（如-369、-117、-48、-52、-410）。
这张图是理解数据集策展质量的关键，展示了作者如何从大量候选数据集中筛选出高质量的142个数据集。它说明了筛选过程的严格性和透明度，是评估BeyondArena可靠性的重要证据。每个过滤理由都对应一个明确的筛选标准，确保数据集的高质量和代表性。
这张图由四个子图组成，展示了BeyondArena数据集的统计特征。左上图是数据集大小分布（行数、列数、单元格数的对数坐标），显示了从10^2到10^6行的分布、从2到约1000列的分布、从约10^3到10^8个单元格的分布。右上图是数据集年龄分布，显示了从1985年到2025年的分布，大部分数据集是近年的。左下图是特征类型分布（数值、类别、二元、文本、日期/时间）在各数据集中的百分比。右下图是按问题类型（分类：二元51%、多分类18%，回归31%）、任务类型（IID 73%、Grouped 13%、Temporal 15%）、来源（UCI 44%、Kaggle 34%、其他22%）、领域（医疗27%、商业23%、金融13%、生物9%、其他28%）的数据集分布。
这张图是理解BeyondArena数据集多样性和代表性的关键。它展示了数据集涵盖了广泛的规模、年龄、特征类型、任务类型、来源和应用领域，是评估BeyondArena能否代表真实应用的重要证据。特别是非IID任务占28%（13% Grouped + 15% Temporal），说明BeyondArena确实覆盖了非IID场景。