MulTaBench：面向文本与图像的多模态表格学习基准 MulTaBench: Benchmarking Multimodal Tabular Learning with Text and Image
首个聚焦目标感知表示的多模态表格学习基准(40数据集)
前置知识
表格基础模型 (Tabular Foundation Model, TFM)
在大规模合成或真实表格数据上预训练的 Transformer 类模型（如 TabPFN 系列），通过上下文学习 (ICL) 范式在推理时无需参数更新即可对表格列进行预测。TabPFNv2 与 TabPFN-2.5 是当前 SOTA。
本文核心是评测 TFMs 在多模态场景下的表现，读者需要理解 TFM 为什么擅长结构化数据但默认无法直接吃文本/图像模态。
多模态表格学习 (Multimodal Tabular Learning, MMTL)
预测任务中输入同时包含结构化数值/类别列与一种或多种非结构化模态（文本、图像），目标是联合利用所有模态提升表格任务的判别性能。本文假设单一非结构化模态与表格配对，并自然扩展到三模态。
MMTL 是本文研究的问题域。理解它才能体会为什么直接套用 TFMs 或 LLMs/VLMs 都不理想。
目标感知表示 (Target-Aware Representations, TAR)
针对具体预测目标对预训练编码器进行微调（本文用 LoRA 微调最后 3 层）所产生的嵌入表示。与「冻结表示」(Frozen) 相对，冻结表示使用通用预训练编码器直接抽取嵌入。
TAR 是本文的核心概念，是判别一个数据集是否值得纳入基准的第二条准入准则（Task-awareness）所依赖的算法抓手。
LoRA (Low-Rank Adaptation)
在冻结预训练权重的基础上，向某些线性层注入低秩分解矩阵 $\Delta W = BA$，其中 $B \in \mathbb{R}^{d \times r}, A \in \mathbb{R}^{r \times k}$，$r \ll \min(d, k)$，从而以极小参数量实现任务适配。本文用 LoRA 微调编码器最后 3 层。
LoRA 是实现 TAR 的具体技术手段，读者需要理解它能低成本地让通用编码器对齐下游目标。
主成分分析降维 (PCA Projection)
把高维嵌入 $E \in \mathbb{R}^{n \times D}$ 通过线性正交变换投影到 $k$ 维子空间，本文统一将文本/图像嵌入从 384/1024 维降到 30 维（部分实验对比 15、60 及不降维），以控制过拟合与显存。
降维是 TAR 与 Frozen 实验公平比较的关键前置步骤；本文专门做了 N=15/30/60 维的消融以排除降维是性能提升的元凶。
梯度提升决策树 (GBDT) 与 TabPFN 系列
GBDT（如 LightGBM、CatBoost、XGBoost）是传统表格学习强基线；TabPFNv2 与 TabPFN-2.5 属于 PFN 类 TFM，采用上下文学习范式。两者在本文 5 模型评测套件中并列出现。
读者需要熟悉这些被评测的下游表格学习器，因为 TAR 的结论需要在它们之间保持一致才被认定稳健。
研究动机
表格基础模型 (TFMs) 已成为监督表格学习的 SOTA（超越 GBDT），但目前最强的 TFMs（如 TabPFN-2.5、TabICLv2）只在结构化数值数据上预训练，本质上是单模态模型：遇到文本或图像必须依赖外部冻结嵌入，导致信息损失。在医疗、电商、社交媒体等高价值场景中，表格问题天然多模态——一条电商 listing 同时含数值特征、商品图、文本描述；一份电子病历同时含年龄/吸烟史、临床笔记、胸部 X 光。然而现有方案各有问题：基于 LLM/VLM 的方法（TabLLM、TabuLa-8B、TabGemma）自回归架构破坏数值精度且推理昂贵；早期 MMTL 架构（AutoGluon-Multimodal、TabSTAR）联合微调又损伤纯表格性能或不支持图像。作者团队先前在 TabSTAR 中验证了联合微调（即可得到 TAR）对文本表格任务至关重要，但完全没有图像端支持；TIME、MultiModalPFN 等 PFN 类扩展又依赖冻结嵌入，丢失任务相关信号。
本文的目标是本文的目标是构建并发布 MulTaBench——首个显式聚焦「需要目标感知表示才能解决」的多模态表格基准。基准包含 40 个数据集，文本/图像各 20 个，分类/回归平衡，样本量跨度 400 到 114,000 行，结构化特征数跨度 1 到 245，覆盖医疗、电商等高影响域。配套发布一个 4 条件、5 学习器、5 随机种子的可复现筛选流水线，使基准具备随领域演进而被自动扩充的能力。同时通过系统消融证明：在 (i) 新的下游学习器、(ii) 更大的嵌入模型、(iii) 不同 PCA 维度下，TAR 相对 Frozen 的优势均稳健成立。
与已有工作不同的是，已有 MMTL 基准（Multimodal AutoML Benchmark 含 18 个数据集、Grinsztajn 14 个、TextTabBench 13 个、CARTE 51 个、MuG 4 个、Tang et al. 11 个）大多只强调「多种模态共存」，不区分「纯 NLP/CV 任务」与「真正的 MMTL 任务」，把本质上只需冻结嵌入就能解决的题目也纳入其中，导致任务异质性高、跨数据集方差大、掩盖了 TAR 的真实收益。本文独到之处在于：先形式化两条数据集准入准则——(1) Joint Signal（联合预测必须优于任一单模态）、(2) Task-awareness（联合 TAR 必须优于联合 Frozen，且至少在 5 个学习器中的 3 个上成立），再用算法流程强制只有同时满足的题目才能进基准。这一设计把「任务属性」与「算法方案」显式耦合，从而把当前方法真正做不好的那部分 MMTL 问题隔离出来。
核心方法
方法分两步：先定义数据集应满足的两条性质 (Joint Signal 与 Task-awareness)，再用一个 4 条件实验流水线把它们转成可测量的数值门槛。第一步给出直觉——好的 MMTL 题目应同时具备模态互补性（去掉任一模态都掉点）和任务相关性（通用嵌入抓不住关键细节，必须靠目标微调对齐）。第二步把 4 条件（Unimodal Structured、Unimodal Unstructured、Joint Frozen、Joint TAR）跑在 5 个不同学习器（LightGBM、CatBoost、TabM、TabPFNv2、TabPFN-2.5）上、5 个随机种子、单次最多 10,000 样本，统一用 e5-v2-small (text) 与 DINO-v3-small (image) 抽嵌入、PCA 降到 30 维，TAR 条件则额外用 LoRA 微调编码器最后 3 层作为预处理。满足 (1) 联合预测优于任一单模态、(2) TAR 优于 Frozen 且在 ≥3/5 学习器上同时成立的候选集被纳入基准。
本质区别于已有基准的核心创新是：把「什么才算 MMTL 难题」这件事从直觉描述升级为可量化、可复现的算法流程。已有工作要么只做模态共存的清单式收集，要么用单一模型当裁判；本文用「多学习器共识 + 任务感知差值」做裁判，并要求算法（TAR）必须显著优于其冻结基线才放行。这意味着进基准的题目一定是当前最强方法（联合微调）相对简单方法（冻结嵌入）有显著收益的题目——天然把「饱和任务」与「真难题」区分开。另一关键设计是 TAR 作为「预处理步骤」独立于下游学习器：一次微调出来的嵌入可被 5 个不同学习器共享，避免对学习器的过拟合选择偏差。
方法步骤详情
完整流水线包含 6 步。Step 1 候选收集：文本端聚合 4 个已有基准共 56 个不重复数据集；图像端从 [59, 90, 61, 53] 找到 16 个候选并补充 Kaggle 来源。Step 2 嵌入抽取：文本用 e5-v2-small（384 维），图像用 DINO-v3-small（384 维），输出形如 $E \in \mathbb{R}^{n \times 384}$，二者都按 ImageNet/CarTE 论文惯例做 $\ell_2$ 归一化。Step 3 TAR 预处理：对每个候选训练集用 LoRA 微调编码器最后 3 层（rank 隐式给定，未在主文披露），只用非结构化模态、不引入结构化特征做分类/回归头，确保学到的表示是「目标感知但任务无关下游学习器」。Step 4 PCA 降维：把 TAR 与 Frozen 嵌入都 PCA 到 30 维，再喂给下游表格学习器；额外实验 N=15、60 维与不降维版本以做消融。Step 5 4 条件评估：对每个 (模型, 条件, 种子) 组合跑出指标，分类用 AUC、回归用 $R^2$，每个候选最多采 10,000 行以控本。Step 6 准入判定：判定 (a) 联合 (Frozen 或 TAR) 性能是否 > 任一单模态；(b) 联合 TAR 是否 > 联合 Frozen；只有 ≥3/5 学习器同时通过 (a) 与 (b) 的候选被纳入，最终文本与图像各选 20 个。
技术新颖性
技术新颖性体现在三点。第一，形式化「Target-Aware Representations (TAR)」这一概念，明确把 MMTL 任务分成「冻结嵌入就够」与「必须任务感知」两类，并给出可测量的判别准则。第二，把 LoRA 改造为「编码器侧、与下游学习器解耦的预处理」，使得同一份 TAR 嵌入可被 GBDT、MLP、TFM 等多类学习器共享，既避免了在每个学习器内部微调的算力浪费，也消除了对单一学习器的过拟合。第三，通过对比 Large 版本（参数量约 10 倍、维度 1024）的实验发现「TAR-Small > Frozen-Large」，有力地证明「表示容量」与「目标相关性」是两件事，增加维度并不能替代任务对齐，这一点对社区选择嵌入模型有直接指导意义。此外，论文还把三模态扩展与注意力图可视化（Figure 7）作为质性证据，展示 TAR 如何把 DINO-v3 的关注区域从全局边框改到病灶/动物面部/面部特征。
实验结果
实验覆盖 5 个核心结论。第一，TAR 在 5 个下游学习器上一致优于 Frozen：Figure 3 在全部 56 个文本数据集上、Figure 4 在 MulTaBench 子集 20 个文本数据集上、以及 20 个图像数据集上都观察到 TAR 增益，置信区间不与 Frozen 重叠。第二，文本端筛选通过率仅 41%：56 个候选中 ~23% 因 Joint Signal 不达标被淘汰，剩余的 36% 因 Task-awareness 不达标被淘汰，最终留 41% 即约 23 个，再子采样到 20。第三，图像端通过率 31%：16 个候选中 5 个过线，与文本端比例相当；之后从 Kaggle 补到 20 个。第四，规模泛化（Figure 5）：把 e5/DINO 换成 Large 版本后 TAR-Small 仍优于 Frozen-Large，说明算力堆参数不能替代任务对齐。第五，维度泛化（Figure 6）：PCA 维度在 15、30、60 三个设置下 TAR 都稳赢 Frozen，且附录 F.5 报告即使完全不做 PCA 结论不变。Table 2 给出 PetFinder 三模态案例：当结构化 S、图像 I、文本 T 同时存在时，所有 5 个学习器的最佳 AUC 都来自「S + I_TAR + T_TAR」，其中 TabPFN-2.5 达到 88.0%，比最强单模态 (I=81.1%) 提 6.9 个点，比 Joint Frozen S+I+T=84.9% 提 3.1 个点。Figure 4 中所有学习器 TAR > Frozen 的模式在 (a) 图像-表格与 (b) 文本-表格两幅子图上都成立，包括新加入的 XGBoost、RF、RealMLP、TabDPT、TabICLv2、ConTextTab、TabSTAR、AG-MM 共 8 个学习器——这一泛化是 MulTaBench 鲁棒性的核心证据。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MulTaBench 文本-表格子集 (20 datasets, Joint TAR vs Joint Frozen, normalized 0-1 score) | 归一化平均分数 (min-max 归一化) | TAR 条件在 LightGBM/CatBoost/TabM/TabPFNv2/TabPFN-2.5 上均高于 Frozen（图 3 右） | Joint Frozen 条件同模型同设置 | TAR 相对 Frozen 的优势在所有 5 个学习器上一致（具体数值依赖读者从图 3 读出，论文未给单值） |
| PetFinder 三模态案例 (S+I+T_TAR) | AUC (%) | TabPFN-2.5: 88.0；TabPFNv2: 87.1；TabM: 87.0；CatBoost: 86.4；LightGBM: 85.7 | 最强单模态 Image-only TabPFN-2.5: 81.1；联合冻结 S+I+T: 84.9 | 相对最强单模态 +6.9 个 AUC 点；相对联合冻结 +3.1 个点（TAR 增益来自 S+I_TAR+T_TAR 配置） |
| 文本候选筛选 (56 → 20) | 准入通过率 | 约 41% (Joint Signal 通过后 36% 在 Task-awareness 阶段被淘汰，最终 41% 总通过率) | 已有 4 个基准的原始入选标准 (无 Joint Signal 与 Task-awareness 校验) | 拒绝率 59%——证明现有基准中超过一半任务不真正需要 TAR |
| 图像候选筛选 (16 → 5 → 20) | 准入通过率 | 从 16 个候选中 5 个过线 (31%)，后从 Kaggle 手动补足到 20 | MuG、Tang et al.、TIME、MultiModalPFN 中既有的图像-表格池 | 通过率与文本端相当，MulTaBench 是当前最大图像-表格基准 |
| 嵌入模型规模 (Small vs Large) | 归一化分数 | TAR-Small 在所有 5 个学习器上均 > Frozen-Large（图 5） | Frozen-Large (参数量约 10× Small，维度 1024 vs 384) | 用 LoRA 微调小模型即可击败冻结大模型，证伪「参数越多越好」的直觉 |
| PCA 维度消融 (15/30/60) | 归一化分数 | TAR N=15/30/60 三档均稳定高于对应 Frozen（图 6） | 对应维度的 Frozen 配置 | 结论对降维不敏感，F.5 报告不降维时 TAR 增益仍存在 |
局限与改进
作者在文末明确承认一条核心局限：流水线把「任务性质」与「算法方案」纠缠在一起——用 LoRA 微调作为「TAR 是否必要」的操作化定义，意味着换一种 TAR 算法（如 full-finetune、Adapter、prefix tuning）可能得到不同的入选集合；同理换一套「5 学习器」也可能改变准入结果。这带来第二个推论：用于 curate 的 5 个学习器在最终评测中天然具有选择偏差优势（熟悉但未必最优），所以论文明确说「目标不是为这 5 个模型立 SOTA，而是为新架构立靶」。其他可观察到的局限：(i) 单次最多 10,000 行的子采样使样本量更大任务的信号可能被稀释；(ii) 5 个随机种子虽然做了置信区间但对小数据集仍可能不稳定；(iii) PCA 30 维虽是惯例，但并未在主实验中给出 30 这个数字的选优过程；(iv) LoRA 超参（rank、lr、epoch 数）在主文未披露，仅放在附录，复现成本不可忽视；(v) 注意力图可视化（Figure 7）只挑了 4 个数据集，存在 cherry-picking 风险，需要结合附录 G 的更多例子判断。
独立分析的弱点
独立分析的主要弱点有 4 条。第一，TAR 与 Frozen 共用同一组 5 学习器 + LoRA 超参，导致「模型相关性」与「任务相关性」难以解耦——如果某个候选数据集恰好适合 LoRA 微调，Joint Signal 与 Task-awareness 可能被高估。建议改进：在 curate 阶段使用 2-3 套不同 TAR 实现（如 LoRA、BitFit、最后 1 层全微调）的共识，避免算法特定偏差。第二，10,000 行的子采样对大样本任务是统计友好的，但对 PetFinder 这种本身 ~15,000 行的任务相当于在跑全量，而对 114,000 行的任务相当于丢信息；建议按数据集规模分层（保留 10k、30k、100k 三档）分别报告以暴露尺度效应。第三，Figure 4 的 ±95% CI 是在归一化后的分值上做的，没有拆解到 AUC 绝对值的层间对比，读者难以判断「1 个百分点的归一化分提升」对应多少实际 AUC 改进，建议补一个绝对指标的层间表。第四，附录 B 的数据集描述未在主文提供完整列表（仅给出范围 400–114,000 行、1–245 特征），对想用 MulTaBench 的研究者而言必须翻附录才能判断是否覆盖其感兴趣域——建议在主文给一个精简表。
未来方向
作者明示的方向有三：(1) 扩展到三模态基准（文本+图像+表格），PetFinder 的 Table 2 已经演示该方向可行且 8/20 图像集同时含文本字段，其中 2 个三模态成立；(2) 探索其他模态如音频、视频；(3) 探索不同提示/适配策略（如 prefix tuning、IA³、soft prompts）来引导嵌入朝向目标。基于成果还可延伸的方向包括：(a) 把 MulTaBench 作为 RL/agentic 评测床，考察模型在多步工具调用下做特征工程的潜力；(b) 用因果发现视角重新审视 Joint Signal：当前用「去掉一模态掉点」定义互补，但未区分因果冗余与统计冗余，可能引入伪相关任务；(c) 把 TAR 的「预处理」思路反向利用——研究如何在线、低延迟地近似 TAR 而不需要重新微调编码器，对部署意义重大；(d) 联合训练 PFN 与 LLM/VLM backbone 来同时满足 ICL 前提与 TAR，这是作者在 §6 提出的「理想架构」但本文未给出实验。
复现评估
复现性整体良好但有门槛。代码与数据已开源：Kaggle 主页 https://www.kaggle.com/chico89/datasets 提供统一 API 关联表格与图像，GitHub 仓库 https://github.com/alanarazi7/MulTaBench 含完整流水线。关键超参大部分在主文披露（5 学习器、5 种子、10,000 样本上限、PCA 30 维、e5-v2-small、DINO-v3-small），但 LoRA 的 rank、learning rate、epoch 数等细节仅在附录，复现者需翻附录 F。算力门槛较高：(i) DINO-v3 与 e5-v2 的 LoRA 微调需要 GPU，单数据集多 seed 跑完候选池耗时显著；(ii) 候选数据集过线 16→5→20 的图像端流程需要处理外部图像链接失效问题（作者明确提到这是 curation 难点之一）；(iii) 评测涉及 5+8 共 13 个学习器，调通 LightGBM/CatBoost/TabPFN/AG-MM 等环境本身就需要数日。整体难度：中高。建议复现路径：先用 1-2 个小数据集验证 LoRA + PCA + 下游学习器的串通是否一致，再扩展到全量。
论文图表
