面向表格基础模型的先验对齐数据清洗方法 Prior-Aligned Data Cleaning for Tabular Foundation Models
用深度强化学习把表格数据清洗重定义为与表格基础模型先验对齐的序列决策问题。
前置知识
表格基础模型 (Tabular Foundation Model, TFM)
以 TabPFN v2 为代表的预训练模型，通过在数百万合成数据生成过程上做元学习获得零样本表格能力。推理时它对输入无条件执行 z 标准化、幂律变换和二值缺失标志，因此其内部对输入分布有强假设。
论文核心矛盾来自 TFM 的合成先验 $P_{\text{synth}}$ 与真实脏数据分布 $P_{\text{dirty}}$ 之间的差距，是 prior mismatch 概念的来源。
先验失配 (Prior Mismatch)
用分布散度刻画脏数据与 TFM 合成先验之间的距离：$M(D) = d(P_{\text{dirty}}(D), P_{\text{synth}})$，其中 $d$ 论文实例化为按列归一化的 Wasserstein-1 距离。
这是论文把数据清洗抽象为 prior alignment 的理论基础，决定了 reward 函数应该如何衡量清洗结果的好坏。
上下文学习与 O(1/√n) 不确定性
ICL 的隐式后验随样本积累而集中，由 Bernstein–von Mises 定理给出标准差按 $\sigma \propto 1/\sqrt{n}$ 收缩。TabPFN v2 正工作于几十到几百行的小表上，$1/\sqrt{n}$ 曲率最陡。
论文据此把行删除的惩罚设为二次 $\alpha=2$ 的非线性格式，而非线性形式，直接影响 reward 设计。
PPO (Proximal Policy Optimization)
Stable-Baselines3 实现的 on-policy 策略梯度算法，使用 clip 目标限制策略更新幅度，论文采用 MLP 双隐层各 256 单元、tanh 激活、$\gamma=0.99$、$\text{lr}=3\times10^{-4}$、clip $\epsilon=0.2$。
L2C2 整个 agent 训练的基底，理解 PPO 才能明白为什么 C6 的迁移学习能 2000 步就超过从零训练 5000 步的结果。
Wasserstein-1 距离
衡量两个一维分布之间最小搬运成本的距离，论文按列标准差归一并截断至 5σ，得到无标度、有界的边际分布偏移度量。
它是 state 向量第 2 维、TFMAwareReward 漂移惩罚项，以及 prior mismatch 度量 $d$ 的统一底层运算。
研究动机
表格数据清洗长期吞噬数据科学家 60–80% 的工作时间，但主流方案要么依赖人工（OpenRefine、专家规则），要么采用固定顺序的静态预处理流水线，无法针对数据集的具体错误画像自适应。问题的根源被现有工作普遍忽视：表格基础模型 TabPFN v2 内部对输入分布有强假设——其合成先验 $P_{\text{synth}}$ 假定输入近似干净、服从高斯型边际，推理时又无条件执行 z 标准化、幂律变换和二值缺失标志。当真实数据含 15% MCAR 缺失、异常值或重复行时，分布失配 $M(D) = d(P_{\text{dirty}}(D), P_{\text{synth}})$ 同时惩罚预测精度和置信度校准，而标准补救（均值填补、min-max 缩放）只消除表面噪声，反而引入新的分布扭曲。更棘手的是，删除 30% 行清掉异常值看似能缩小失配，却因 ICL 标准差按 $O(1/\sqrt{n})$ 收缩使上下文学习能力非线性下降——没有任何现有清洗框架在管线构造阶段就考虑这种行数惩罚。
本文的目标是提出 L2C2，一个把表格数据清洗建模为与 TFM 合成先验对齐的深度强化学习框架：用一个学习的策略排序填补/异常/缩放算子，最小化清洗前后分布漂移并满足下游 TabPFN v2 精度约束 $\text{Acc}(F_\theta, \pi(D)) \geq \tau$。具体可量化目标包括：在 10 个 OpenML 数据集×6 类清洗序列上比较 7 种 reward，证明至少一种 reward 能稳定地选出与 RF-reward 不同的管线且在 4/10 数据集上取得更高 TabPFN v2 精度（均值 0.851 vs. 0.843，Wilcoxon $p=0.063$），同时展示参数化动作空间在 9/10 数据集上提升最优管线 reward（$p=0.004$）以及单一源数据集预训练策略迁移到 3 个未见数据集的能力。
与已有工作不同的是，已有 RL 数据清洗工作（Learn2Clean V1、ActiveClean、RLclean、ReClean）要么用浅层 Q 学习，要么以经典监督模型损失作为 reward 信号，把数据清洗视作通用预测优化问题而非模型特定的先验对齐任务。AutoML 体系（AutoGluon、AlphaD3M）则把数据视作固定输入，只搜模型和超参组合。本文第一个显式建模 TabPFN v2 这一类 ICL 模型对输入分布的依赖：state vector 包含归一化 Wasserstein-1 距离，reward 把 $O(1/\sqrt{n})$ 行数惩罚显式编码为二次项 $\alpha=2$，评估器直接是 TabPFN v2 的精度+ECE 而非 RF 精度。第二个独特切入是把 reward 工程本身列为研究问题——7 个候选 reward 中 3 个坍缩到平凡策略，证明 prior-alignment 框架下 reward 设计并非工程细节而是科学问题。第三个独特切入是通过迁移学习实验证明学到的清洗策略可以跨数据集复用，把规则系统与单实例优化之间的鸿沟用一次预训练+微调填平。
核心方法
L2C2 把数据清洗改写为一个有限视野 episodic MDP：状态是 9 维质量向量，动作是带类型化子参数的清洗算子，reward 直接对 TabPFN v2 的精度和 ECE 打分。可以类比为「一个 RL 厨师在给定的食材箱上，每次选一道工序（腌/煎/调味），目标不是让食材看起来漂亮，而是让它正好契合某位挑剔食客（TabPFN v2）的口味——食材少了食客尝不准味道（$\sqrt{n}$ 不确定性），食材切法偏离食客预期（z 标准化前提）也会让评分降低」。技术上由 DataQualityObserver、ParameterizedActionModule、RewardSuite 三大组件和 PPO 训练循环组成：每 episode 长度 $T=6$ 步，折扣 $\gamma=0.99$，用共享评估缓存把 TabPFN v2 调用从 $O(N_p \cdot N_R)$ 降到 $O(N_p)$，整套 10 数据集×8 错误配置实验在单机 CPU 上 10 小时内完成。
与已有 RL 数据清洗工作最本质的区别是把 reward 的评估器从随机森林/经典监督模型换成 TabPFN v2 本身，并引入与 ICL 不确定性缩放律匹配的二次行数惩罚 $\alpha=2$。ActiveClean 用任意下游统计模型损失作为 reward 信号，没有考虑小样本 ICL 对行数的非线性敏感；Learn2Clean V1 是 tabular Q-learning 加单一 reward；RLclean 用图结构但仍依赖固定学习器。TFMAwareReward 把 TabPFN v2 精度（$w_{\text{acc}}=0.50$）、二次行保留（$w_{\text{ret}}=0.35$）、质量正则（$w_{\text{qual}}=0.15$）、Wasserstein 漂移惩罚（$\lambda=0.05$）四个目标融合成一个标量，直接在 TabPFN v2 的精度-校准前沿上做策略学习，并证明这一信号与 RF-reward 选出的管线在 4/10 数据集上不同——不是同一优化的不同排序，而是真正重塑了搜索景观。
方法步骤详情
算法 1：(1) 重置 $D_0$、族历史 $h=\mathbf{0}$；(2) 对 $t=1,\dots,T$：$\phi(D, h)$ 算 9 维观测 $s_t = (r_{\text{miss}}, W_1, \bar\gamma_1, \bar\kappa, \Delta_{\text{bal}}, r_{\text{ret}}, h_{\{imp, out, scl\}})$，$\pi_\theta$ 输出动作；(3) 同族已用守卫 $r_p$ 跳过，否则 $D \leftarrow a_t(D)$；(4) reward 评估 $r_t$，PPO 更新。参数化 $|A|=17$：填补 mean/median/KNN（$k \in \{1,\dots,20\}$）、异常 IQR/z-score、缩放 min-max/z-score/quantile。Reward 7 个：R1–R6 + R7 TFMAwareReward（$\alpha=2$，权重 $(0.50,0.35,0.15,0.05)$）。
技术新颖性
技术新颖性集中在三点：第一，state vector 把 Wasserstein-1 距离作为独立维度而非聚合标量，使策略能感知边际分布的恢复进度；第二，reward 把 Bernstein–von Mises 不确定性缩放律显式编码为二次行数惩罚，这是 RL 清洗文献中第一个与 ICL 理论对齐的目标；第三，通过 shared evaluation cache 把 TabPFN v2 调用从 $N_p \cdot N_R$ 降到 $N_p$，使 112/834 条管线的穷举评估和 RL 微调都可在 CPU 上小时级完成，为 prior-alignment 类方法的工程化扫除了关键障碍。验证 search-budget 完整性时，作者在 10 个数据集上比较了 20-pipeline 抽样与 302-pipeline 穷举的 best-of 差距——10/10 数据集差距为 0% 且选出同一管线，证明抽样无选择质量损失。
实验结果
10 个 OpenML 数据集（D1 hepatitis 155 行…D10 bank 45211 行）。C1：7 reward 中 R1/R6a/R6b 全坍缩到 $\approx 1.000$，R4 在 7/10 选 no-op，R5 仅 $[0.007, 0.159]$，仅 R3 稳定。C2 MCAR 15% 下 B-greedy-TFM 精度 0.8513 vs. B-greedy-RF 0.8428（Wilcoxon $p=0.063$, $n=4$），TFM 在 D2/D4/D5/D8 四分歧集全胜。C3 TFM 较 B0 在四类错误上都降 ECE，仅 Duplicate 注入稳定优于 RF-reward。C4 MCAR 0–30% TFM 较 B1 精度差非单调（15% 峰 +0.026、20% 谷 -0.002）。C5 参数化 17 动作在 9/10 集提升 R3 奖励（均值 +0.0007，$p=0.004$）。C6 D3 预训练 PPO 微调到 D8–D10，2K 步超 5K 渐近：Phoneme +7.0%、Adult +17.2%、Bank +11.5%
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| TabPFN v2 精度 (10 数据集均值，MCAR 15%) | Accuracy (↑) | B-greedy-TFM 0.8513 | B-greedy-RF 0.8428 / B0 (no clean) 0.8328 / B3 (simple random) 0.8359 | +0.0085 vs. RF-oracle，+0.0185 vs. 脏数据 |
| TabPFN v2 精度 (10 数据集，trained PPO) | Accuracy (↑) | B-RL-TFM 0.8394 | B-RL-RF 0.8305 / B5 oracle 0.8513 | +0.0089 vs. RF-RL，-0.0119 vs. TFM oracle（学习策略略低于穷举） |
| D2 Heart-statlog 精度 | Accuracy (↑) | B-greedy-TFM 0.8519 | B-greedy-RF 0.8148 / B0 0.8333 | +0.037 vs. RF-oracle |
| D8 Phoneme 精度 | Accuracy (↑) | B-greedy-TFM 0.8439 | B-greedy-RF 0.8098 / B0 0.8293 | +0.034 vs. RF-oracle，+0.0146 vs. 脏数据 |
| ECE (4 类错误均值，越低越好) | ECE (↓) | B-greedy-TFM 较 B0 平均 -0.0048 (MCAR) / -0.0079 (MAR) / -0.0011 (异常) / -0.0021 (重复) | B-greedy-RF 在 MCAR/MAR/异常上反而更优 | TFM 的 ECE 优势集中于重复注入（0.0420 vs. 0.0478） |
| 参数化动作空间提升 | Best-found R3 reward Δ (10 数据集) | 参数化 17 动作 - 离散 7 动作 均值 +0.0007 | 离散基线 | 9/10 数据集正向，D4 Blood +0.0029 最大，Wilcoxon p=0.004 |
| 迁移学习 (2K 步微调 vs. 5K 步从零) | Episode reward | D8 Phoneme 4.897 / D9 Adult 4.037 / D10 Bank 4.332 | Scratch 5K 渐近值 4.575 / 3.444 / 3.885 | +7.0% / +17.2% / +11.5% (2K 步即超)；完全微调后 +7.2% / +28.8% / +19.8% |
局限与改进
作者承认局限：仅在 10 个 OpenML 分类数据集+合成错误注入上验证，未覆盖 CleanML 自然错误分布与多表 schema；目标函数面向分类，回归需 CRPS 类校准目标并重校 reward 权重；贪心 oracle 复杂度 $O(|A|^L)$，834 序列 C5 套件外未评估；每步 TabPFN v2 推理 0.3 s 排除在线场景，D9/D10 子采样到 10K 可能引入偏差；reward 权重基于特定 TabPFN v2 版本。我的额外观察：D1（$n=155$）和 D2（$n=270$）预训练出现 NaN policy logits（异常移除把 $n'$ 减到 0），C6 仅能用 D3 作迁移源；C2 单侧 $p=0.063$ 未达 0.05；C3 显示 TFM-reward 的 ECE 优势仅在重复注入上稳定，说明 prior-alignment 校准收益有错误类型依赖；C4 非单调曲线（15% 峰值、20% 谷底）尚未给出机制。
独立分析的弱点
独立弱点及改进方向：(1) reward 权重 $(0.50, 0.35, 0.15, 0.05)$ 和 $\alpha=2$ 先验固定、未做网格搜索，可用贝叶斯优化离线校准并报告敏感度。(2) 仅对比 TabPFN v2 一个 TFM，未在 TabICL 上验证 reward 通用性；可接入同一框架并报告 $\alpha$ 迁移值。(3) state vector 9 维偏小，没有显式包含 $r_{\text{dup}}$ 和列基数；可扩到 12–15 维并加入 proactive action masking。(4) D9 Adult 48842 行被强制子采样到 10K，可能低估大表精度优势；可按行数分层报告。(5) 统计显著性严重依赖 $n=4$ 的离散对（C2），可增加到 20+ 数据集并报告 Bonferroni 校正 $p$ 值。(6) C6 迁移仅测一个源 D3，未报告多源预训练策略是否一致。
未来方向
作者明确提出的方向：(i) 把 TFMAwareReward 移植到 TabICL 和 CARTE 并重新校准 $\alpha$；(ii) 在 CleanML benchmark 上与 RL 之外的清洗方法做直接对比；(iii) state 向量扩入重复率和列基数以启用 proactive action masking；(iv) 多智能体设置让 imputer/outlier/scaler 子策略与协调器联合训练。基于成果可延伸的方向：(a) 把 prior-alignment 框架推广到自然语言表格问答、时序表格等非纯数值场景；(b) 用元学习或上下文 bandit 学习 reward 权重本身，使清洗策略自适应数据集特征；(c) 结合主动学习让清洗 agent 主动请求高质量标签以降低 reward 噪声；(d) 把 TabPFN v2 替换成本地部署的小型模型推理，进一步降低 0.3 s/step 瓶颈；(e) 在更细的注入率（如 MCAR 1%、2%、3%）上验证 C4 的非单调曲线是否源于信噪比竞争，并给出可解释的统计机制。
复现评估
代码与污染数据集公开在 https://github.com/LaureBerti/Learn2Clean，含 /datasets/<name>_<type>_p<rate>.parquet。固定 seed=42 保证单次运行可重现。算力门槛极低：单机 CPU 完成全部 6 实验，10 数据集×8 配置 C2/C3/C4 < 10 分钟（22 次 TabPFN v2 调用 + 共享缓存）；C1（112 序列）和 C5（834 序列）贪心扫描约 4 小时；C6 单一 RL 变体 3–8 小时。技术栈：Stable-Baselines3 实现 PPO/DQN/A2C、sklearn RF、OpenML CC18、TabPFN v2 默认推理。复现难度中等偏低：state/action/reward/超参描述完整，但 reward 失败模式（哪 3 个坍缩到 no-op）需自行重跑贪心 oracle；D9/D10 子采样策略、ECE 10-bin 边界、TabPFN v2 版本固定号需额外确认。
论文图表