通过表示稳定性提升表格检索的鲁棒性

用质心平均与瓶颈适配器消除表格检索对序列化格式的敏感性。

前置知识

稠密检索（Dense Retrieval）

用预训练 Transformer 编码器（如 MPNet、BGE-M3）将查询和文档各自映射到向量空间，通过内积或余弦相似度做最近邻搜索的代表方法，依赖语义匹配而不仅是词面重合。

论文的 MPNet、BGE-M3、ReasonIR 都属于此类，是理解适配器在稠密空间中起作用的基础；稀疏检索 SPLADE 的对照也依赖此概念。

稀疏词法检索（Sparse Lexical Retrieval，如 SPLADE）

把文档和查询编码成高维稀疏词项权重向量（如 SPLADE 用 MLM head 预测词项权重），保留倒排索引结构以做精确词面匹配，但几何形态与稠密嵌入显著不同。

论文显示适配器在 SPLADE 上退化，正是因为瓶颈 MLP 把稀疏激活稠密化、破坏了倒排索引的稀疏结构；理解这一区别才能把握论文结论的边界。

表格序列化（Table Serialization）

将二维行列表格展平成一维字符串以便 Transformer 处理的过程；常见格式包括 CSV、TSV、HTML、Markdown、JSON、DDL、Markdown schema 等，语义等价但语法结构差异显著。

整篇论文的核心对象。表格不是一维序列，但 Transformer 只能消费一维 token，因此序列化是不可避免的设计选择，也是论文诊断出的不稳定性根源。

VICReg 损失

Bardes et al. (2022) 提出的自监督表示学习目标，由三项组成：不变性项 $L_{inv}$（同一样本的不同视图应相近）、方差项 $L_{var}$（防止表征坍缩）、协方差项 $L_{cov}$（降低维度冗余）；论文额外加了恒等项 $L_{id}$。

适配器的目标函数直接借鉴 VICReg 的方差/协方差正则化，这是保证适配后嵌入既贴近质心又不坍缩的关键设计，论文 Figure 1b 的聚类可视化正是其作用的体现。

残差瓶颈适配器（Residual Bottleneck Adapter）

在冻结预训练模型上叠加的小容量模块：把 $d$ 维嵌入降到低维瓶颈、做 GELU 非线性、再投影回 $d$ 维并以残差方式加回原嵌入，形如 $\tilde{z} = z + \alpha\text{Up}(\text{GELU}(\text{Down}(\text{LN}(z))))$。

论文方法的工程核心。它让单格式推理即可逼近多格式质心的稳定性，同时保持原编码器参数冻结、无需重新索引语料。

Recall@K 与对数秩差（$\Delta\text{log-rank}$）

Recall@K 衡量前 K 个检索结果中包含相关文档的比例；$\Delta\text{log-rank}$ 是论文定义的相对改进指标，计算方式为 $\Delta\text{log-rank}(\text{base} - \text{adapter})$，正值表示适配器把相关表格的排名显著提前。

这是论文 Figure 3 和表 2 中展示改进幅度的核心度量，特别是当 Recall@1 绝对值变化较小时，$\Delta\text{log-rank}$ 能放大秩位置的改善。

研究动机

Transformer 检索器只能消费一维 token 序列，而表格天然是二维行列结构，因此必须做序列化（CSV、TSV、HTML、Markdown、JSON、DDL 等）。这一步骤通常被视为琐碎的预处理细节，但论文用四个检索器家族（MPNet、BGE-M3、ReasonIR、SPLADE）在三个基准（WTQ、WikiSQL、NQ-Tables）上的实测表明：同一张表换不同序列化后，Recall@1 的标准差最高可达 $0.087$（NQ-Tables 上 MPNet），极差（max−min）最高达 $0.262$，说明同表不同格式会落到嵌入空间不同区域、近邻结构被改变、Top-K 排序被打乱。这种不稳定性在自然语言查询与目标表格词面差距最大的 NQ-Tables 上被放大——此时检索器词面证据弱，必须依赖序列化引入的结构线索，格式变化的影响由此放大。

本文的目标是论文目标明确分两层：理论层证明把同一表格的多种序列化嵌入做质心平均后，所得 $c(T) = \frac{1}{|S(T)|}\sum_{s \in S(T)} z_s(T)$ 是格式无关的稳定代表，能压制格式特定偏移 $\delta_s(T)$ 并恢复共享语义信号 $\mu(T)$；工程层设计一个轻量后置适配器，让单格式推理即可逼近质心级鲁棒性，避免生产环境必须为每张表编码多种序列化、构建多套索引带来的线性增长开销。

与已有工作不同的是，以往表格检索研究集中在结构感知注意力（Structure-Aware Transformer、TableFormer）、层次编码（TUTA）、结构化 token 标记、行列联合编码等架构改造上，把序列化当作既定前提处理；而最近的工作（Sui et al., 2024；Badaro et al., 2023）虽然指出序列化影响模型行为，却缺乏对嵌入不稳定性的系统量化，也没有从几何角度提出“格式等价群作用下质心作为不变量“的统一视角。论文的独特切入是把序列化看作对同一语义对象的变换群，把多种序列化视作“轨道（orbit）“，用群论/数据增强观点把质心平均与不变量学习联系起来，并据此设计推理代价近似为零的后置适配器。

核心方法

论文方法分两层。直觉上，如果把同一张表的多种序列化视作对同一个语义对象施加的不同“滤镜“，那么这些滤镜各自的输出在嵌入空间里围绕一个共享语义中心抖动，做平均就能让抖动彼此抵消、留下稳定语义。技术上分两步：第一步离线计算质心——对每张表用多种格式分别编码，取平均得到 $c(T) = \frac{1}{|S(T)|}\sum_s z_s(T)$，理论上它是欧氏意义下唯一同时最接近所有序列化嵌入的点（Theorem 1），并在格式特定偏移近似抵消时近似 $\mu(T)$（Proposition 1）。第二步用一个轻量残差瓶颈适配器把单格式嵌入 $\tilde{z}_s(T) = z_s(T) + \alpha \cdot \text{Up}(\text{DropOut}(\text{GELU}(\text{Down}(\text{LN}(z_s(T))))))$ 朝质心方向搬运，训练目标借 VICReg 的 $L_{var}$（保方差）+ $L_{cov}$（降冗余）+ $L_{inv}$（朝质心拉）+ $L_{id}$（保查询兼容）四项组合，使适配后的嵌入既稳定又不坍缩、不漂移。

与已有表格检索方法相比，本文的本质差异在于两点。一是把序列化从“预处理细节“重塑为“几何学变量“——同一张表的多种格式构成嵌入空间中的轨道，质心是其不变量，这套语言贯穿全文的定理和可视化。二是工程上选择后置适配而非重训编码器：冻结原检索器 $f$，只在 $d$ 维嵌入空间学一个低秩残差修正，等价于在不重索引语料、不增加推理成本的前提下近似“多格式编码+平均“的稳定性。VICReg 启发的四项损失也是关键——单独回归质心会因 identity 缺失而漂出原空间、单纯不变性会坍缩，方差/协方差项保证了嵌入空间的表达能力恒定。

方法步骤详情

完整流程分四步。第一步是构建多视图质心数据集：对 WTQ、WikiSQL、NQ-Tables 中每张目标表，用约 16 种序列化（csv、tsv、html、markdown、json、dict、xml、latex、pipe、token、space、transpose、shuffled rows/cols、mschema、macschema、ddl）分别编码为 $z_s(T) = f(\text{ser}_s(T))$，按论文设定的方式聚合得到 $c(T) = \frac{1}{|S(T)|}\sum_s z_s(T)$ 以及用于配对的查询嵌入 $q$。第二步是设计适配器架构：对每个序列化嵌入 $z_s(T)$ 先做 LayerNorm，再降到瓶颈维度 $d_b$（远小于 $d$）、GELU、Dropout，投影回 $d$ 维并乘以缩放因子 $\alpha$ 后与原嵌入相加得到 $\tilde{z}_s(T)$；$f$ 全程冻结，适配器参数独立保存。第三步是构造 VICReg 式复合损失 $L = \omega_{inv} L_{inv} + \omega_{var} L_{var} + \omega_{cov} L_{cov} + \omega_{id} L_{id}$，其中 $L_{inv} = \|\tilde{z}_s - c\|_2^2$、$L_{id} = \|\tilde{z}_s - e_s\|_2^2$（$e_s$ 为原始冻结嵌入）、$L_{var}$ 和 $L_{cov}$ 与 VICReg 原文定义相同，分别惩罚维度方差过低和坐标相关性过高。第四步是推理：给定任意查询和单格式表格嵌入，直接前向通过适配器即可得到 $\tilde{z}_s(T)$ 用于近邻检索，无需重新索引；论文同时训练“联合适配器“（三个数据集一起训）和“子集适配器“（只用 WTQ+WikiSQL 训，测试 NQ-Tables 上的跨数据集迁移能力）。

技术新颖性

技术新颖性体现在三方面。第一是首次系统量化序列化敏感性，把原本被忽视的预处理变量升格为一阶检索变量，并在四个检索器 × 三个基准的网格上给出完整的标准差/极差统计。第二是把质心从经验 trick 提升为带定理支撑的不变量——Theorem 1 证明质心是 $\sum_s \|u - z_s\|_2^2$ 的全局唯一最小点，Proposition 1 在假设 1（格式偏移近似抵消）下证明 $c(T) \approx \mu(T)$，Corollary 1 进一步说明质心能消除检索分数中的平均格式偏移 $\langle q, \bar{\delta}(T)\rangle$，把直觉形式化为可验证的几何命题。第三是适配器把这一理论结果“蒸馏“到单格式推理路径上，且明确区分联合训练与子集训练两种迁移设定，并以 Figure 6 的聚类可视化证明搬运不是任意位移而是有结构的校正，相对 VICReg 的原始自监督设定加入了面向表格检索的恒等锚定项 $L_{id}$，这是论文工程上的关键 trick。

实验结果

论文核心发现可总结为四点。一是序列化敏感性确实是一阶变量：在 WTQ、WikiSQL、NQ-Tables 上 MPNet、ReasonIR、BGE-M3、SPLADE 四种检索器的 Recall@1 跨格式标准差在 $0.029$–$0.087$ 之间，极差在 $0.092$–$0.262$ 之间（见表 1），NQ-Tables 始终是方差最大的基准，与“查询-表格词面差距大→更依赖序列化结构线索“的假设一致。二是质心表示稳定占优：Figure 2 的成对秩差矩阵显示 centroid_all 在所有模型 × 数据集聚合上排名最强，对 HTML、JSON 等标记密集格式以及 shuffled rows/cols 等顺序扰动格式的领先尤其显著（Wilcoxon 符号秩检验经 Benjamini-Hochberg FDR 校正后仍统计显著）。三是适配器对稠密检索器效果显著但模型相关（见表 2）：MPNet 在 WTQ-html 上 Recall@1 从 $0.09$ 提升到 $0.18$（联合）/ $0.17$（子集），NQ-Tables-xml 的 $\Delta\text{log-rank}$ 达 $0.59$–$0.70$；ReasonIR 在 WTQ 和 WikiSQL 的 shuffled rows 上从 $0.22$ 分别升到 $0.26$ / $0.29$，NQ-Tables shuffled rows/cols 的 $\Delta\text{log-rank}$ 达 $0.71$ / $0.69$；BGE-M3 在 NQ-Tables shuffled rows/cols 上 $\Delta\text{log-rank}$ 高达 $0.92$ / $0.82$，但对 xml 等本身已强格式出现轻微退化。四是稀疏检索 SPLADE 显著退化：WTQ-tsv 从 $0.44$ 降至 $0.39$（联合）/$0.38$（子集），NQ-Tables-csv 从 $0.33$ 暴跌至 $0.16$ / $0.19$，图 6d 显示其嵌入空间出现坍缩，作者归因于瓶颈 MLP 把稀疏激活稠密化、破坏倒排索引结构。表 1 的总体规律也支持这一结论：WTQ 上 SPLADE 标准差从 $0.048$ 压到 $0.039$（联合）/ $0.029$（子集），看似收敛但 Recall@1 绝对值同时下降，意味着质心方向对 SPLADE 不再是改善。

**Table 1**: Retrieval score variation statistics (std, min, max, range) for each model across WTQ, WIKISQL, and NQ-Tables.

**Table 2**: Recall@1 across datasets, models, and selected serializations. Best (↑) and worst (↓) performing formats per model, with $\Delta$ relative to base R@1.

**Figure 2**: Pairwise comparison of table formats aggregated over matched evaluation instances across all models and datasets.

**Figure 3**: Heatmaps comparing adapter-based rank changes relative to the base model across three datasets, WTQ, WikiSQL, and NQ-Tables.

**Figure 6**: Adapter transport visualization across 10 tables in embedding space.

查看结构化数据

任务	指标	本文	基线	提升
WTQ 表格检索 Recall@1	Recall@1	MPNet html 序列化: 0.18 (联合适配器) / 0.17 (子集适配器)	MPNet html 序列化 (base): 0.09	+0.09 / +0.08 绝对提升, $\Delta\text{log-rank}$ ≈ +0.41
WTQ 表格检索 Recall@1	Recall@1	ReasonIR shuffled rows 序列化: 0.26 (联合) / 0.29 (子集)	ReasonIR shuffled rows (base): 0.22	+0.04 / +0.07 绝对提升, 顺序扰动格式鲁棒性显著增强
WikiSQL 表格检索 Recall@1	Recall@1	MPNet html 序列化: 0.17 (联合) / 0.17 (子集)	MPNet html (base): 0.11	+0.06 / +0.06 绝对提升, $\Delta\text{log-rank}$ ≈ +0.32
WikiSQL 表格检索 Recall@1	Recall@1	ReasonIR shuffled rows: 0.22 (联合) / 0.24 (子集)	ReasonIR shuffled rows (base): 0.22	+0.00 / +0.02 绝对提升, 子集训练跨数据集迁移有效
NQ-Tables 表格检索 Recall@1	Recall@1	MPNet mschema 序列化: 0.02 (联合) / 0.02 (子集)	MPNet mschema (base): 0.01	+0.01 / +0.01 绝对提升, 极低基线上仍能翻倍
NQ-Tables 表格检索 Recall@1	Recall@1	ReasonIR shuffled col: 0.10 (联合) / 0.11 (子集)	ReasonIR shuffled col (base): 0.08	+0.02 / +0.03 绝对提升, 子集适配器在 OOD 数据集上保持迁移能力
NQ-Tables 表格检索 $\Delta\text{log-rank}$	$\Delta\text{log-rank}$	BGE-M3 shuffled rows/cols: 0.92 / 0.82	BGE-M3 多数 WTQ/WikiSQL 格式: 0.05–0.14	适配器效果在扰动格式上集中爆发, 远超常规格式
SPLADE 退化对照（NQ-Tables csv）	Recall@1	SPLADE csv (联合/子集): 0.16 / 0.19	SPLADE csv (base): 0.33	-0.17 / -0.14, 瓶颈 MLP 把稀疏激活稠密化, 破坏倒排索引结构

局限与改进

作者明确承认的局限主要有三：其一，适配器在 SPLADE 上系统性退化，作者归因于稠密残差修正与稀疏激活几何不兼容——瓶颈 MLP 倾向于给稀疏向量引入低幅非零值、稀释倒排索引信号，且质心目标在词法空间缺乏明确语义解释。其二，质心方法的成立依赖假设 1（格式特定偏移 $\delta_s(T)$ 在多种格式上近似抵消），当序列化集合包含 ddl、mschema 等 schema 导向格式时，这些格式引入与表内容无关的共同结构词元，产生 table-independent 偏移分量，质心无法抵消，论文用 Proposition 1 的“平均偏移 $\bar{\delta}(T)$“加以形式化。其三，跨数据集迁移仅在稠密检索器上成功，SPLADE 的 NQ-Tables 子集实验反而加剧退化（$-0.14$）。我们观察到的额外局限包括：实验只在 4 个检索器 × 3 个表格检索基准上展开，未覆盖 ColBERT 等迟交互检索器或混合检索管线；质心构建本身需要 16× 编码代价，论文没有给出完整生产成本分析；对中文/多语言表格（涉及分词差异）的影响未讨论；Figure 3 中若干格式（如 xml）的 $\Delta\text{log-rank}$ 为负值说明适配器在已强势的格式上有时反而拉低排序，需要按格式门控才能普适部署。

独立分析的弱点

独立分析的方法弱点有四。第一，质心构建成本与序列化数量线性相关——每张表 16 种格式意味着离线语料构建和首次编码成本乘以 16，对工业级百万级表格语料不友好；改进方向是只选 3–4 种最具代表性的格式（如 csv、markdown、json、ddl）做质心，或用主动学习挑选使偏移方差最大的格式子集。第二，VICReg 四项损失的权重 $\omega_{inv}, \omega_{var}, \omega_{cov}, \omega_{id}$ 没有消融实验说明调参依据，特别是 $\alpha$ 残差缩放因子和瓶颈维度 $d_b$ 的选择缺乏敏感性分析，论文报告的最佳超参未必跨检索器通用。第三，SPLADE 退化暴露了“质心作为统一目标“的几何假设过强——稠密空间中的平均仍是稠密点，稀疏空间中的平均是非稀疏向量；改进方向是为稀疏检索设计离散版本的质心（如只保留 top-k 词项权重的交集或加权中位数）。第四，Table 2 显示适配器在已强势的序列化（如 ReasonIR-xml）上偶尔拉低排序，这是因为 $L_{inv}$ 强制把本来已接近质心的强表征再向质心拉，引入额外噪声；改进方向是加一个“如果 base 距离质心小于阈值则跳过适配“的门控机制或减小该样本的 $\omega_{inv}$。

未来方向

作者提出的未来方向集中在跨数据集、跨语言迁移以及把序列化作为显式建模变量纳入训练，而非事后修补。具体可延伸的研究点包括：一是把质心思想从推理阶段挪到预训练阶段，让编码器原生学到格式不变性，避免后置适配；二是把适配器与查询侧编码器联合微调，使查询嵌入和表格嵌入共享同一质心目标空间；三是探索质心方法在多模态表格（图片+文本）、层级表格（嵌套单元格）、超长表格（截断后序列化更敏感）等场景的扩展；四是从理论上更精确刻画质心近似的失效条件，给出无需训练就能预测“哪些格式组合会失败“的判据；五是设计离散/稀疏版本的质心与适配器，让 SPLADE、BM25、ColBERT 等不同几何的检索器都能受益。我们观察到还能延伸的方向包括：把质心方法推广到文档级段落检索（不同摘要/标题视作“格式“）、把适配器蒸馏为更小的二值化网络以便边缘部署、把质心稳定性作为评估检索器本身鲁棒性的元指标纳入新基准。

复现评估

论文明确开源了代码、数据集和模型，仓库地址为 https://github.com/KBhandari11/Centroid-Aligned-Table-Retrieval ，核心论文写作时使用 arXiv v2 (2026 年 4 月版本) 公开。复现所需资源方面，四个检索器中 MPNet 约 110M、BGE-M3 约 568M、ReasonIR 约 7B、SPLADE++ 约 110M，单卡 A100 (80GB) 即可适配 ReasonIR 但批量受限，多卡训练更稳妥；表格检索三个数据集（WTQ、WikiSQL、NQ-Tables）均为公开学术基准，数据规模在数万到数十万张表之间，论文在附录 A.1-A.2 给出详细的 train/dev 切分。复现难度中等偏低：质心计算只需对每张表做 16 次编码（可并行）；适配器瓶颈维度通常远小于 $d$，参数规模在百万级，单 epoch 训练时间应在一两小时量级；最大的工程量在质心构建脚本与多格式序列化器（附录 A.3 列出了完整的 csv/tsv/html/markdown/json/dict/xml/latex/pipe/token/space/transpose/shuffled/mschema/macschema/ddl 16 种实现细节）。需要谨慎复现的细节包括 $L_{id}$ 项的权重（论文未充分消融）、联合 vs 子集训练的数据划分以及表格截断长度（ReasonIR 等大模型可处理 8K tokens，但 MPNet 限于 512）。

通过表示稳定性提升表格检索的鲁棒性 Improving Robustness of Tabular Retrieval via Representational Stability