CGPT：基于聚类引导的部分表格与LLM生成监督的表格检索框架 CGPT: Cluster-Guided Partial Tables with LLM-Generated Supervision for Table Retrieval
K-means聚类构建多样化子表+LLM生成查询+对比微调提升表格检索
前置知识
表格检索（Table Retrieval）
表格检索是信息检索的一个子任务，目标是从大规模表格语料库中找到与用户查询最相关的表格。与传统文本检索不同，表格具有二维结构（行和列），包含丰富的结构化信息。表格检索在表格问答（Table QA）、数据分析等下游任务中扮演关键角色。核心挑战在于如何将高度结构化的表格内容编码为有效的向量表示，以便与自然语言查询进行语义匹配。
这是本文要解决的核心任务，理解表格检索的定义和挑战是理解论文动机和方法的基础
语义压缩（Semantic Compression）
当使用通用嵌入模型将整个表格编码为单个向量时，由于表格可能包含数十甚至数百行数据，所有信息必须被压缩到一个固定维度的向量中。这种压缩会导致表格中的细粒度语义信息丢失，特别是当相关信息分散在表格的不同行时。例如，一个包含100行的表格被压缩到768维向量中，大量细节信息不可避免地被丢弃。
语义压缩是现有表格检索方法的核心瓶颈，CGPT正是为了解决这一问题而提出的
对比学习（Contrastive Learning）
对比学习是一种表示学习方法，通过拉近正样本对的表示距离、推远负样本对的表示距离来学习有效的特征表示。在表格检索场景中，正样本是与查询匹配的表格，负样本是不匹配的表格。InfoNCE损失函数是对比学习中最常用的优化目标，其公式为 $\mathcal{L} = -\log \frac{\exp(\text{sim}(q, p^+)/\tau)}{\exp(\text{sim}(q, p^+)/\tau) + \sum_{p^- \in \text{HN}} \exp(\text{sim}(q, p^-)/\tau)}$，其中 $\tau$ 是温度参数。
CGPT使用InfoNCE损失函数进行微调，理解对比学习原理是理解模型优化过程的关键
硬负样本（Hard Negatives）
硬负样本是指与正样本在语义上相似但实际不匹配的负样本。与随机采样的负样本相比，硬负样本对模型提出了更高的区分要求，能够提供更有信息量的梯度信号。在表格检索中，硬负样本通常是与查询在表面形式上相似但内容不相关的表格。选择硬负样本的常见方法是计算查询与所有候选表格的相似度，选择相似度最高但不匹配的作为硬负样本。
硬负样本采样是CGPT方法的关键组件之一，对提升检索精度有重要作用
K-means聚类
K-means是一种经典的无监督聚类算法，通过迭代优化将数据点划分为K个簇。算法首先随机初始化K个聚类中心，然后将每个数据点分配到最近的聚类中心，接着重新计算每个簇的中心点，重复直到收敛。在CGPT中，K-means用于将表格的行实例分组，使得每个簇内的行在语义上相似，从而可以采样形成具有代表性的部分表格。
K-means聚类是CGPT构建多样化部分表格的核心机制，理解其工作原理有助于理解方法的创新点
合成查询生成（Synthetic Query Generation）
合成查询生成是指使用大语言模型（LLM）根据表格内容自动生成可能的用户查询。这些生成的查询可以作为训练数据，用于增强嵌入模型对表格的理解能力。生成过程通常采用提示工程（Prompt Engineering），将表格内容作为上下文输入LLM，要求模型生成多样化、自然语言的问题。生成的查询需要覆盖不同类型（实体查询、时序查询、比较查询等）以确保多样性。
合成查询生成是连接表格表示和查询空间的桥梁，是CGPT方法的重要组成部分
研究动机
随着网络表格语料库的快速增长，有效的表格检索对表格问答等下游任务变得越来越重要。然而，通用嵌入模型在文本检索上表现出色，但在表格检索上表现欠佳。当将整个表格编码为单个向量时，高度结构化的内容会导致语义压缩，使得检索性能下降。现有的QGpT方法通过选择表格的前k行生成合成查询来缓解这个问题，但存在两个关键局限：（1）仅选择前几行假设它们具有代表性，但当相关信息出现在后面的行时这一假设不成立；（2）生成的合成查询很少被用作训练监督来改进嵌入模型本身，导致潜在的性能提升未能实现。具体数据显示，QGpT在MimoTable（EN）数据集上的R@1仅为50.66%，在OTTQA上为51.45%，在FetaQA上仅为33.95%，表明现有方法仍有较大改进空间。
本文的目标是本文的目标是提出一种新的训练框架CGPT，通过LLM生成的监督来增强表格检索能力。具体目标包括：（1）构建语义多样化的部分表格，以更全面地覆盖原始表格的语义空间；（2）利用LLM为这些部分表格生成合成查询，并将这些查询用作训练监督；（3）通过硬负样本对比微调来优化嵌入模型，使其能够更好地区分语义相似但不正确的表格；（4）在多个公开基准数据集上验证方法的有效性，包括中文和英文表格，以及跨域场景。
与已有工作不同的是，CGPT的独特切入角度在于将聚类引导的部分表格构建与LLM生成的监督相结合，形成一个端到端的训练框架。与QGpT仅使用前几行不同，CGPT采用K-means聚类对表格行进行分组，从每个簇中采样以构建覆盖更广泛语义的子表。更重要的是，CGPT不仅使用LLM生成合成查询，还将这些查询作为硬负样本对比学习的监督信号，直接优化嵌入模型。这种设计使得模型能够学习到更精细的表格-查询匹配模式，特别是在处理信息分散在表格不同位置的情况时。此外，CGPT的框架设计使其对LLM的选择具有鲁棒性，较小的模型也能达到与大模型相当的效果，降低了实际部署的成本。
核心方法
CGPT的核心思路是通过聚类分析表格的结构，构建多样化的部分表格来增强语义覆盖，然后利用LLM生成的合成查询进行对比训练。整体方法遵循分析-生成-训练的三阶段范式。首先，对表格的每一行进行嵌入编码，使用K-means聚类将语义相似的行分组；然后，从每个簇中随机采样构建部分表格，这些部分表格能够覆盖原始表格的不同语义方面；接着，使用LLM为每个部分表格生成多样化的合成查询；最后，通过硬负样本对比微调优化嵌入模型，使其能够更好地将表格与查询进行匹配。这种设计的直觉是：通过聚类确保部分表格的多样性，通过LLM生成的查询提供丰富的监督信号，通过对比学习让模型学会区分细微的语义差异。
CGPT的核心创新点在于将聚类引导的部分表格构建与LLM生成的监督信号相结合，形成一个完整的训练框架。与QGpT的本质区别体现在三个方面：第一，部分表格构建策略不同。QGpT简单地选择表格的前10行，假设前面的行更具代表性，但这种启发式方法在表格行顺序与语义无关时会失效。CGPT使用K-means聚类对行进行分组，从每个簇中采样，确保构建的部分表格能够覆盖表格的完整语义空间。第二，监督信号的利用方式不同。QGpT仅将合成查询用于增强表格表示，但不用于训练嵌入模型。CGPT将合成查询作为训练数据，通过对比学习直接优化模型参数。第三，负样本选择策略不同。CGPT采用硬负样本采样，选择与查询语义最相似但不匹配的表格作为负样本，提供更有信息量的训练信号。这种组合使得CGPT能够学习到更精细的表格-查询匹配模式。
方法步骤详情
CGPT的方法包含四个主要阶段，每个阶段都有明确的输入输出和操作。第一阶段是基于聚类的部分表格生成。给定一个包含头部 $H$ 和 $m$ 个实例的表格 $T = \{H, I_1, ..., I_m\}$，首先使用预训练嵌入模型对每个实例 $I_i$ 进行编码，得到实例嵌入向量集合 $E = \{e_1, e_2, ..., e_m\}$。然后应用K-means聚类，聚类数量 $k$ 根据表格大小自适应确定：$k = \min(\lceil m/r \rceil, k_{max})$，其中 $r=10$ 是粒度参数，$k_{max}=5$ 是最大聚类数。从每个簇 $C_j$ 中随机采样 $s=5$ 个实例，构建第 $j$ 个部分表格：$KPT_j = \{H\} \cup \{I_i | I_i \in \text{Sample}(C_j, s)\}$。第二阶段是合成查询生成。对于每个部分表格 $KPT_j$，使用Llama-3.1-8B-Instruct模型生成 $n_q=5$ 个合成查询，生成时使用温度参数0.4，最大输出长度1024个token。第三阶段是硬负样本采样。对于每个合成查询 $q$，计算它与所有其他表格的KPT之间的余弦相似度，选择最相似的 $h=8$ 个作为硬负样本。第四阶段是对比微调。使用InfoNCE损失函数优化嵌入模型，其中温度参数 $\tau=0.01$，学习率 $10^{-5}$，训练2个epoch，梯度累积步数为32。
技术新颖性
CGPT的技术新颖性主要体现在以下几个方面。首先，聚类引导的部分表格构建是一种全新的策略，与现有的启发式方法（如选择前k行）有本质区别。通过K-means聚类，CGPT能够自适应地根据表格的语义结构生成多样化的部分表格，而不是依赖于行的顺序。这种设计特别适合处理行顺序与语义无关的表格，以及相关信息分散在不同位置的复杂表格。其次，将LLM生成的合成查询用作训练监督是一个重要的创新点。现有方法通常只将合成查询用于增强表格表示，但不用于训练嵌入模型。CGPT将合成查询作为对比学习的训练数据，直接优化模型参数，使得模型能够学习到更精细的表格-查询匹配模式。第三，自适应聚类数量的确定机制。聚类数量根据表格大小自动调整，小表格使用较少的聚类，大表格使用较多的聚类，确保部分表格的数量与表格复杂度相匹配。第四，CGPT框架对LLM的选择具有鲁棒性。实验表明，使用不同规模的LLM（从4B到20B参数）生成合成查询，CGPT的性能变化很小（R@1仅变化0.6个百分点），这使得在实际应用中可以使用较小的、更经济的模型，而不会牺牲检索效果。
实验结果
CGPT在四个公开基准数据集上进行了全面的实验评估，包括MimoTable（包含中文和英文表格）、OTTQA、FetaQA和E2E-WTQ。核心发现包括：（1）K-means聚类提供了显著的优势，即使在没有微调的情况下（CGPT w/o FT），在MimoTable（CH）和MimoTable（EN）上分别达到52.74%和57.14%的R@1，比QGpT高出2.14和6.48个百分点，表明聚类引导的部分表格构建本身就能产生更强的表格表示。（2）硬负样本采样对提升精确度至关重要。完整的CGPT方法在MimoTable（EN）上达到60.13%的R@1，比QGpT高出9.47个百分点；在OTTQA上达到86.86%，比QGpT高出35.41个百分点；在E2E-WTQ上达到72.20%，比QGpT高出30.71个百分点。（3）跨域泛化能力强。在统一的多域语料库中，CGPT在MimoTable（EN）上达到57.79%的R@1，比BGE-M3基线高出18.33个百分点；在MimoTable（CH）上达到55.03%，高出16.49个百分点。（4）对LLM选择具有鲁棒性。使用Llama-3.1-8B、GPT-OSS-20B和Qwen3-4B三种不同规模的LLM，CGPT的R@1变化仅0.6个百分点。（5）不同的实例采样策略对比表明，基于聚类的随机采样（CGPT）在跨语言场景下表现最稳定，而基于质心的选择（CB Selection）和单样本选择（S Selection）在某些语言上会有明显下降。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 中文表格检索（MimoTable CH） | R@1 | 56.80% | QGpT 50.60% | +6.20个百分点（相对提升12.3%） |
| 英文表格检索（MimoTable EN） | R@1 | 60.13% | QGpT 50.66% | +9.47个百分点（相对提升18.7%） |
| 开放表格问答检索（OTTQA） | R@1 | 86.86% | QGpT 51.45% | +35.41个百分点（相对提升68.8%） |
| 自由表格问答检索（FetaQA） | R@1 | 34.90% | QGpT 33.95% | +0.95个百分点（相对提升2.8%） |
| 端到端弱监督表格问答检索（E2E-WTQ） | R@1 | 72.20% | QGpT 41.49% | +30.71个百分点（相对提升74.0%） |
| 跨域英文表格检索（混合数据集） | R@1 | 57.79% | BGE-M3基线 39.46% | +18.33个百分点（相对提升46.5%） |
| 跨域中文表格检索（混合数据集） | R@1 | 55.03% | BGE-M3基线 38.54% | +16.49个百分点（相对提升42.8%） |
局限与改进
尽管CGPT取得了显著的性能提升，但仍存在一些局限性。首先，FetaQA数据集上的改进相对较小（R@1仅提升0.95个百分点），这可能是因为FetaQA包含的是自由格式的表格问答，表格结构和查询模式与其他数据集差异较大，表明CGPT在某些特定类型的表格上可能效果有限。其次，硬负样本采样虽然提升了R@1，但在某些情况下会略微降低R@5和R@10的性能，例如在OTTQA上CGPT的R@5（97.07%）略低于CGPT w/o HNS（97.02%），说明硬负样本策略在追求精确度时可能会牺牲一定的召回率。第三，K-means聚类需要预先确定聚类数量，虽然本文采用了自适应策略，但在表格行数很少或很多的极端情况下，这种策略可能不是最优的。第四，合成查询的质量高度依赖于LLM的能力，虽然实验表明对LLM选择具有鲁棒性，但在某些特定领域或语言上，较小的LLM可能无法生成足够多样化的查询。第五，论文没有讨论计算成本和推理延迟，K-means聚类和多次LLM调用会增加训练时间和成本，这在大规模部署时可能是需要考虑的因素。
独立分析的弱点
CGPT存在几个值得深入分析的弱点。首先，部分表格构建策略虽然比简单选择前k行更优，但仍然依赖于随机采样，这可能导致某些重要的行实例被遗漏。改进方向可以考虑使用重要性加权采样，根据行与查询的语义相关性进行采样，而不是完全随机。其次，硬负样本选择仅基于余弦相似度，这可能无法捕捉到更复杂的语义关系。可以探索使用更先进的负样本挖掘策略，如基于图的负样本选择或课程学习（Curriculum Learning）策略，逐步增加负样本的难度。第三，合成查询生成是独立于检索模型训练的，这可能导致生成的查询与模型实际需要的监督信号不匹配。改进方向可以考虑将查询生成和模型训练联合优化，使用强化学习或对抗训练让查询生成器生成对模型最有帮助的查询。第四，论文没有探索不同嵌入模型的影响，仅使用了BGE-M3作为基础模型。不同的嵌入模型可能对聚类和对比学习有不同的响应，需要进一步的消融研究。
未来方向
基于CGPT的成果，未来研究可以朝多个方向发展。首先，可以探索更高级的聚类方法，如层次聚类或密度聚类（DBSCAN），这些方法可能能更好地捕捉表格行之间的复杂语义关系。其次，可以将CGPT扩展到多模态表格检索，处理包含图像、图表等非文本内容的表格。第三，可以探索增量学习场景，当新表格加入语料库时，如何高效地更新聚类和模型，而不需要重新训练。第四，可以研究CGPT在其他结构化数据检索任务上的应用，如知识图谱检索、数据库查询等。第五，可以探索更高效的训练策略，如知识蒸馏或模型压缩，以降低CGPT的计算成本。第六，可以研究如何将CGPT与检索增强生成（RAG）系统结合，提升端到端的表格问答性能。最后，可以探索跨语言表格检索，利用CGPT的多语言能力构建统一的多语言表格检索系统。
复现评估
CGPT的复现性评估较为积极。作者在GitHub上开源了代码（https://github.com/yumeow0122/CGPT），这大大降低了复现的门槛。数据方面，论文使用的四个基准数据集（MimoTable、OTTQA、FetaQA、E2E-WTQ）都是公开可用的，研究者可以直接下载使用。算力要求方面，论文报告所有实验在单块NVIDIA A6000 GPU（48GB显存）上完成，这对于大多数研究机构来说是可以接受的。训练配置详细，包括学习率、epoch数（2）、温度参数、梯度累积步数（32）等超参数都有明确说明。LLM部分使用的是开源的Llama-3.1-8B-Instruct模型，不需要API调用费用。主要的复现难点可能在于K-means聚类的参数选择可能需要针对不同数据集进行调优，以及硬负样本的数量可能需要根据实际场景调整。总体而言，CGPT的复现难度属于中等水平，有经验的研究者应该能够在合理时间内复现论文的主要结果。
论文图表
该表格比较了QGpT、CGPT w/o FT（无微调）、CGPT w/o HNS（无硬负样本）和完整CGPT方法在MimoTable（CH/EN）、OTTQA、FetaQA和E2E-WTQ五个数据集上的R@1、R@5、R@10性能指标。结果显示CGPT在所有数据集上都取得了最佳的R@1性能，特别是在OTTQA和E2E-WTQ上提升显著。
这是论文的核心结果表格，展示了CGPT相对于基线方法的性能优势，以及各组件（聚类、硬负样本）的贡献。