STAR：基于表头感知聚类和自适应加权融合的语义表格表示 STAR: Semantic Table Representation with Header-Aware Clustering and Adaptive Weighted Fusion
通过语义聚类和加权融合提升表格检索的语义表示质量
前置知识
表格检索（Table Retrieval）
表格检索是指给定一个自然语言查询，从大规模表格语料库中检索出最相关的表格的任务。与传统的文档检索不同，表格具有结构化的特性（包含表头和多行数据实例），这使得查询与表格之间的语义对齐更加困难。表格检索在开放域问答、数据分析等场景中有广泛应用。
本文的核心任务就是表格检索，理解这一任务的定义和挑战是理解整篇论文的基础。
密集检索（Dense Retrieval）
密集检索是基于深度学习的检索方法，通过预训练编码器将文本和查询映射到稠密向量空间，然后使用向量相似度（如余弦相似度）来计算相关性。相比传统的稀疏检索（如BM25），密集检索能捕捉更深层的语义关系。常见的密集检索模型包括DPR、BGE-M3等。
本文的STAR框架建立在密集检索基础上，通过改进表格的向量表示来提升检索效果，而非修改底层检索架构。
K-means聚类
K-means是一种经典的无监督学习算法，将数据点划分为k个簇。算法通过迭代地将每个数据点分配到最近的簇中心，然后更新簇中心，直到收敛。在本文中，K-means用于对表格的行实例进行语义聚类，以选出有代表性的行实例构建部分表格。
STAR的核心创新之一是将K-means聚类应用于表格实例选择，取代QGpT简单的top-k采样策略。
合成查询生成（Synthetic Query Generation）
利用大语言模型（LLM）为表格内容自动生成可能的自然语言查询。这些生成的查询作为表格语义的文本补充，帮助弥合结构化表格与非结构化查询之间的语义鸿沟。本文中，合成查询按语义簇分别生成，确保覆盖表格的多样语义空间。
合成查询是STAR框架的关键组成部分，通过扩展表格的语义表示来提升检索性能。
加权融合（Weighted Fusion）
将来自不同信息源（如结构化表格和合成查询）的向量表示通过加权求和的方式融合为统一表示。本文提出两种策略：固定权重融合（FWF）使用预设的固定权重，动态权重融合（DWF）根据表格与查询之间的语义相似度动态调整权重。
加权融合是STAR的另一个核心创新，通过精细控制不同信息源的贡献来优化最终的表格表示。
研究动机
表格检索面临一个根本性的语义鸿沟问题：用户查询是非结构化的自然语言文本，而表格是结构化的数据，两者在表示形式上存在巨大差异。在实践中，序列化后的表格内容经常超出编码器的token长度限制，使得查询-表格的语义匹配更加困难。现有的QGpT方法虽然开创性地使用大语言模型生成合成查询来增强表格语义，但存在两个关键限制：第一，启发式实例选择策略（简单的top-k采样）缺乏对整个表格的代表性，无法捕捉表格中不同语义簇的多样性；第二，粗糙的表示融合策略将部分表格和合成查询简单拼接为单一序列，难以精细控制各信息源对最终表格表示的相对贡献。这些问题在包含复杂结构的真实世界Excel表格（如Mimo数据集）中尤为突出。
本文的目标是本文的目标是提出一个轻量级的表格检索框架STAR（Semantic Table Representation），在不修改底层检索器架构的前提下，通过语义聚类和加权融合两种机制来改进表格的语义表示质量。具体而言，STAR旨在：（1）通过基于聚类的实例选择策略取代启发式采样，提升表格内容的语义覆盖度；（2）通过为每个语义簇分别生成合成查询，确保查询覆盖表格的多样化语义空间；（3）通过加权融合策略精细整合结构化表格和合成查询的信息，实现更有效的查询-表格对齐。
与已有工作不同的是，本文的独特切入角度在于同时从实例选择和信息融合两个维度改进表格检索。与QGpT的简单top-k采样不同，STAR引入表头感知的K-means聚类机制，将表格的全局模式（表头语义）与局部内容（实例语义）结合，通过加权融合生成表头感知的实例嵌入，然后对这些嵌入进行聚类以选出多样化的代表实例。在信息融合方面，STAR摒弃了简单的序列拼接方式，提出固定权重融合（FWF）和动态权重融合（DWF）两种策略，明确建模结构化数据和合成查询的相对重要性。这种设计使STAR能够从结构化和文本两种信息源中捕获互补信息，提升表格表示的表达能力。
核心方法
STAR框架的整体思路是将表格检索分解为两个阶段来改进表格的语义表示。第一阶段是语义聚类与查询生成（SCQG），其核心直觉是：一个表格中不同行实例往往代表不同的语义主题或数据模式，简单地选取前k行可能遗漏重要的语义多样性。因此，STAR先对表格行进行表头感知的K-means聚类，将语义相似的行分组，然后从每个簇中选取最接近簇中心的实例作为代表，构建一个语义多样化的部分表格。接着，为每个聚类簇生成对应的合成查询，确保查询覆盖表格的各个方面。第二阶段是加权融合（WF），其核心直觉是：结构化表格和合成查询携带不同类型的语义信息，简单拼接会混淆两者的贡献。因此，STAR分别编码部分表格和合成查询，然后通过加权策略（固定或动态）将两者融合为统一的表格表示。
STAR的核心创新点体现在两个方面，与已有方法QGpT形成鲜明对比。第一，在实例选择上，STAR用表头感知的K-means聚类取代了QGpT的简单top-k采样。关键创新在于将表头语义融入实例嵌入：通过公式将表头编码和实例编码加权融合，使聚类过程同时考虑表格的全局模式和局部内容。这确保了选出的代表实例不仅在内容上多样化，而且反映了表格的结构信息。第二，在信息融合上，STAR用显式的加权融合策略取代了QGpT的简单拼接。特别是动态权重融合（DWF），通过计算表格与查询之间的余弦相似度来自适应调整权重，避免了手动调参的需求。
方法步骤详情
STAR的方法分为两个主要阶段。第一阶段SCQG包含两个步骤：（1）表头感知K-means聚类：首先用预训练编码器（BGE-M3）分别编码表头H和每个实例r_i，得到表头嵌入和实例嵌入。然后通过加权融合（alpha=0.2）生成表头感知的实例嵌入。对这些嵌入执行K-means聚类（k=10），将实例分为k个簇。对每个簇，选择距离簇中心最近的实例作为代表，构建部分表格。（2）聚类引导的查询生成：对每个簇，构造聚类表格，使用LLM（Llama 3.1 8B-Instruct）生成一个合成查询。第二阶段WF包含：分别编码部分表格和拼接的合成查询，然后通过加权融合得到最终表示。权重分配有两种策略：固定权重融合（FWF）使用预设的lambda值，动态权重融合（DWF）根据表格与查询的余弦相似度自适应计算权重。
技术新颖性
STAR的技术新颖性主要体现在三个方面。首先，表头感知聚类机制是首次将表格的全局模式信息（表头）系统性地融入实例聚类过程。通过控制超参数alpha来平衡表头语义和实例语义的贡献，这种设计既保留了实例的内容特征，又引入了结构化的全局上下文，使得聚类结果更加稳定和有意义。其次，聚类引导的查询生成策略确保了合成查询覆盖表格的多样化语义方面。与QGpT仅基于前k行生成查询不同，STAR的每个查询对应一个特定的语义簇，形成了更完整的语义桥接。最后，动态权重融合（DWF）机制通过语义相似度自适应地调整表格和查询的权重，避免了固定权重的局限性。这种设计使框架能够根据每个表格的具体特征（如结构复杂度）自动调整融合策略，在Mimo等复杂表格数据集和OTTQA等简单表格数据集上都表现出色。
实验结果
STAR在五个基准数据集上的实验结果表明其显著优于QGpT基线。使用动态权重融合（DWF）时，STAR的平均R@1达到51.86%，比QGpT的45.47%提升了6.39个百分点；平均R@5从67.88%提升到73.94%（+6.06个百分点）；平均R@10从75.04%提升到80.25%（+5.21个百分点）。具体到各数据集，STAR在Mimo(ch)上R@1为51.58%（QGpT为49.81%，+1.77），在Mimo(en)上为58.89%（50.66%，+8.23），在OTTQA上为54.07%（51.45%，+2.62），在FetaQA上为36.25%（33.95%，+2.30），在E2E-WTQ上为58.51%（41.49%，+17.02）。消融实验表明，SCQG阶段贡献最大，移除后平均R@1下降4.79个百分点；移除加权融合（WF）下降2.78个百分点；移除表头感知下降1.29个百分点。不同数据集对固定权重lambda的偏好不同：Mimo数据集在lambda=0.4至0.5时表现最佳，而OTTQA、FetaQA、E2E-WTQ在lambda=0.3至0.4时更优，反映了不同数据集的结构复杂度差异。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 中文表格检索 | Recall@1 | 51.58% | 49.81% (QGpT) | +1.77个百分点 |
| 英文表格检索 | Recall@1 | 58.89% | 50.66% (QGpT) | +8.23个百分点 |
| 开放域表格问答 | Recall@1 | 54.07% | 51.45% (QGpT) | +2.62个百分点 |
| 自由形式表格问答 | Recall@1 | 36.25% | 33.95% (QGpT) | +2.30个百分点 |
| 端到端表格问答 | Recall@1 | 58.51% | 41.49% (QGpT) | +17.02个百分点 |
局限与改进
作者在论文中承认了STAR的两个主要局限性。第一，基于聚类的设计依赖于信息丰富的表格表头；对于表头模糊或缺失的表格，表头感知聚类的效果可能会大打折扣，因为表头语义的质量直接影响实例嵌入的计算。第二，为每个聚类簇生成合成查询引入了额外的计算开销，相比QGpT的单次查询生成，STAR需要进行k次LLM调用（k=10），这在大规模检索场景中可能影响效率。从独立观察来看，STAR的实验仅与QGpT一个基线方法进行对比，缺乏与其他表格检索方法（如基于结构感知编码的TaPas、TaBERT等）的比较，这使得其改进的全面性难以评估。此外，虽然论文展示了不同lambda值对固定权重融合的影响，但对超参数alpha（控制表头和实例的权重）和beta（控制相似度对动态权重的影响）的敏感性分析不够充分。
独立分析的弱点
STAR存在几个值得深入分析的弱点。首先，聚类数量k固定为10，这缺乏对不同表格规模的适应性。对于行数较少的表格（如只有5行），k=10的聚类可能产生大量空簇或冗余簇；而对于行数极多的表格，k=10可能无法充分覆盖其语义多样性。改进方向是引入自适应聚类数量选择机制，例如基于表格行数或语义密度动态调整k值。其次，表头感知聚类中alpha=0.2的选择是固定的，这意味着表头信息仅占20%的权重。对于某些表头信息非常关键的数据集，这个权重可能过低。改进方向是根据表头的信息量（如表头与实例内容的互信息）自适应调整alpha。第三，动态权重融合中的beta=0.5也是固定的，且权重计算基于简单的余弦相似度线性映射，可能无法捕捉更复杂的语义关系。改进方向是引入可学习的权重模块，如小型神经网络来根据表格和查询的特征自动预测最优权重。
未来方向
作者提出了两个明确的未来研究方向。第一，探索更高效的实例选择策略，如轻量级聚类或自适应行采样，以降低计算成本。这对于大规模检索场景（如企业级数据仓库中的表格检索）尤为重要。第二，研究端到端的可学习加权机制，根据表格和查询的特征自动优化融合权重，而非依赖手动设置的超参数。基于STAR的成果，还可以延伸以下方向：（1）将STAR的聚类思想扩展到多模态表格检索，同时考虑表格的文本内容和视觉布局信息；（2）探索STAR在跨语言表格检索中的应用，利用聚类引导的查询生成弥合不同语言之间的语义差距；（3）将STAR与检索增强生成（RAG）系统结合，提升基于表格的问答系统的性能。
复现评估
STAR的复现性较好。作者在论文中提供了GitHub代码仓库（https://github.com/adsl135789/STAR），包含了完整的实现代码。实验设置清晰：使用BGE-M3作为编码器，Llama 3.1 8B-Instruct生成合成查询，聚类数k=10，alpha=0.2，beta=0.5。五个基准数据集（Mimo(ch)、Mimo(en)、OTTQA、FetaQA、E2E-WTQ）均为公开数据集，便于复现实验。然而，使用Llama 3.1 8B-Instruct进行查询生成需要一定的GPU资源，且由于LLM的随机性，完全复现结果可能需要多次运行取平均。此外，论文提到跟随QGpT的原始实验设置，但未详细说明具体的硬件配置和运行时间，这可能影响大规模复现的可行性评估。
论文图表