ChartWalker：基于层次化知识图谱的跨图表RAG任务基准 ChartWalker: Benchmarking the Cross-Chart RAG Task
提出层次化知识图谱和结构感知采样，构建跨图表RAG基准
前置知识
检索增强生成（RAG）
RAG是一种结合信息检索和生成式AI的技术架构，通过从外部知识库检索相关文档来增强大语言模型的回答能力。当模型面对事实性或特定领域问题时，先通过检索器找到相关证据，再基于这些证据生成答案。这种方法可以缓解大模型的幻觉问题，提高回答的准确性和可解释性。RAG系统通常由检索器和生成器两个核心组件组成，检索器负责找到相关文档片段，生成器基于检索到的上下文生成最终答案。
本文专注于跨图表的RAG任务，需要理解RAG的基本架构和评估指标，特别是多跳推理场景下如何有效检索和整合多个信息源。RAG是本文的研究背景和方法基础，理解其原理有助于把握ChartWalker的创新点。
层次化知识图谱
层次化知识图谱是一种将实体按信息粒度或抽象程度组织成多层级结构的知识表示方法。在图表场景中，标题、图例等高层概念位于L0层，维度标签位于L1层，具体数据点位于L2层。不同层级的实体之间通过语义递进关系连接，同层级的实体通过关联关系连接。这种结构既能保持信息的完整性，又能支持按需的粒度控制查询。层次化KG的优势在于可以显式地区分不同粒度的信息，避免多跳推理时语义漂移。
本文的核心创新是构建图表的层次化知识图谱，这是后续生成逻辑连贯的多跳推理路径的基础。理解这种层级结构对于理解论文的方法论至关重要，它解决了传统KG方法在多粒度信息处理上的局限性。
多跳推理路径采样
多跳推理路径采样是在知识图谱上生成具有明确推理链条的过程。从一个起始实体出发，沿着关系边跳转到相关实体，形成一条路径。每一步跳转都应该保持语义连贯性，避免跳到完全不相关的主题。路径长度（跳数）通常与推理难度相关。传统的采样方法如随机游走容易产生语义漂移，而结构感知采样会根据语义相似度、层级约束等因素指导路径选择。有效的路径采样是生成高质量问答对的关键。
本文提出了结构感知的路径采样算法，这是生成高质量问答对的关键步骤。理解路径采样的挑战和解决方案对于评估本文创新性很重要，因为采样质量直接决定了最终问题的逻辑连贯性和可回答性。
PageRank算法
PageRank是Google创始人提出的网页排序算法，通过模拟用户在网页间的随机游走来评估网页的重要性。核心思想是，如果一个网页被很多重要网页链接，那么它自己也应该很重要。算法通过迭代计算每个节点的分数，直到收敛到稳定分布。在知识图谱场景中，PageRank可以用于识别中心实体，作为路径采样的起点。本文对PageRank进行了改进，引入了源多样性因素，使算法更倾向于选择连接多个不同图表的实体。
本文使用改进的PageRank来选择起始锚点实体，理解这一算法有助于理解作者如何从众多实体中选择有代表性的起点。改进的PageRank确保选中的实体既重要又具有跨图表的连接性，这对生成真正的跨图表问题至关重要。
研究动机
现有的跨图表RAG基准存在两个主要局限性。首先，大多数工作聚焦于表格而非图表。表格数据已经具有明确的实体边界和关系结构，可以通过符号或文本推理构建和回答问题，但图表的信息密度高且结构弱，直接套用表格方法效果不佳。其次，如图1所示，最近的一些图表RAG基准简单地链接语义相似的关键点，这会产生脆弱的推理链。在多跳推理中，隐含的指代会漂移，可能导致主体不匹配和逻辑无效的计算。例如，后续子句可能指代某个子集（如天主教民主党人），但证据来自整体数据（所有民主党人），导致逻辑错误。作者指出，复杂推理查询的正确率会急剧下降，大多数情况下低于30%，这表明现有方法在多步定量检索和推理方面存在显著瓶颈，无法有效处理跨图表分析任务。
本文的目标是本文旨在引入一个逻辑严谨且具有复杂性的跨图表RAG基准，用于评估多模态RAG流水线。通过构建层次化知识图谱，作者希望显式地暴露图表的多粒度结构，并通过结构感知采样合成语义连贯的推理路径。这些路径作为监督信号，用于生成具有明确推理链条的多跳问答对。最终目标是构建一个高质量的基准数据集，能够真实反映跨图表分析任务中检索和生成两个阶段的挑战，并为未来系统发展提供评估平台。作者希望这个基准能够推动多模态RAG在复杂推理任务上的研究进展。
与已有工作不同的是，本文的独特切入点在于同时解决两个问题：如何表示图表的层次化结构，以及如何在这些结构上生成语义连贯的推理路径。现有的KG-based QA生成方法通常依赖随机游走或朴素PageRank来合成多跳推理路径，这些采样方法对查询设计基本是盲目的，对决定粒度和复杂度的实体级约束控制有限。此外，这些路径经常语义不连贯，连续跳转可能全局无关，导致无意义的分析和样本浪费。ChartWalker的创新在于将层次化KG构建与结构感知路径采样紧密耦合，前者确保信息粒度的可控性，后者确保语义连贯性。这种耦合设计是现有工作中未曾探索的，填补了跨图表RAG基准的空白。
核心方法
ChartWalker框架的整体思路分为三个阶段：构建层次化知识图谱、结构感知路径采样、以及基于路径的QA生成。首先，从大量图表语料中提取实体和关系，按信息粒度组织成多层级的知识图谱。然后将各图表的局部KG合并成全局KG，在每一层合并相同实体。接着，在全局KG上进行路径采样，选择起始锚点实体后，根据语义连贯性和层级约束进行多跳扩展，生成推理路径。最后，将多条路径输入VLM，生成多样化的问答对。整个框架的设计核心是通过层次化KG保持图表的结构信息，通过约束采样保证路径的语义连贯性，从而生成逻辑严谨的复杂查询。这种方法确保了生成的问答对具有可验证的推理链条和明确的证据来源。
ChartWalker的核心创新点有两个紧密耦合的设计。第一个创新是层次化知识图谱构建方法，专门针对图表数据设计。它将图表实体和关系按照信息粒度组织成显式层级，例如标题、图例等高层概念位于L0层，维度标签位于L1层，具体数据单元位于L2层。这种设计能够在保持密集图表信息内在结构的同时，实现全面的语义覆盖。第二个创新是结构感知采样算法，它从锚点实体出发，在扩展过程中施加约束以控制证据粒度并保持语义连贯性。与随机游走不同，该算法同时考虑语义主题相似度和粒度控制函数，确保连续跳转保持逻辑一致性和分析意义。这两个创新共同解决了现有方法的语义漂移和粒度失控问题。
方法步骤详情
ChartWalker方法的完整步骤包含六个主要阶段。首先是图谱实体提取，使用VLM从每张图表中提取结构化实体，包括标题、图例、数据单元等，并为每个实体标注粒度层级。其次是关系构建，在提取的实体之间构建边，同层实体之间建立关联关系，不同层实体之间建立语义递进关系。边表示为关系三元组，包含源实体、目标实体和关系类型。第三步是全局集成，将所有图表子图合并为全局知识图，在每一层合并相同实体并重写边。第四步是锚点选择，使用改进的PageRank计算实体重要性分数，选择起始锚点。转移概率同时考虑连通性和源多样性，避免单图表内的过度连接。第五步是路径采样，给定路径后，下一跳策略综合考虑PageRank分数、语义连贯性和粒度控制。第六步是QA生成，将多条路径打包成统一提示，VLM根据路径生成问答对，包含问题、答案、解释和显式证据使用。
技术新颖性
ChartWalker的技术新颖性体现在多个方面。首先，它是首个专门针对图表数据设计的层次化知识图谱构建方法，将实体按信息粒度组织，实现了在保持结构的同时控制查询复杂度。其次，提出的结构感知采样算法将语义连贯性和粒度控制集成到路径采样中，相比传统的随机游走或朴素PageRank，能够生成更有意义的推理路径。第三，改进的PageRank算法引入了源多样性因素，避免了单图表内的过度连接，确保选中的实体具有跨图表代表性。此外，作者还设计了ChartWalker-Agent，这是一个基于VLM的搜索代理，通过PPO训练在知识图谱上迭代获取证据，展示了代理方法在长时程推理任务上的潜力。这些创新共同构成了一个完整的跨图表RAG基准构建框架，填补了现有工作的空白。
实验结果
实验结果表明，ChartWalker-Bench对现有RAG系统提出了显著挑战。在检索阶段，最佳方法的召回率约为72%，远未饱和，证实了基准的非平凡性。VL-Embedding检索器在平均召回率上表现最佳，达到53.90和71.87的召回率，这表明直接将查询文本与图表视觉特征对齐到统一嵌入空间可以显著增强相关性匹配。HippoRAG的图感知检索提供了明确优势，在Fact Check和Manipulation上特别有效，表明知识图谱上的相关传播有效聚合了多跳证据。在生成阶段，即使是最强配置，整体正确率峰值约为65%，而复杂推理任务始终是最困难的子集，最佳正确率仅约51%。更强的生成器（Qwen3-VL-32B）一致优于较弱生成器（Qwen3-VL-8B），GPT-4o配合VL-Embedding达到最佳整体分数，显示了高容量VLM与统一视觉语言检索的强协同效应。Agent方法通过PPO训练，在深度知识图谱探索方面提高了证据获取能力，达到了33.14的总体准确率，优于最佳静态pipeline的31.74。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 检索召回率（Overall） | R@5 / R@10 | 基准构建，最佳为HippoRAG (53.25/71.78) | BM25 (37.55/49.80) | +15.70 / +21.98 (绝对百分点) |
| 答案正确率（Qwen3-VL-8B） | Cor@5 / Cor@10 | HippoRAG (45.74/59.40) | BM25 (18.44/22.69) | +27.30 / +36.71 |
| 复杂推理（Qwen3-VL-8B） | Cor@5 / Cor@10 | HippoRAG (24.77/37.61) | BM25 (1.83/5.50) | +22.94 / +32.11 |
| Agent vs 静态RAG（Qwen2.5-VL-3B） | Cor@10 | Agent (33.14) | HippoRAG (29.79) | +3.35 |
局限与改进
作者在论文中承认了一些局限性。首先，实体提取和关系构建依赖VLM，存在一定的幻觉风险。实验数据显示，在ChartQA数据集上，实体提取的精确率约为0.587，召回率约为0.606，幻觉率为0.185。这意味着构建的知识图谱可能包含不准确的实体或关系，会影响下游任务。其次，质量控制的通过率为0.77，意味着约23%的生成的问答对被过滤掉，这表明生成过程仍有改进空间。第三，复杂推理任务的准确率仍然较低，最佳配置下仅约51%，说明即使是最强的VLM也难以有效整合多个图表的证据。从观察来看，ChartWalker基准构建过程相对复杂，需要多步VLM调用和验证，可能难以大规模扩展。此外，虽然Agent方法展示了潜力，但其训练需要PPO和精心设计的环境，对计算资源和工程实现要求较高，可能限制了其广泛使用。
独立分析的弱点
从独立分析来看，ChartWalker存在几个可改进的弱点。首先，实体提取依赖VLM的提示工程，虽然论文提供了详细的提示模板，但对不同类型的图表可能需要定制化。未来可以考虑引入专门的图表解析模型或OCR工具来辅助实体提取，特别是对包含密集文本的复杂图表。其次，路径采样的粒度控制函数是手工设计的，可能难以适应所有查询类型。可以考虑学习这个函数，或者根据查询类型动态调整采样策略。第三，基准数据集规模相对较小，只有564个问答对，虽然质量高但可能不足以训练强大的检索或生成模型。未来可以考虑扩展到更多图表类型和领域。第四，质量控制的通过率77%意味着相当数量的生成质量不达标，这可能源于路径采样到问答生成的映射不够精确，可以考虑端到端微调VLM来提高这个映射的质量，或者引入额外的验证步骤。
未来方向
作者提出的未来方向包括增强多模态嵌入和代理推理，以处理复杂的图表分析。基于论文成果，可以从多个角度延伸研究。在表示学习方面，可以探索更好的图表编码方法，将视觉特征、文本信息和结构关系统一到一个强表示中，这样检索器可以直接匹配查询和图表，而不需要通过知识图谱中介。在代理设计方面，可以引入更复杂的记忆机制和规划能力，使Agent能够处理更长的推理链和更复杂的查询。在基准扩展方面，可以引入更多样化的图表类型，如地图、流程图、网络图等，并支持多模态输入，如图表和文本的混合查询。在评估方法方面，可以开发更细粒度的评估指标，不仅评估最终答案的正确性，还评估中间推理步骤的有效性和证据使用的合理性。此外，可以探索如何将ChartWalker框架扩展到其他多模态场景，如文档问答、科学图表理解等。
复现评估
论文声称代码可在GitHub获取，这是一个积极的信号。基准构建依赖于现有的图表数据集，这些数据集是公开可用的。实验使用了多个开源模型和商业API，具体参数在附录中提供。计算资源方面，实验在Ubuntu 22.04系统上，配备AMD EPYC 7742 64核处理器和8块NVIDIA A100 GPU（40GB内存）进行。这对大多数学术实验室来说是可以获得的。然而，Agent训练需要PPO和复杂的POMDP环境设计，这可能需要一定的工程经验来复现。论文在附录中提供了详细的提示模板和超参数设置，这有助于复现。总体而言，ChartWalker的可复现性处于较好水平，但需要一定的计算资源和多模态AI经验。开源代码的可用性将大大降低复现的门槛，为研究者提供了良好的起点。
论文图表
这张图对比了两种跨图表问题生成方法。左侧展示了传统方法，简单连接两个图表的关键统计数据，然后提示VLM合成跨图表问题。这种方法会导致主体不匹配的逻辑错误，例如将不同群体的百分比相乘。右侧展示了本文的方法，构建层次化知识图谱，显式表示实体及其结构关系。条件化问题生成时基于这些结构路径，使实体依赖清晰，减少不兼容主体的幻觉。图中的层次化KG显示了从Climate Survey主题实体到Adults群体实体，再到Religion、Cemetery Owner等子群实体的层次结构，每条边都标注了来源图表。
这张图对理解论文至关重要，因为它直观地展示了现有方法的主要问题和本文解决方案的核心思想。通过对比，读者可以快速抓住论文的动机和创新点，理解为什么层次化KG能够避免语义漂移和逻辑错误。