当LLM粗心地阅读表格时：测量和减少数据引用错误 When LLMs Read Tables Carelessly: Measuring and Reducing Data Referencing Errors
首次系统研究表格推理中的数据引用错误(DREs)，提出基于critic的检测和缓解方法
前置知识
数据引用错误(DREs)
数据引用错误是指模型在处理表格数据时，虽然理解了表格结构，但在引用或省略表格数据时发生的错误。它分为两类：错误引用（引用了不正确的值，如混淆行或列）和遗漏信息（遗漏了需要的表格值，如列出所有行时漏掉某行）。这类错误与模型的知识或推理能力无关，更像是一种注意力不集中导致的可避免错误。
论文的核心研究对象，理解DREs是理解本文所有实验和方法的基础。DREs是一个被忽视但普遍存在的问题，最终答案准确率无法完全反映这类错误的存在。
LLM-as-a-Judge
一种使用强模型（如Sonnet-3.7）作为评判器来自动评估其他模型输出质量的方法。本文中，评判器被用来检测模型响应中是否包含DREs。为了提高检测可靠性，评判器会被提供表格、问题、模型响应，以及标准答案作为辅助。评判器会逐句检查模型响应，重点检查引用值的一致性和是否遗漏信息。
本文构建DRE评估框架的核心技术，使得大规模自动化评估成为可能。通过人工验证，Sonnet-3.7+gt达到了92.67%的准确率，接近人类水平。
过程奖励模型(PRM)
过程奖励模型是一种评估推理步骤质量的模型，与仅评估最终结果的奖励模型不同。PRM可以逐步检查推理链的正确性。本文中的critic模型与PRM类似，专注于检测中间步骤中的数据引用错误，而不是判断整个响应是否正确。
critic模型的设计理念来源于PRM，理解PRM有助于理解为什么critic能够检测DREs，而不需要判断最终答案正确性。
RLVR(Reinforcement Learning with Verified Reward)
一种强化学习方法，使用验证过的二元标签作为奖励信号，不需要约束思维链格式。本文在critic训练的第二阶段使用RLVR，因为DRE检测本质上是一个二元分类问题（有DRE/无DRE），适合使用验证过的奖励信号。RLVR允许模型探索固定监督之外的搜索空间，增强泛化能力。
critic训练的第二阶段方法，理解RLVR有助于理解critic模型如何获得超越监督训练的鲁棒性和泛化能力。
拒绝采样(Rejection Sampling)
一种生成技术，通过反复采样直到满足某个条件才接受输出。本文将其适配到推理模型：不是重新生成整个响应，而是按段（以"Wait"为分隔符）重采样。如果某段被critic拒绝，就只重采样该段，直到通过或达到最大重试次数。这样可以降低计算成本，同时防止错误在推理过程中传播。
本文提出的核心推理时方法，展示了如何通过critic有效减少DREs，同时保持推理效率。在Distill-Qwen-7B上，拒绝采样在TableBench上实现了15.27%的准确率提升。
研究动机
大型语言模型在表格任务上表现良好，但仍会犯数据引用错误（DREs），即错误引用或遗漏表格值，尽管它们理解表格结构。这类错误不仅影响最终答案准确率，还会直接损害中间推理步骤的正确性和可靠性。例如在Figure 1a中，模型混淆了"Organization"列和"Award"列，错误地将"Nikkan Sports Grand Prix (Fall)"作为奖项名称；在Figure 1b中，模型在计算10月份的节日数量时遗漏了"Oct 23"这一行，导致从4个错误地减少为3个。这类错误在多个模型（1.7B到20B参数）和多种表格任务（问答、声明验证、表格到文本）中普遍存在，Qwen3-8B在WTQ上的DRE率达到14.04%，即使经过扩展自我反思，DRE率仍为12.50%，显式提示模型注意数据引用后，DRE率也仅降低到10.08%。
本文的目标是本文有三个具体目标：第一，系统评估DREs在不同模型和任务中的普遍性和影响，超越仅关注最终答案准确率的评估方式；第二，探索有效的DRE缓解方法，包括推理时策略和训练专门的小规模critic模型；第三，证明减少DREs能够转化为最终答案准确率的提升，建立数据引用作为表格推理评估的关键维度。最终目标是开发可靠的表格推理系统，提高模型响应的整体质量和可信度。
与已有工作不同的是，本文的独特切入点是首次系统地研究表格数据引用错误。虽然相关工作（Zhang et al., 2025c；Cao, 2025）曾观察到DREs，但这些研究通常局限于单个模型和少量人工标注案例。例如，Zhang等人仅分析了Distill-Llama-8B在50个WTQ样本上的错误，发现80%以上来自错误定位和引用。其他工作（Wu et al., 2025b；Lei et al., 2025）引入辅助奖励来改善表格引用，但依赖于带注释表格区域的监督微调。相比之下，本文评估模型引用任何表格值的整体准确率，分析DREs如何影响性能，并提出无需特殊注释或中断推理链的critic检测框架，可以无缝集成到现有LLM中。
核心方法
本文方法分为三个层次：首先建立DRE的系统评估框架，使用LLM-as-a-Judge自动检测模型响应中的DREs；然后设计两种推理时策略减少DREs：critic-based filtering和rejection sampling；最后训练一个小规模的4B参数critic模型（Critic-4B），实现轻量级、可部署的DRE检测。整体思路是：先准确诊断问题（DRE评估），然后探索缓解方法（推理时策略），最后实现实用化部署（小规模critic训练）。
本文的核心创新是将数据引用错误（DRE）检测作为一个独立的、可训练的模块，与生成模型的推理能力解耦。与现有依赖监督微调和特殊标注的方法不同，本文提出的critic专注于检测中间推理步骤的数据引用准确性，而不需要判断整个响应的正确性。这使得critic能够无缝集成到现有LLM中，提高响应质量和最终答案准确率，同时不破坏推理链。此外，critic可以应用于多个生成模型，不论其大小或是否为推理模型，显示出良好的泛化能力。训练的Critic-4B虽然只在单一模型的数据集上训练，但能够跨模型、跨任务泛化，证明了小规模模型的实用价值。
方法步骤详情
方法分为四个主要步骤：第一步，定义和分类DREs。根据引用内容的粒度，将DREs分为错误引用（引用了不匹配实际表格的值）和遗漏信息（遗漏了表格中属于要求子集的值）。第二步，使用LLM-as-a-Judge评估DREs。给定表格、问题和模型响应，评判器检查值的一致性和是否遗漏信息。为了提高可靠性，评判器会获得标准答案作为辅助，并将长响应按反思token分割，逐段评估。评估指标包括DRE Rate（包含DRE的响应比例）、DRE-in-Incorrect Ratio（错误答案中包含DRE的比例）和Correct-in-DRE Ratio（包含DRE但最终答案正确的比例）。第三步，设计推理时缓解策略。Critic-based filtering从N=8个采样响应中选择DRE最少的子集，而不是单个最佳响应；rejection sampling按段重采样直到通过critic或达到最大重试次数N=8。第四步，训练小规模critic。使用两阶段训练：监督微调（SFT）作为warm-up，使用Sonnet-3.7的2000个平衡样本；RLVR增强鲁棒性，使用5712个样本。训练数据来自Qwen3-8B在WTQ训练集上的响应。还通过规则启发式构建合成正样本（四种DRE类型），得到Critic-4B-Synthetic。
技术新颖性
技术新颖性体现在三个方面：首先，提出了DREs作为一个新的评估维度，超越了仅关注最终答案准确率的方式。DRE-in-Incorrect Ratio和Correct-in-DRE Ratio等指标揭示了DREs与最终答案准确率之间的复杂关系。其次，提出了critic-based filtering，与传统Best-of-N不同，它选择DRE最少的子集而非单个最佳响应，这更符合critic的设计目标。第三，将rejection sampling适配到推理模型的段级别，降低计算成本的同时防止错误传播。此外，训练的Critic-4B虽然只在Qwen3-8B的WTQ训练集响应上训练，但能够很好地泛化到其他模型和任务，甚至能辅助更大的推理模型，显示出小规模模型的实用价值。
实验结果
实验发现DREs是一个普遍且严重的问题。在Table 1中，Qwen3-8B在WTQ上的DRE率为14.04%，在WTQ+prompting下仍为12.50%，FinQA上高达33.57%。不同模型的表现差异很大：Qwen3-1.7B的DRE率为35.52%，而gpt-oss-20b仅为5.71%。但大小不是唯一因素：Llama4-Scout作为非推理模型，DRE率高达46.48%。DREs在不同表格格式（JSON、CSV、Markdown）和任务中普遍存在，表明这是一个通用挑战。Correct-in-DRE Ratio揭示了一个重要现象：DREs也可能在最终答案正确时发生，SciTab的该比例高达65.57%，因为其答案是二元标签，数值引用错误可能不影响最终判断。Critic-based filtering在DRE子集上显著提高准确率：Qwen3-8B在WTQ上从64.59%提升到70.44%，与多数投票结合达到73.49%。Rejection sampling效果更显著：Distill-Qwen-7B在TableBench上从53.58%提升到68.85%，提升了15.27%；在WTQ上从48.58%提升到57.14%，提升了8.56%。训练的Critic-4B在所有模型-数据集对上consistently优于未训练的Qwen3-4B-Instruct，总体F1达到78.16%，后者为69.51%。虽然Critic-4B不如Sonnet-3.7+gt，但更轻量且可部署，仍能有效提升准确率：Qwen3-8B在WTQ上从77.14%提升到78.94%，同时DRE率从14.04%降低到10.08%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| TableBench问答 | 准确率 | Critic-4B + Rejection Sampling: 66.73% | 无Critics: 54.77% | +11.96% |
| WTQ问答 | 准确率 | Critic-4B + Rejection Sampling: 78.25% | 无Critics: 77.14% | +1.11% |
| FinQA问答 | 准确率 | Critic-4B + Rejection Sampling: 49.52% | 无Critics: 46.90% | +2.62% |
| DRE检测 | F1分数 | Critic-4B: 78.16% | Qwen3-4B-Instruct: 69.51% | +8.65% |
| TableBench问答(Distill-Qwen-7B) | 准确率 | Rejection Sampling (Sonnet-3.7+gt): 68.85% | 无: 53.58% | +15.27% |
| WTQ问答(Llama4-Scout) | 准确率 | Rejection Sampling (Sonnet-3.7+gt): 61.92% | 无: 55.71% | +6.21% |
局限与改进
作者承认了几个局限性：首先，仅关注表格任务中的DREs，虽然认识到DREs也出现在其他领域和模态中，如数学问题中的顺序错误（Cobbe et al., 2021b；Mirzadeh et al., 2025）的案例。其次，没有从可解释性角度研究DREs的原因，虽然初步实验表明当模型准备引用表格值时，增加对整个表格的注意力有助于减少后续错误，但受资源限制未扩大注意力分析或指导实验。此外，Critic-4B-Synthetic在训练时依赖合成数据，在分布内数据上表现更好，但在分布外（如FinQA不同域和Llama4-Scout非推理模型）上性能下降，表明模型可能过度拟合到合成数据的特定偏差，而非学习泛化到真实错误。最后，评估主要关注三个问答数据集，可能无法完全代表所有表格任务的复杂性。
独立分析的弱点
第一个弱点是critic的可靠性依赖于评判器，即使强模型如Sonnet-3.7也可能被给定响应误导而产生假阴性（Figure 7, 8）。通过提供标准答案可以缓解，但实际推理时标准答案不可用。改进方向可以是开发更鲁棒的评判方法，如多评判器ensemble或训练专门的评判模型。第二个弱点是rejection sampling可能增加推理延迟，特别是在需要多次重采样的情况下。改进方向可以是自适应采样策略，根据critic置信度动态调整重试次数。第三个弱点是Critic-4B在分布外数据上性能下降，说明泛化能力有限。改进方向可以是更多样化的训练数据，包括不同模型、不同域、不同表格格式的响应，或使用域自适应技术。第四个弱点是当前方法主要关注检测和减少DREs，但没有深入理解DREs的根本原因，如注意力机制的问题。改进方向可以是结合可解释性方法，分析注意力权重与DREs的关系，从根本上预防DREs。最后，当前方法需要额外的计算开销（critic推理或重采样），在实际应用中可能面临效率挑战。改进方向可以是优化critic推理效率，如知识蒸馏或量化，或开发更高效的推理时策略。
未来方向
作者提出的未来工作方向包括：将DREs研究扩展到其他领域和模态，如数学推理、代码生成等，其中DREs也是一个潜在问题。从可解释性角度深入研究DREs的原因，特别是注意力机制的作用，可以探索注意力引导或注意力正则化来预防DREs。开发更鲁棒、更高效的critic模型，如多模态critic或端到端训练。将critic集成到模型训练中，而不仅是推理时使用，可以作为训练信号的一部分。探索更精细的DRE分类，如根据错误类型（数值错误、实体错误、上下文错误）或严重程度进行分类，以便更有针对性地解决。研究DREs与模型幻觉的关系，以及如何通过减少DREs来减少幻觉。最后，开发更全面的表格推理评估基准，不仅包括最终答案准确率，还包括数据引用准确性、推理完整性等维度。
复现评估
论文的复现性良好。代码已在GitHub开源（https://github.com/ayyyq/table-referencing），包括评估框架、critic训练脚本和推理代码。使用的所有数据集都是公开的：WTQ（CC-BY-SA-4.0许可）、TableBench（Apache 2.0）、FinQA（MIT）、SciTab（MIT）、ToTTo（Creative Commons Share-Alike 3.0）。模型也大多是公开的：Qwen3系列（Apache 2.0）、Distill系列（MIT）、Qwen2.5-7B-Instruct（Apache 2.0）、Table-R1-Zero-7B（Apache 2.0）、gpt-oss-20b（Apache 2.0），只有Llama4-Scout使用llama4和nvidia-open-model-license。训练细节在附录中明确：SFT使用Llama-Factory，学习率1e-5，批大小8，2000个训练样本，2个epoch；RLVR使用verl框架，采用GRPO，批大小256，8个rollouts，温度1.0，学习率1e-6，20个epoch。推理时对训练的critic使用greedy解码。总体来说，复现难度中等，需要一定的计算资源（特别是RLVR训练和大规模评估），但论文提供了足够的细节和代码支持。
论文图表
图3展示了Sonnet-3.7+gt的完整评判提示。提示包括任务描述、输入数据（表格、问题、模型响应、参考答案）、评估说明和输出格式。评判员被明确指示仅关注表格引用准确性，忽略其他错误类型。输出格式要求使用<judgment>Failed [Error Type] Check.</judgment>或<judgment>NA</judgment>，其中Error Type是"Copied Values Consistency"或"Omission"。
这个提示展示了LLM-as-a-Judge方法的具体实现，是复现论文评估框架的关键。提示设计确保评判员专注于DRE检测，并将推理错误与DREs区分开来。
图4展示了一个Qwen3-8B在WTQ测试集上的DRE示例。表格包含20行，但Qwen3-8B只识别了19行，遗漏了实际的第16行（Placing: 1）。即使经过重复检查和尝试不同的编号方案（从1开始或从0开始），模型都重复这个DRE，最终导致错误答案。
这个例子展示了推理模型中自我反思的失败：即使模型有能力自我检查，一旦犯了第一个错误，往往会重复它，更多依赖自己的生成而不是原始表格。这说明了为什么推理模型的自我反思机制不足以消除DREs。
图5展示了Qwen3-8B在SciTab测试集上的一个DRE示例。模型错误地将0.714引用为0.704，但这不影响后续结论（Wmd-2的0.763更高），因此最终答案仍然是正确的。这说明DREs可能发生在最终答案正确的情况下，最终答案准确率无法完全反映DREs的存在。
这个例子说明了为什么Correct-in-DRE Ratio是一个重要指标，以及为什么仅关注最终答案准确率是不够的。对于SciTab这样的二元分类任务，DREs可能不会影响最终答案，但仍损害了中间推理步骤的正确性。
图6展示了小规模LLMs的critic提示。与Sonnet-3.7+gt不同，这个提示不提供标准答案。提示包括输入数据（表格、问题、模型响应）和详细说明：逐句检查模型响应，执行两个检查（Copied Values Consistency和Omission），如果发现任何错误立即返回<judgment>True</judgment>，如果没有错误返回<judgment>False</judgment>。
这个提示展示了小规模critic的设计，与强模型评判器的区别在于不提供标准答案，因为实际推理时标准答案不可用。这是训练小规模critic的关键设计决策。
图7展示了一个评判提示的输入示例，包括表格、问题和模型响应。表格包含奥运奖牌榜，问题是"谁获得的银牌最多"，模型响应在列举银牌数量时，将Soviet Union的"*7*"（Gold列）错误地解释为银牌数量，而实际银牌数量是3。瑞典（Sweden）才是银牌最多的国家（4个）。
这个示例展示了评判器的输入格式和DRE的典型场景：混淆列。虽然模型正确引用了"Silver"列的值，除了第一行，但将Gold列的值误认为是Silver列，导致错误结论。
图8展示了Sonnet-3.7在没有和有标准答案情况下的评判输出。没有标准答案时，Sonnet-3.7被模型响应误导，认为模型"合理地解释了*7*的符号"，"所有值与表格完全匹配"，最终判断为"NA"（无DRE）。有标准答案时，Sonnet-3.7更仔细地检查模型响应与表格的一致性，发现模型将Gold列的"*7*"误认为Silver列，正确判断为"Failed Copied Values Consistency Check."。
这个对比说明了为什么评判器需要标准答案：没有标准答案时，评判器可能被模型响应误导产生假阴性。这揭示了自动DRE检测的挑战，以及论文中使用标准答案的理由。