← 返回 2026-05-15

WildTableBench:在真实场景表格图像上评测多模态基础模型的基准 WildTableBench: Benchmarking Multimodal Foundation Models on Table Understanding In the Wild

Junzhe Huang, Xiaoxiao Sun, Yan Yang, Yuxuan Hou, Ruotian Zhang, Sirui Li, Hehe Fan, Serena Yeung-Levy, Xin Yu 📅 2026-05-01 👍 9 2026-07-13 08:36
LLM-as-Judge 基准构建 多模态评测 表格理解 视觉问答
arXiv HuggingFace PDF

首个面向真实世界表格图像的多模态基准,揭示前沿模型视觉定位瓶颈。

前置知识

多模态基础模型 (Multimodal Foundation Models)

能同时处理图像、文本等多种模态输入的大规模预训练模型,如 GPT-5.2、Gemini-3-Pro、Claude-Opus-4.6、Qwen3-VL 等。理解表格图像时需把视觉编码与语言推理统一在同一架构内。

本文评测的 21 个模型均为多模态基础模型,需先了解其统一处理图像与文本的能力边界。

表格图像理解 (Table Image Understanding)

对截屏、扫描、照片中的二维表格进行结构解析、单元格定位与数值推理的任务,与基于结构化文本(CSV、HTML)的表格理解存在本质差异。

论文核心是评测模型在视觉层面处理真实表格的能力,必须区分'看图'与'读文本'两种设定。

LLM-as-Judge (大模型评判)

用一个强 LLM(如 GPT-5.2)按预设规则评判其他模型输出的方法,常用于开放式问答的自动化评估。文中对 96% ± 2% 的人工一致性进行了验证。

本基准的答案匹配采用 GPT-5.2 评判而非精确字符串匹配,是理解评测协议的关键。

多跳推理 (Multi-hop Reasoning)

需要跨多个单元格、行列组合进行链式推理才能得到答案的任务,论文按所访问单元格数把问题分为 L1–L5 五档(1 cell, 2–10, 11–20, 21–30, >30)。

L1 到 L5 准确率单调下降是揭示模型推理深度瓶颈的关键实验维度。

思维链 (Chain-of-Thought, CoT)

让模型在给出最终答案前显式生成中间推理步骤的范式。Qwen3-VL 系列同时提供 Instruct 与 Thinking 两个变体,可在同一基准上对比其差异。

论文显示 Thinking 变体在 8B 和 235B 规模上明显优于 Instruct,是分析推理能力的重要变量。

研究动机

当前表格理解评测长期建立在两种'洁净'设定之上:其一是结构化文本设定,如 TabFact、TableBench、NeedleInATable、TableEval 等直接把表格序列化为 CSV/HTML/Markdown,让模型跳过视觉感知环节,从而可以走捷径利用数据集中的统计相关性而无需真正解析表格布局;其二是受控渲染设定,如 TableVQA-Bench 用 Puppeteer 把 WTQ/TabFact 的 HTML 渲染成截图,M2-TabFact 把维基百科表格自动渲染,RealHiTBench 把 Excel 表格转成 LaTeX/HTML/PNG。这两类评测的图像在字体、颜色、间距、格式上高度同质化,难以复现真实场景中表格被截屏、扫描、拍照后引入的压缩伪影、模糊、透视畸变、局部遮挡、背景杂乱以及来源相关的样式差异。TableVQA-Bench 中仅 4.7% 的图像来自真实世界,TableBench 完全基于结构化文本,这与实际应用之间存在显著差距。

本文的目标是构建 WildTableBench 这一专门面向'在自然环境出现的表格图像'的多模态评测基准,涵盖 402 张来自论坛、视觉发现站点、必应与 Yandex 的真实表格图像,跨 7 个领域;围绕这些图像人工设计 928 道高质量问答,覆盖 5 大类 17 子类(单元格级、算术、事实校验、假设推理、颜色推理);并系统评测 21 个前沿闭源与开源多模态模型,给出总体与细粒度准确率、错误分布、定位敏感性与推理预算等多维诊断。

与已有工作不同的是，本文的独特切入角度是'从源头直接抓取真实世界表格'——既不靠结构化文本走捷径,也不靠程序化渲染模拟视觉,而是把现实中用户真正分享的截屏、扫描、照片直接纳入评测。在问题设计上强调'非平凡的视觉基础与推理',刻意避开表面查找类简单题;通过 L1–L5 多跳分桶、单元格位置热图、推理预算扫描等诊断性实验,把'真实表格理解到底难在哪'拆解为可量化的视觉定位与结构解析问题,建立了可被未来研究直接复用的诊断协议,这是已有基准很少做到的纵深分析维度。

核心方法

论文方法由'图像采集 + 题目设计 + 评测协议'三部分组成。直觉上,团队先在 Web 上用关键词(如 train timetable、match schedule、nutrition label)抓取大量候选表格图像,再用 GPT-4o 视觉过滤 + 人工复核剔除非表格或低结构复杂度样本,最后用 Bing/Yandex 做相似扩展。题目设计则按能力把问题分成 C1–C5 五类共 17 子类,由 GPT-5.2 生成种子题后由 5 位大学生重写、补充、校验答案,确保每题可仅凭图像无歧义回答。评测时统一让模型按 'step by step ... Final answer: [...]' 的格式作答,再用 GPT-5.2 作为法官做格式不敏感的语义匹配。整个流程的目标是把'真实场景'与'细粒度能力诊断'同时固化到基准之中。

核心创新在于把'真实世界视觉复杂度'作为一等公民显式纳入基准。已有基准要么回避视觉(结构化文本),要么用程序化渲染模拟视觉(受控截图),而 WildTableBench 直接抓取论坛/Pinterest 等用户分享的天然表格图像,刻意保留截屏、扫描、拍照引入的视觉噪声;同时把题目能力维度结构化为 5 大类 17 子类,使评测既能给出整体排名,也能精准定位模型在'定位—识别—推理—理解'四类错误中的具体短板。诊断性实验进一步把难度切到单元格位置、推理跳数、推理预算三个维度,把'为什么难'量化为可观察的模式(如右下角位置偏置、Thinking 变体规模化增益)。

方法步骤详情

图像采集分三阶段:(1) Stage 1 用 train timetable 等关键词在 Reddit、Pinterest 等站点抓候选图像;(2) Stage 2 先用 GPT-4o 视觉方法自动过滤非表格或低复杂度样本,再人工复核剔除低质量样本并脱敏;(3) Stage 3 用 Bing/Yandex 扩展候选并再次人工审核,得到 402 张最终图像。题目设计先定义 5 类 17 子类(C1 单元格级含 T/L/S/F、C2 数值含 B/R/C/M、C3 校验含 V/A/C、C4 假设含 R/M/H、C5 颜色含 I/C/R),再由 GPT-5.2 对每张图生成 8 道种子题,最后由 5 位标注员在专用平台上审、改、删、补并交叉核对,95% 以上题目经人工实质改写。评测时统一以 'Final answer: [answer]' 格式作答,再以 GPT-5.2 做 LLM-as-Judge 评判(数值/文本/布尔/列表四类答案各有匹配规则),4×50 抽样人工审计达 96% ± 2% 一致性。

技术新颖性

技术新颖性体现在三点。其一,数据源范式转变:从'渲染模拟视觉'升级为'抓取原生视觉',并把真实世界视觉噪声(压缩、模糊、透视、遮挡、样式)作为评测目标本身;其二,能力维度结构化:用 5 类 17 子类两层级 taxonomy 把'表格理解'细粒度解构为可独立计分的技能,使跨模型、跨家族、跨规模比较都能定位到具体能力;其三,多维诊断协议:除总分外还引入单元格位置 10×10 网格热图、L1–L5 多跳分桶、推理 token 数 vs 准确率与 vs 单题成本的预算扫描、4 类错误归因等,把'模型到底失败在哪一阶段'量化呈现,这是已有基准少有的纵深分析。

Overview of WildTableBench. (a) Data construction pipeline. (b) Domain distribution: WildTableBench covers diverse real-world scenarios, incorporating both high-fidelity digital screenshots and natural photographs across various professional and daily domains.
Figure 2: Overview of WildTableBench. (a) Data construction pipeline. (b) Domain distribution: WildTableBench covers diverse real-world scenarios, incorporating both high-fidelity digital screenshots and natural photographs across various professional and daily domains.

实验结果

主结果(Table 2)显示 21 个模型中仅 Gemini-3-Pro 突破 50%,达 67.9%;其余分布于 49.9%–4.1% 之间(Gemini-3-Flash 49.4%、Kimi-K2.5 49.9%、GPT-5.2 46.6%、GPT-4o 仅 5.7%),最强开源落后闭源最强 18.0 个百分点。子类上 C3 校验最易、C5 颜色最难(Claude-Opus-4.6 仅 20.8%);颜色识别(C5-I)易、颜色推理(C5-C/R)难(Kimi-K2.5 由 66.7% 跌到 27.5%)。多跳分析(Table 3)显示 L1→L5 准确率单调下降,Gemini-3-Pro 由 83.7% 降至 57.3%,Qwen3-VL-2B-T 由 11.6% 降至 1.3%。Figure 3 揭示左上最强、右下最弱的位置偏置;Figure 4 显示 Gemini-3-Flash minimal 档以 $0.0017/题 达 40.5% 为性价比最优点;Figure 5 错误归因一致显示 Locating + Recognition 主导失败,验证'视觉定位是首要瓶颈'。

Taxonomy of 17 question subtypes in WILDTABLEBENCH, organized into five categories. Reference describes the table element the question targets; Output describes the required answer type.
Table 1: Taxonomy of 17 question subtypes in WILDTABLEBENCH, organized into five categories. Reference describes the table element the question targets; Output describes the required answer type.
Accuracy (%) on WILDTABLEBENCH by subtype and by category. Avg columns average subtypes within each category. Bold = column best.
Table 2: Accuracy (%) on WILDTABLEBENCH by subtype and by category. Avg columns average subtypes within each category. Bold = column best.
Accuracy (%) by multi-level hop reasoning (cells accessed per question). Column headers show the cells-accessed range; n = question count per bin. Cell shading indicates accuracy (darker green = higher).
Table 3: Accuracy (%) by multi-level hop reasoning (cells accessed per question). Column headers show the cells-accessed range; n = question count per bin. Cell shading indicates accuracy (darker green = higher).
Cell-retrieval accuracy across a 10×10 (row × column) grid, based on 2,489 needles from 50 real-world spreadsheet images. Each subplot is normalised by its own min–max range to highlight within-model positional sensitivity.
Figure 3: Cell-retrieval accuracy across a 10×10 (row × column) grid, based on 2,489 needles from 50 real-world spreadsheet images. Each subplot is normalised by its own min–max range to highlight within-model positional sensitivity.
Reasoning budget. (a) accuracy vs. average reasoning tokens; (b) accuracy vs. per-query cost ($) for Gemini-3-Pro (low/high), Gemini-3-Flash (minimal/low/medium/high), and Kimi-K2.5 (disabled/enabled).
Figure 4: Reasoning budget. (a) accuracy vs. average reasoning tokens; (b) accuracy vs. per-query cost ($) for Gemini-3-Pro (low/high), Gemini-3-Flash (minimal/low/medium/high), and Kimi-K2.5 (disabled/enabled).
查看结构化数据
任务指标本文基线提升
整体表格图像问答 (WildTableBench Overall) Accuracy (%) Gemini-3-Pro 67.9% GPT-4o 5.7% +62.2 个百分点 (闭源最强 vs 最弱)
闭源 vs 开源最强对比 Accuracy (%) Gemini-3-Pro 67.9% Kimi-K2.5 49.9% +18.0 个百分点
颜色推理 (C5 类别平均) Accuracy (%) Gemini-3-Pro 55.8% Claude-Sonnet-4.6 17.5% +38.3 个百分点
事实校验 (C3 类别平均) Accuracy (%) Gemini-3-Pro 71.6% GPT-4o 23.9% +47.7 个百分点
多跳深度 L1 → L5 (Gemini-3-Pro) Accuracy (%) 83.7% → 57.3% Qwen3-VL-2B-T 11.6% → 1.3% 鲁棒性差距: L5 处 +56.0 个百分点
单元格位置检索 (10×10 网格) Accuracy (%) Gemini-3-Pro 74.6% Qwen3-VL-235B-T 47.9% +26.7 个百分点

局限与改进

作者明确承认的限制主要有三点:其一,基准整体规模 402 图 928 题虽已超越多数同类基准,但相对于真实场景表格的多样性仍偏小,可能无法完全覆盖所有领域与版式;其二,所有题目由 5 位英语母语级别大学生用英文标注,存在标注者偏差与语言偏置,跨语言泛化未经验证;其三,评测采用 GPT-5.2 作 LLM-as-Judge,虽然审计得 96% ± 2% 的一致性,但仍存在系统性裁判偏差,且自动裁判对需要复杂语义链推理的题目可能更宽容或更严苛。本人观察到的额外限制包括:(a) 闭源模型评测时间窗 2026 年,结论会随新版本快速过时;(b) 评测协议强制 'Final answer: [...]' 收尾,对不擅遵循格式的模型可能不公平;(c) 错误归类(Locating/Recognition/Reasoning/Comprehension)依赖人工审计,可能存在归类一致性边界;(d) 仅评测英文,未覆盖中文等多语种表格;(e) 推理预算扫描仅覆盖 Gemini 系列与 Kimi-K2.5,跨家族可推广性有限。

独立分析的弱点

独立分析可识别以下可改进之处。第一,错误归因揭示感知失败是主导瓶颈,但基准未提供'定位辅助'或'OCR 预提取'等中间表示供模型使用,可考虑未来加入'先用工具再回答'的对照设置;第二,题目对颜色推理难度的覆盖偏轻(C5 仅 3 子类),且颜色信息在真实截屏/扫描中常被压缩损失,可考虑用无损原图或保留高色彩保真度的扫描件以避免评测本身有歧义;第三,答案评判 GPT-5.2 的 96% 一致性在边缘案例(如近似数值、列表顺序、布尔判定的边界)仍有 4% 偏差,未来可加入专家委员会投票或双盲裁判;第四,闭源模型的提示词与解码参数由各厂商默认值决定,未统一,可能放大厂商工程优化差异;第五,基准目前只发 402 图 928 题,规模偏小,且未提供难度分级(入门/中/难),社区难以按需选用;改进方向可包括:扩大规模并按 hop 数与领域自动分档、提供 baseline 工具链以统一推理环境、加入 OCR 工具调用接口的对照实验。

未来方向

作者明确提出的后续工作包括三方面:(1) 持续扩大图像与题目规模,覆盖更多语言与更多视觉噪声场景;(2) 探索在基准上微调或提示工程能否显著缩小模型间差距;(3) 把感知(locating + recognition)作为一等优化目标,与传统上偏重推理的研究范式互补。基于本文结果我额外建议的延伸方向有:(a) 构建'视觉–结构–推理'分层评测协议,分别测 OCR、表格结构重建与数值推理三阶段能力;(b) 把 WildTableBench 与文本版基准(如 TableEval)做跨模态对比,量化视觉噪声引入的精度损失;(c) 引入检索增强(RAG)与工具调用(如 Python+pandas)让模型先结构化表格再回答,研究端到端 VQA 与代理式表格 VQA 的差距;(d) 扩展到多语种(中文、日文、阿拉伯文等)真实表格,验证视觉基础能力是否跨语言鲁棒;(e) 与 GUI 代理、网页代理、文档代理评测结合,研究表格理解在真实多步任务链中的位置。

复现评估

复现友好度较高。基准已在 Hugging Face 数据集页发布,代码与排行榜开源在 github.com/hjzhe/WildTableBench,网站 hjzhe.github.io/WildTableBench 提供 leaderboard。数据集仅 402 图 928 题,普通 GPU 即可加载。复现难点:(1) 闭源 9 个 API 模型评测需各自凭证与按量付费,2026 年 API 政策可能已变;(2) 开源 12 个模型需部署 Qwen3-VL(5 档 × 2 变体)、Kimi-K2.5(1T MoE)与 GLM-4.6V(106B MoE),235B/1T 级别需多卡 H100/H200;(3) 评测依赖 GPT-5.2 作 LLM-as-Judge,提示词、采样参数、推理 effort(Gemini low/high 等)都会影响排名;(4) 论文未完整公开 928 题答案,需通过数据集页获取。完整 21 模型复现成本较高,预计单次跑分需数千美元 API 费与数卡周级 GPU 时间。

论文图表

WildTableBench overview. (a) A benchmark example requiring multi-hop reasoning over a real-world train schedule. All three frontier models answer incorrectly. (b) Overall accuracy of 14 representative models; most fall below 50%. (c) Category-level comparison of the top-4 models from different providers.
Figure 1: WildTableBench overview. (a) A benchmark example requiring multi-hop reasoning over a real-world train schedule. All three frontier models answer incorrectly. (b) Overall accuracy of 14 representative models; most fall below 50%. (c) Category-level comparison of the top-4 models from different providers.

(a) 展示一个 2025 年 5 月火车时刻表的具体题目,问 5–7 PM 之间有多少天适合坐火车,正确答案 26,但 Gemini-3-Pro 答 1821、GPT-5.2 答 2、Claude-Opus-4.6 答 4;(b) 14 个代表性模型整体准确率柱状图,Gemini-3-Pro 67.9% 居首,多数 < 50%,GPT-4o 仅 5.7%;(c) 类别级对比,颜色类问题最难。

开篇即揭示'前沿模型在简单火车表上都失败'的戏剧化反直觉案例,是吸引读者注意、说明基准难度的关键视觉锚点。

Error analysis. (a) Error-type breakdown (locating, recognition, reasoning, comprehension) across representative models. Each horizontal stacked bar reports absolute error counts. (b) Examples of questions that all models answer incorrectly.
Figure 5: Error analysis. (a) Error-type breakdown (locating, recognition, reasoning, comprehension) across representative models. Each horizontal stacked bar reports absolute error counts. (b) Examples of questions that all models answer incorrectly.

(a) 11 个代表模型的四类错误(Locating/Recognition/Reasoning/Comprehension)水平堆叠条,Locating + Recognition 占绝对多数;(b) 两道全员失败例题:一道是密集出勤表上的多步条件 + 列举,另一道是跨多行的颜色过滤 + 多跳推理。

把'为什么难'归因到具体错误类型,是论文核心论断'视觉定位是首要瓶颈'的直接证据。