HakushoBench：基于日本政府白皮书构建的日语图表视觉问答基准 HakushoBench: A Japanese Chart and Table VQA Benchmark from Governmental White Papers
用日本政府白皮书构建日语图表 VQA 基准，揭示开源与闭源 VLM 的巨大能力差距。
前置知识
VQA（视觉问答，Visual Question Answering）
视觉问答任务要求模型根据给定的图像回答自然语言问题。在图表/表格场景下，问题可能涉及读取单个数值、比较柱高、跨多个单元格做多步推理、理解地图图例与空间关系等。输入是「图像 + 问题」，输出通常是简短的词、短语或短句答案，而非长篇生成。
本文整个基准 HakushoBench 都围绕 VQA 范式构建，理解「图像+问题→短答案」这一输入输出约定，是理解其评测流程、指标和结论的前提。
VLM（视觉语言模型，Vision-Language Model）
能同时处理图像和文本的多模态大模型，例如 GPT-4o、Gemini 3 Pro、Qwen3-VL、InternVL3.5。它们通常先用视觉编码器（如 SigLIP/ViT）把图像编码为 token 序列，再与文本 token 一起送入大语言模型主干进行融合推理。本文按权重是否开放分为「开源模型」与「闭源/专有模型」两类。
VLM 是本文的评测对象，论文的核心结论就是衡量并对比各类开源与闭源 VLM 在日语图表理解上的能力差距。
CoT 提示（Chain-of-Thought）
思维链提示通过在指令中加入「逐步思考」的要求，引导模型先输出中间推理步骤，再给出最终答案（Wei et al., 2022; Kojima et al., 2022）。它常用于激活模型的推理能力，但对不同模型效果差异很大，有时甚至会因重复、不连贯的推理链而降低表现。
论文为每个模型都设置了 Direct（直接作答）与 CoT（先思考再作答）两种评测配置，CoT 对 GPT-5.1、Qwen3-VL、InternVL3.5 带来 10 个百分点以上的提升，但对 GPT-4o、LLM-jp-4-VL 9B beta、Sarashina2.2-Vision 3B 几乎无效甚至有害，是关键实验变量。
LLM Judge（大模型作为裁判的自动评测）
用一个强大的 LLM（本文用 GPT-5.1，gpt-5.1-2025-11-13）充当裁判，判断被测模型的输出与人工参考答案是否语义等价，从而容忍「7」与「seven」、「2羽」与「二羽」等表面表达差异，实现大规模自动化评分。每题重复评测 3 次取均值以降低随机性。
短答案评测必须借助 LLM judge 才能稳健处理表达多样性，这是本文评测流水线得以在 2000+ 题上自动跑通的核心机制；理解它也有助于评估结论的可靠性边界。
SigLIP2 图像嵌入与视觉多样性度量
SigLIP2（siglip2-so400m-patch16-512）是一类多语言视觉-语言编码器，可将每张图像映射为一个高维向量。计算数据集中所有图像两两之间的余弦距离并取平均，就能量化「图像之间的视觉差异程度」——平均余弦距离越大，说明图像在嵌入空间里越分散、视觉风格越多样。
论文用这一指标证明 HakushoBench 的视觉多样性（平均成对余弦距离 0.365）显著高于 JGraphQA（0.275），是支撑「我们的基准更真实、更多样」这一主张的关键定量证据。
研究动机
图表与表格的视觉问答是 VLM 落地真实文档（财报、政务报告、科学论文）的基础能力，但现有基准严重偏向英语。ChartQA、PlotQA、ChartQAPro、CharXiv 等主流基准几乎全部以英语图表惯例和文档风格为准，无法反映跨语言的视觉组成、文字结构（例如日文里竖排与横排混排）、地图地理惯例和信息密度差异。已有研究表明在英语基准上的强表现并不等于稳健的多语言图表理解能力（Pouget et al., 2024）。在日语这一非英语场景下，唯一的代表性基准 JGraphQA 仅约 200 个样本，视觉类型只有 5 类，问题风格沿用 ChartQA 以数据抽取和简单算术为主，导致连 3B 规模的小模型都能拿到 80% 以上准确率，已经接近饱和、难以区分模型能力。这使日语图表理解能力的真实水平被严重高估。
本文的目标是本文的目标是构建一个真实、视觉多样、有挑战性且可扩展的日语图表与表格 VQA 基准，让评测能考察模型对整张图的「深度且整体的理解」（deep and holistic understanding），而不是只看局部视觉线索抽取数值。具体目标包括：(1) 覆盖远超 JGraphQA 的图像类型与领域，包含地图、信息图、仪表盘等此前日语基准缺失的类别；(2) 设计需要跨区域整合、多步推理、计数、外部知识、细粒度感知的高难度问题；(3) 通过人工标注+独立交叉验证保证 QA 质量与答案唯一性；(4) 在统一协议下系统评测一批开源与闭源 VLM，量化日语图表理解上的真实差距。
与已有工作不同的是，本文的独特切入角度在于「数据源」的选择：它没有沿用从网络爬取图表（ChartQA/ChartQAPro）或从学术论文抽图（CharXiv）的做法，而是首次把「政府白皮书（Hakusho）」作为图表/表格基准的可扩展素材来源。白皮书面向大众读者，由专业人员设计，天然包含信息密集、视觉多样、覆盖国防、能源、福利、教育等多领域的真实图表；更重要的是，许多国家的政府都会发布类似白皮书（如美国总统经济报告），因此这一方法论可以自然延伸到其他语言和文化，为构建多语言基准提供了一条可复制的路径。这种「用政府开放数据解决非英语基准稀缺」的思路，是它与已有工作最本质的区别。
核心方法
直觉上，政府白皮书天然就是「专业设计、面向公众、信息密集、跨领域多样」的图表宝库，是构建真实且有挑战性基准的理想素材。技术路线是一条三阶段流水线：(1) 从日本政府的 e-Gov 门户收集白皮书的图表/表格图像并人工筛选出候选；(2) 由 21 位日语母语标注员为每张图写一道高难度 QA；(3) 由另一位独立标注员在不看原答案的情况下重新作答进行交叉验证，答案匹配才保留。整个过程强调真实图像、短答案、难度维度约束和双重人工把关，最终得到 2,053 道 VQA。
核心创新是「数据源 + 难度设计 + 交叉验证」三者结合。在数据源上，首次系统利用政府白皮书，既保证了真实性与多样性，又天然支持多语言扩展；在难度设计上，每道题必须满足「全局整合（Global）、多步推理（Multi-hop）、计数（Counting）、外部知识（External knowledge）、细粒度视觉（Visual）」中的至少一个难度维度，强制超越简单数值抽取；在答案形式上，刻意避开易被随机猜测或无需看图就能作答的多选题与是非题，采用短答案并配合 LLM judge 评分；在质量保证上，引入独立交叉标注验证，只有第二位标注者给出的答案与原答案一致（允许表面差异）才被采纳。这与已有「单一标注、多选题、网爬图像」的范式有本质区别。
方法步骤详情
第一步「图像收集」：从日本政府 e-Gov 门户获取各机构公开的白皮书，仅保留同时提供 HTML 版本的系列（便于直接按 URL 抽取图像、规避 PDF 抽取难题），且每个白皮书系列只取最新一期以减少近似重复与训练数据污染风险，最终选定 33 个白皮书系列。从这些白皮书初步收集 18,539 张图像，人工剔除合影等照片、低分辨率难以辨认的图、跨页近似重复图，保留 5,903 张候选图表/表格图像。第二步「QA 标注」：21 位通过专业标注机构聘请的日语母语标注员，每人拿到一批图像，为每张图写一道 QA，要求问题不能仅凭题面回答、必须看图、自然且良定义、答案唯一且可用词/短语/短句表达；每道题标注一个或多个难度维度标签，若写不出足够有挑战性的题允许跳过该图。第三步「QA 验证」：对每道题，第二位（不同于作者）标注员只看图像和问题、独立作答，若两答案在容忍表面差异后一致则采纳，否则修订或丢弃，最终得到 2,053 道 QA。实验阶段在 Direct 与 CoT 两种设置下评测，温度设为 0（GPT-5.1 除外），最大生成长度 8,192 token，开源模型在 NVIDIA A100 上推理，闭源模型走官方 API，Gemini 3 Pro 用 medium 推理模式，GPT-5.1 在 Direct 用 none、CoT 用 medium。
技术新颖性
技术新颖性体现在四个层面。一是数据源创新：把政府白皮书这一「未被充分挖掘」的开放资源作为图表/表格基准的可扩展来源，并明确指出其可推广到其他语言。二是难度约束机制：用六类可标注的难度维度（Global/Multi-hop/Counting/External-knowledge/Visual/Other）从标注源头强制提升问题复杂度，而不是事后再去筛选难题。三是评测协议：坚持短答案 + LLM judge，规避多选题/是非题「不看图也能猜对」的污染，并重复 3 次取均值报告方差。四是规模与覆盖：相比 JGraphQA 约 196 例、5 类图像，HakushoBench 达到 2,053 例、超过 10 类图像（含 Map、Infographic、Dashboard、Bubble 等 JGraphQA 完全缺失的类型），SigLIP2 嵌入的平均成对余弦距离 0.365 也明显高于 JGraphQA 的 0.275，定量证明视觉多样性更强。
实验结果
核心发现可逐条拆解。首先，HakushoBench 对开源模型极具挑战性：最强开源模型 Qwen3-VL 8B 仅得 58.6%（CoT），其后依次是 LLM-jp-4-VL 9B beta（43.0%）、InternVL3.5 8B（51.0%）、Qwen3-VL 4B（48.4%）、InternVL3.5 4B（47.1%）、Sarashina2.2-Vision 3B（37.7%），多数开源模型都卡在 60% 以下。其次，闭源模型之间也出现巨大断层：Gemini 3 Pro 拿到 93.5% 一骑绝尘，而 GPT-5.1 只有 67.9%，GPT-4o 仅 54.1%，三者之间差距远超英语基准上的表现。第三，开源-闭源鸿沟达 34.9 个百分点（58.6 vs 93.5），远大于 JGraphQA 的 8.1 个百分点（88.8 vs 96.9）和 ChartQA 的 1.4 个百分点（84.3 vs 85.7），与 ChartQAPro 的 30.7 个百分点（35.1 vs 65.8）相当——说明基准越复杂、越接近真实，这一鸿沟越被放大。第四，CoT 提示效果因模型而异：GPT-5.1、Qwen3-VL 4B/8B、InternVL3.5 4B/8B 都因 CoT 提升 10 个百分点以上（如 GPT-5.1 从 52.8 升到 67.9，Qwen3-VL 8B 从 42.6 升到 58.6），而 GPT-4o、LLM-jp-4-VL 9B beta、Sarashina2.2-Vision 3B 收益有限甚至下降，人工分析发现这些模型要么无法真正展开推理、要么生成重复且不连贯的思维链。第五，对 Gemini 3 Pro 50 个错误样本的人工分析显示，即便是 SOTA 模型仍犯三类错误：感知错误（如误读散点图中的条件与空间关系）、外部知识错误（如无法在主题降水图上定位「襟裳岬/Cape Erimo」这种日本地理常识）、计数错误（如把「10」答成「11」的 off-by-one）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 日语图表/表格 VQA（最强开源 vs 最强闭源） | Accuracy (%)，最佳开源/闭源 | Qwen3-VL 8B 58.6 vs Gemini 3 Pro 93.5 | — | 揭示 34.9 个百分点的开源-闭源鸿沟 |
| 与日语基线 JGraphQA 对比（最强开源 Qwen3-VL 8B） | Accuracy (%) | HakushoBench 58.6 | JGraphQA-Verified 88.8 | 难度大幅上升，开源模型准确率下降约 30 个百分点 |
| 与日语基线 JGraphQA 对比（Sarashina2.2-Vision 3B） | Accuracy (%) | HakushoBench 37.7 | JGraphQA 81.0 | 小模型差距更悬殊，下降约 43 个百分点 |
| 视觉多样性（SigLIP2 平均成对余弦距离） | 平均成对余弦距离 | HakushoBench 0.365 | JGraphQA 0.275 | 图像嵌入空间更分散，多样性更高 |
| CoT 相对 Direct 的提升（最强开源 Qwen3-VL 8B） | Accuracy (%) | CoT 58.6 | Direct 42.6 | +16.0 个百分点 |
| CoT 相对 Direct 的提升（GPT-5.1） | Accuracy (%) | CoT 67.9 | Direct 52.8 | +15.1 个百分点 |
局限与改进
作者明确承认三类局限。其一是语言与领域覆盖：数据集目前只覆盖日语，未直接缓解其他低资源语言的基准稀缺问题；且仅来自政府白皮书，可能无法完全覆盖其他真实文档的视觉风格与领域。其二是潜在数据污染：虽通过只取最新一期白皮书来降低风险，但无法完全排除图像或相关信息已出现在模型预训练语料的派生网络内容中——不过所有 QA 都是全新人工标注，被纳入预训练的可能性很低。其三是前沿饱和：Gemini 3 Pro 已达 93.5%，留给区分前沿模型的「天花板空间」有限。从我的观察看，还有几点值得补充：(1) 图像类型分布很不均衡——Bar/Line/Table/Infographic/Dashboard 占绝大多数，而 Area、Scatter、Bubble、Other 各仅 8–23 例，对这几类的能力估计方差会很大；(2) 全部样本只来自最新一年，难以考察模型在「时间序列式更新」上的稳定性；(3) 评测依赖 GPT-5.1 作 LLM judge，judge 本身的偏差（尤其对数值区间、专有名词等价性）可能系统影响绝对分数，作者未对 judge 准确率做人工抽检。
独立分析的弱点
第一个弱点是图像类型长尾：Area（9）、Scatter（9）、Bubble（8）、Other（23）等类目样本过少，导致按类型拆分时这些类无法进入 Figure 7（少于 50 例被略去），也意味着对这些稀有类型的能力结论可信度有限——改进方向是定向补采这几类图像至每类至少 100 例。第二个弱点是评测协议对 LLM judge 的依赖：用 GPT-5.1 判分虽方便，但 judge 对「100mm 到 200mm」这类区间答案、对日本专有名词的等价判断可能不稳定——改进方向是发布一份人工标注的 judge 黄金评测集，量化 judge 与人工的一致率并做误差校正。第三个弱点是 CoT 失效模型的诊断不够深：对 GPT-4o、LLM-jp-4-VL 9B beta、Sarashina2.2-Vision 3B 的 CoT 退化只做了定性人工分析，缺乏量化的错误类型分布——改进方向是按感知/知识/计数/格式错误细分统计。第四个弱点是前沿饱和：Gemini 3 Pro 93.5% 留给 SOTA 区分空间不足——改进方向是参照 Phan et al. (2026) 构造一个「Gemini 3 Pro 答错的难题子集」作为更陡峭的区分集，同时小心避免问题变得不自然。
未来方向
作者明确提出：把白皮书方法论推广到其他语言和文化（许多国家都发布类似政府报告，如美国总统经济报告），构建多语言基准；并通过筛掉 Gemini 3 Pro 已解决的题或专门收集超越当前前沿模型能力的更难 QA，来缓解前沿饱和。基于本文成果还可延伸出若干方向：(1) 跨语言配对版 HakushoBench，把同一批图表配以中/英/日多语 QA，直接度量「英语强 ≠ 多语言强」这一论断；(2) 把标注难度维度从「分类标签」升级为可学习的难度预测器，自动为新题打分；(3) 引入交互式/Agent 评测，让模型在多张白皮书间检索后作答，模拟真实政策分析；(4) 用本基准的细粒度错误（计数 off-by-one、地理外部知识）作为针对性后训练数据，专门提升开源 VLM 的日语图表能力。
复现评估
复现性总体较好。作者以 Apache 2.0 协议在 HuggingFace（llm-jp/HakushoBench）发布数据集和评测代码，附录 C 列出了全部 33 个白皮书及每篇的样本数（如海上保安レポート93、防衛白書81、消防白書81 等），附录 D 给出了图像类型分类、Direct、CoT、Judge 四套完整 prompt。需注意几点：(1) 作者只发布图像 URL 而非原始图像，复现者需自行下载，若白皮书改版可能导致部分链接失效；(2) 评测强烈依赖闭源 API（GPT-5.1 作 judge、Gemini 3 Pro 作被测模型），复现需要相应 API 配额与费用；(3) 开源模型推理在 NVIDIA A100 上完成，最大生成长度 8192 token、温度 0（GPT-5.1 除外）、每题重复 3 次取均值，这些设置文档齐全但计算开销不小；(4) Gemini 3 Pro 作为思维模型只报告 CoT 分数、GPT-5.1 在两种设置下用不同 reasoning 档位，复现时需严格对齐。整体难度中等：数据与 prompt 可直接获取，主要门槛在 API 预算与算力。
论文图表
展示 SOTA 模型 Gemini 3 Pro 的三类典型错误：感知错误（在散点图上误读条件，把「大气污染物、タバコ」多答成「化学物质」）；知识错误（无法在降水图上定位襟裳岬/Cape Erimo，给出 0.5 到 10 的荒谬区间）；计数错误（把「10」答成「11」的 off-by-one）。
即便最强模型仍有感知、外部知识、计数等多样化失败，这张图是「SOTA 仍有大幅改进空间」这一结论的直接证据，也指明了具体改进方向。