← 返回 2026-04-29

DV-World：真实场景下数据可视化智能体的基准评测 DV-World: Benchmarking Data Visualization Agents in Real-World Scenarios

Jinxiang Meng, Shaoping Huang, Fangyu Lei, Jingyu Guo, Haoxiang Liu, Jiahao Su, Sihan Wang, Yao Wang, Enrui Wang, Ye Yang, Hongze Chai, Jinming Lv, Anbang Yu, Huangjing Zhang, Yitong Zhang, Yiming Huang, Zeyao Ma, Shizhu He, Jun Zhao, Kang Liu 📅 2026-04-28 👍 42 2026-07-13 08:36
Agent 评测基准 MLLM-as-a-Judge ReAct 智能体 Spreadsheet 多轮意图澄清 数据可视化智能体 电子表格原生图表 跨框架代码演化
arXiv HuggingFace PDF

260 任务三轴基准：评估可视化智能体在原生表格、跨范式演化与多轮澄清场景下的真实能力

前置知识

ReAct (Reasoning + Acting) 智能体

ReAct 是一种让大模型在「思考—调用工具—观察结果」循环中执行任务的范式。模型先生成自然语言推理，再选择调用外部工具（如 bash、图像读取、代码执行），把工具返回结果纳入下一轮推理，直至给出最终答案。在 DV-World 中，作者把所有被测模型都包装成一个统一的 ReAct 框架，提供 bash、load_image、render_chart、ask_user 四个工具，使评测只关注智能体本身的能力差异。

理解 ReAct 才能看懂 DV-World-Agent 这条统一基线：所有模型都用同一种调用骨架，避免「工具集不同导致分数无法比较」的混淆；同时 DV-Inter 中的 ask_user 工具正是 ReAct 范式里的 acting 步骤，决定了智能体能否主动澄清。

MLLM-as-a-Judge（多模态大模型作为裁判）

用多模态大模型（如 Gemini-2.5-Flash）按照人工设计的细粒度评分细则（rubric）对智能体产出的图表进行打分。评分细则会把「可靠性」「美感」「布局可读性」等抽象维度拆成若干可勾选项，最终加权得到一个 0–100 的 rubric 分数 $S_{\text{rubric}}(O,R) = \frac{\sum_{k=1}^{N_k} s_k^{\text{score}}}{\sum_{k=1}^{N_k} w_k}$，其中 $s_k = \Lambda(c_k, O) \in [0, w_k]$。DV-World 还把 rubric 分数与 Table Coverage 做加权：$S_{\text{crea/evol}} = w \cdot S_{\text{rubric}} + (1-w) \cdot S_{\text{TC}}$。

图表评测没有标准答案，必须依赖 LLM 裁判；理解 rubric 设计、权重选择以及 Table-value Alignment 的数值容差匹配，才能解释为什么这种「混合评测」在 210 个任务上能与人类评分达到 ICC=0.850 的强一致性。

原生电子表格对象模型（Native Spreadsheet Object Model）

指 Excel/Google Sheets/WPS 等软件内部的真实图表对象结构：图表不再是一张图片，而是由数据范围绑定（data binding）、坐标轴、系列、标题、图例等属性组成的可编程对象。智能体必须通过 openpyxl、xlwings 等库操作这个对象，让图表与单元格「动态联动」，即修改单元格数值时图表自动更新——而不是把数值硬编码进图表。

这是 DV-Sheet 与传统代码沙箱基准（如 Plot2Code、MatPlotBench）的根本区别：传统基准生成的是静态 PNG，本文的 Create 子任务明确要求「动态范围绑定 $f$」，即单元格引用而非硬编码值；读懂这一点才能体会 DV-Sheet-Fix 为什么把「错误的数据绑定」当作核心诊断问题。

诊断与演化（Fix / Evolution）类可视化任务

「诊断」指图表出问题时（如公式错误 =IMSUB(F2,E2) 应为 =F2-E2、坐标轴硬编码、数据源引用丢失）智能体要识别并修复；「演化」指给定一张参考图 $V$ 与新数据集 $D$，把视觉语义迁移到不同语言/框架（L = Python / ECharts / Vega-Lite / D3.js / Plotly.js）的代码 $\sigma = \pi_{\text{evol}}(I, V, D, L)$ 中。两者都强调「保留设计意图」而非「重新生成」。

DV-Sheet-Fix 借鉴了软件工程里的 bug-fix 思路，但把所有 bug 都限定在可视化语义里；DV-Evol 则考察「视觉逻辑可移植性」。这两个能力是真实企业工作流的核心需求，也是当前 SOTA 模型跌到 40–50% 的关键瓶颈。

用户模拟器（User Simulator）与意图澄清

DV-Inter 用 GPT-5-mini 扮演真实用户，通过两阶段机制回答智能体的澄清提问：Stage 1 Filtering 用「守门人」拒绝泄漏实现细节的提问；Stage 2 Response Selection 根据「真实意图」+「反应规则」生成回答。智能体要识别任务中的歧义（如「家庭预订」未定义、「收入是 sum 还是 rate」）并精准追问，再基于回答产出可视化。

真实用户几乎不会一次性说清需求，智能体必须学会「主动询问—保持多轮状态一致—最终交付」。DV-World 用模拟器代替真人做大规模评测，但 Faithfulness=88.67、Pearson ρ=0.86 证明它和真人行为强对齐。

研究动机

当前数据可视化（DV）智能体评测生态存在三大结构性缺陷，阻碍它们走向真实企业工作流。第一是「环境脱节」：主流基准如 SpreadsheetBench（912 题）、OSWorld（369 题）、ChartMimic（4800 题）、nvBench 2.0（7878 题）几乎都把智能体关在代码沙箱里生成静态 PNG，完全忽略了真实电子表格软件中的原生图表对象模型、数据—图表动态绑定、GUI 操作约束，导致智能体在「写脚本」上很强，但放到 Excel 里却不会正确建图表。第二是「只测一次性创建」：DA-Code、MatPlotBench、Text2Vis、PlotCraft 等几乎所有数据可视化基准都只看「单轮 prompt → 单张图」，缺少对演化工作的考察——现实里分析师经常要「换数据、保留配色、改成双轴」这类迭代需求，且不同任务可能在 Python、ECharts、Vega-Lite、D3.js、Plotly.js 之间切换，跨框架的语义可迁移性从未被系统评测。第三是「假设意图完美」：BIRD-Interact 等少数交互基准要求用户输入完全明确，而真实需求里「家庭预订」「峰值月份」这类概念高度模糊，智能体若不能主动澄清就只能靠猜，DAComp-DA 等基准虽引入开放性却把提问规则写死。三个问题叠加，使得 GPT-5.2、Gemini-3-Pro 这类顶级模型在「写一段 matplotlib」上几乎满分，但放到真实 DV 工作流里依然寸步难行。

本文的目标是本文的目标是构建一个面向「真实可视化工作流全生命周期」的基准 DV-World，把当前被各种沙箱、孤立语言、单轮 prompt 隔离的三大类核心能力重新拉回到同一评测框架下。具体而言，作者希望量化智能体在三个轴上的表现：（1）在原生电子表格软件中创建、修复、组装图表/仪表盘（DV-Sheet，覆盖 50+50+30=130 题）；（2）把参考视觉资产迁移到 5 种主流可视化语言/框架并支持迭代修改（DV-Evol，50 题）；（3）在用户意图模糊时主动澄清并维持多轮一致性（DV-Inter，80 题）。最终用一套结合「Table-value Alignment 数值精度」与「MLLM-as-a-Judge 语义/美感 rubric」的混合评测体系，把 SOTA 模型推到 <50% 的整体得分，暴露它们在「环境接地、语义可移植、主动意图对齐」三方面的真实短板，给后续研究一个量化、可复现的标尺。

与已有工作不同的是，DV-World 与现有基准的差异化切入点在于「三轴同时覆盖 + 双环境同时评测 + 真实数据 + 真实交互」这四个组合维度。Table 1 清晰展示了这一组合的稀缺性：在「真实数据 + 原生环境」维度上，只有 SpreadsheetBench 进入视野，但只覆盖表格操作本身而非「跨图表类型 + 跨框架 + 跨轮」的完整生命周期；在「跨多框架」维度上，PlotCraft 与 nvBench 2.0 只在 Python 内部多图，没有跨范式迁移要求；在「交互式意图对齐」维度上，BIRD-Interact 与 OSWorld 虽有交互但聚焦 SQL/操作系统而非可视化语义。本文用 18 位可视化专家、800+ 真实社区问题改造、约 6 小时/题的 rubric 设计这种「重投入」方式，把企业里真实发生的「在 Excel 里修一个公式错误的图表→用 ECharts 复刻它的视觉风格→发现用户其实想要按 sum(rate) 聚合」这一连续工作流首次端到端地装进了一个 260 题的评测套件，从而填补了「评测复杂度与真实需求复杂度之间的鸿沟」。

核心方法

DV-World 的整体方法可以拆成「任务定义 + 评测框架 + 数据构建 + 智能体基线 + 模拟器设计」五块，每块都对应一个真实工作流环节。在任务层，作者用三个子基准（DV-Sheet、DV-Evol、DV-Inter）覆盖「原生表格 → 跨框架演化 → 多轮澄清」三种典型场景；在评测层，作者提出 Table-value Alignment 协议保证数值精度，再用 MLLM-as-a-Judge 对照专家 rubric 打分；在数据层，作者从 ExcelForum、Kaggle 等社区抓取 800+ 真实问题，再用「结构保留 + 数值扰动 + 元数据脱敏」三步清洗；在智能体层，作者封装了一个统一的 DV-World-Agent（基于 ReAct 范式，工具包括 bash、load_image、render_chart、ask_user），保证所有模型在相同骨架下被对比；在模拟器层，作者用 GPT-5-mini 搭配「守门人 + 反应规则」实现高拟真度、低成本的用户行为。整套方法的直觉是：先承认「真实 DV 工作流不是单轮 prompt→PNG」，再把每个环节的「真实」逐一工程化，最后用一个能复现的实验框架去量化和暴露当前模型的真实短板。

DV-World 的核心创新点是把「评测粒度」从「代码或单图」提升到「全生命周期 × 双环境 × 真实交互」，并用混合评测框架来弥合「数值正确性」与「视觉语义」之间的鸿沟。和已有方法相比有三个本质区别：（1）DV-Sheet 把评测对象从「matplotlib 输出」换成「openpyxl 写入的 .xlsx 文件及其内部图表对象」，要求智能体能真正驱动 Excel 级别的 data binding，而不是把数值写死——这一改动把 74.5% 的真实噪声数据暴露给模型，使 Fix 子任务的难度大幅上升；（2）DV-Evol 第一次把「跨范式演化」独立成评测维度，要求智能体在 Python、ECharts、Vega-Lite、D3.js、Plotly.js 之间做视觉语义迁移，迫使模型学习「视觉逻辑」而非「框架 API」；（3）DV-Inter 把用户模拟器从「写死的问题列表」升级为「可拒绝泄漏、可反应、可度量」的双阶段机制，从而把「主动澄清」从可选项变成了可量化的核心能力（Interaction Success Rate, ISR）。三者合在一起，让 SOTA 模型在三个轴上的得分都跌到 40–51%，而人类得分在 79–88%——这一 30+ 分的鸿沟就是 DV-World 想暴露的「真实能力天花板」。

方法步骤详情

DV-World 的方法流程可以拆成 7 步，每步都有明确输入、输出和操作：第 1 步是「任务定义」，把三类工作流抽象为可形式化的算子：DV-Sheet 建模为 $E^\star = \pi_{\text{sheet}}(I, E_0)$，DV-Evol 建模为 $\sigma = \pi_{\text{evol}}(I, V, D, L)$，DV-Inter 建模为多轮 $(q_0, D, L)$ 状态机。第 2 步是「数据采集」，从 ExcelForum、Kaggle 等社区抓取 800+ 真实可视化问题线程，保留原始 .xlsx、参考图、绘图代码。第 3 步是「数据适配」，对原始数据做三步处理：结构保留（保留合并单元格与不规则布局）、数值扰动（重归一化但保分布）、元数据脱敏（替换可识别实体为通用占位）。第 4 步是「任务构造」，DVSheet-Crea/Dash 由 5 位专家统一用户问题、7 位专家完成作图；DVSheet-Fix 由专家把常见真实错误（如刚性坐标轴缩放、错误公式 =IMSUB(F2,E2) 应为 =F2-E2）注入健康工作簿；DV-Evol 由专家审校跨实现语义等价性；DV-Inter 由专家从明确任务出发系统性引入歧义并记录问答日志。第 5 步是「评测构建」，为生成类任务设计多维度 rubric（约 6 小时/题），用 5 个模型的输出反查 rubric 是否覆盖多种有效解；为 Fix 类任务准备 gold healthy file 作为 ground truth；为 Evol 类任务同时准备 gold table 与 gold plot。第 6 步是「评测打分」，Table-value Alignment 用 $S_{\text{TC}} = \frac{1}{N_{\text{valid}}}\sum_{c \in C} \mathbb{I}(\text{match}(v_{\text{gen}}, v_{\text{gt}}))$ 计算数值覆盖（数值用 $(\epsilon, \delta)$ 容差匹配，非数值严格相等）；rubric 部分用 MLLM-judge 按 $S_{\text{rubric}}(O,R) = \frac{\sum_k s_k^{\text{score}}}{\sum_k w_k}$ 打分；Fix 用严格 Success Rate $S_{\text{DVSheet-Fix}} = \mathbb{I}[\forall f \in F_{\text{must}} : \text{Sim}(C_f, G_f) \geq \tau]$（$\tau \geq 0.95$）；Inter 用 $S_{\text{final}} = S_{\text{rubric}} \cdot \text{ISR}$，其中 $\text{ISR} = (1-\lambda) + \lambda \cdot \frac{N_{\text{success}}-N_{\text{ref}}}{N_{\text{req}}+1}$，$\lambda = 0.5$。第 7 步是「智能体基线」，DV-World-Agent 用统一 ReAct 循环，把所有被测 LLM（Gemini-3-Pro、GPT-5.2、DeepSeek-V3.2、Qwen3、GLM-4.7、Kimi-K2、Grok-4、Gemini-2.5-Pro、GPT-4.1 等）都装进同一工具集，DV-Inter 还内置 ask_user 工具以触发主动澄清。

技术新颖性

从技术新颖性看，DV-World 在三个层面做出了实质推进。评测层面，首次提出「Table-value Alignment + MLLM-rubric」混合评测框架，并用 210 题验证其与人类评分的 ICC(A,1)=0.850、加权 κ=0.821 的强一致性，跨 5 个 judge 模型（Gemini-2.5-Flash/Pro/3-Flash、GPT-4.1、GPT-4o）Kendall τ_b 也稳定在 0.8–1.0，证明评测本身的可复现性。数据层面，三步适配协议（结构保留+数值扰动+元数据脱敏）+ 双阶段专家审校（5 标准化 + 7 完成任务）+ rubric 反查 5 模型输出，构成一条工业级的可视化评测生产线，是当前文献里投入最大、设计最严谨的数据流程。智能体层面，把 SheetCopilot（DV-Sheet 基线）和 OpenHands（DV-Evol 基线）统一在 DV-World-Agent 骨架下，使跨任务横向比较成为可能；ask_user 工具 + 双阶段模拟器把「主动澄清」从「隐式 prompt 技巧」升级为「可量化的代理动作」，并用 Reaction Rules 显式控制模拟器反应。整体新颖性可以概括为：用工程化的全栈设计，把「真实」这件事从基准的扩展属性变成核心架构约束。

DV-World aims to evaluate data visualization agents across the full lifecycle of native manipulation in real software environments (DV-Sheet), cross-modal logic evolution (DV-Evolution), and proactive iterative interaction (DV-Interact) scenarios.
Figure 1: DV-World aims to evaluate data visualization agents across the full lifecycle of native manipulation in real software environments (DV-Sheet), cross-modal logic evolution (DV-Evolution), and proactive iterative interaction (DV-Interact) scenarios.
Chart-type distribution of DV-World.
Figure 2: Chart-type distribution of DV-World.
Comparison of agent capability and interaction cost.
Figure 8: Comparison of agent capability and interaction cost.

实验结果

三个子基准的实验结果共同指向一个核心结论：当前 SOTA 模型在「真实 DV 工作流」上的能力远低于其在单轮 prompt→PNG 任务上的表现。具体来看：DV-Sheet（Table 3）整体峰值仅 40.48（Gemini-3-Pro + DV-World-Agent），第二名 GPT-5.2 仅 37.24，DeepSeek-V3.2 33.12，Kimi-K2 32.52，GLM-4.7 31.53，GPT-4.1 31.27，Grok-4 30.75，Gemini-2.5-Pro 30.73，Qwen3-Coder-Plus 19.87，Qwen3-235B-A22B 17.89，Qwen3-8B 仅 6.91，而人类基线为 Create 80.81、Fix 88.00、Dashboards 87.34——AI 与人类差距普遍在 50 分以上。Fix 任务尤其困难，所有模型 Success Rate 均 ≤ 48%，其中 Qwen3-8B 仅 14%。DV-Evol（Table 4）峰值 51.44（Gemini-3-Pro），Gemini-3-Flash 49.46，Grok-4 48.81，GPT-4.1 44.67，GPT-5.2 43.04，Gemini-2.5-Pro 36.63，Qwen3-VL-Plus 29.33，Qwen3-VL-32B 24.17，Qwen3-VL-8B 21.05；人类基线在 5 个框架下都 ≥82，说明「跨范式视觉逻辑迁移」对模型是真正的语义断层。DV-Inter（Table 5）峰值 40.43（Grok-4），DeepSeek-V3.2 37.94，GPT-5.2 35.09，Gemini-3-Pro 34.43，Gemini-2.5-Pro 31.34，GLM-4.7 29.57，Kimi-K2 27.39，GPT-4.1 25.68，Qwen3-235B-A22B 20.90，Qwen3-8B 18.09；人类基线 79.60。三轴的共同瓶颈是「数据精度 + 视觉语义」难以兼顾：Fig. 3(a) 显示 Table Coverage 与 Visual Aesthetics 在 Create 任务里呈正相关，说明数据接地的能力会顺带提升美感；Fig. 3(b) 揭示 Fix 任务里 Filtering Logic 表现最好（多数模型 SR 50–64%），但 Coordinate & Scale 调整（35–46%）与 Encoding 修复（21–50%）依然是公认的难点。Fig. 4(a) 显示 DVSheet-Dash 性能随数据规模严格下降（<10k cells 时约 40 分，>500k 时跌至约 10 分），说明长表格的多视图空间规划对当前模型是巨大负担；Fig. 4(b) 进一步揭示 DV-Evol 在 Python、Vega-Lite 上表现较好（GPT-3-Pro 60+ 分），但在 D3.js、Plotly.js 上跌到 50 左右，暴露出「API 冗长税」。Fig. 6 显示当生成代码 LOC > 300 行时，所有模型分数都跌至 20–30%，D3.js 受影响最严重。Table 6 的消融表明，去掉 load_image 工具会让 Gemini-3-Pro 在 D3.js 上掉 7.69 分，验证视觉反馈是「高复杂度演化」的关键补偿。Fig. 7(a)/(b) 揭示 DV-Inter 的核心矛盾：「主动询问」质量比数量重要——Gemini-3-Pro 用 +23.0% 的高质量澄清拿到了最大收益，而 Qwen3-235B 反而因「无效询问」掉 0.6%。

Comparison of DV-World with existing benchmarks. Nat. and Prog. denote Native and Programmatic environments, respectively; Env., NL, I, Synth., and Fin.Tab denote Environment, Natural Language, Image, Synthetic, and Final Table, respectively.
Table 1: Comparison of DV-World with existing benchmarks. Nat. and Prog. denote Native and Programmatic environments, respectively; Env., NL, I, Synth., and Fin.Tab denote Environment, Natural Language, Image, Synthetic, and Final Table, respectively.
Key statistics for DV-World. Metrics represent per-example averages across different tasks. LOC, Prof., and Aesth. denote lines of code, Professionalism, and Aesthetics, respectively.
Table 2: Key statistics for DV-World. Metrics represent per-example averages across different tasks. LOC, Prof., and Aesth. denote lines of code, Professionalism, and Aesthetics, respectively.
Detailed performance comparison on DV-Sheet. Scores include the mean and standard deviation (±) across evaluation trials.
Table 3: Detailed performance comparison on DV-Sheet. Scores include the mean and standard deviation (±) across evaluation trials.
Main results on DV-Evol. Metrics include MLLM-Score (MS), Table Coverage (TC), and weighted Overall scores.
Table 4: Main results on DV-Evol. Metrics include MLLM-Score (MS), Table Coverage (TC), and weighted Overall scores.
Main results on DV-Inter. We report MLLM-Scores across interaction quality and visual metrics, alongside Interaction Success Rate (ISR) and average User Cost per task.
Table 5: Main results on DV-Inter. We report MLLM-Scores across interaction quality and visual metrics, alongside Interaction Success Rate (ISR) and average User Cost per task.
Ablation study of visual feedback across different models. Values represent the success rate (%), and ∆ denotes the performance drop compared to the full model.
Table 6: Ablation study of visual feedback across different models. Values represent the success rate (%), and ∆ denotes the performance drop compared to the full model.
Ablation study of simulator backbones and components. Fidelity measures consistency with Igt, while Pearson ρ reflects alignment with human trajectories.
Table 7: Ablation study of simulator backbones and components. Fidelity measures consistency with Igt, while Pearson ρ reflects alignment with human trajectories.
Validation of the hybrid evaluation framework. We report agreement metrics across the four MLLM-judged settings (Crea, Dash, Evol, Inter).
Table 8: Validation of the hybrid evaluation framework. We report agreement metrics across the four MLLM-judged settings (Crea, Dash, Evol, Inter).
Ranking stability across MLLM judges. Overall DV Score excludes DVSheet-Fix (rule-based).
Table 9: Ranking stability across MLLM judges. Overall DV Score excludes DVSheet-Fix (rule-based).
(a) shows the correlation between Table Coverage and Visual Aesthetics for the DVSheet-Crea task. (b) shows the Success Rate (SR%) for fix categories in the DVSheet-Fix task.
Figure 3: (a) shows the correlation between Table Coverage and Visual Aesthetics for the DVSheet-Crea task. (b) shows the Success Rate (SR%) for fix categories in the DVSheet-Fix task.
(a) Performance scores (%) for the DVSheet-Dash task across varying table scales (cells). (b) Performance of the five visualization frameworks in the DV-Evol task.
Figure 4: (a) Performance scores (%) for the DVSheet-Dash task across varying table scales (cells). (b) Performance of the five visualization frameworks in the DV-Evol task.
Comparison of ask strategies and performance: (a) effective vs. ineffective ask rates and task quality; (b) performance with vs. without asking.
Figure 7: Comparison of ask strategies and performance: (a) effective vs. ineffective ask rates and task quality; (b) performance with vs. without asking.
查看结构化数据
任务指标本文基线提升
DVSheet-Create / Fix / Dashboards（综合） Overall Score (0–100) Gemini-3-Pro w/ DV-World-Agent：40.48；GPT-5.2：37.24；DeepSeek-V3.2：33.12 SheetCopilot（Gemini-3-Pro）：38.01；人类：Create 80.81 / Fix 88.00 / Dashboards 87.34 AI 峰值 40.48 vs 人类 80.81（Create 维度）相差约 40 分；同模型 SheetCopilot → DV-World-Agent 提升 +2.47（38.01→40.48）
DVSheet-Fix Success Rate (SR%) Gemini-3-Pro：48.00；Kimi-K2-Thinking：46.00；Grok-4：42.00；GPT-5.2：42.00；GLM-4.7：40.00；DeepSeek-V3.2：36.00；GPT-4.1：32.00；Qwen3-Coder-Plus：24.00；Qwen3-235B-A22B：22.00；Qwen3-8B：14.00 人类：88.00；SheetCopilot 最佳基线 44.00 AI 峰值 48.00 较人类 88.00 仍差 40 分；同模型 SheetCopilot → DV-World-Agent 提升 +4（44→48）
DV-Evol Python Overall Score Gemini-3-Pro w/ DV-World-Agent：60.36；Gemini-3-Flash：58.54；GPT-5.2：55.81；Grok-4：53.84 OpenHands Gemini-3-Pro：57.10；人类：85.23 AI 峰值 60.36 vs 人类 85.23 差 25 分；同模型 OpenHands → DV-World-Agent 提升 +3.26（57.10→60.36）
DV-Evol D3.js Overall Score Gemini-3-Pro：56.34；Gemini-3-Flash：49.83；Grok-4：49.44；GPT-4.1：45.90；GPT-5.2：38.51 OpenHands Gemini-3-Pro：50.78；人类：85.21 AI 峰值 56.34 vs 人类 85.21 差 29 分；同模型 OpenHands → DV-World-Agent 提升 +5.56（50.78→56.34）
DV-Evol Plotly.js Overall Score Gemini-3-Pro：49.76；GPT-4.1：49.75；Gemini-3-Flash：47.54；Grok-4：45.11；GPT-5.2：38.78 OpenHands Gemini-3-Pro：46.49；人类：84.44 AI 峰值 49.76 vs 人类 84.44 差 35 分；同模型 OpenHands → DV-World-Agent 提升 +3.27（46.49→49.76）
DV-Inter 综合 Overall Score (含 ISR) Grok-4：40.43；DeepSeek-V3.2：37.94；GPT-5.2：35.09；Gemini-3-Pro：34.43；Gemini-2.5-Pro：31.34 人类：79.60；最强基线 GLM-4.7：29.57；平均成本 $0.013–$0.051/任务 AI 峰值 40.43 vs 人类 79.60 差约 39 分；Grok-4 与 GLM-4.7 相比提升 +10.86 分
MLLM-Judge 与人类一致性 ICC(A,1) / Weighted κ Gemini-2.5-Flash：0.850 / 0.821；Gemini-3-Flash：0.842 / 0.815；Gemini-2.5-Pro：0.844 / 0.801；GPT-4.1：0.831 / 0.791；GPT-4o：0.799 / 0.778 人类—人类：0.932 / 0.903 Gemini-2.5-Flash 把 ICC 从 0.932（人-人）拉到 0.850，差距仅 0.082，加权 κ 差 0.082，验证评测接近人类上限
User Simulator Faithfulness Faithfulness % / Pearson ρ GPT-5-mini（Ours）：88.67 / 0.86（p<0.04）；Gemini-3-Flash：86.00 / 0.81；O4-mini：85.33 / 0.83 GPT-5-mini 去 Reaction Rules：84.00 / 0.78；去 Stage 1 Filtering：85.33 / 0.80 完整 GPT-5-mini 比去 Reaction Rules 提升 +4.67 Faithfulness、+0.08 ρ

局限与改进

作者在文中坦率承认了三方面局限，结合我自己的观察补充如下。第一是「基准规模 vs 真实工作流广度」的折衷：DV-World 共 260 题（DV-Sheet 130、DV-Evol 50、DV-Inter 80），相比 ChartMimic 的 4800 题、nvBench 2.0 的 7878 题规模偏小，因为每题需专家投入约 6 小时构建 rubric，导致难以覆盖所有 51 种图表类型和全部 15 种歧义类型——这一规模决定了模型的鲁棒性结论还需在更大样本上验证。第二是「评测对 judge 的依赖」：尽管 5 个 MLLM-judge 的 Kendall τ_b 稳定在 0.8–1.0，Item-level 加权 κ 仍只有 0.821，离人类—人类 0.903 尚有 8 个百分点的差距，且 Table 9 显示 GPT-5.2 在不同 judge 下分数从 38.69 到 42.01 波动近 4 分，说明 rubric 评分仍有改进空间。第三是「模拟器不等价真人」：GPT-5-mini 的 Faithfulness 仅 88.67%，意味着约 11% 的反应会和真人有显著偏差，去 Reaction Rules 或 Stage 1 Filtering 后进一步降到 84%/85%，提示 DV-Inter 评测对模拟器设计较敏感。我的额外观察是：（1）DV-Sheet 的 74.5% 噪声数据虽贴近真实，但会让 Fix 任务的成功率难以归因——到底是模型诊断能力差，还是本来 baseline 就模糊？（2）DV-Inter 的平均 User Cost 在 $0.013–$0.051/任务，对于工业级大规模评测来说，累计成本不容忽视；（3）所有结果都基于 4 次独立 run 的平均，标准差在 ±1.5 到 ±3.7 之间波动，说明模型在不同 run 下的稳定性本身也是问题。

独立分析的弱点

独立分析我认为 DV-World 存在四个具体弱点及对应改进方向。第一是「DV-Sheet 的工具栈单一」：当前实现仅依赖 openpyxl/xlwings 两个 Python 库，对真实 Excel 的 VBA 宏、条件格式、Power Query 等高级特性无法覆盖，导致评测偏 Python 化。改进方向是引入 VBA、Office Scripts、Power BI DAX 等真实企业工具栈，使评测更贴近「分析师日常」。第二是「DV-Evol 的演化步骤只测一次」：当前任务是一次性给出「参考图 + 新数据 + 修改要求」，但真实场景往往是多轮增量修改（先换数据、再换框架、再调色）。建议未来增加「多步演化链」任务，每步独立评分，量化模型在长程演化中的累积漂移。第三是「DV-Inter 的 3.17 个歧义偏少」：平均每任务 3.17 个歧义点、15 种歧义类型，复杂度还不足以覆盖真实企业级对话的层层嵌套。改进方向是引入「嵌套歧义」+「随时间演化的真意」，并把 ask_user 的次数限制设成更紧的资源约束（当前模拟器无明确上限），迫使模型学会「关键一击」。第四是「评测对 judge 模型的隐性依赖」：Table 9 显示同一个 GPT-5.2 在 5 个 judge 下分数波动 4 分，意味着排名虽稳但分数绝对值仍依赖 judge 选择。改进方向是引入「多 judge 集成 + bootstrap CI」给出置信区间，或直接用微调后的专用 vision judge 模型。

未来方向

作者在第 4 节和第 6 节明确给出了几条未来方向，结合本文成果可延伸的研究包括：（1）「可视化 agent 的工具学习」：Table 6 的 load_image 消融和 Fig. 6 的 LOC 衰减说明工具设计本身是能力的天花板，未来可探索「动态工具合成」或「自动 skill induction」让模型根据任务复杂度自适应生成专用工具。（2）「跨范式表征学习」：DV-Evol 暴露出的「Python 强、D3.js 弱」问题，本质是模型缺乏视觉语义的中间表征，未来可借鉴 Program of Thought / Visual Chain-of-Thought 让模型先输出「视觉逻辑描述」再翻译成代码。（3）「主动澄清的强化学习」：Fig. 7 显示「高质量澄清带来 +23% 收益，无效澄清却掉分」，说明当前缺乏对「何时问、问什么」的策略学习，未来可以用 RLHF 或 DPO 针对 ask_user 的「信息增益」做奖励建模。（4）「多模态用户模拟器」：当前模拟器只输出文本回复，未来可让模拟器同时给出「补充图片 / 表格片段」作为参考，使交互更接近真实 Slack/Teams 对话。（5）「原生表格 agent 的程序验证」：DVSheet-Fix 当前用 $\tau \geq 0.95$ 的相似度，未来可探索「执行验证 + 形式化规约」——直接在 Excel 里插入测试用例并断言图表对象属性，从根本上把「视觉正确」转成「行为正确」。

复现评估

DV-World 在复现友好性上做了大量工程化投入。项目主页 dv-world-project.github.io 提供 benchmark、prompt、rubric 的访问入口；数据来自 ExcelForum、Kaggle 等公开社区，且经过「结构保留 + 数值扰动 + 脱敏」三步处理，可直接发布；评测代码基于统一的 DV-World-Agent ReAct 框架，所有被测模型（Qwen3、Qwen3-VL、GLM-4.7、DeepSeek-V3.2、Kimi-K2、Gemini-3-Pro/Flash、GPT-5.2、GPT-4.1、Grok-4 等）都使用相同的 bash + load_image + render_chart + ask_user 工具集，便于横向对比。复现所需算力方面：作者用 Gemini-2.5-Flash 作为 primary MLLM-judge，单次评测包含 4 次独立 run，单模型完整跑完三轴大约需要数十美元（DV-Inter 单任务平均 $0.013–$0.051），加上 judge 调用的成本，整套 baseline 重现约需数百美元级 API 预算。复现难度主要在三方面：（1）rubric 设计是专家知识密集型工作（约 6 小时/题），社区很难快速复现这一人工环节；（2）用户模拟器 GPT-5-mini 的 Reaction Rules 依赖专家标注的反应日志，外部研究者需要重新整理；（3）DVSheet-Fix 的 ground truth 是「反向工程得到的 healthy file」，部分题目的原始 bug 注入记录未完全公开。综合看，DV-World 在「评测框架 + 数据 + 基线」三个层面都达到了中等以上复现度，但在「rubric 与模拟器知识」上仍有补充门槛。

论文图表

Error analysis of the DV-Sheet task.
Figure 5: Error analysis of the DV-Sheet task.

堆叠柱状图/百分比条形图，分 4 个 DV-Sheet 子任务（Create、Fix、Dashboards、Evolution）× 多类错误（Data Accuracy、Layout Readability、Chart Design、Format Compliance、Rigor & Completeness、Chart Structure、Data Consistency、Visual Design 等）。在 DVSheet-Crea 中 Data Accuracy 占比超过 50%，Layout Readability 约 19%；在 DVSheet-Fix 中 Data Accuracy 高达 69%；在 DVSheet-Dash 中 Data Accuracy 约 46%，Visual Design 与 Rigor & Completeness 共占剩余 54%。

这是理解「DV-Sheet 为何难」的微观解剖图，把抽象的「低分」拆解为具体的错误类别分布，帮助读者判断「哪些能力需要先补」——例如 Data Accuracy 在所有子任务里都占大头，意味着 data binding 是首要改进点。

Performance decay with respect to Lines of Code (LOC).
Figure 6: Performance decay with respect to Lines of Code (LOC).

折线图，横轴为 Generated Lines of Code（0–600 行），纵轴为 Score%；5 条曲线分别对应 GPT-5.2、GPT-5.1、GPT-4.1、Gemini-3-Pro、Gemini-3-Flash。所有曲线在 0–100 LOC 时约 80–100%，在 300 LOC 时跌至 60–80%，在 600 LOC 时跌至 20–40%；D3.js 任务（最冗长）受影响最显著。图下方还有一组柱状对比——「w/o load_image tool」消融下 Gemini-3-Pro 在 D3.js 上掉 7.69 分、GPT-5.2 在 Plotly.js 上掉 3.97 分。

这是 DV-Evol 错误分析的核心图，量化「API 冗长税」并揭示视觉反馈工具的关键作用；阅读时它把「LOC 衰减」与「工具消融」放在一起，对理解「为什么视觉反馈是必要补偿」非常关键。