← 返回 2026-06-16

数据记者智能体：把数据变成可验证的多模态故事 Data Journalist Agent: Transforming Data into Verifiable Multimodal Stories

Kevin Qinghong Lin, Batu EI, Yuhong Shi, Pan Lu, Philip Torr, James Zou 📅 2026-06-09 👍 130 2026-07-13 08:37
可验证性 多智能体 多模态生成 数据新闻 证据追踪
arXiv HuggingFace PDF

用七角色虚拟编辑部把原始数据一步生成可追溯、可审计的多模态交互新闻。

前置知识

多智能体协作框架

把一个复杂任务拆给多个有明确分工的 LLM 智能体来串行或并行执行,每个智能体只负责一类子能力(搜索、统计、写作、画图等),并通过共享内存或结构化交接把中间产物传给下一棒。典型范式有角色扮演、ReAct 循环、Plan-and-Execute。

Data2Story 本身就是把数据新闻拆成 Detective/Analyst/Editor/Designer/Programmer/Auditor/Inspector 七角色的虚拟编辑部,没有多智能体调度常识就读不懂它的流水线。

证据追溯与可验证性 (Provenance / Verifiability)

指一篇报告里的每一个数字、引文、图表都能反查到上游证据:在本文里表现为某一行 Python 代码、某个数据集切片或某个外部 URL,并把这种绑定关系显式记录下来。这跟 RAG 里的引用不同——它要求在文章渲染时保留一份可机检的绑定图。

论文一半的卖点是 'Inspector',即把 HTML 片段反向链回代码/数据/参考,避免 LLM 幻觉。如果不熟悉可验证性概念,就体会不到 93% vs 25% 这个审计率数字的意义。

多模态生成 (Image / Video / Audio / Interactive)

用独立的生成模型处理不同模态的资产:文生图 (text2image)、文生视频 (text2video)、图生视频 (image2video)、文生音乐 (text2music),再把它们以 HTML/JS 的形式嵌进文章,使读者可以点击、滚动、缩放、播放。

Data2Story 的第二大卖点就是 Designer 角色按受众选择合适模态,比如地理用交互地图、音乐用音频片段、游戏用可玩 demo,否则文章只是 PDF+静态图。

RAG 与网络搜索增强 (Search-Augmented Generation)

让 LLM 在回答前主动调用搜索引擎/浏览网页抓取外部资料,把检索到的片段拼到 prompt 里再生成。OpenAI Deep Research、MindSearch、DR Tulu 都属于这条线。

Detective 角色的本质就是受限域的 RAG——为给定的数据集补足上下文(历史背景、人物故事),后续角色才能用这些证据写作。

数据可视化与可执行图表代码

数据可视化 agent(如 LIDA、MatplotAgent、CoDA)的核心不是画图本身,而是写一段 Python/R 代码(matplotlib、vega-lite、plotly 等)跑出图,并把代码作为可审计的产物。

Analyst 和 Designer 角色都依赖这种 code-as-evidence 范式,Inspector 把代码行号当锚点,理解它需要先有可视化 agent 的常识。

研究动机

高质量的数据新闻长文在现实中要花一个编辑部团队几周时间:先搜集上下文背景、再跑统计、选角度、设计视觉资产、最后写稿并排版,每一步都需要不同专长的人协同。当前虽然有自动化数据科学 agent(DSGym、Data Interpreter、AI Scientist)能跑统计、可视化 agent(LIDA、MatplotAgent、CoDA)能画图、深度搜索 agent(MindSearch、OpenResearcher、DR Tulu)能写综述,但每个都只擅长一个环节,没有一个端到端的 agent 能把'数据→可发布的可信任故事'整条链路打通。CitizenPortal、Locunity 这类已经在量产的 AI 新闻系统暴露的更大问题是:数字从哪里来、图表是否真实反映数据、某条结论是推理还是幻觉——读者和编辑都没有可靠的方式去验证,幻觉风险在语言模型上尤其严重。

本文的目标是本文的目标是构建一个端到端的'数据记者智能体' Data2Story,给定任意原始数据源(CSV、面板数据、时序),自动产出一篇既叙事有吸引力、又视觉丰富、且每个声明都能被独立验证的多模态交互文章;具体在评测中要在 18 对照样本上同时通过 (a) 人机角度覆盖度、(b) 53 人盲评五维 rubric、(c) 计算机使用 agent 当裁判、(d) 跨家族编码 agent 验证 四类评估,且在透明度和可审计性上做到人类记者做不到的水平。

与已有工作不同的是，作者把切入角度收敛到两点,恰好是当前所有数据新闻 agent 都没解决好的:(i) 声明可验证——通过专门设计的 'Inspector' 把渲染出的句子、图表、交互组件反向链回具体代码行、数据切片或外部 URL,让审计成为文章的一等公民;(ii) 多模态可生成——让 Designer 角色先推理读者想看什么再选模态(地图、音频、视频、可玩 demo),而不是把所有故事都退化成 PDF+静态图。这种'审计 + 多模态'的双重定位在 Table 1 的对比里非常明显:之前所有系统在 'Grounded' 一列都打勾不完整,要么没有外部检索、要么不生成多模态、要么不输出可执行代码。

核心方法

Data2Story 的整体思路是模仿一个真实编辑部,把端到端的数据新闻拆成 7 个分工明确的 LLM 智能体串成一个'虚拟编辑部'。给定原始数据 $D$,首先由 Detective 通过网络搜索补出扩展语料 $D \cup D_e$;Analyst 在此基础上写 Python 代码 $C$ 并跑出统计结果 $R = \{r_i\}$,每个结果都带行号指针 $r_i \xleftarrow{c_i} D \cup D_e$;Editor 收到结果集后用 LLM 推理出角度优先级,输出带来源标注的段落级提纲 $F \xleftarrow{LLM} R$;Designer 再针对每段决定用文字、图片、视频、音频还是交互控件,并调用对应生成工具产出 $V \xleftarrow{Tool} F$;Programmer 把 $\{F, V\}$ 拼成 HTML 文章 $U$,并按 Auditor $S \xleftarrow{} U$ 的修改建议反复改稿;最后由 Inspector 把 $U$ 切成原子片段 $U = \{u_m\}$,每个片段都显式绑回证据池 $E = D \cup R \cup C \cup F \cup V$,建立 $u_m \sim (d_i, r_j, c_j, f_k, v_l)$ 的可追溯关系。

核心创新可以总结成'两层解耦 + 一条审计链'。第一层是'多模态自适应':之前的可视化 agent 只会把所有数据塞进静态图,Data2Story 让 Designer 先对受众与题材做推理(地理→交互地图、音乐→可播放音频、游戏→可玩 demo),再选合适的生成工具,作者用'pick a card'的卡片抽 demo 来说明这种受众驱动的模态选择。第二层是'声明级证据绑定':Inspector 不是简单的脚注或引用,而是把渲染后的每个 HTML 片段逐个反查到上游某个代码行 / 数据切片 / 外部 URL,相当于给文章装上'可机检的谱系图',这跟 Table 1 里其它系统只能做到'有引用'或'有代码'形成本质差异——Data2Story 同时具备搜索、角度、多模态生成、可执行代码、声明级可验证五个属性。

方法步骤详情

完整的流水线可以拆成七步:(1) Detective 阶段对输入数据 $D$ 做列含义理解和背景联想,用网络搜索补出 $D_e$,每个上下文条目都带 URL 标签;(2) Analyst 阶段对 $D \cup D_e$ 做列画像、缺失值处理、相关分析、显著性检验等系统化探索,写出可执行 Python 代码 $C = \{c_i\}$,跑出结果 $R = \{r_i\}$,每条结果都附上生成它的脚本和行号;(3) Editor 阶段把 $R$ 按叙事价值排序,决定哪些结果作 lead、哪些作支撑、哪些被裁掉,输出带优先级和段落大纲的 $F = \{f_k\}$,每个 $f_k$ 标注自己引用的 $(r_i, c_i)$;(4) Designer 阶段对每个 $f_k$ 选模态:地理/分布用交互图表、地理空间用地图、音乐用音频片段、事件用视频、抽象概念用图,再用 OpenRouter 路由下的 text2image (gpt-5.4-image-2)、text2video (seedance-2.0)、image2video (veo-3.1-fast)、text2music (lyria-3-pro) 生成资产 $V = \{v_l\}$,并记录 prompt;(5) Programmer 阶段把 $\{F, V\}$ 拼成完整 HTML 文章 $U$(assembly 模式),Auditor 审过之后 $U \leftarrow \{U, S\}$(revision 模式)反复修订;(6) Inspector 阶段把最终 $U$ 拆成 $U = \{u_m\}$,对每个 $u_m$ 在证据池 $E = D \cup R \cup C \cup F \cup V$ 中做语义匹配,输出 $u_m \sim (d_i, r_j, c_j, f_k, v_l)$ 形式的谱系卡片,分两类证据:code evidence(具体脚本+行号)和 reference evidence(外部 URL);(7) 输出阶段把 HTML 和谱系面板一起发布给读者,读者可以点开 Inspector 看到每句话、每个图表来自哪一行代码或哪一份外部资料。

技术新颖性

技术新颖性体现在三个层面:第一,'声明级可审计'被显式建模为一道独立工序(Inspector 子智能体)而不是简单加引用,作者给出形式化定义 $E = D \cup R \cup C \cup F \cup V$ 和 $u_m \sim (d_i, r_j, c_j, f_k, v_l)$,并以 93% 绑定率实证有效;第二,多模态生成被建模成'先选模态再调工具'的两段式决策,由 Designer 智能体显式推理读者偏好,而不是无差别生成所有模态;第三,评测范式本身也做了创新,把 computer-use agent (gpt-5.5-xhigh) 引入作为低成本'读者代理',避免了 VLM 只能看静态截图的局限,让 agent 也能像真人一样滚动、点击、悬停,与 53 人盲评形成 Spearman $\rho = 0.44, p=0.009$ 的显著相关。

Data2Story turns a raw dataset (e.g., a CSV) into a verifiable, multimodal article (i.e., a website). We use a "Pick a card" dataset as an illustration.
Figure 1: Data2Story turns a raw dataset (e.g., a CSV) into a verifiable, multimodal article (i.e., a website). We use a "Pick a card" dataset as an illustration.
The Virtual Newsroom for Data2Story. A raw dataset D flows through a sequence of specialist roles: the Detective, Analyst, Editor, Designer, Programmer, Auditor, and Inspector.
Figure 2: The Virtual Newsroom for Data2Story. A raw dataset D flows through a sequence of specialist roles: the Detective, Analyst, Editor, Designer, Programmer, Auditor, and Inspector.
Illustration of the Inspector. The Inspector binds every output finding back to its supporting evidence, which falls into two types: (i) code evidence, and (ii) reference evidence.
Figure 3: Illustration of the Inspector. The Inspector binds every output finding back to its supporting evidence, which falls into two types: (i) code evidence, and (ii) reference evidence.

实验结果

在文本量层面 Data2Story 与人类基本对齐:18 对样本平均 1305 词 vs 人类 1557 词,agent 用 1.45 倍的句子数 (82.2 vs 56.6, $p=0.069$) 但平均句长只有 0.77 倍 (16.0 vs 20.9 词, $p=0.027$),呈现'更短更碎'的风格。在角度覆盖上方向高度不对称:人类角度有 50.4% 被 agent 覆盖,而 agent 角度只有 35.1% 反向被人类覆盖 ($p=0.024$),且这个差距是 source-shaped——Economist 这种 briefing 体裁差距最大 ($\Delta = 73.0\% - 39.5\% = 33.5\%$),Pudding 长篇创意型基本打平 ($\Delta = 45.2\% - 43.8\% = 1.4\%$, $p=0.895$),TidyTuesday 居中。53 人盲评给出 5 维 rubric 上 agent 全部领先:平均分 4.21 vs 3.38,最大领先是透明度 +1.49 (4.45 vs 2.96, $p<0.001$),最小是视觉 +0.51 (4.17 vs 3.66, $p=0.002$),按来源拆 Economist ($\Delta=+1.02$, $p<0.001$) 和 TidyTuesday ($\Delta=+1.20$, $p<0.001$) 显著倾向 agent,Pudding 持平。整体偏好 39/53 选 agent、13/53 选人类、1/53 平局。审计率上 Data2Story 93% (Economist 92%、Pudding 95%、TidyTuesday 92%) 全面碾压人类 25% (Economist 18%、Pudding 28%、TidyTuesday 30%),empirical CDF 集中度差异显著。Inspector 子模块的消融显示:开启 Inspector 后整体均分从 4.60 升到 5.10,透明度一项 +1.67 (4.28→5.94) 远超其他维度 ($\Delta \leq 0.67$),66% 用户觉得它有用、25% 觉得信息密度过高。角色覆盖统计:Editor 99.3%、Detective 95.1%、Analyst 74.1%、Designer 29.0%,反映各角色参与度。

Comparison with related works. Ext. Search / Narr. Angle / Multimodal Generative? / Evidence 五类能力对照表。
Table 1: Comparison with related works. Ext. Search / Narr. Angle / Multimodal Generative? / Evidence 五类能力对照表。
Evaluation set. Each row pairs a dataset with a published human-written piece. Code ✓ marks partial code (e.g., data-cleaning only).
Table 2: Evaluation set. Each row pairs a dataset with a published human-written piece. Code ✓ marks partial code (e.g., data-cleaning only).
Generative capabilities and the OpenRouter API model backing each tool.
Table 3: Generative capabilities and the OpenRouter API model backing each tool.
The Pudding: The Structure of Stand-Up Comedy
Table 6: The Pudding: The Structure of Stand-Up Comedy
Data2Story discovering findings on new data with no human reference. Three datasets from 2026 that have no canonical human-written piece, covering sport (a), science (b), and society (c).
Figure 4: Data2Story discovering findings on new data with no human reference. Three datasets from 2026 that have no canonical human-written piece, covering sport (a), science (b), and society (c).
Three complementary evaluation protocols for Data2Story. (A) Human-agent angle coverage, (B) Rubric evaluation with reader as judge, (C) Verifiability.
Figure 5: Three complementary evaluation protocols for Data2Story. (A) Human-agent angle coverage, (B) Rubric evaluation with reader as judge, (C) Verifiability.
Textual distribution (left) and Content coverage (right) across 18 samples, reported by "mean ± SEM" with p value.
Figure 6: Textual distribution (left) and Content coverage (right) across 18 samples, reported by "mean ± SEM" with p value.
Multimodal media asset distributions (e.g., video, image, audio, interactive, etc) between Data2Story (left) and human (right).
Figure 7: Multimodal media asset distributions (e.g., video, image, audio, interactive, etc) between Data2Story (left) and human (right).
Human evaluation (n=53 reviewers). Scores are grouped by rubric dimension (a) and source category (b). Pairwise preference shown in (c).
Figure 8: Human evaluation (n=53 reviewers). Scores are grouped by rubric dimension (a) and source category (b). Pairwise preference shown in (c).
Agent-as-judge evaluation. Scores compared across Data2Story articles with the Inspector, Data2Story articles without the Inspector, and human-written articles.
Figure 9: Agent-as-judge evaluation. Scores compared across Data2Story articles with the Inspector, Data2Story articles without the Inspector, and human-written articles.
Auditability between Data2Story-generated and human-written articles. Per-source means with SEM error bars for human (a) and Data2Story (b); empirical CDF over all 18 articles (c).
Figure 10: Auditability between Data2Story-generated and human-written articles. Per-source means with SEM error bars for human (a) and Data2Story (b); empirical CDF over all 18 articles (c).
Analysis of Inspector effect. Human participants' usefulness ratings of the Inspector (a), and Agent judges inspector-related gains across rubric dimensions (b, c).
Figure 11: Analysis of Inspector effect. Human participants' usefulness ratings of the Inspector (a), and Agent judges inspector-related gains across rubric dimensions (b, c).
查看结构化数据
任务指标本文基线提升
Rubric 5 维综合 (53 人盲评) 1-7 量表平均分 (Visual/Narrative/Transparency/Claim/Insight) 4.17 / 4.11 / 4.45 / 4.28 / 4.00(均分 4.21) 3.66 / 3.25 / 2.96 / 3.65 / 3.42(均分 3.38) 五个维度全部领先,$\Delta = +0.51 / +0.86 / +1.49 / +0.63 / +0.58$,Transparency 提升最大
角度覆盖率 (Human-in-Agent) 人类声明被 agent 覆盖的比例 (overall) 50.4% 反向 Agent-in-Human 35.1% 覆盖差距 15.3 个百分点,$p=0.024$
Economist 类别角度覆盖 Human-in-Agent vs Agent-in-Human 73.0% (Human-in-Agent) 39.5% (Agent-in-Human) $\Delta = +33.5\%$,briefing 体裁 agent 占优最明显
声明审计率 (Verifiability) 可被跨家族 verifier 验真的声明比例 93% (Economist 92% / Pudding 95% / TidyTuesday 92%) 25% (Economist 18% / Pudding 28% / TidyTuesday 30%) 整体提升 68 个百分点
Inspector 透明度提升 (in-article 配对) 3-Transparency rubric $\Delta$ (1-7) 5.94 (开启 Inspector) 4.28 (关闭 Inspector) $+1.67, p<0.001$,远超其他 4 个维度的提升 ($\Delta \leq 0.67$)
Computer-use agent vs 人类评分一致性 Spearman $\rho$ on per-article 平均分 $\rho = 0.44, p=0.009$(agent judge 整体均分 5.10 vs 人类 4.21) 无(无现成 baseline) agent judge 与人类排序一致,29/34 篇文章 agent 评分 $\geq$ 人类,可作为低成本代理

局限与改进

作者在正文与 Discussion 显式承认的局限有三:第一,Data2Story 目前完全自动运行,不具备与人类读者/编辑交互式迭代的能力,作者认为让 agent 接收并解读读者反馈再修订是一个未解问题;第二,editorial angle 上 agent 仅恢复了约一半的人类视角,剩余部分依赖专家访谈、记者实地报道等数据外的定性素材(典型例子是 Repair Cafés 一文里'制造商锁死维修渠道'这种归因型叙述),这是结构性短板,不是修个 prompt 就能解决;第三,在 Pudding 这种艺术设计长文上 agent 仅能打平,因为人类团队在单篇上投入数周做定制化交互(典型例子是 Ali Wong 单口喜剧把每句台词变成可点击的笑点圆点,或 Boy Band Database 把 55 个组合的动画头像随音乐同步切换),agent 自动流水线在'手作感'上无法竞争。作者还在脚注里提到一个不能完全排除的风险:Economist 和 Pudding 的知名文章可能进入预训练语料,agent 是否真正'理解'数据而非'记忆'文本无法完全证实,但双向 coverage 度量 + 无代码人类文 + 跨家族 verifier 三道关卡共同把这种风险压到可控范围。

独立分析的弱点

独立审视,Data2Story 至少有以下可改进方向:(1) 风格同质化——Data2Story 在三类 source 上都生成 13-14 个资产、模态分布接近(Figure 7a),而人类会随 publication 调 kit (Pudding 41 个资产含音频视频,Economist 仅 3-4 个静态图),这说明 Designer 还不够'懂编辑学',缺少对目标 publication 风格的建模;(2) 单图信息密度低——在 Space Launches 和 Football Managers 两个对照里 (Table 4-5),人类用一张图叠 2-3 个变量并直接给出文字注解(如 'Messi/Ronaldo 在高端,Star players 一季可贡献 10 分而 Manager 顶多 2 分'),Data2Story 拆成多张单变量图、读者得自己拼信息,这是把'多张图胜过一张'的 GUI 直觉误用到印刷/阅读场景;(3) Inspector 体验过载——25% 用户反映证据卡片密集到分散注意力,特别是同一句话挂在多个脚本和源上,需要做层级折叠或懒加载;(4) Pudding 类别上 agent 几乎没有优势,作者也承认这暴露了当前 pipeline 在'定制化体验设计'上的天花板,需要引入人类设计师在 loop 内迭代或显式建模视觉资产之间的 transition/animation;(5) Verifiability 高分并不等于事实正确,本文用 coding verifier 验真,但 verifier 本身可能因代码 bug 错判,审计率和事实正确率之间需要更明确的实验区分。

未来方向

作者在 Discussion 显式提出的方向是加入人类反馈循环,让 agent 接收读者/编辑的意见后修订——这是把 Data2Story 从'一次性生成器'升级为'持续协作记者'的关键一步。基于成果可延伸的方向有:(a) 把 Inspector 的证据绑定图直接做成交互式溯源面板,让读者用鼠标悬停即看到原始公式或行号,类似学术论文的 hyperlinked citation;(b) 把流程推广到多语种新闻和长尾数据领域(医疗、教育、公共政策),文章里已经展示了 FIFA 2026 赛程气候分析、ArXiv 学科变迁、MTUS 时间使用日记三个未被人写过的 niche 数据集,这正是 agent 相对人最有优势的场景;(c) 用 Inspector 机制去审计 LLM 生成的科研报告,把幻觉检测做成一等公民;(d) 引入因果推断能力来弥补 Repair Cafés 案例里'为什么打印机修不好'这种归因型叙述的缺位;(e) 把 computer-use agent 当 judge 的范式推广到交互型仪表板、教学课件、电商页面的自动评估。

复现评估

复现评估中等偏上。代码已经开源(https://github.com/QinghongLin/data2story-skill),数据集和文章样本也在项目主页 (https://data2story.github.io) 公开,附录 Table 3 把所有生成 API 列得很清楚——Data2Story 主干用 Claude Code opus-4.7,多模态用 OpenRouter 路由下的 gpt-5.4-image-2 / seedance-2.0 / veo-3.1-fast / lyria-3-pro-preview,评测用 text-embedding-3-small + gpt-4o-mini + gpt-5.5-xhigh + codex-GPT-5.4,跨家族的模型组合减弱了对单一供应商的依赖。门槛方面:跑一次单篇文章需要 LLM API + 4 类多模态生成 API,单篇成本不低;Analyst 和 Designer 需要写 Python 代码与调用媒体生成工具,调试难度中等;评测侧的人评需要 Prolific 平台招募 53 名 reviewer 之外,还需 18 对人类专家文章作为 ground truth 配对,复现完整实验链条的人力投入比较大。最具挑战性的部分是 Pudding 这种长篇创意型样本,要复现 agent 接近人类的水平几乎不可能,因为基线本身是人类数周手工定制的产物。

论文图表

Table 4: The Economist: The space race is dominated by new contenders

对比《经济学人》原图 'The Great Launch Inversion'(单图叠加多变量,标注失败发射的浅色带,附注 'Soviet 卫星平均寿命 1.5 年 vs 美国 9 年')与 Data2Story 版本(按年滑动的交互式图表)。人评:人类图信息密度高,agent 拆开后读者看不到对比。

Pudding 类别 agent 失败的代表性案例之一,体现'多张图胜过一张'的设计反例。

Table 5: The Economist: Managers in football matter much less than most fans think

对比《经济学人》原图(一张坐标轴同时标出 manager 与明星球员,附注 'Star players 一季 10 分 vs Manager 顶多 2 分')与 Data2Story 版本(仅画 manager、缺少 player 对照组)。

Limitation 章节的典型反例——agent 抓不到人类'在同图上做对比'这种深度的修辞安排。

Table 7: The Pudding: Internet Boy Band Database

对比《Pudding》原版(55 个组合的音乐-动画混合 jukebox,切换时头像随音乐同步变形)与 Data2Story 版本(按年份的静态柱状图)。

Pudding 类别第二个反例,说明 agent 在'沉浸式媒体设计'上结构性不足。

Table 8: TidyTuesday: Moore's law: The number of transistors per microprocessor

对比人类版本(单条 log 直线从 1971 到 2021,带 Table/Line/Settings 切换、专注文本清晰可引用)与 Data2Story 版本(CPU/GPU/RAM 三类散点 + 标注 Intel 4004 / AMD EPYC Rome 端点,揭示人类版本隐藏的类间结构)。

Pudding 之外一个有趣的'反例'——agent 版本反而在分析深度上取胜,提示 trade-off 取决于设计目标。

Table 9: TidyTuesday: A Growing Number of 'Repair Cafes' Are Popping Up Around the World to Curb Consumer Waste

对比《TidyTuesday》原版(定性叙述,把 repair 难归因于'廉价替换 + 快速物流 + 本地技工稀缺 + 厂商锁死诊断工具',无图)与 Data2Story 版本(178,749 次维修的成功率排行条形图,绿-红 diverging 配色,纺织/手工工具成功、打印机/电热水壶失败)。

Editorial Angle 维度的代表性反例——agent 只能描述数据、不能解释原因。