← 返回 2026-06-02

TVIR：面向图文交错报告生成的深度研究智能体 TVIR: Building Deep Research Agents Towards Text--Visual Interleaved Report Generation

Xinkai Ma, Zhiqi Bai, Dingling Zhang, Pei Liu, Yishuo Yuan, He Zhu, Jiakai Wang, Qianqian Xie, Yifan Zhao, Xinlong Yang, Hao Cong, Zhiheng Yao, Fengxia Xie, Zihao Xu, Haoran Xu, Zhaohui Wang, Minghao Liu, Shirong Lin, Yingshui Tan, Yuchi Xu, Wenbo Su, Zhaoxiang Zhang, Bo Zheng, Jiaheng Liu 📅 2026-06-01 👍 15 2026-07-13 08:36
图文交错报告 基准测试 多智能体框架 多模态评测 深度研究智能体
arXiv HuggingFace PDF

提出TVIR基准与多智能体框架，攻克图文交错研究报告生成与评估难题。

前置知识

深度研究智能体(DRA)

深度研究智能体是一类能自主完成多步信息检索、推理和长篇报告生成的AI系统，如WebThinkner、Perplexity等。它们通过长上下文规划、引用溯源和分析性写作来生成综合研究报告，广泛应用于政策分析、金融和科研决策。

本文的核心研究对象就是DRA，理解其工作流程和文本中心的局限性是把握论文动机的前提

引用溯源(Citation Grounding)

引用溯源指报告中事实性陈述必须可追溯到具体参考来源(如网页URL)。它通过为每个事实标注引用索引并验证引用内容是否支持该事实，确保报告可信度和可追溯性，是评估深度研究报告质量的核心维度。

本文的Citation Support指标和工具设计都围绕引用溯源展开，理解它才能把握TVIR-AGENT如何保证报告可信

LLM-as-a-Judge

LLM-as-a-Judge指用大语言模型作为自动评估器对生成内容打分。本文用GPT-5.2作判官，对报告的引用支持、指令对齐、写作质量、图表质量等维度进行0-100评分，并通过人工对齐研究验证其可靠性。

本文全部评估指标均基于LLM-as-a-Judge范式，理解其原理和可靠性验证才能信任实验结论

视觉问答(VQA)

视觉问答指模型根据图像回答自然语言问题。本文Image Searcher使用VQA工具对候选图像进行相关性验证，判断图像是否包含所需视觉概念(如架构图、人物肖像)，从而过滤低质量结果并选择最合适的图像。

VQA是TVIR-AGENT图像检索模块的关键过滤机制，理解它才能把握视觉资产实例化如何保证质量

层次化多智能体框架

层次化多智能体框架将复杂任务分解为多个专职智能体协作完成。TVIR-AGENT包含Planner(规划)、Image Searcher(图像检索)、Chart Generator(图表生成)、Writer(写作)、Polisher(润色)等模块，通过显式分工提升质量。

理解多智能体协作机制是把握TVIR-AGENT四阶段流程的基础

研究动机

当前深度研究智能体(DRA)虽在多步检索、推理和长篇报告生成上展现强大能力，但现有基准和系统仍以文本为中心。如图1所示，DeepResearch Bench、LiveResearchBench等基准主要评估纯文本或弱多模态报告，即使包含视觉元素也仅作为装饰性补充，缺乏对图像保真度、来源可追溯性和图文对齐的评估。这导致根本性错配：能产出流畅文本但生成不准确、误导性或语义脱节视觉的报告智能体，无法胜任高风险决策。例如将图表视为事后附加而非推理一等公民时，模型倾向于追求视觉完整性而非证据严谨性，这是现有范式与真实专业分析需求之间的鸿沟。

本文的目标是本文目标是从基准和方法两方面推进深度研究向多模态证据驱动的报告生成转型。具体包括：第一，构建TVIR-BENCH——首个专门评估长上下文多模态研究报告端到端生成的基准，含100个专家策划任务(50中50英)，覆盖10大领域和3个复杂度等级，要求检索图像和代码生成图表都语义锚定于特定分析子目标。第二，提出TVIR-AGENT——一个层次化多智能体框架，通过Planner、视觉资产实例化、Writer和Polisher四阶段，将视觉证据显式建模进规划和写作全流程。第三，构建双路径评估框架(文本评估TA加视觉评估VA)，系统揭示现有范式的不足。

与已有工作不同的是，本文独特切入在于将深度研究重新定义为多模态综合问题，而非纯文本任务。与MultimodalReportBench仅评估粗粒度图表报告、MMDeepResearch-Bench依赖任务给定图像不同，TVIR-BENCH要求端到端生成图文交错报告并细粒度评估。与现有DRA将视觉作为可选装饰不同，TVIR-AGENT通过研究笔记、视觉需求和图像/图表双路实例化，使视觉成为推理一等公民。此外，双路径评估首次联合审计文本与视觉质量，并通过大规模人工对齐(PAR 78.39)和跨判官LLM鲁棒性研究，为多模态深度研究评估奠定可信基础。

核心方法

TVIR-AGENT基于MiroThinker构建，整体思路是先规划结构化大纲，再逐段填充图文，最后全局统一索引。直觉上，一份高质量研究报告需要先想清楚每节讲什么、需要哪些图，再去寻找或生成这些图，最后连贯成文并统一引用编号。技术路线分四阶段：Planner解析任务并调用搜索工具构建含视觉需求和研究笔记的大纲；视觉资产实例化阶段用Image Searcher和Chart Generator两个专职智能体填充图像和图表；Writer在动态全局上下文下逐节生成Markdown图文交错内容；Polisher在报告级统一参考文献和图表编号。整个过程将视觉证据显式建模，确保可追溯性。

核心创新在于将视觉元素从事后装饰提升为推理一等公民，贯穿规划与写作。与现有DRA本质区别有三：一是Planner在大纲单元 $\sigma_i$ 中显式声明视觉需求 $V_{req}^{i}$ 和研究笔记 $N_i$，每条笔记记录引用、来源URL和关键发现，为后续阶段提供事实基础；二是视觉资产实例化采用双路设计——Image Searcher处理肖像、场景、架构图等概念(经VQA验证相关性)，Chart Generator处理数据分布与关系(检索数据、交叉验证、生成Python代码并在沙箱执行)，并完整保留数据源URL；三是Writer基于动态全局上下文 $C_{i-1}$ 保持跨节连贯，Polisher进行URL去重和统一编号，显著降低结构错误。

方法步骤详情

完整流程为四个阶段。(1)研究驱动规划：Planner解析用户任务 $T$，迭代调用Google Search和网页抓取，合成结构化大纲 $O = \{\sigma_1, \sigma_2, \ldots, \sigma_N\}$，每个 $\sigma_i$ 含节标题、摘要、视觉需求 $V_{req}^{i}$ 和研究笔记 $N_i$。(2)视觉资产实例化：Image Searcher通过Google图像搜索检索候选图、启发式过滤、VQA验证后选择最佳图；Chart Generator检索数据、验证真实性与跨源一致性、生成Python绘图代码并在沙箱执行，生成图表并更新为 $V_{inst}^{i}$，得增强大纲 $O_{vis}$。(3)上下文感知顺序写作：Writer基于 $\sigma_i$ 和全局上下文 $C_{i-1}$ 及笔记 $N_i$ 生成Markdown图文交错内容，不足时调用搜索工具补充。(4)全局索引润色：Polisher移除未引用文献、按URL全局去重重编号，并重排图表ID更新正文引用。

技术新颖性

技术新颖性体现在三方面。首先，TVIR-BENCH是首个专门评估端到端多模态研究报告生成的基准，100任务经专家提议、Grok-4.1-Thinking起草、多专家评审修订、检查清单编译四阶段构建，中英各50任务。其次，双路径评估框架首次联合审计文本(TA含CS、IA、WQ、ADB、FLC)和视觉(VA含FQ、MC、FCQ、FCI、CSC)质量，并经大规模人工对齐(20名标注者，每报告3人评)和跨判官LLM(GPT-5.2 vs Gemini-2.5-Pro)鲁棒性验证。第三，TVIR-AGENT通过研究笔记、双路视觉实例化和上下文感知写作，将视觉证据显式建模进完整流程，LLM抽取的精度、召回、F1接近满分(100、99.55、100)，引用网页检索成功率达96.53%。

Domain taxonomy of TVIR-BENCH
Figure 2: Domain taxonomy of TVIR-BENCH
Overview of TVIR-BENCH, including data construction pipeline and evaluation framework
Figure 3: Overview of TVIR-BENCH, including data construction pipeline and evaluation framework
Overall architecture of TVIR-AGENT for text-visual interleaved report generation
Figure 4: Overall architecture of TVIR-AGENT for text-visual interleaved report generation

实验结果

实验评估9个系统(6商业+3 TVIR变体)。如表1，TVIR-Agent(Claude-4.5-Sonnet)以Overall 74.44居首，超越最强商业系统Manus-1.6(69.73)。细粒度上，TVIR-Agent(GLM-4.7)在CS达68.64，比最强商业Claude-4.5-Sonnet w/Search(47.53)高21.11分；TVIR-Agent(Claude-4.5-Sonnet)在FCQ达74.49，超Manus-1.6(66.14)8.35分，证明更优的证据溯源和跨模态对齐。工具分析显示GLM-4.7搜索最重(平均有效引用AEC 102.41)但图表完成率仅38.45%，Claude-4.5-Sonnet更平衡(AEC 86.14)图表完成率94.61%。结构错误分析显示TVIR变体错误最少。消融实验中，移除Chart Generator使VA从78.62降至60.91、Overall从73.92降至63.84，验证其核心作用。评估框架经验证可靠：抽取F1近满分，人工对齐Overall PAR 78.39、OPC 99.73，跨判官OPC近乎完美。

Main results on TVIR-BENCH, averaged over three independent runs
Table 1: Main results on TVIR-BENCH, averaged over three independent runs
Results across languages on TVIR-BENCH
Table 2: Results across languages on TVIR-BENCH
Overall results across domains on TVIR-BENCH
Table 3: Overall results across domains on TVIR-BENCH
Average domain ranks based on Overall scores
Table 4: Average domain ranks based on Overall scores
Performance of LLM-based information extraction
Table 5: Performance of LLM-based information extraction
Ablation results for TVIR-Agent (Claude-4.5-Sonnet) on 20 randomly sampled tasks
Table 8: Ablation results for TVIR-Agent (Claude-4.5-Sonnet) on 20 randomly sampled tasks
IA and ADB performance across task complexity levels on TVIR-BENCH
Figure 5: IA and ADB performance across task complexity levels on TVIR-BENCH
Tool usage distribution of TVIR-AGENT variants across major components
Figure 6: Tool usage distribution of TVIR-AGENT variants across major components
Structural error distributions across evaluated deep research systems
Figure 7: Structural error distributions across evaluated deep research systems
查看结构化数据
任务指标本文基线提升
TVIR-BENCH总评分(TA与VA均值) Overall (0-100) TVIR-Agent(Claude-4.5-Sonnet): 74.44 最强商业系统Manus-1.6: 69.73 +4.71分
引用支持(CS) Citation Support TVIR-Agent(GLM-4.7): 68.64 Claude-4.5-Sonnet w/Search: 47.53 +21.11分
图表说明质量(FCQ) Figure Caption Quality TVIR-Agent(Claude-4.5-Sonnet): 74.49 Manus-1.6: 66.14 +8.35分
消融-移除图表生成器 Visual Assessment (VA) 60.91 完整TVIR-Agent: 78.62 -17.71分(下降)
信息抽取可靠性 F1(事实-引用对) 99.35 人工标注真值 近满分

局限与改进

作者承认的局限包括：一是可追溯性仍是跨系统持续挑战，即便TVIR-AGENT也存在非平凡数量的Traceability Error；二是FLC对多数强系统相对较弱，长篇事实与逻辑一致性仍是共享难题；三是评估依赖LLM-as-a-Judge和网页检索(成功率96.53%)，源网页失效会影响覆盖。我观察到：TVIR-BENCH仅100任务，虽专家策划但规模有限，统计稳定性(如Table 3按域分10个子集)受样本量制约；其次，TVIR-AGENT基于特定骨干(MiroThinker)且依赖Grok-4.1-Thinking构建任务，存在工具链耦合和模型版本绑定；第三，图像质量评估FQ的CV测量(分辨率、长宽比、清晰度、对比度)偏表面，难以捕捉语义级图像质量；最后，中文子集TA普遍高于英文，可能反映判官LLM的语种偏好，跨语言对比需谨慎。

独立分析的弱点

独立分析弱点：第一，基准规模与成本问题。100任务经四阶段专家流程构建成本高，难以快速扩展；改进可引入半自动任务生成与主动学习筛选高价值任务。第二，评估对GPT-5.2单一判官(温度0)和Serper网页检索强依赖，检索失败3.47%的案例可能系统性影响CS、CSC；改进可引入多源检索融合与缓存。第三，TVIR-AGENT工具调用预算有限，导致GLM-4.7过度检索(图表完成率仅38.45%)的权衡；改进可设计自适应工具预算分配策略，根据任务复杂度动态平衡检索与生成。第四，FQ的CV指标偏物理层面，对图表内容正确性、图像语义相关性捕捉不足；改进可结合多模态LLM进行深度语义评估。第五，未考虑报告时效性——许多领域(技术、金融)事实快速变化，静态评估可能失真；改进可引入动态基准更新机制。

未来方向

作者希望TVIR为可信多模态深度研究智能体奠定基础，并指出文本合成远强于视觉资产整合是当前关键局限。基于成果可延伸：一是扩展基准覆盖更多视觉类型(视频、3D可视化、交互式图表)，应对动态数据与实时图表生成挑战；二是研发更强的可追溯性保障机制，如基于内容哈希的溯源，降低Traceability Error；三是优化长篇事实与逻辑一致性(FLC)，可能借助分层事实核查与矛盾检测智能体；四是探索自适应工具预算分配，缓解检索与图表生成的预算冲突(GLM-4.7的38.45%完成率问题)；五是推进实时、动态的深度研究评估，应对技术、金融等领域事实快速变化；六是研究更精细的跨模态对齐建模，学习图文嵌入的联合表示以提升FCI与CSC；七是结合人类反馈的强化学习微调TVIR-AGENT，进一步对齐真实用户偏好。

复现评估

复现评估：项目页https://nju-link.github.io/TVIR提供了资源，但论文未明确TVIR-BENCH任务与检查清单是否完整公开。实现细节方面，TVIR-AGENT基于MiroThinker构建，骨干LLM为Qwen3-Max、GLM-4.7、Claude-4.5-Sonnet，评估判官为GPT-5.2(温度0)，任务构建用Grok-4.1-Thinking，这些商业闭源模型增加了复现成本与不可复现风险。工具链依赖Google Search、Serper API、Python沙箱、VQA、Google Image Search等外部服务。人工对齐涉及20名硕士级标注者，每报告3人评，成本高昂。好消息是评估协议(附录B、E)、LLM抽取(精度、召回、F1近满分)和跨判官鲁棒性(GPT-5.2 vs Gemini-2.5-Pro高一致)描述详尽，判官可替换。整体复现难度较高，主要受限于商业模型与外部API。

论文图表

Comparison of representative deep research benchmarks
Figure 1: Comparison of representative deep research benchmarks

图1对比了代表性深度研究基准。DeepResearch Bench面向通用文本研究(如'能否开发通用严谨的评估')，LiveResearchBench面向专业文本任务(信息安全领域对比CISA法规)，MultimodalReportBench主要生成含图表的报告。而TVIR-BENCH要求生成同时含检索图像和代码生成图表的图文交错报告(如'作为AI实验室负责人，绘制时间线图并检索架构图')，强调视觉元素必须语义锚定于分析子目标。

这张图直观揭示了本文的核心动机：现有基准要么纯文本、要么弱多模态，而真实专业报告需要图文交错且视觉作为证据。是理解论文为何要重新定义深度研究为多模态问题的关键。