迈向可验证的多模态深度研究：用于交错报告生成的多智能体协作框架

PTAH通过多智能体协作和分阶段验证，实现高质量的可验证多模态深度研究报告生成。

前置知识

深度研究（Deep Research）

深度研究是一种超越简单问答的多步骤信息检索与综合范式，它要求智能体在开放域中进行多轮迭代搜索，将分散的证据整合成长篇综合报告。与封闭域深度搜索不同，深度研究报告缺乏确定性的标准答案，需要在探索过程中不断调整方向和综合信息。

本文提出的PTAH正是为解决开放域深度研究报告生成中的可验证性和多模态交错问题，理解深度研究与传统问答的区别是理解本文贡献的基础。

交错图文生成（Interleaved Image-Text Generation）

交错图文生成是指在自然语言流中灵活嵌入视觉元素（如图表、示意图、截图等）的生成任务。与先文本后图像或先图像后文本的顺序生成不同，交错生成要求文本和图像在语义层面深度交互和相互支持，图像不是装饰性的补充，而是论据的关键组成部分。

这是本文的核心目标之一，PTAH的独特之处在于将视觉证据作为研究过程的内生部分而非事后装饰，理解这个概念才能领会本文的创新点。

接受函数（Acceptance Function）

在形式化验证理论中，接受函数是验证器对系统输出进行可接受性判断的核心组件。在PTAH中，验证智能体扮演接受函数的角色，在规划、研究和写作的每个阶段对中间输出进行基于规则和LLM的评分检查，只有通过验证的输出才能进入下一阶段。

这是PTAH实现可验证性的关键机制，理解接受函数的作用有助于理解PTAH如何通过分阶段验证防止错误累积。

视觉工作记忆（Visual Working Memory）

视觉工作记忆是PTAH中用于管理源对齐视觉候选的结构化中间状态。它存储从网页提取的图像及其源URL、上下文、关联章节和预期视觉角色等信息，使得图像可作为可检查的跨模态状态而非事后装饰资产。

这是PTAH实现视觉证据与文本深度集成的关键数据结构，理解它有助于理解PTAH如何避免现有系统中视觉证据松散的问题。

研究动机

现有深度研究系统存在两个根本性问题。一是缺乏分阶段验证，在多步骤研究流水线中，早期引入的噪声会逐步累积，最终产生事实不可靠的文本和错位的视觉效果。二是将图像集成视为事后装饰步骤而非研究过程的核心组件，导致视觉证据与文本论点联系松散，远未达到专业报告所期望的交错质量。以当前业界系统为例，它们生成的报告中常见问题包括：无效的图像引用（引用URL指向不存在的内容）、信息量不足的图像（如logo、banner等装饰性元素）、图像放置不当（与上下文语义脱节）、缺少视觉多样性（仅使用单一类型的图表）等。

本文的目标是本文的目标是构建一个能够自主规划、调查和验证研究发现的多模态深度研究框架，该框架需要实现三个核心目标：一是通过分阶段验证确保事实可靠性和引用保真度；二是将视觉证据作为研究过程的内生组成部分而非事后装饰；三是生成专业级别的图文交错报告，在文本质量、图像质量和呈现质量三个维度上都达到高标准。

与已有工作不同的是，本文的独特切入角度是从系统性工程视角出发，将多模态深度研究问题重构为一个受控的执行工作流，而非单纯的生成问题。与现有方法相比，PTAH的创新在于：（1）将验证机制内化为框架的接受函数，而非外部的后处理检查；（2）在规划阶段就明确视觉规范，而非在写作阶段临时决定图像插入位置；（3）维护结构化的中间研究状态（包括视觉工作记忆），使所有输出都是可检查和可追溯的。这种系统性视角与现有工作零散解决验证或可视化问题形成了鲜明对比。

核心方法

PTAH采用三阶段流水线架构，每个阶段由专门的智能体执行，并通过验证智能体进行质量把关。整体思路是：首先由规划智能体构建包含视觉规范的研究计划；然后由多个研究智能体并行执行研究，收集基于主张的证据并填充视觉工作记忆；最后由写作智能体通过声明式多模态工具使用生成最终的交错报告。贯穿整个过程的是验证智能体，它作为框架的接受函数，在每个阶段结束时进行基于规则和LLM的评分检查，确保协议合规性、事实接地性、引用保真度、视觉相关性和跨模态一致性。

PTAH的核心创新点是将验证机制内化为多智能体框架的接受函数，而非事后的独立检查。具体体现在三个方面：（1）验证驱动的测试时缩放（Test-Time Scaling）：通过六步精炼流程（段精炼、图像精炼、整体精炼、HTML生成、HTML精炼、渲染）逐步提升报告质量；（2）视觉感知的研究状态：规划阶段明确视觉规范，研究阶段维护源对齐的视觉工作记忆；（3）声明式多模态工具使用：写作智能体在文本中嵌入图像工具标签，指定预期的视觉角色和工具操作，而非通过临时后处理插入图像。这种设计与现有方法中验证是外部的、视觉规范是模糊的、图像插入是临时的形成本质区别。

方法步骤详情

PTAH的工作流程分为三个主要阶段和六个测试时缩放步骤。规划阶段：规划智能体通过文本搜索工具探索领域知识，生成包含高层概述、章节级研究目标、预期证据类型和明确视觉规范的结构化计划。验证智能体检查输出格式的结构有效性、工具调用约束、JSON格式以及查询覆盖度、章节连贯性和视觉-论点相关性。研究阶段：每个规划章节由独立的研究智能体执行调查，生成包含关键发现、基于主张的证据、数值数据、表格、引用和写作指令的结构化研究包。同时从访问的网页中提取图像，经过基于规则的过滤（去除低分辨率、重复、无关或非信息量图像）和基于VLM的选择（根据视觉规范评估质量和语义相关性）后存入视觉工作记忆。每个研究包都经过验证检查，包括引用支持、规划目标覆盖、数值/引用一致性和与章节意图的视觉相关性。写作阶段：写作智能体使用全局计划、已验证的研究包和视觉工作记忆生成报告，采用声明式多模态组合策略，在应该出现视觉元素的位置嵌入图像工具标签。框架在三种图像操作之间仲裁：图像引用（重用视觉工作记忆中的源对齐图像）、图像搜索（检索额外的网络图像）、图像生成（创建新的视觉元素，如通过可执行代码渲染的图表或通过图像生成模型创建的插图）。测试时缩放：初始组合后，PTAH通过六步精炼流程改进报告质量，包括段精炼（改进清晰度、证据覆盖、引用保真度和局部连贯性）、图像精炼（决定每个视觉元素是保留、删除还是编辑并执行编辑）、整体精炼（改进全局组织、跨章节一致性和图像-文本对齐）、HTML生成（将精炼报告转换为具有布局和样式规范的HTML文档）、HTML精炼（进一步调整HTML结构、样式一致性、间距和渲染可读性）、渲染（在浏览器中显示最终的HTML文档作为面向用户的多模态报告）。

技术新颖性

PTAH的技术新颖性体现在多个层面。在架构层面，它是首个将验证机制内化为多智能体框架接受函数的可验证多模态深度研究系统，验证智能体在规划、研究和写作的所有阶段通过基于规则和基于LLM的检查强制执行事实接地、引用保真度和跨模态一致性。在方法论层面，它引入了视觉工作记忆作为结构化的跨模态中间状态，将源对齐的视觉材料从网页外部化为可检查的状态组件，这与现有系统将图像视为事后装饰资产形成鲜明对比。在评估层面，它提出了PTAHEval评估协议，该协议保留了现有基准的原始问题和文本导向指标，同时添加了图像内容质量（视觉清晰度、跨模态对齐、信息互补性、证据支持）和多模态呈现质量（密度-可读性平衡、信息显著性、视觉编码多样性、视觉人体工程学）的多模态评估程序，填补了评估协议在多模态报告质量方面的空白。

**Figure 2**: Overview of PTAH, a multi-agent harness for verifiable multimodal deep research.

实验结果

实验结果显示PTAH在三个维度上都显著优于现有基线方法。在文本质量方面，PTAH在DeepResearch Bench上达到45.16的整体得分，领先于所有基线，在Insight/Depth和Readability上表现最佳，同时在Instruction-Following和Comprehensiveness上保持竞争力，表明多智能体分解能够生成具有更深度分析和更清晰结构组织的报告。在DeepConsult上，PTAH在所有维度上都超过所有基线，平均达到16.18，是最佳基线（WebThinker）的两倍多，最显著的提升在Instruction-Following、Completeness和Writing Quality上，表明对复杂任务规范有更强的遵守能力。在视觉质量方面，PTAH在图像内容质量的所有四个维度上都达到最高分，其接近上限的跨模态对齐得分源于两个因素：检索的网页图像本身与周围文本语境天然对齐，测试时缩放机制进一步精炼了图像-文本连贯性。相比之下，多模态基线LLM-I的表现明显更差，确认PTAH生成的图像更清晰、上下文更相关、作为支持性证据更有效。在多模态呈现质量上，PTAH在每个维度上都领先，得益于改进的图像质量和测试时缩放驱动的HTML布局优化。在密度-可读性平衡和视觉人体工程学上的提升反映了更好的间距平衡、更强的视觉节奏和更低的感知负荷，而在信息显著性和视觉编码多样性上的提升表明PTAH通过适当的语境锚定图像并利用多样的视觉形式突出关键洞察和引导读者注意力。在可信度方面，PTAH在DeepResearch Bench上达到87.53%的引用准确率，每个任务平均9.64个有效引用，显著超过所有基线。案例分析显示基线经常发出无效或幻觉的URL，而验证智能体保证PTAH中的每个引用都映射到有效的可访问源。PTAH还发出比竞争方法更多的搜索工具调用，反映了对外部知识的更彻底探索，这直接转化为更强的事实接地。人工评估结果显示PTAH在可读性上获胜率为88.75%，可用性上为88.75%，信息获取效率上为96.25%，整体偏好上为95.00%，表明PTAH生成的多模态报告不仅被自动评估器偏爱，而且为人类用户提供了更好的实际阅读体验。

**Table 1**: The overall results on DeepResearch Bench and DeepConsult.

**Table 2**: Overall PTAHEval results on DeepResearch Bench.

**Table 3**: FACT evaluation on DeepResearch Bench.

**Table 4**: Ablation on test-time scaling (TTS).

**Table 5**: Stage-wise average latency of PTAH on DeepResearch Bench.

**Table 6**: Latency comparison between parallel and sequential Researcher execution.

**Table 7**: Latency impact of verifier strength.

**Table 8**: User-centric human evaluation of PTAH against WebThinker on 20 sampled DeepResearch Bench reports.

**Table 9**: Ablation on visual elements.

**Figure 3**: An illustration of our PTAHEval evaluation.

**Figure 4**: Human evaluation of PTAH against LLM-I and WebThinker on DeepResearch Bench via PTAHEval.

**Figure 5**: First-screen views of multimodal analytical reports generated by the PTAH framework.

查看结构化数据

任务	指标	本文	基线	提升
DeepResearch Bench - Overall Content Quality	Overall Score	45.16	WebThinker: 45.00	+0.16 (0.36%提升)
DeepResearch Bench - Insight/Depth	Insight Score	44.32	WebThinker: 43.26	+1.06 (2.45%提升)
DeepResearch Bench - Readability	Readability Score	47.95	WebThinker: 46.61	+1.34 (2.88%提升)
DeepConsult - Overall	Average Score	16.18	WebThinker: 7.35	+8.83 (120%提升)
DeepResearch Bench - Image Content Quality	Average ICQ Score	4.39	LLM-I: 1.97	+2.42 (123%提升)
DeepResearch Bench - Multimodal Presentation Quality	Average MPQ Score	3.71	LLM-I: 3.00	+0.71 (23.7%提升)
DeepResearch Bench - Citation Accuracy	Citation Accuracy	87.53%	WebThinker: 60.74%	+26.79个百分点
DeepResearch Bench - Effective Citations	Average Effective Citations per Task	9.64	WebThinker: 2.32	+7.32 (315%提升)

局限与改进

作者承认的局限性包括：由于现有开源模型的受限推理能力，实现长视界多模态搜索和生成的稳定自主智能体工作流仍然是一个重大挑战。为了确保系统可控性和可靠性，框架被分解为三个不同的顺序阶段，而不是采用单次通过智能体生成过程。虽然这种模块化设计引入了手动定义的边界，但它允许对中间输出进行更细粒度的监控和严格验证。此外，这种解耦架构允许在未来的迭代中独立优化特定模块。基于观察的局限性：验证智能体的强度引入了明显的质量-效率权衡，更强的验证器（如DeepSeek-R1）可能提供更严格的中间检查，但会显著增加长篇多模态报告生成的整体延迟（规划从192秒增加到853秒，研究从459秒增加到1408秒）。目前的验证配置在保持强事实接地和跨模态一致性的同时避免了过度的修订开销，但这意味着质量与效率之间存在权衡空间。视觉元素的依赖：虽然视觉效果对多模态呈现质量贡献显著（移除图像后MPQ平均得分从3.71降至3.29），但深度研究基准主要评估文本研究质量，并不直接奖励视觉证据是否相关、有证据力或有助于阅读，这意味着在当前评估体系下视觉元素的贡献可能被低估。计算开销：PTAH在DeepResearch Bench上的完整流程平均耗时1015秒，其中研究阶段最耗时（平均459秒），因为需要对多个报告章节进行开放性证据收集、网页检查和图像池构建。虽然并行研究使研究阶段延迟降低了65.4%，但与文本仅有的深度研究代理相比，PTAH引入了额外的计算成本，主要集中在证据获取和最终多模态精炼上。

独立分析的弱点

第一个弱点是验证智能体的依赖性。验证智能体的强度直接影响最终报告的质量和系统的稳定性，但更强的验证器会显著增加延迟。改进方向可以是开发轻量级但高效的验证模型，或者采用分层验证策略，在早期阶段使用快速验证器，在后期阶段使用严格的验证器。第二个弱点是视觉元素的质量控制依赖于外部模型（如VLM）和基于规则的过滤，可能错过某些边缘情况。改进方向可以是引入更精细的图像质量评估指标，或者通过人类反馈循环持续改进视觉选择策略。第三个弱点是阶段顺序执行限制了跨阶段的动态调整。例如，研究阶段发现新的重要信息后，规划阶段的计划可能需要更新，但当前框架要求顺序执行。改进方向可以是引入更灵活的阶段间通信和动态规划调整机制，或者在研究阶段发现重大偏差时触发回溯到规划阶段。

未来方向

作者提出的未来工作方向包括独立优化特定模块，由于解耦架构允许在未来的迭代中独立优化特定模块，可以探索改进规划智能体的视觉规范生成能力、研究智能体的证据收集效率、写作智能体的多模态组合策略以及验证智能体的检查精度和效率。基于成果可延伸的方向包括：扩展PTAH支持更多类型的视觉元素，如交互式图表、3D模型、视频片段等，以满足更复杂的报告需求；探索自适应测试时缩放，根据任务的复杂度和可用计算资源动态调整精炼步骤的数量和深度；研究端到端的多智能体强化学习，让智能体通过经验学习更好的协作策略和验证阈值；开发领域专用的PTAH变体，针对科学报告、商业分析、技术文档等不同领域的特定需求定制视觉规范和评估标准；引入用户反馈循环，允许用户对生成的报告提供反馈，系统利用这些反馈持续改进报告质量和个性化程度。

复现评估

PTAH的代码已开源（https://github.com/SnowNation101/Ptah），论文提供了详细的实现细节和工具描述。实验使用Qwen3-32B作为规划者、研究者和验证者，使用Qwen3-VL-32B-Instruct作为写作者，Qwen3-32B还用于基于LLM的验证，Qwen3-VL-32B-Instruct用于研究期间的图像选择。对于图像生成、图像编辑和评估，通过SiliconFlow平台提供的API访问Qwen-Image、Qwen-Image-Edit和Qwen3-VL-235B-A22B-Instruct。所有实验在配备4×A800 80GB GPU的机器上进行，使用vLLM本地部署Qwen3-32B和Qwen3-VL-32B-Instruct。文本搜索和图像搜索API由Serper提供，网页解析由Jina Reader支持。数据集使用广泛采用的DeepResearch Bench（包含100个博士级研究任务，涵盖22个不同领域）和DeepConsult（包含102个查询，涵盖真实世界咨询场景）。复现难度中等，需要访问多个外部API（SiliconFlow、Serper、Jina Reader）和足够的GPU资源，但代码已开源且实现细节详细，研究人员可以按照论文描述重现实验。主要的复现挑战可能是获取API访问权限和配置本地GPU环境。

迈向可验证的多模态深度研究：用于交错报告生成的多智能体协作框架 Towards Verifiable Multimodal Deep Research: A Multi-Agent Harness for Interleaved Report Generation