PresentAgent-2：迈向通用多模态演示代理 PresentAgent-2: Towards Generalist Multimodal Presentation Agents
从开放性用户查询出发，检索图文视频并合成三种模式的演示视频。
前置知识
基于代理的多模态生成（Agentic Multimodal Generation）
指让大语言模型或视觉语言模型作为代理，通过规划、调用工具、迭代反思来协调多种模态（文本、图像、音频、视频）输出的一类方法。代理在每一步决定下一步要执行的动作，直到完成整个复杂任务。
PresentAgent-2 本身就是一个多模态代理，它把研究、规划、生成、合成等多个模块串起来，理解代理如何在没有源文档的情况下从零组织一场演示是读懂全文的前提。
深度研究（Deep Research）
区别于一次性搜索，深度研究通常包含多轮查询、网页浏览、内容摘要、来源过滤等步骤，目的是针对一个开放性问题综合出高质量、信息丰富的回答。
PresentAgent-2 把从一句话查询找到讲得清楚的素材建模为深度研究子任务，没有它就只能依赖事先准备好的文档，论文的查询驱动范式便无从谈起。
TTS 与音视频合成（Text-to-Speech and Audio-Visual Composition）
TTS 把脚本转成自然语音，音视频合成把幻灯片画面、语音、动态媒体按时间轴拼装成最终视频。这里涉及字幕时间对齐、媒体叠加、口型/语速同步等问题。
演示视频的最终质量取决于脚本到音频再到合成这条流水线，本文把 GIF/视频这类动态媒介作为可继续播放的图层保留下来，是技术上的关键决策。
演示评估方法学（Presentation Evaluation Methodology）
演示评估通常分客观知识传达（如观众答题正确率）和主观质量（内容、结构、媒体、互动等）两个维度。VLM 既可作为观众答题，也可作为评委按 1-5 分打分。
PresentEval 提出了两阶段评估协议：先由 VLM 观众答 5 道客观选择题测知识传达，再由 VLM 评委按模式特定指标打分。理解这种机器当评委的设计有助于把握本文的实验结论。
研究动机
现有多模态演示生成系统几乎都假设用户已经准备好一份完整的源文档。Paper2Poster 把论文压缩成海报，PresentAgent 从长文档生成解说视频，Paper2Video、VideoAgent 则从学术论文生成带字幕、指针、虚拟人脸的科研讲解视频。这些工作擅长把已有材料转换成可视化输出，却无法应对真实场景中最常见的需求：用户只问一句请讲讲 flow matching，既没有论文也没有报告。系统必须先判断该讲什么、再去找可信赖的素材、筛选出适合演示的图文视频、规划结构，最后才生成视频。传统文档驱动范式在这条链路上完全失灵。
本文的目标是本文提出查询到演示视频生成（query-to-presentation video generation）这一新任务：给定一段自然语言查询 $q$ 和所选演示模式 $m \in \{\text{Single}, \text{Discussion}, \text{Interaction}\}$，自动输出符合演示风格的视频 $V_m$。在形式化层面任务被分解为两步：先把查询压缩成主题 $t$ 并检索多模态资源集 $R$，得到 $q \to (t, R)$；再把 $(q, t, R, m)$ 综合成最终视频 $V_m$。同时，作者希望这一框架能在同一套流水线里支持单口播讲、多人讨论、互动问答三种迥异的演示形态。
与已有工作不同的是，已有系统在三个维度上都有明显短板：第一，依赖源文档，缺乏对开放性查询的处理能力；第二，只支持单口叙述，不覆盖讨论和互动两类常见场景；第三，对动态媒体（GIF、视频）通常截成静态图处理，丢失了动画过程。本文把这三个短板合并成一个新的统一框架，并配套发布了 PresentEval 基准——用 60 对查询-参考视频构造、覆盖三种模式的开放性评估协议，正好补上查询到研究再到多模式演示这条空白赛道。
核心方法
PresentAgent-2 的整体思路是先研究后创作。系统接收查询 $q$ 和模式 $m$ 后，先用一个 LLM 把 $q$ 压缩成主题 $t$，再以 $t$ 为锚点驱动深度研究模块，爬取候选 URL，筛出文本充实、媒体丰富的页面，从中提取文本、图片、GIF、视频四类资源，得到多模态资源集 $R$。随后进入演示生成阶段：代理先规划大纲、确定每张幻灯片的主题与对应媒体，再生成解说脚本、调 TTS 合成音频，最后把所有图层按时间轴合成最终视频 $V_m$。整个流水线对三种模式是共享的，唯一差异在脚本结构与交付方式——单口播讲用单人叙述，讨论用多角色对白，互动用 Q&A 流程。
核心创新是把动态媒体当作可继续播放的图层而非静态截图嵌入到演示流水线中：GIF 和视频在合成时仍保持播放状态，被叠加在对应幻灯片区域，使动画、操作演示、过程性例子能在 PPT 页里动起来。与 PresentAgent 等把一切压成静态图的做法相比，这一处理既保留视觉信息又贴近真实演示的形态。第二个关键设计是深度研究偏置：检索时优先选择教程页、演示页、带丰富媒体的科普文章，而非纯文本页面，从而让下游能直接拿到可视化素材。第三个创新是统一流水线加三种模式的解耦：把研究、内容生成、合成做成公共骨干，仅用脚本结构区分三种交付形态，避免为每种模式单独搭一套系统。
方法步骤详情
完整流程可拆为五个步骤。Step 1 查询理解与主题提取：输入原始查询 $q$ 与模式 $m$，用 LLM 抽取聚焦主题 $t$，过滤掉与演示无关的成分。Step 2 深度研究：以 $t$ 为种子，搜索并收集候选 URL 集合，按页面含完整文本和页面含丰富媒体两个标准过滤；接着对通过筛选的页面抽取文本和图片/GIF/视频资源，构建多模态资源集 $R$。Step 3 演示结构规划：基于 $R$ 规划演示大纲，决定每张幻灯片的主题、要点、配套媒体（文本资源生成标题与要点，图像资源直接插入，GIF/视频保留为可播放图层），得到 $\{(slide_i, media_i)\}_{i=1}^{N}$。Step 4 脚本与音频生成：对每张幻灯片按模式 $m$ 撰写脚本——单口模式写成单人叙述、讨论模式分配多个角色（提问者、解释者、澄清者、总结者）、互动模式写成 Q&A 流程；脚本经 TTS 转音频，得到时序对齐的语音流。Step 5 视频合成：把幻灯片画面、语音音频、动态媒体按时间轴叠加成最终视频 $V_m$；动态媒体在对应幻灯片区域持续播放，而非常规的截帧处理。
技术新颖性
技术新颖性体现在四个层面。第一，任务层面首次把开放性查询到演示视频作为一个独立任务形式化，明确输入是自然语言查询、输出是符合演示风格的视频，避免了文档驱动范式的强假设。第二，流水线层面把深度研究偏置（presentation-friendly retrieval）明确写进系统，通过网页过滤标准把可视化资源当成一等公民来抓，这比通用 RAG 更贴近演示场景。第三，媒体处理层面提出动态媒体作为可播放图层的合成范式，并把它落到具体流程里——过往方法通常把 GIF/视频压成静态帧，本文保留了媒体在最终视频中的活动性。第四，模式层面用统一骨干加脚本分支实现单口/讨论/互动三模式，避免了为每种演示形态都重新搭一套系统的工程冗余，也使三种模式能在同一份研究内容上做出一致的演示。配套的 PresentEval 则把这种模式感知的评估方式标准化，为后续研究提供了可复现的测试床。
实验结果
实验围绕 PresentEval 展开，5 个 VLM 主干（Qwen3.5-VL-Plus、Claude Opus 4.7、Gemini 3.1 Pro、GPT-5.5、GLM-4.7V）分别以 3 种模式各生成 20 个演示视频，并由 VLM 同时担任客观观众和主观评委。客观知识传达方面，PresentAgent-2 在三模式下均拿到 4.75-4.85 的平均选择题得分（满分 5 分），与人类参考视频的 4.82-4.83 几乎打平，Qwen3.5-VL-Plus 主干在单口、讨论、互动三种模式下分别取得 4.84、4.85、4.85 的 quiz 分数。主观质量方面，Qwen3.5-VL-Plus 的平均主观分为 4.47/4.37/4.52，已经接近或超过人类参考视频 4.46/4.40 的水平；其他主干的差距也都在 0.2 分以内。模式特定指标揭示出明显的分工差异：单口模式中 VDQ（视频交付质量）一项 DRE 维度的差异最显著，说明深度研究质量直接决定单口视频能不能讲清楚；讨论模式中 DE（讨论有效性）和 SRC（角色互补性）受角色设计影响最大；互动模式中 CC（内容可理解性）和 IH（互动帮助性）显示出系统在 grounding 方面的稳定表现。能力对比表（Table 3）也证实，PresentAgent-2 是唯一同时支持三模式并把 GIF、视频作为一等公民资源的系统，其他系统要么只支持单口，要么完全没有动态媒体或讨论能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Single Presentation Quiz（单口演示客观知识传达） | Quiz Score (0-5) | Qwen3.5-VL-Plus 4.84；Claude Opus 4.7 4.80；Gemini 3.1 Pro 4.78；GPT-5.5 4.83；GLM-4.7V 4.75 | Human Reference 4.82 | 已与人类参考视频基本持平，最好的 Qwen3.5-VL-Plus 比人类参考高 +0.02 |
| Discussion Presentation Quiz（讨论模式客观知识传达） | Quiz Score (0-5) | Qwen3.5-VL-Plus 4.85；Claude Opus 4.7 4.82；Gemini 3.1 Pro 4.80；GPT-5.5 4.77；GLM-4.7V 4.67 | Human Reference 4.83 | Qwen3.5-VL-Plus 比人类参考高 +0.02，其余主干在 ±0.06 范围内 |
| Interaction Presentation Quiz（互动模式客观知识传达） | Quiz Score (0-5) | Qwen3.5-VL-Plus 4.85；Claude Opus 4.7 4.80；Gemini 3.1 Pro 4.75；GPT-5.5 4.75；GLM-4.7V 4.60 | Human Reference 未提供互动 quiz 分数 | Qwen3.5-VL-Plus 比最低 GLM-4.7V 高 +0.25，主干间差距在互动模式中最明显 |
| Single Presentation 主观质量 | Mean Subjective (1-5) | Qwen3.5-VL-Plus 4.47；Claude Opus 4.7 4.43；Gemini 3.1 Pro 4.35；GPT-5.5 4.25；GLM-4.7V 4.18 | Human Reference 4.46 | Qwen3.5-VL-Plus 比人类参考高 +0.01，已逼近人类水平 |
| Discussion Presentation 主观质量 | Mean Subjective (1-5) | Qwen3.5-VL-Plus 4.37；Claude Opus 4.7 4.38；Gemini 3.1 Pro 4.25；GPT-5.5 4.17；GLM-4.7V 4.11 | Human Reference 4.40 | Claude Opus 4.7 与人类参考差距仅 -0.02，Qwen3.5-VL-Plus 差距 -0.03 |
| Interaction Presentation 主观质量 | Mean Subjective (1-5) | Qwen3.5-VL-Plus 4.52；Claude Opus 4.7 4.52；Gemini 3.1 Pro 4.45；GPT-5.5 4.46；GLM-4.7V 4.42 | Human Reference 未提供 | 互动模式三模式中分数最高，Qwen3.5-VL-Plus 与 Claude Opus 4.7 并列 |
局限与改进
作者明确把局限放在 Appendix E，但主线论文也透露出几条制约。第一，PresentEval 规模较小：只有 60 个 query-reference video pair，每种模式仅 20 例，难以对统计显著性做严格检验，标准差和显著性检验都未在正文中给出。第二，评估完全依赖 VLM：客观 quiz 由 VLM 观众答题、主观打分也由 VLM 评委给出，引入 VLM 偏置——尤其是评分量表 1-5 之间的细微区分极易受到 prompt 和模型版本影响。第三，参考视频时长统一控制在 5-7 分钟，对长篇讲解（课堂、报告）和超短视频（30 秒快讲）的泛化能力未经验证。第四，三种模式之间不是真正并行评估的：评分体系是分模式设计的，缺乏跨模式比较的归一化指标。第五，从我们的观察看，深度研究质量直接受网络搜索召回制约，论文没有给出如果深度研究找不到合适材料的兜底机制；动态媒体嵌入也依赖上游检索返回的视频文件，对没有合适视频的话题会回退到图像甚至纯文本。第六，TTS 与视频合成部分在论文中只描述目标、没有给出可复现的工程细节（口型同步、媒体时间对齐策略、字幕生成规则等），外部复现存在一定工程门槛。
独立分析的弱点
独立审视后我们看到几个相对突出的弱点。弱点一，深度研究阶段的鲁棒性未充分验证：当主题冷门、网络召回少时，整条流水线可能因为资源集 $R$ 过稀而退化；改进方向是引入内容自合成回退路径，让 LLM 在缺素材时直接生成示意图、流程图或示意视频。弱点二，模式间一致性问题：单口、讨论、互动三种模式使用相同的 $R$，但脚本分支规则只描述了分配角色这种高层目标，没有给出可验证的协议；改进方向是显式定义每种模式的脚本模板与时长约束，避免某些话题在讨论模式下被压成 2 人对话而其他话题生成 4 人讨论。弱点三，动态媒体保留听起来优雅，但对长视频的合成开销是隐忧；改进方向是引入动态媒体密度上限，控制每张幻灯片内同时播放的 GIF/视频数量，防止帧率与音画同步崩坏。弱点四，VLM 评测的主观性：5 个主干的主观分差常常在 0.1 量级，5 分量表区分度不足；改进方向是引入人类评估或采用 Likert-7 量表 + Cohen's $\kappa$ 报告评分一致性。弱点五，可访问性考虑不足：生成的视频没有针对字幕、语音语速、视觉对比度做无障碍优化，对教学场景的实际落地有影响。
未来方向
作者指出的方向集中在 Appendix E 的 Limitations 中，我们结合成果还可延伸几条路径。第一，把深度研究做成多轮自我提问机制，让代理主动生成子问题、补齐主题边界，减少对单一检索召回的依赖。第二，把评估扩展到 PresentEval-XL：扩充到 200+ 查询、覆盖更多语言、覆盖更广的时长区间（30 秒到 30 分钟），并加入人类评估金标准用于校准 VLM 评委。第三，把动态媒体合成为独立模块：允许用户上传私域视频/GIF，扩展到多模态输入。第四，探索演示加习题联动：把演示视频与测验、教学反馈系统结合，让互动模式能直接调度学生的练习。第五，跨模态一致性：增加口型同步、字幕定位、媒体图层透明度调节，让最终视频在长篇讲解中保持视觉一致性。第六，从演示延伸到其他场景：把查询驱动加多模式合成的思路迁移到播客、短视频、海报、长图等媒介，构建更通用的查询到多媒体生成框架。
复现评估
可复现性整体偏中等。作者提供了代码仓库 https://github.com/AIGeeksGroup/PresentAgent-2 和项目主页 https://aigeeksgroup.github.io/PresentAgent-2，代码部分应可获得；但论文对深度研究的检索源、过滤规则、URL 排序策略、动态媒体叠加的合成实现都只给高层描述，没有详细的 prompt 模板与超参数列表，外部复现仍需自行设计工程细节。数据集方面，PresentEval 60 对查询-参考视频虽然从公开平台收集，但完整 query-reference pair 的发布形式（是否提供原始参考视频与查询文本的下载）未在正文中明确。算力方面，5 个 VLM 主干的推理成本差异显著（Qwen3.5-VL-Plus、Claude Opus 4.7、Gemini 3.1 Pro、GPT-5.5、GLM-4.7V），叠加 TTS、视频合成与多模态资源下载，单条 query 的端到端生成时间可能达到数十分钟；论文未给出每条 query 的平均生成时长与算力统计。整体来看，代码可获得加数据/超参不完全透明，对希望严格复现的团队来说属于中等难度。
论文图表
