← 返回 2026-03-09

DeepPresenter：基于环境观察反思的智能体演示文稿生成框架 DeepPresenter: Environment-Grounded Reflection for Agentic Presentation Generation

Hao Zheng, Guozhao Mo, Xinru Yan, Qianhao Yuan, Wenkai Zhang, Xuanang Chen, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun 📅 2026-02-26 👍 3 2026-07-13 08:35
SFT数据合成 反思机制 多模态LLM 智能体(Agent) 演示文稿生成
arXiv HuggingFace PDF

通过双智能体协作与环境观察反思，让AI自主完成从资料调研到视觉设计的整本演示文稿生成

前置知识

LLM智能体(LLM Agent)

以大语言模型为决策核心，通过推理-行动-观察(reasoning-action-observation)的循环轨迹，自主调用工具、与环境交互来完成任务。区别于单次LLM调用，智能体能进行多步规划、错误恢复和长程目标执行。本文DEEPPRESENTER即采用两智能体协作架构。

理解智能体范式是阅读本文的基础，因为整篇论文都是围绕如何让两个智能体协作生成PPT、并在轨迹中嵌入反思机制展开的。

多模态大语言模型(MLLM)

能同时处理文本与图像(有时含视频/音频)输入输出的大语言模型。本文使用Gemini-3-Pro、GPT-5、Claude-Sonnet-4.5、GLM-4.6V等MLLM作为智能体后端，因为Presenter智能体需要读取渲染后的幻灯片像素图来发现布局缺陷。

环境观察反思(env-grounded reflection)需要MLLM将像素图转化为视觉反馈，这是该机制能检测到代码层面不可见缺陷(如对比度低、元素溢出)的前提。

自我反思机制(Self-Reflection)

智能体在每一步执行后基于内部信号(如思考链、代码文本)评估自身输出并决定是否修正的方法。常见实现如ReAct、Reflexion。本文指出其局限：智能体在内部表征(HTML/代码)上推理，而用户在感知层(渲染后像素)上观察，存在'状态错位'导致代码层面无错的缺陷在视觉上仍会出现。

本文的核心创新正是针对自我反思的状态错位问题提出环境观察反思，必须先理解自我反思的局限性才能体会作者的改进动机。

监督微调(SFT)与轨迹合成

用收集或合成的'输入-理想输出/理想轨迹'数据对预训练模型做全参数或LoRA微调，使其学会特定行为模式。本文先让Gemini-3-Pro作为教师模型执行1,024个任务并记录完整推理-行动-观察轨迹，再经三轮过滤后保留802条用于微调GLM-4.6V-Flash。

DeepPresenter-9B的诞生依赖这条轨迹合成-过滤-微调流水线，而'自我验证偏差'正是轨迹合成阶段需要解决的关键问题。

研究动机

现有演示文稿自动生成方法存在两个系统性问题。第一是流程僵化：PPTAgent、KCTV、Gamma等主流方案都依赖预定义工作流和固定模板，例如PPTAgent要求用户先上传文档、再按既定流程抽取大纲、套入模板，KCTV则把所有内容塞进知识中心的templatic视图里。这导致生成结果文本堆砌、视觉风格千篇一律，无法适应'给中学生讲美国独立战争'与'给同行讲Transformer论文'这类差异极大的用户意图。第二是反思失效：基于自我反思(self-reflection)的智能体只看内部信号(代码、推理链)做自检，但用户实际看到的是渲染后的像素图像，二者存在'状态错位'。表2显示PPTAgent搭配最强模型GPT-5也仅有3.68的平均分，约束满足度仅3.96，文章中给出的样例反复出现图片加载失败、文字溢出、对比度低等缺陷，恰恰是这些用代码层检查无法发现的视觉问题。

本文的目标是本文的具体目标是构建一个能自主规划、自主执行、自主修复的智能体式演示文稿生成框架DEEPPRESENTER，使其在128题的多样化评测集上取得内容质量、视觉风格、约束满足三个维度的SOTA表现(平均分4.44，超过商业产品Gamma 4.36)，并将这一能力蒸馏到9B参数的开源模型DeepPresenter-9B中，让普通用户也能以约0.1美元/任务的低成本获得商用级效果(平均分4.19，接近GPT-5的4.22)。

与已有工作不同的是，本文的独特切入角度是把演示文稿生成重新定义为'信息研究+视觉设计'两类不同性质子任务的协作问题，而非'抽取-填充'流水线或单一模型的端到端输出。作者通过让Researcher和Presenter两个智能体共享一个文件系统环境，并引入'环境观察反思'——即通过将HTML渲染成图像后让MLLM以视觉通道重新观察——把智能体的观察空间从内部代码扩展到用户实际感知的像素层，从而解决状态错位。这是与现有工作最本质的区别。

核心方法

DEEPPRESENTER的整体思路是让两个角色互补的智能体共享文件系统环境，分阶段协作完成演示文稿，并能在感知层面发现并修复渲染后的视觉缺陷。技术路线可以拆成三条主线：(1)将演示文稿生成形式化为一个多步智能体轨迹 $\tau = \{(r_1, a_1, o_1), \dots, (r_T, a_T, o_T)\}$，并分解为Researcher阶段 $\tau^R$ 与Presenter阶段 $\tau^P$ 的顺序组合；(2)提供一套工具库 $T$ 和文件系统 $F$ 作为共享环境，其中最关键的两个工具是 inspect_manuscript 和 inspect_slide，前者解析Markdown稿本并诊断资源/语言状态，后者用无头浏览器把HTML渲染成像素图再交给MLLM观察；(3)在Researcher与Presenter切换以及关键渲染节点上强制调用 inspect 工具，从而触发'观察-反思-修订'的循环，而不是依赖智能体'凭感觉'自我评估。

本文最核心的创新是把'反思的输入信号'从内部表征(代码、思维链)切换到外部感知(渲染后的像素图与文件状态)。在传统自反思范式中，智能体处于生成HTML的同一上下文里做自我验证，因而天然倾向于'自我合理化'——本文称之为'自我验证偏差'(self-verification bias)，即明知有问题也说'我很棒'。DEEPPRESENTER通过引入独立的critic在隔离上下文中基于观察 $o_t$ 和中间制品做验证，并把验证得到的推理痕迹(reasoning trace)作为'外生反思信号'注入到智能体的 think 调用中，强制其在继续前进行针对性修正。这是和已有方法最本质的区别。

方法步骤详情

DEEPPRESENTER的执行可拆为以下步骤。第一步，Researcher接收用户指令 $I$，自主规划检索策略，根据意图决定深度，再通过 search_web、search_papers、fetch_url、search_images 等工具合成支撑材料，必要时用 image_generation 创建配图。第二步，Researcher将内容汇编为按叙述流组织的Markdown稿本 $M$ 写入文件系统 $F$，每页用 --- 分隔，图片以相对路径引用。第三步，Presenter读取 $M$，先开发'幻灯片母版'设计计划(色彩主题、字体、网格)，再逐页生成独立HTML文件，主题色与内容主题一致(例如环保主题用大地色，学术教程用极简布局)。第四步，每渲染一页HTML，Presenter自动调用 inspect_slide 工具用无头浏览器渲染为像素图，由MLLM识别溢出、重叠、低对比度、图片路径错误等渲染后缺陷，并通过 think 反思后调用 edit_file 修订。对Researcher而言 inspect_manuscript 工具返回结构化诊断(页数、检测到的语言、引用图片是否存在)。轨迹合成阶段额外引入独立critic在 $o_t$ 与中间制品上做外生验证，输出'我注意到...我会...'的推理痕迹注入 think 调用。

技术新颖性

DEEPPRESENTER的技术新颖性体现在三个层面。第一是范式层：把演示文稿生成从'内容-模板填充流水线'升格为'两个角色互补的智能体协作 + 共享环境'，并把这种协作与LLM的多步规划能力深度耦合，而非把LLM当成可调用的'高级摘要器'。第二是机制层：环境观察反思(env-grounded reflection)是对自我反思的实质性升级——它通过 inspect 工具将HTML渲染为像素图再交由MLLM观察，解决了'代码层无错、视觉层有错'的状态错位问题。第三是训练层：针对自我验证偏差，作者设计了一个独立critic在隔离上下文中对 $o_t$ 做外生验证，并把推理痕迹注入到 think 调用中——这一'外生反思'机制在轨迹合成的SFT流程中能多带来67%的增益(平均分提升0.20 vs 仅微调的0.12)。

Illustration of DEEPPRESENTER. Given a user instruction, the Researcher gathers information and compiles a structured manuscript, while the Presenter transforms it into visual slides. Both agents interact and collaborate with a shared environment, leveraging grounded observations for reflective refinement.
Figure 1: Illustration of DEEPPRESENTER. Given a user instruction, the Researcher gathers information and compiles a structured manuscript, while the Presenter transforms it into visual slides. Both agents interact and collaborate with a shared environment, leveraging grounded observations for reflective refinement.
Our data synthesis pipeline. The process ensures high-quality trajectories for supervised fine-tuning through three integrated mechanisms: (1) Query Construction augments tasks with verifiable constraints; (2) Extrinsic Verification injects reasoning traces when defects are identified to guide agent self-correction during sampling; and (3) Trajectory Filtering validates constraint compliance and assesses consistency and output quality.
Figure 3: Our data synthesis pipeline. The process ensures high-quality trajectories for supervised fine-tuning through three integrated mechanisms: (1) Query Construction augments tasks with verifiable constraints; (2) Extrinsic Verification injects reasoning traces when defects are identified to guide agent self-correction during sampling; and (3) Trajectory Filtering validates constraint compliance and assesses consistency and output quality.

实验结果

在128个评测任务上，DEEPPRESENTER在所有骨干模型上都稳定超越开源基线。最佳配置为DEEPPRESENTER+Gemini-3-Pro，约束满足4.70、内容4.25、风格4.37、平均分4.44、多样性0.79，比开源最强基线KCTV+Claude-Sonnet-4.5(3.92)平均分高13.3%，比商业系统Gamma(4.36)高0.08。在骨干模型不变时，DEEPPRESENTER相对KCTV在内容维度提升最显著(以Gemini-3-Pro为例内容从3.01到4.25)。多样性0.79是模板类基线0.17-0.35的两倍以上。消融(表3)显示移除环境观察反思使Gemini-3-Pro从4.44掉到4.32、9B从4.19掉到3.82；移除双智能体协作分别掉到4.04和3.23。训练策略(表4)显示叠加外生验证比纯微调提升多67%(+0.20 vs +0.12)。缺陷分析(图4)显示外生验证在所有六类缺陷上检出新率均高于自验证，差距最大是布局(308 vs 212)和渲染(101 vs 43)。

Statistics of the constructed presentation tasks by language, source, aspect ratio, and slide count. 'Free' indicates no constraint is specified.
Table 1: Statistics of the constructed presentation tasks by language, source, aspect ratio, and slide count. 'Free' indicates no constraint is specified.
Performance comparison of different frameworks and models. The best/second-best scores are bolded/underlined. Quality metrics (Constraint, Content, Style, Avg.) are scaled to 0–5, while Diversity is scaled to 0–1.
Table 2: Performance comparison of different frameworks and models. The best/second-best scores are bolded/underlined. Quality metrics (Constraint, Content, Style, Avg.) are scaled to 0–5, while Diversity is scaled to 0–1.
Ablation study on framework components and training strategy. Cons. denotes constraint satisfaction.
Table 3: Ablation study on framework components and training strategy. Cons. denotes constraint satisfaction.
Effect of extrinsic verification on model performance. Both fine-tuned variants use 300 trajectories. ∆ denotes improvement over the base model.
Table 4: Effect of extrinsic verification on model performance. Both fine-tuned variants use 300 trajectories. ∆ denotes improvement over the base model.
Distribution of defects identified by self-verification and extrinsic verification for manuscript (left) and slides (right), respectively.
Figure 4: Distribution of defects identified by self-verification and extrinsic verification for manuscript (left) and slides (right), respectively.
Performance vs. Price scatter plot with Pareto frontier representation. Different colors represent different frameworks.
Figure 6: Performance vs. Price scatter plot with Pareto frontier representation. Different colors represent different frameworks.
Qualitative comparison of presentations generated by different methods. DEEPPRESENTER under Gemini-3-Pro and DeepPresenter-9B produce high-quality slides with styles that resonate with the topic. Baselines rely on document-embedded or AI-generated images with template-based generation, producing text-heavy outputs and misaligned visual themes.
Figure 7: Qualitative comparison of presentations generated by different methods. DEEPPRESENTER under Gemini-3-Pro and DeepPresenter-9B produce high-quality slides with styles that resonate with the topic. Baselines rely on document-embedded or AI-generated images with template-based generation, producing text-heavy outputs and misaligned visual themes.
查看结构化数据
任务指标本文基线提升
演示文稿生成(综合平均) Avg (0-5) 4.44 (DEEPPRESENTER+Gemini-3-Pro); 4.19 (DeepPresenter-9B) 3.92 (KCTV+Claude-Sonnet-4.5, 开源最强); 4.36 (Gamma, 商业) +0.52(13.3%) 相对开源基线; +0.08 相对Gamma; DeepPresenter-9B以9B体量接近GPT-5(4.22)
约束满足(Constraint) 0-5分(分项) 4.70 (DEEPPRESENTER+Gemini-3-Pro); 4.77 (DeepPresenter-9B) 4.66 (KCTV+GLM-4.6); 3.96 (PPTAgent+GPT-5) DeepPresenter-9B在所有模型中约束满足最高(+0.11 vs 第二名)
内容质量(Content) 0-5分 4.25 (DEEPPRESENTER+Gemini-3-Pro); 3.52 (DeepPresenter-9B) 3.17 (PPTAgent+GLM-4.6, 同类开源); 3.52 (Gamma) 内容维度提升最显著(+1.08 vs PPTAgent+GLM-4.6)，证明智能体检索/合成有效
视觉风格(Style) 0-5分 4.37 (DEEPPRESENTER+Gemini-3-Pro); 4.29 (DeepPresenter-9B) 4.30 (PPTAgent+Gemini-3-Pro); 3.94 (KCTV+GLM-4.6) DeepPresenter-9B以9B参数超过所有同尺寸开源模型，与Gemini-3-Pro同尺寸时持平
视觉多样性(Diversity) Vendi Score (0-1) 0.79 (DEEPPRESENTER+Gemini-3-Pro); 0.53 (DeepPresenter-9B) 0.17 (PPTAgent+Claude); 0.52 (Gamma) DEEPPRESENTER多样性是模板类基线的2倍以上，DeepPresenter-9B也超过Gamma

局限与改进

作者在论文Limitation小节明确指出三点局限。第一，DEEPPRESENTER依赖多步工具调用，推理成本高且对环境不稳定(上下文溢出、基础设施故障)敏感——轨迹失败分析(Figure 5)中'环境错误'占32.3%印证了这一点。第二，外生验证仅在轨迹合成阶段使用，推理时不再使用独立critic，因为critic引入的反思信号会带来'反思-动作不一致'和额外开销。第三，未在推理时做自验证偏差的实时缓解，这意味着用户运行时仍可能遇到智能体自欺的情况。我自己观察到的额外局限：(1)论文所有对比均基于4-5分Likert量表，量表分辨率有限(理论精度只有0.2分)，可能掩盖细微差距；(2)评测集仅128题，统计显著性需谨慎解读；(3)多样性指标Vendi Score对内容差异不敏感，主要反映视觉特征方差，与人类感知的'主题多样'不完全一致；(4)DeepPresenter-9B微调所用的骨干GLM-4.6V-Flash本身视觉能力有限，因此其视觉缺陷的'修复上限'受基座能力制约。

独立分析的弱点

独立分析有四个具体弱点。弱点一：环境脆弱性。DEEPPRESENTER是典型的'长程工具调用'架构，单次任务可能产生50K tokens上下文和数十次工具调用，失败模式中32.3%为环境错误，改进方向是引入更鲁棒的工具重试/降级机制与checkpoint恢复。弱点二：内容与设计的弱耦合。Researcher和Presenter通过文件系统松耦合通信，当Researcher给出的稿本信息密度过高时Presenter很难挽救，改进方向是引入Presenter对稿本的'反馈循环'。弱点三：反思粒度过粗。当前 inspect 工具每次只能看一张幻灯片，无法全局审视'叙事节奏'，改进方向是引入幻灯片集合级inspect。弱点四：9B模型的视觉反馈能力受限，消融显示移除环境观察反思后性能下降0.37，改进方向是为小模型设计更结构化的反思提示。

未来方向

作者明确指出的未来方向是：在推理时引入外生验证以缓解自验证偏差，但需要解决'反思-动作不一致'和额外开销问题。基于本文成果可延伸的方向有四个。第一，多模态扩展：当前Presenter只生成静态HTML幻灯片，可以扩展到带动画/视频/交互元素的演示场景。第二，长文档支持：当前主要为短演示(1-20页)设计，可向学术会议级(30-60页)扩展，这需要更复杂的层次化叙事规划。第三，多人协作场景：把智能体协作扩展为'多用户实时协作'，研究在多用户编辑同一份PPT时智能体如何协商风格一致性。第四，反思机制的形式化：当前反思依赖MLLM隐式判断，未来可结合形式化验证(例如CSS布局约束求解器)做混合验证，进一步降低错误率。

复现评估

复现可行性整体良好。作者在Abstract中提供了项目地址 https://github.com/icip-cas/PPTAgent，评测集128题的构成在表7中详尽披露，包含语言(EN 57.81%、CN 42.19%)、来源(PersonaHub 44.53%、FinePDFs 29.69%、arXiv 25.78%)、宽高比(16:9 32.81%、4:3 26.56%、A1海报 3.12%)、页数(1-10 28.12%、11-20 20.31%)四维分布。算力方面，训练DeepPresenter-9B使用8块A800 GPU约80小时；推理单任务需调用骨干MLLM数十次，Gemini-3-Pro单任务成本约$1。训练集1,024题来自PersonaHub、arXiv、FinePDFs三个公开源。复现难度中等：主要难点是部署无头浏览器实现 inspect_slide 像素级渲染、复现'观察-反思-修订'循环的工具调度、配置critic调用流程做外生验证，对有LLM智能体开发经验的团队两周内可完成核心复现。

论文图表

Comparison between self-reflection and environment-grounded reflection. Self-reflection relies on uncertain triggers and inputs without external signals. DEEPPRESENTER grounds reflection in environmental observations through the inspect tool.
Figure 2: Comparison between self-reflection and environment-grounded reflection. Self-reflection relies on uncertain triggers and inputs without external signals. DEEPPRESENTER grounds reflection in environmental observations through the inspect tool.

图2用左右对比的方式呈现两种反思机制：左侧是自反思(箭头标'我目前做得很好')，其触发条件是'不确定❓'、输入也是'不确定❓'，缺乏外部信号；右侧是环境观察反思，由 inspect 工具作为明确触发器，输入为渲染后的像素图像与文件状态观察，让智能体能定位到'image fig1.jpg 缺images/路径前缀'这样的具体缺陷。

这是文章最核心的motivation图，直接对比'自反思'与'环境观察反思'的差异，让读者直观理解为什么传统自我评估会漏检渲染后缺陷。

Failure distribution in synthesized trajectories before filtering.
Figure 5: Failure distribution in synthesized trajectories before filtering.

图5饼图展示过滤前合成轨迹的失败类型分布：质量错误43.0%、环境错误32.3%、约束违反13.5%、一致性问题11.2%。

揭示长程智能体执行的主要失败模式分布，提示研究者'环境稳定性'是不可忽视的工程瓶颈。