PresentBench：面向幻灯片生成的细粒度评分标准基准 PresentBench: A Fine-Grained Rubric-Based Benchmark for Slide Generation

完整的构建与评测流程包含六个步骤。第一步是数据源策展：从 ICLR、ICML、CVPR、NeurIPS、USENIX Security、OSDI 等顶会论文，CMU/MIT/清华的公开教材，Microsoft、Alphabet、Tesla、JPMorgan 的财报，OECD 和世界银行的报告，TED 演讲和中学英语课件，以及 Apple、Lenovo、BMW 的官方宣传册中挑选材料；优先挑选本身就配对过幻灯片的来源以确保真实性；专家手动过滤掉过于简单或版权存疑的样本，最终留下 238 个实例。第二步是指令构造：为每个实例手写一份高度约束的指令，强制规定页数区间、必备章节顺序、覆盖深度、可视化风格、受众与口吻，例如"为本科生制作 21–35 页关于《计算机科学概论》第一章 Data Storage 的课堂幻灯片"。第三步是核对项设计：分成 Material-Independent Checklist（演示基础 13.0 项 + 视觉设计 17.0 项，合计约 30 项）和 Material-Dependent Checklist（内容完整性 12.6 项 + 内容正确性 11.5 项 + 内容忠实性页级动态项）两层，总计平均 54.1 项；内容正确性和忠实性需要判官拿着材料做核查。第四步是模型生成：在统一默认设置下调用被测模型（NotebookLM、Manus 1.6、Gamma、Doubao、Tiangong、Zhipu、Qwen、PPTAgent v2），要求输出完整 PDF 或 PPTX；超页的输出会被截断以遵守指令约束。第五步是逐项判分：把每条 checklist 单独作为一个 prompt 喂给 gemini-3-flash-preview（一次只判一项），让判官给出 yes/no 答案并附定位证据（哪张幻灯片、哪个数据出错）。第六步是分数聚合：先用公式 $s_i = \frac{1}{N_i} \sum_{j=1}^{N_i} s_{i,j}$ 在每个维度内归一化（$N_i$ 是该维度的核对项数，$s_{i,j} \in \{0, 1\}$），再用公式 $s = \frac{1}{5} \sum_{i=1}^{5} s_i$ 对五个维度求平均得到实例总分；最后跨 238 个实例求均值报告模型表现。

技术新颖性主要体现在四个层面。第一，把"rubric-based evaluation"从图像生成（GenExam、OneIG-Bench）扩展到了长文档多模态生成场景，且把 rubric 拆成了通用层和材料专属层两层架构——这种双层设计在过往的幻灯片基准里从未出现过。第二，引入"页级忠实性核查"机制，把每一张幻灯片作为一个独立的核对项（dynamic 项数随页数变化），相当于把生成任务当作信息检索任务来做精度检查；这与传统的整体评分或单条 reference-based 评分有本质区别。第三，可验证证据（localized evidence）机制：判官必须指出"Slide 8 的 subtitle 写 21 个模型，但 Table 3 列出 19 个"这种具体不一致点，而不是给出模糊的扣分理由；这大幅提升了评分的可解释性和可操作性。第四，对人类偏好的对齐性显著优于现有框架（Spearman ρ 从 0.303 提升到 0.532，逼近人类内部一致性 0.664），这为后续幻灯片研究提供了一个真正可靠的客观评测手段。第五，把"evaluation as item-level verification"的范式与 AP-style exam 设计思路结合，每条 checklist 写成只有 yes/no 的强约束题，让 MLLM 判官的认知负担降到最低，间接提升评分稳定性。

从独立分析的角度看，PresentBench 至少存在四个可改进的弱点。第一，判官单一性问题：所有评测都依赖 gemini-3-flash-preview，如果某个被测模型本身就是 Gemini 系列（同源偏差），评估结果可能失真；改进方向是引入多模型集成判官或多模型投票机制。第二，checklist 的构建完全依赖专家手写，平均每例 54.1 项的标注成本相当高，238 道题累计超过 12,000 条核对项，若要扩展到 1000 道题规模经济性会成问题；改进方向是探索 LLM 辅助半自动 checklist 生成 + 专家校验的流水线。第三，Content Fidelity 的页级检查对 PPT 排版变化极其敏感——如果源材料中的表格横置变成竖置，原本数据点正确也可能因为布局判官无法 OCR 表格数字而被误判；改进方向是为视觉层与数据层解耦，先 OCR/解析图表内容再做忠实性比对。第四，评分粒度仍是 0/1 二元，没有"部分满足"的灰色地带——作者在 prompt 里强制"如果不完全满足必须判 no"，这虽然降低了判官主观性，但也让许多"基本正确但有微小瑕疵"的幻灯片被一刀切扣分；改进方向是允许 Likert 三级或四级评分（完全满足 / 大部分满足 / 部分满足 / 不满足），但需要重新校准人评一致性。第五，基准里完全使用 Gemini 系模型作为判官和图像生成器，对开源社区不友好；改进方向是同时提供开源替代方案（如 Qwen-VL 或 InternVL）作为判官选项。

作者提出的未来方向有三条：扩展到动态演示元素（动画、转场、节奏）、扩展到医疗法律等专业领域、提升自动化验证的精度和鲁棒性。基于本文的成果还可以延伸出若干有意义的方向。第一，可以把 PresentBench 的 checklist 设计模式推广到其他长文档多模态生成任务，如自动海报生成、研究报告生成、教学视频脚本生成等，让整个"AI 办公助手"领域有统一可比的细粒度评测体系。第二，可以基于 PresentBench 的错误案例库（如图 6–9 的"幻灯片说 21 个模型但原文是 19 个"、"Slide 2 黑色背景而 Slide 6 白色背景"等具体失败模式）反向训练专门的纠错模型或偏好数据，形成"基准 → 错误分析 → 训练数据 → 模型改进"的闭环。第三，可以扩展为多轮交互式评测：第一轮先给指令让模型生成，第二轮让模型根据 checklist 自评并修正，第三轮再让判官评分，从而评估模型的"自我反思与修正能力"。第四，可以和 SlidesBench、PPTArena 等基准做联合分析，建立跨基准的元评测（meta-evaluation）框架，研究"在哪个基准上得分高是否真的代表在另一个基准上也好"，避免基准过拟合。第五，可以探索 checklist 的难度自适应机制——根据被测模型的表现动态增减 checklist 难度，实现"对弱模型宽松、对强模型严苛"的标定曲线。

复现评估整体良好但有限制。开源情况：本文项目主页 https://presentbench.github.io 公开，但未在论文中明确标注代码仓库地址；checklist 的设计模板（Listing 1–3）以伪代码形式在附录中给出，指令构造逻辑清晰，便于复用。数据情况：238 道题的素材来自公开来源（顶会论文、公开教材、公开财报、TED 演讲），其中 19 道是中文（清华大学数据结构教材、TED 中文演讲），219 道是英文；但作者没有公开所有源文件的下载链接和清单，复现数据集需要研究者自行查找。算力情况：评测阶段主要调用第三方模型 API（NotebookLM、Manus、Gamma、Doubao、Tiangong、Zhipu、Qwen、PPTAgent v2）以及 gemini-3-flash-preview 作为判官，整体算力需求集中在 API 调用而非本地训练，单实例评估的 API 成本约 50–100 次 LLM 调用（每条 checklist 一次），238 实例总计约 12,000 次调用，开源 PPTAgent v2 加上图像生成需要 GPU 推理。复现难度中等偏高，主要挑战在于：（1）不同闭源产品在不同时间生成的输出可能不一致（同一指令多次跑分会有波动），需要多次取平均；（2）gemini-3-flash-preview 作为判官在 2026 年后可能被新版本替换，评分漂移需要重新校准；（3）238 道题的 checklist 完全手写，重新标注需要专业领域知识，建议直接复用作者给出的模板与统计量（如 54.1 item/instance 的目标分布）作为基准。整体而言，方法论可复现，但完整 benchmark 的复刻工作量不小。