RAP：基于人工海报范例声明式标注的论文转海报生成数据集 RAP: A Dataset for Paper-to-Poster Generation via Declarative Markup from Human-Crafted Exemplars

数据收集：从 OpenReview 获取论文 PDF/LaTeX、海报文件与元数据，配对得 25,435 对，附 15 领域/20 任务/39 方法分类标签与引言摘要。反渲染四阶段：阶段一微调 LayoutLMv3 检测元素并归入文本类/图像类/装饰类；阶段二对文本框跑 PaddleOCR 并按行分组，以 font_size = (h_bbox / n_lines) × 0.8 估计 CSS 字号；阶段三 MLLM 仅看原图，输出调色板等全局属性与九个区域级设计维度；阶段四程序化生成绝对定位 HTML 脚手架，MLLM 读图回填文本与 CSS。PosterRAG：ParserAgent 解析论文，检索级联依次做分类过滤、叙事匹配、美学评分（三个 1–5 维度，无偏好取中点）选出模板，MappingAgent 确定性回填槽位，ReviewerAgent 迭代修图。后训练：构造 $X_{\text{paper}}$ 与 $X_{\text{instruction}}$ 两路输入，先 SFT 再 GRPO，奖励 $R_i = g(H_i)[\lambda_r R_{\text{rule}}(H_i) + \lambda_v R_{\text{vlm}}(I_i, I^\star)]$，$\lambda_r{=}0.4$、$\lambda_v{=}0.6$，规则奖励查布局裁切重叠、密度与资产引用，模型奖励评渲染质量与参考相似性。

新颖性体现在四个层面。任务层：首次将论文转海报确立为输出可大规模验证的视觉编码基准，把评测范式从 VLM 主观打分改为渲染-对比的客观度量，解决了可复现性问题。表示层：反渲染产物不是扁平 HTML，而是带设计描述与类型槽位的声明式标记，'槽位'抽象使内容替换与样式保持可以解耦，这是 MappingAgent 能零损伤继承人类设计的前提，也是与 P2PInstruct 模型合成 HTML 的根本分野。监督层：RL 奖励中的 $R_{\text{vlm}}$ 直接以参考海报 $I^\star$ 为条件，把数据集本身变成可验证奖励的供给方，属于参考引导的 RLVR 在文档级设计任务上的少见应用；规则奖励则利用渲染 DOM 的确定性测量（裁切、重叠、密度）防止模型删内容或缩字体的投机行为。实证层：消融证明 HTML 引导显著优于图像引导（FID/FDiD 从 77.11/1267.84 降至 23.75/306.79，DINOv2-CosDist 从 0.0877 升至 0.4443），说明声明式结构本身携带了关键的设计约束信息，而不只是内容的载体。

弱点一：反渲染误差级联。布局检测 mIoU 只有 0.69，检测错误的框会固化为错误槽位，而 PosterRAG 的设计原则恰恰是'不改布局'，于是会原样继承这些缺陷。改进方向：在反渲染阶段加入渲染反馈的自修复循环，或对同一海报生成多个重建候选并做一致性筛选。弱点二：模板检索是整张单选而非区块组合，当论文内容与任何模板的版式容量都不匹配时（例如图表数量差异大），MappingAgent 只能硬塞或删除内容。改进方向：支持跨模板的区块级拼装，或学习模板间的布局插值。弱点三：领域封闭。三级分类限定在 15 个 ML 领域，检索级联第一步就是分类过滤，面对医学、社科等论文时会直接失效。改进方向：开放词表检索，或先做跨领域模板的对比预训练。弱点四：评测缺少内容忠实度维度——生成海报里的结论、数字是否真的来自输入论文，目前只靠 VLM 奖励里的 faithfulness 项间接约束，而科学传播场景里这比美观更关键。改进方向：增加基于论文全文的自动事实验证指标。

作者提出的方向：进一步提升反渲染质量，使重建结果更接近像素级真值；扩展 RL 奖励中模型评估的维度覆盖；对指令条件生成做更细粒度的用户偏好建模。基于成果可延伸的方向：其一，把 RAP 从静态数据集升级为'设计检索即服务'，同一'长文压缩到固定画布'的表示可直接迁移到论文转幻灯片、转信息图、转封面图等同构任务；其二，利用数据收集时已经获取的 LaTeX 源码做矢量级反渲染，绕过光栅检测的误差下限；其三，把 PosterRAG 的确定性回填与后训练模型组合成混合系统——检索定骨架、模型填细节并做局部重排，可能同时吃到免训练管线的分布相似性和训练模型的指令遵循能力；其四，在 RL 之外引入人类偏好对齐（如以可读性评分构造 DPO 数据），直接优化人眼阅读体验；其五，把 150 篇基准扩展为随会议年度滚动更新的常设评测榜，配合渲染验证维持长期客观性。

复现条件较好但成本不低。开源情况：论文承诺发布数据集、反渲染管线、代码库与在线演示（reconstruct-a-poster.github.io），25,435 对三元组、三级分类标注与 150 篇测试集是核心资产。算力与费用需求：反渲染 2.5 万张海报依赖 Claude-Opus-4.6 级别的 MLLM，每张至少经历布局、描述、重建三次以上强模型调用，API 成本按数据集规模线性增长；后训练需要在 Qwen3.8-27B 上做 SFT 加 GRPO 采样与渲染，需多卡集群，且 VLM 奖励还要持续调用 Gemini-3.8-Flash。难度评估分两档：下游使用者复现 PosterRAG 只需检索与确定性回填，无训练成本、门槛低；要复现 RL 部分则需重写规则奖励的 DOM 测量逻辑（裁切、重叠、覆盖率、资产校验），工程量中等，且奖励超参（$\lambda_r = 0.4$、$\lambda_v = 0.6$）未必迁移友好。整体上，渲染-对比验证天然确定、可重复，是该工作最利于复现的设计选择。