← 返回 2026-07-07

ResearchStudio-Reel:从论文到海报、视频与博客的研究最后一公里自动化 ResearchStudio-Reel: Automate the Last Mile of Research from Paper to Poster, Video, and Blog

Lingao Xiao, Yalun Dai, Yangyu Huang, Qihao Zhao, Wenshan Wu, Hugo He, Ruishuo Chen, Jin Jiang, Qianli Ma, Jiahuan Zhang, Xin Zhang, Ying Xin, Yang Ou, Yan Xia, Scarlett Li, Longbo Huang, Zhipeng Zhang, Yang He, Yap Kim Hui, Yan Lu 📅 2026-07-05 👍 61 2026-07-13 08:37
Agent技能框架 多模态生成 研究传播自动化 论文可视化

用五个技能组合实现论文到海报、视频、博客的自动化生成,支持原生工具编辑和交互式导航。

前置知识

技能框架(Skills Framework)

技能是一种可重用的、有明确接口的软件组件,可以由AI代理调用。在ResearchStudio-Reel中,每个技能(如Paper2Poster)都有一个清晰的输入输出契约,包装确定性的基础操作(如HTML渲染、PDF生成、TTS合成),并通过测量填充循环进行迭代优化。技能运行时(如Claude Code或Codex)负责调度这些技能的执行顺序和错误处理。

论文的核心创新是将研究传播分解为五个技能的组合,理解技能框架有助于把握系统的模块化设计和可扩展性原理。

测量填充循环(Measured-Fill Loop)

一种迭代优化算法,通过离散的类别判决而非连续分数来控制质量。在海报生成中,每个区块的填充比例被量化为五个带:EMPTY(<0.70)、SPARSE(0.70-0.90)、FULL(0.90-1.00)、SPILLAGE(1.00-1.10)、OVERFLOW(>1.10)。循环每次只修改一个区块,直到所有区块都达到FULL带,并配置硬性通过/失败出口门,确保输出质量可预测、可调试。

这是系统替代传统VLM偏好分数的核心技术,理解它有助于把握如何用确定性方法解决布局优化这一本质上不精确的问题。

时间线契约(Timeline Contract)

一种保持视频各元素对齐的数据结构。在ResearchStudio-Reel中,timeline.json将论文的每个部分映射到对应的音频时间窗口、字幕提示、幻灯片帧和视觉提示。这种契约使Paper2Reel可以在视频回放时直接跳转到与海报区块或博客段落匹配的内容,无需通过解析MP4像素来推断边界。

这是系统能够实现海报、视频、博客三者交互式导航的关键数据结构,理解它有助于把握多模态内容同步的技术原理。

边距感知图片裁剪(Column-Aware Figure Cropping)

一种针对学术论文PDF的图片提取技术,能够识别双栏或三栏布局,并为每栏图片计算适当的裁剪边距,避免图片被截断或包含相邻栏的文字。ResearchStudio-Reel采用确定性前缀步骤去除残留元素,然后用视觉AI判断紧凑边界框,通过独立子代理验证器重新检查原始图片与提议裁剪的对比,只有在通过验证后才提交裁剪结果。

这是Paper2Assets中最耗时但也最关键的步骤,理解它有助于把握为什么需要一次提取、多次复用的架构设计,以及如何保证跨工具有效性。

研究动机

研究传播(将论文转换为海报、演讲视频和博客文章)是作者在论文录用后时间最紧张的时期必须完成的任务,目前仍然依赖手工完成。每个产物都有自己的生产流程,涉及图片裁剪、布局设计、旁白撰写和面向不同受众的文本编写,且通常由刚完成camera-ready版本的作者在几天内手工制作。更重要的是,这三个产物也是工业研究实验室的对外传播渠道、研究生课程的每周简报包、以及多语言研究机构进行跨区域推广所需的内容。现有自动化方法存在三个反复出现的问题:第一,孤立提取——每个工具有单独的提取流程,导致跨产物的有效一致性无法保证;第二,单向渲染——输出为不可编辑的PDF、MP4或HTML格式,任何后续修正都需要重新运行生成器;第三,软质量门——使用连续的VLM作为判断器或美学分数,即使某个关键区块为空也会接受一个在偏好量表上得分7.8/10的布局。

本文的目标是本文的目标是将研究传播的最后一公里构建为一个架构问题的解决方案,通过五个技能的组合来一次性从单篇论文PDF生成三种可编辑的传播产物:打印就绪的会议海报、同步的演讲视频包以及双语博客文章。这些产物应该在作者已经使用的原生工具中保持可编辑性(海报和视频用PowerPoint,博客用Word),并通过共享的Paper2Assets包保持跨产物的有效一致性,而非三次重新提取。此外,还要引入Paper2Reel,一个统一的交互式展示格式,将海报、视频和博客绑定到一个可导航的交付物中,使读者可以在海报的区块、匹配的视频片段和匹配的博客段落之间无缝跳转。

与已有工作不同的是,本文的独特切入角度是强调架构上的组合性而非单个产物的质量提升。现有论文转海报、论文转视频、长文档摘要系统各自独立开发,每个系统都重新提取论文内容,导致G1问题;输出为单向渲染的最终格式,导致G2问题;使用软性的偏好分数作为质量门,导致G3问题。ResearchStudio-Reel通过一个共享的提取器(Paper2Assets)解决了G1,通过原生工具的可编辑输出解决了G2,通过硬性的类别判决和通过/失败门解决了G3。更重要的是,它引入了第四个收益点——统一的交互式展示表面,这是现有系统都不具备的。三个技术收敛使这一组合现在变得可行:Claude Code和Codex提供了稳定的技能运行时;确定性基础操作(headless Chromium、LibreOffice + ffmpeg、python-docx)已经足够成熟;Edge TTS已经解决了语音质量瓶颈。

核心方法

ResearchStudio-Reel采用技能组合架构,由五个技能构成:Paper2Assets是共享的上游提取层,Paper2Poster、Paper2Video和Paper2Blog是三个产物生成器,Paper2Reel是交互式聚合层。工作流程是:输入单篇论文PDF,Paper2Assets提取一次生成共享包;三个生成器并行或串行消费这个包,分别生成可编辑的海报、视频和博客;最后Paper2Reel将这三个产物绑定到一个自包含的HTML查看器中。每个技能都包装确定性的基础操作(如HTML→PDF、幻灯片→视频、DOCX编辑),并使用测量填充循环来控制迭代,出口门是硬性的通过/失败而非软性分数。这种设计确保了跨产物的有效一致性(因为共享section ID、figure handles和claim anchors),可编辑性(因为输出为原生工具格式),以及质量可控性(因为使用类别判决而非偏好分数)。

核心创新点在于将研究传播问题重新定义为架构问题,通过组合五个薄层技能而非构建三个独立系统来解决。与现有方法的本质区别在于:第一,共享提取而非重复提取——Paper2Assets提取一次,所有下游技能复用相同的bundle;第二,可编辑输出而非单向渲染——海报输出为HTML+PDF+PNG+可编辑PowerPoint,视频输出为可编辑PPTX+字幕版MP4+无字幕版MP4,博客输出为中英文Word .docx文件;第三,硬性质量门而非软性分数——使用类别判决(如FULL、SPARSE、EMPTY)来控制迭代,出口门是硬性通过/失败;第四,交互式导航表面——Paper2Reel将三个产物绑定到一个可导航的HTML表面,实现区块级别的跨媒体对齐。这些创新使ResearchStudio-Reel成为唯一能一次性输出全部三种可编辑传播产物的系统。

方法步骤详情

方法步骤分为五个阶段。阶段1:Paper2Assets提取。输入论文PDF或arXiv链接,输出共享bundle。步骤包括:提取正文、图片说明,裁剪每张图片(列感知边距);合成元数据(标题、作者、机构、期刊、论文和代码链接);撰写九段式摘要;从Wikimedia获取机构标志,从Wikidata获取期刊标志,渲染二维码;发出规范记录文件。阶段2:Paper2Poster生成。输入共享bundle,输出HTML+PDF+PNG+可编辑PowerPoint。步骤包括:从四个正交轴(列布局、视觉风格、标题栏、底部Scan-to-Read块)组合海报;启动测量填充循环,每个回合测量每个区块的fullRatio,分类为EMPTY/SPARSE/FULL/SPILLAGE/OVERFLOW,应用对应的补救措施(添加段落、润色、删除内容),直到所有区块达到FULL带;渲染为PDF和PNG,从DOM重建可编辑PowerPoint;通过强制交付门检查。阶段3:Paper2Video生成。输入共享bundle,输出video.pptx、video.mp4、video_no_subtitles.mp4。步骤包括:将共享section旁白转换为视频脚本,如果请求目标长度则规划并检查;通过ppt-master工作流生成可编辑幻灯片;生成对齐的音频和字幕;渲染视觉注意力提示;打包时间线契约;通过强制包门检查。阶段4:Paper2Blog生成。输入共享bundle,输出中文文章和英文文章。步骤包括:从共享bundle构建证据映射;撰写语言特定大纲和语气(中文为 restrained public-account register,英文为 neutral research-blog register);选择共享图片集,为每篇文章撰写特定语言说明;组装DOCX文件(嵌入图片、固定字体、固定文件名);通过强制包门检查(事实匹配、图片适配、页面流)。阶段5:Paper2Reel聚合。输入三个产物的v2交付物,输出交互式查看器。步骤包括:读取对齐记录(将poster区块映射到slide目标、视频时间、字幕轨道、博客块);构建HTML查看器(海报优先,双击区块打开同步模态框,左侧视频+右侧博客,支持字幕切换、缩略图搜索、直接视频进度条搜索);通过强制包门检查(浏览器交互验证)。

技术新颖性

技术新颖性体现在四个方面。第一,架构创新——首次将研究传播建模为技能组合问题,通过五个薄层技能的有机组合而非三个独立系统来解决跨产物一致性和可编辑性问题。第二,质量控制创新——用测量填充循环和硬性通过/失败门替代传统的软性VLM偏好分数,使质量可预测、可调试、可复现。第三,输出格式创新——同时输出可编辑PowerPoint(海报和视频幻灯片)和可编辑Word(博客),这是首次在研究传播自动化中实现原生工具往返编辑。第四,交互创新——Paper2Reel实现了区块级别的跨媒体导航,使读者可以在海报区块、视频片段、幻灯片缩略图、字幕轨道和博客段落之间无缝跳转,这是现有系统都不具备的功能。此外,技术实现上还有几个亮点:从DOM重建PowerPoint(保持几何和语义)、边距感知图片裁剪(避免相邻栏文字混入)、时间线契约(无需解析MP4即可实现视频导航)、布局感知DOCX检查(捕获近空白页、孤立尾部、图片缩小等布局问题)。

The ResearchStudio-Reel pipeline
Figure 2: The ResearchStudio-Reel pipeline
The Paper2Poster pipeline
Figure 3: The Paper2Poster pipeline
The staged-fill loop, visualized on the Latent Diffusion Models poster
Figure 4: The staged-fill loop, visualized on the Latent Diffusion Models poster
Paper2Video overview
Figure 5: Paper2Video overview
Paper2Video deliverable showcase
Figure 6: Paper2Video deliverable showcase
Paper2Blog pipeline
Figure 7: Paper2Blog pipeline
Paper2Blog DOCX showcase
Figure 8: Paper2Blog DOCX showcase
Paper2Reel interaction showcase
Figure 9: Paper2Reel interaction showcase

实验结果

在100篇论文的Paper2Poster基准测试上,ResearchStudio-Reel(Claude Code设置)在所有美学和信息子标准上超越了现有的自动化系统和单次前沿LLM,并且在两个保持-out的VLM判断器下在美学上超越了作者自己的海报(3.52 vs 2.94),在84%到93%的论文上赢得了整体分数。具体而言,在美学子标准(Element、Engagement、Layout)上,Claude Code设置达到3.33/3.26/3.97,而作者ground-truth为3.02/2.49/3.31;在信息子标准(Logic、Content、Detail)上,达到4.00/4.00/3.71,而作者ground-truth为3.41/3.80/3.68。PaperQuiz阅读理解测试显示排名与美学排名相反,因为P2P因其全高portrait canvas和高密度文本在Quiz Detail上领先(75.40%),而Paper2Poster tool因其从基准测试的问题-答案提取直接组装内容在Quiz Understanding上领先(95.65%),但这以美学分数接近底部为代价。ResearchStudio-Reel故意在这两极之间取平衡,其测量填充循环将每列打包到目标密度而非耗尽,因此在PaperQuiz上保持竞争力的同时,通过结构化布局和图片放置赢得每个美学子标准。三个单次前沿LLM(Claude-4.8 Opus、GPT-5.5、Gemini-3.1 Pro)形成了比早期海报系统更强的梯队,整体分数约3.4-3.5对比约2.1-3.3,甚至在美学上接近作者baseline,但没有一个匹配测量填充循环。能力审计进一步显示,ResearchStudio-Reel是唯一能从单次运行输出全部三种可编辑传播产物的系统。运营成本方面,从一篇PDF生成全部四个产物包的平均生成器运行时间为89.2分钟, billed tokens为2.6M input / 276K output,但由于大部分是缓存上下文重读(约10%成本),实际美元成本远低于原始token总数。如果作者能提供LaTeX源代码,Paper2Assets可以绕过大部分图片提取工作,显著加快速度。

ResearchStudio-Reel vs. baselines and author ground-truth
Table 1: ResearchStudio-Reel vs. baselines and author ground-truth
Paper2Video capability audit
Table 2: Paper2Video capability audit
Paper2Blog capability audit
Table 3: Paper2Blog capability audit
Per-stage breakdown of the full ResearchStudio pipeline
Table 4: Per-stage breakdown of the full ResearchStudio pipeline
Qualitative ablation study
Figure 10: Qualitative ablation study
查看结构化数据
任务指标本文基线提升
海报生成美学评价 美学平均分(Element/Engagement/Layout,1-5分) 3.52 (Claude Code设置) 2.94 (作者ground-truth) +0.58 (约20%提升)
海报生成信息评价 信息平均分(Logic/Content/Detail,1-5分) 3.90 (Claude Code设置) 3.63 (作者ground-truth) +0.27 (约7%提升)
PaperQuiz阅读理解(Detail) 答案准确率(%) 55.43% 75.40% (P2P) N/A(故意在密度和美学间取平衡)
PaperQuiz阅读理解(Understanding) 答案准确率(%) 90.88% 95.65% (Paper2Poster tool) N/A(故意在密度和美学间取平衡)
整体获胜率 整体分数获胜的论文比例(%) 84-93% N/A N/A

局限与改进

作者承认的局限性包括:第一,评估是代理性的,美学规则和PaperQuiz方向相反,因为更密集的海报赢得理解而更清晰的海报赢得美学,这两个代理都不测量读者是否实际吸收了工作。测量填充循环优化几何密度目标而非理解,所以诚实的下一步是在受控的人类阅读和回忆信号上闭环,而不是在一个更密集的海报总能游戏的代理上。第二,与作者海报的剩余差距是生成性的而非组合性的:因为管道只重复使用论文中已有的图片,它可以在布局上匹配但永远无法绘制人类设计师添加的自定义方法或概览图来承载叙事。缩小这一差距需要忠实的图片合成,这重新引入了类别门旨在抑制的幻觉风险,并将门纪律从布局转移到生成内容的实际内容。第三,管道在图片创建方面仍依赖论文中已有的材料,无法生成原创的可视化(如新的方法图表、解释性图标)。第四,Paper2Video的duration控制依赖于语义重写和有限的语速规划,极端情况下的目标长度可能需要多次迭代。第五,Paper2Blog的双语一致性检查是确定性的(匹配嵌入图片数量、身份、顺序、提取的数字claims、技术术语),但语言本身的流畅性和文化适配需要人工编辑微调。

独立分析的弱点

独立分析的弱点包括:第一,测量填充循环在填充带(FULL, 0.90-1.00)上的收敛可能在某些边缘情况下失败,特别是当离散文本编辑移动区块远超带时,虽然有三个机制(符号像素delta、拒绝重新应用overshot的移动、电路断路器)来抑制振荡,但对于某些非常长或非常短的论文可能需要更多回合或手动干预。改进方向可以是引入更细粒度的量化带或自适应步长调整。第二,从DOM重建PowerPoint虽然保留了几何和语义,但对于复杂的CSS效果(如渐变、阴影、transform)可能无法完美复现,导致PowerPoint导出在某些边缘情况下与HTML版本视觉差异。改进方向可以是增强DOM解析器以处理更多CSS特性,或者提供PowerPoint模板覆盖机制。第三,Paper2Blog的双语文章虽然共享证据映射,但完全分开撰写,可能引入细微的有效性漂移,虽然确定性检查能捕获硬事实不匹配,但语气和流畅性的差异仍需人工审查。改进方向可以是引入跨语言一致性约束或在生成后增加翻译一致性检查。第四,运营成本方面,从PDF生成全部四个产物包的平均时间为89.2分钟,对于需要大量论文的机构来说可能太慢。改进方向包括:优化图片提取管道(特别是视觉AI裁剪步骤)、引入并行执行(三个生成器可以同时运行)、使用更快的模型或减少推理次数。第五,系统目前仅支持论文到三种产物的转换,但研究传播还可能包括其他格式(如社交媒体帖子、InfoGraphic、交互式演示)。改进方向可以是扩展技能框架以支持更多输出格式。

未来方向

作者提出的未来工作方向包括:第一,将评估从代理指标转移到受控的人类阅读和回忆信号,即在真实的人类读者上测量海报、视频、博客的实际理解效果,而非依赖美学规则和PaperQuiz等代理。第二,缩小与作者海报在生成性视觉上的差距,实现忠实的图片合成,如自动生成方法概览图或解释性图标,同时保持类别门对幻觉风险的抑制,这可能需要将门纪律从布局转移到生成内容的实际内容。第三,扩展到更多传播产物格式,如社交媒体帖子、InfoGraphic、交互式演示等,探索任何具有确定性渲染和类别填充门的传播目标是否适合相同的组合模式。第四,优化运营成本,特别是当作者能提供LaTeX源代码时,如何更好地利用源文件加速提取管道。第五,支持更多语言和更多编辑风格,目前支持中英文和两种编辑注册,未来可以扩展到其他语言和文化适配的编辑风格。基于成果可延伸的方向包括:将测量填充循环应用于其他需要精确布局控制的任务(如文档版面设计、UI布局生成);将时间线契约应用于其他需要多媒体同步的场景(如在线课程生成、交互式教程制作);将共享提取器架构应用于其他需要多产物一致性的场景(如从代码自动生成文档、教程、示例)。

复现评估

复现评估方面,论文提供了项目页面(https://aka.ms/ResearchStudio),但没有明确说明代码是否开源、数据是否公开、模型权重是否共享。评估在Paper2Poster基准(100篇论文)上进行,使用两个保持-out的VLM判断器(claude-opus-4.8和gpt-5.5),复现相同条件下的评估需要访问这些模型。论文提供了详细的per-stage成本分析(Table 4),平均时间为89.2分钟,tokens为2.6M input / 276K output,但由于大部分是缓存上下文重读,实际成本较低。复现难度取决于是否有访问Claude Code或Codex技能运行时的权限,以及是否能获得相同的底层模型(claude-opus-4.8、gpt-5.5)。确定性基础操作(headless Chromium、LibreOffice + ffmpeg、python-docx)都是开源或广泛可用的,技术门槛较低。整体而言,如果有访问技能运行时的权限和相同的模型,复现应该相对直接,但如果没有这些权限,复现会很困难。论文没有提供消融实验的代码或配置,但消融结果已经在Table 1中呈现(技能框架的贡献 vs 模型的贡献,不同harness和模型的对比)。