Spark-to-Paper：将端到端研究论文生成实现为可组合技能

用13个可组合技能在编程助手中端到端生成论文，8.1美元、3.2小时一篇

前置知识

编程助手与技能

Claude Code、Cursor 等编程助手天然具备读写项目文件、执行代码、搜索信息、调用外部工具的能力。"技能"（skill）是以自然语言规范定义的任务单元：规定该任务要达成什么、满足哪些约束、可使用哪些工具、应产出哪些工件文件，但不规定每一步推理路径，具体执行由助手根据当前项目状态自行决定。

本文的整个系统就是13个这样的技能，共享一个项目目录、以文件为接口协作，读懂技能形态才能理解其"无需独立智能体平台"的核心主张。

检索增强生成（RAG）

生成前先从外部来源检索相关资料，再让模型基于检索到的内容写作，是缓解大模型幻觉的标准手段。典型流程是查询构造、检索、把命中文档拼入上下文、生成并引用。

本文的引用阶段本质上是 RAG 的"检索后验证"特例：先检索候选文献，再用 DOI、arXiv 编号等书目元数据逐条核实，而非凭模型记忆编造参考文献。

自我批判与对抗审查

让语言模型批判自己的输出并据此修订的技术，代表工作有 Reflexion 和 Self-Refine：生成—批评—修订循环反复进行以提升质量。对抗式审查进一步用多路独立视角专门挑毛病，问题需定位到具体证据才被接受。

本文把自我批判分为局部 Self-Review 与全文级 Adversarial Review 两层，并用三方核查（问题是否存在、是否已解决、是否超范围）过滤伪问题，是理解其质控栈的关键。

预注册

源自实证科学的规范：在看到实验数据之前，先公开固定研究假设、数据集、指标和分析方法，防止事后挑选结果或修改协议来"凑显著"。它把"设计实验"与"报告结果"在时间上强制分离。

本文把这一思想搬进生成流水线：结果表格的结构与列名在实验执行前先固定、数值留空，系统只补齐证据缺口，这是其防编造数据的核心机制。

矢量图与位图

位图（如 PNG）是像素栅格，放大模糊、文字形状不可编辑；矢量图（如 PDF/SVG）以几何对象和文本描述图形，可无损缩放且每个元素可单独编辑，是出版级图表的标准格式。

本文把"可编辑矢量图"作为一等产出：实验结果图由代码直接绘制成矢量 PDF，示意图则由图像模型出视觉目标后再用代码重建为可编辑矢量，这是与先前系统（可编辑率仅0%–3%）的最大差异之一。

研究动机

现有自主科研代理（AI Scientist/v2、Agent Laboratory、Kosmos/Robin、AutoResearchClaw、CycleResearcher 等）已能自动完成构思、实验、写作甚至自我评审的全流程，但它们都以独立应用形态发布：自带编排服务器、图数据库或调度器等常驻基础设施，与科研工作实际发生的编码环境割裂，部署维护成本高。另一类技能型写作助手（Idea2Story、ARS）虽轻量免运维，却止步于文献检索、大纲和草稿，既不执行真实实验，也不产出可编辑图形。质量层面的问题同样具体：单次 LLM 草稿（同一 Claude 骨干）的引用有效率仅约81%，先前自主系统公开论文的引用有效率在91%–96%之间，而这些论文中的图形几乎全是内嵌位图，可编辑元素占比仅0%–3%；作为参照，人类预印本为97.8%与58%。此外，长程生成中还存在一种未被命名的失败模式：系统反复用新实验否定自己的原始假设，无限修订同一方向而不收敛。

本文的目标是本文想回答一个简单但未被验证的问题：端到端的研究论文生成——从想法到带真实实验、出版级图形的完整论文——能否作为一组可复用技能实现在现有编程助手内部，而不需要独立智能体平台或编排服务？在此形态下还要达成三个可度量的质量目标：引用有效率接近乃至超过人类预印本水平；图形以可编辑矢量形式产出（可编辑率90%以上）；通过确定性门禁加分层自我批判，把注入的不可支撑断言检出率从单次草稿的14%提升到90%以上，同时把单篇成本与耗时控制在约8美元、3小时量级，并诚实保留失败的研究轨迹。

与已有工作不同的是，既有工作占据两极：要么自动化更完整但需要常驻基础设施，要么轻量免运维但只覆盖写作切片。本文的独特切入是把"模型判断"与"确定性执行"显式分离，让项目目录中的工件文件成为技能之间的唯一接口，从而把重量级系统的能力装进轻量级宿主。在此之上叠加三个此前没有的设计：一是实验规划与结果报告分离，在流水线内部实现轻量预注册，所需证据在观察结果前先固定；二是确定性完整性门禁与长程自我批判分层组合，并首次命名和封顶"自我反驳循环"这一失败模式，失败的轨迹被写成失败报告而非强行改写成成功论文；三是按角色区分图形生成——测量结果图由代码直接从数据绘制，方法示意图先由图像模型生成视觉目标、再用代码重建为可编辑矢量PDF。

核心方法

直觉上，Spark-to-Paper 把一篇论文的生产拆成13个共享同一项目目录的技能：轻量流水线只规定任务顺序，底层编程助手根据项目状态决定每步怎么执行，模型负责需要解释与推理的判断，确定性脚本负责可显式检查的操作。论文实现跑在 Claude Code 与 Claude 系模型上，但设计不绑定该宿主。流程分三段：Stage 0 输入路由——判断输入是短想法（先经 idea2story 扩写为结构化提案）、成稿提案还是带测量数据，并选择完整性模式：Proposal Mode 下未观测结果必须留空，Data-Aware Mode 下定量陈述必须可溯源到数据；Stages 1–7 核心流水线——规划（产出论文蓝图）、引用（经 DOI/arXiv 元数据验证后写入 BibTeX）、写作（生成完整 LaTeX 稿）、精炼（全文级修订并重跑门禁）、评审、图形生成、组装编译；Stage 8 条件触发——执行真实实验，把测量证据回写并修订摘要、引言、结论中的断言。全系统平均消耗11.9M tokens、每篇8.1美元、3.2小时。

核心创新是"证据先行"的生成方式与双层质控栈，与既有系统的本质区别有三。其一，实验规划与报告分离：结果表格在看到任何数据前先固定结构与列名、数值留空，形成流水线内的轻量预注册；实验阶段只执行补齐证据缺口的最小实验集，任何数值进入论文必须能溯源到数据集、配置、随机种子、指标和源输出；执行后每个断言被标注为 SUPPORTED、PARTIALLY-SUPPORTED、UNSUPPORTED、CONTRADICTED 或 NEEDS-CONFIRMATION，相应保留、弱化、删除或移入局限，阴性结果被保留而非隐藏。其二，判断与执行分工：结构、引用、编译、结果完整性等可显式验证的属性交给确定性门禁，每阶段通过才放行；论证是否充分等语义判断交给局部 Self-Review 与全文级 Adversarial Review，后者每个问题必须引用具体段落并经三方向核查——是否真实存在、是否已在别处解决、是否超出范围——被驳倒的丢弃，幸存的回流修订。其三，识别并封顶自我反驳循环：实验—批判—修订循环最多7轮，仍无法支撑假设的轨迹终止并写成失败报告，系统换新想法重启，而非强迫每个方向都成功。

方法步骤详情

完整流程：Stage 0 输入路由——短想法先经 idea2story 扩写为结构化提案，再判定有无真实实验结果，选择 Proposal Mode（不可得数值留空）或 Data-Aware Mode（定量陈述须有数据支撑），该模式向后续所有阶段传播。Stage 1 规划：输入提案与目标会议模板规范，产出含研究问题、贡献、章节结构、记号与实验设计的论文蓝图。Stage 2 引用：围绕蓝图检索文献，用 DOI、arXiv 编号等元数据逐条验证，写入 BibTeX。Stage 3 写作：依据蓝图与书目生成全部 LaTeX 章节，共享项目上下文保证术语记号一致。Stage 4 精炼：以全文为单位消除重复、统一术语、对齐模板篇幅，重跑确定性检查。Stage 5 评审：多路隔离审查技术可靠性、实验设计与证据强度，问题定位到段落并经三方向核查，幸存问题回流 Stage 4 直至无新问题。Stage 6 图形：测量结果图由绘图代码直接从数据导出矢量 PDF；示意图先由图像模型生成栅格视觉目标，再在 HTML 中迭代重建、渲染比对，收敛后导出可编辑矢量 PDF。Stage 7 组装：合并章节、书目与图形，编译并机检无未解析引用。Stage 8 实验：执行最小必要实验集，产出日志、指标、表格与图形，断言按证据分类并跨章节传播修订。

技术新颖性

技术新颖性体现在系统形态与内部机制两层。形态上，它是首个以可组合技能形式跑通"真实实验+可编辑图形"全流程的工作：表1显示 AI Scientist/v2、Agent Laboratory、AutoResearchClaw 等端到端系统均需独立应用与常驻基础设施，Idea2Story、ARS 虽免运维却不跑实验、不可出可编辑矢量图，Spark-to-Paper 在端到端、跑实验、画图、可编辑矢量、无常驻基础设施五个维度上同时取满。机制上，五项设计均为对长程生成可靠性的新工程化贡献而非单点算法改进：流水线内轻量预注册式实验设计；断言五级证据分类及跨章节一致性传播；确定性门禁与模型自我批判的分层组合（可验证属性用程序、语义判断用模型）；自我反驳循环的首次命名、7轮封顶与失败报告机制，把失败轨迹保存为一等研究产出；以及"图像模型出视觉目标、代码重建为可编辑矢量"的双路径图形管线，使图形可编辑率达到96.4%，而对照系统最高仅3%。

**Figure 2**: Overview of Spark-to-Paper execution. Stage 0 selects the result-integrity mode, Stages 1–7 coordinate through persistent project artifacts, and conditional Stage 8 writes measured evidence back into the manuscript

**Figure 3**: Integrity and correction in Spark-to-Paper. Deterministic gates enforce verifiable properties, Self-Review and Adversarial Review challenge semantic decisions, and surviving issues trigger revision

**Figure 4**: Role-aware editable figure generation. Measured results follow deterministic plotting to native vector PDF, whereas explanatory content uses a raster visual target followed by iterative HTML reconstruction and vector export

实验结果

主实验在8个预登记主题上（引用用管线外书目服务事后验证）：引用有效率99.5%（384条，聚类bootstrap区间[98.4, 100]），图形可编辑率96.4%（约1900个真值元素，[92.7, 98.6]），平均11.9M tokens、8.1美元、3.2小时。对照：人类预印本97.8%[94.6, 99.4]与58%[44, 71]；AI Scientist 93%（42/45）、可编辑0/210、约10–15美元、12小时/批；AI Scientist-v2 91%（58/64）、3%、约20–25美元/次；Agent Laboratory 96%（27/28）、0/30、2.33美元、19分钟；同骨干单次草稿引用仅81%（76–86）、0.11M tokens、0.66美元、16分钟。消融（36个注入探针、十大失败家族，Wilson 95% CI）：单次草稿检出14%（5/36），加门禁69%（25/36，+8.1M tokens、+5.3美元），加自我审查81%（29/36，+1.1M、+0.6美元），全栈92%（33/36，+2.6M、+1.6美元）；对抗评审精度74%（42/57）。案例研究注入错误先验：临床筛查提案误设 Accuracy 为主指标，系统在0.049阳性率下证明 Accuracy≈0.95 而 F1 趋近0、二者均有欺骗性，isotonic 校准把 ECE 从0.184降至0.015；负荷预测中注入"因果分解更优"的先验，实测 VMD-GRU 24.1 RMSE、CALM 26.0 RMSE（$R^2 = 0.906$），系统以证据推翻了用户预期。

**Table 1**: Qualitative capability comparison against directly related systems, based on each system's own public documentation as of this writing

**Table 2**: Evaluation dimensions and corresponding measurements used to assess the quality and generation efficiency of Spark-to-Paper

**Table 3**: Main comparison of Spark-to-Paper with human-written preprints, prior autonomous research systems, and a single-pass LLM baseline across artifact quality and generation efficiency metrics

**Table 4**: Ablation study of the Spark-to-Paper quality stack, showing the contribution and incremental cost of gating, self-review, and adversarial review

**Figure 5**: Page, reference, and figure counts for the end-to-end papers documented in the project's own showcase materials. Self-reported by the system's maintainers, not an independent measurement

**Figure 6**: Case study on two different domain demo papers with only one short proposal as inputs, incorrect expectations are highlighted by Bold and Underline text

查看结构化数据

任务	指标	本文	基线	提升
端到端论文生成·引用质量	引用有效率（可解析引用/总引用）	99.5%（384条，区间[98.4, 100]）	单次 LLM 草稿 81%（76–86）；人类预印本 97.8%；AI Scientist 93%；Agent Laboratory 96%	较单次草稿提升约18.5个百分点，超过人类预印本水平
出版级图形产出	图形可编辑元素占比	96.4%（约1900个真值元素，[92.7, 98.6]）	AI Scientist 0%（0/210）、AI Scientist-v2 3%、Agent Laboratory 0%、人类预印本 58%	约为人类预印本的1.7倍，先验自主系统几乎全为位图
不可支撑断言检出（36个注入探针、十大失败家族）	Fabrication detection	92%（33/36，全栈，Wilson 95% CI [78, 97]）	单次草稿 14%（5/36）；仅门禁 69%；门禁+自我审查 81%	较单次草稿提升78个百分点
对抗评审质量（60条抽样评审意见）	评审精度（可验证问题/提出问题）	74%（42/57，剔除3条无法判断）	n/a（该指标仅对含评审阶段的配置有定义）	表明多数评审意见对应可独立验证的真实问题而非伪批判
生成效率	单篇成本与耗时	8.1美元、3.2小时、11.9M tokens	单次草稿 0.66美元、16分钟；AI Scientist-v2 约20–25美元、≤15小时	比同类自主系统更便宜更快，但比单次草稿贵一个数量级（质量换效率）

局限与改进

作者承认的局限：质量与效率权衡明显，全栈比单次草稿贵约12倍、慢12倍；消融的 token 与成本增量只在3个配对主题上测量，与8主题的总体均值不完全可比；图形可编辑率按设计排除了有意栅格化的图；对抗评审精度74%意味着约四分之一提出的评审意见是伪问题，会消耗修订轮次；断言级证据诊断目前由模型完成并记录在结构化报告中，未完全机器化；表1的定位对比是作者基于各系统公开文档的主观序数评估，作者自己承认不是实测基准。我自己的观察：全部实验只在8个主题、单一 Claude 骨干与 Claude Code 宿主上进行，跨模型、跨宿主的鲁棒性完全未验证；7轮自我反驳循环上限是经验设定，论文未给出敏感性分析；fabrication 检测用人工注入探针而非自然发生的错误，可能高估真实写作场景的检出表现；人类预印本参照仅8篇320条引用，样本很小；整个评估缺少领域专家对成稿科学贡献质量的盲评（如真实或模拟同行评审得分），现有指标度量的是"形式正确"而非"科学价值"。

独立分析的弱点

弱点一：强绑定专有宿主与模型（Claude Code + Claude 系模型），论文声称设计不绑定但零验证，迁移到开源模型后门禁通过率与评审精度可能显著退化，改进方向是在至少一个开源骨干上复测92%的检出率是否保持。弱点二：确定性门禁是最大的成本项（+8.1M tokens、+5.3美元，占消融增量成本大头），因为每阶段后全量重跑，可改为增量门禁，只在内容实际变更处触发相关检查。弱点三：对抗评审74%精度意味着26%的伪问题白白消耗精炼轮次，可引入按历史命中率的评审员加权或轻量预过滤模型先筛一遍。弱点四：7轮封顶后失败的轨迹只产出一份失败报告，其消耗的整条管线成本被沉没，改进方向是把失败报告建成可检索的向量库，新想法立项前先检索近似失败历史，避免重复踩坑。弱点五：图形重建"不可靠则回退栅格"缺乏量化阈值与失败率报告，用户无法预知拿到的是矢量还是位图，应公开重建成功率统计。弱点六：整个质控栈只保证形式与证据链正确，无法评估工作的新颖性与科学重要性，可加入与外部最新文献的自动对比或抽样人类科学家评审作补充信号。

未来方向

作者提出的方向：把技能设计推广到其他具备同等能力（文件交互、工具调用、代码执行）的编程助手；用更大规模的模板集检验跨模板鲁棒性（当前指标为成功模板数/支持模板数）。基于其成果可延伸的方向：把失败报告库发展成可检索、可复用的"负结果知识库"，辅助人类与系统的立项决策；将确定性门禁扩展到统计规范性核查（随机种子、方差报告、显著性检验的自动验证）；引入人类在环接口，在断言被降级为 UNSUPPORTED 或 CONTRADICTED 时通知作者并征求决策；把"图形—正文一致性"的视觉批判扩展到公式推导的符号核查；用真实投稿与外部同行评审流程检验成稿质量；研究11.9M token 成本随论文规模、领域和实验复杂度的伸缩规律；开源36个注入探针语料，推动 fabrication 检测成为可比较的公开基准。

复现评估

可复现性总体中等偏上。论文给出公开仓库（github.com/Spark-To-Paper-Skills/spark-to-paper-skills），系统本体是技能提示词与确定性脚本的集合，跑通的硬件门槛很低，主要依赖是需要 Claude Code 访问与 Claude 系模型的订阅或 API；成本可按论文数字预估，全栈平均11.9M tokens、8.1美元/篇、3.2小时，消融还给出了各组件的边际成本（门禁+8.1M tokens/+5.3美元、自我审查+1.1M/+0.6美元、对抗评审+2.6M/+1.6美元）。评估方法学的可信度较高：主题集、模型配置与判据在生成前以外部时间戳预注册，引用有效率用管线外的书目服务事后验证而非复用管线内检查。障碍有三：8个研究主题与36个注入探针的完整语料是否随仓库公开未明确说明；对 AI Scientist 等对照系统的数字来自其公开产物审计而非统一重跑，无法对齐骨干、主题与定价环境；图形可编辑率需要约1900个真值图形元素标注，第三方复建该标注有实际工作量。总体判断：复现系统行为容易，逐项复现评估数字中等偏难。

Spark-to-Paper：将端到端研究论文生成实现为可组合技能 Spark-to-Paper: End-to-End Research Paper Generation as a Composable Skill