论文重构评估：评估 AI 撰写论文的展示质量与幻觉问题

首个系统性评估 AI 写作代理的框架，从展示质量和幻觉两个维度量化 AI 撰写科学论文的能力与风险。

前置知识

Rubric Evaluation

评分表评估是一种结构化的评估方法，为评估对象预定义一套评分标准和描述，每个评估维度给出明确的评分细则和等级划分。在论文评估中，评分表为每个章节预先生成关键要素列表，每个要素对应具体可验证的内容点（如'问题动机：改进视觉-语言模型的推理能力'），评估者根据生成内容对这些要素的覆盖程度进行1-5分评分：5分表示内容完整准确描述；4分表示核心思想存在但细节缺失；3分表示部分描述但有重大空白；2分表示仅有表面提及；1分表示完全缺失。

论文的评估方法依赖于评分表进行细粒度的多维度质量评估，理解评分表评估机制对于理解如何量化 AI 写作表现至关重要。

Agentic Evaluation

代理评估是指使用具有工具调用能力的 AI 代理进行自动化评估的过程。与单纯的LLM-as-a-judge不同，代理评估允许评估者访问原始文档资源（如LaTeX源码、代码库、图表文件等），并通过工具调用（如Read、Grep等）进行事实核查。论文中的幻觉检测采用两阶段代理评估：第一阶段由LLM提取所有可验证声明并分类为Supported、Neutral或Contradictory；第二阶段由编码代理访问原始论文资源重新审查被标记为矛盾的声明，能够纠正误判并减少假阳性。这种设计既降低了计算成本（只需要一次代理调用），又提高了评估准确性。

论文的幻觉检测采用两阶段代理评估，这是检测 AI 生成内容中事实错误的核心机制，理解代理评估对于理解如何系统性地识别幻觉非常重要。

Diffusion Model Optimization

扩散模型优化是指在推理时通过优化扩散过程的初始噪声来实现可控生成，而不修改模型权重。给定预训练的扩散模型 $\omega$ 和目标目标函数 $\mathcal{L}$，可以通过求解 $z_T^* = \arg\min_{z_T} \mathcal{L}(\hat{x}_0(z_T))$ 来找到最优初始噪声，其中 $\hat{x}_0(z_T) = \text{Denoise}_\omega(z_T, c)$ 是从噪声 $z_T$ 通过完整反向扩散过程生成的样本。梯度通过整个去噪链反向传播到初始噪声，使得任意可微分的约束可以在推理时施加。这种方法的关键优势是完全不需要重新训练，可以快速适应新的约束条件。

虽然这篇论文的主要贡献不是扩散模型优化，但论文中引用的对比方法使用了噪声优化技术，理解这一概念有助于理解相关工作背景。

Paper Reconstruction

论文重构是指从一个压缩的表示（如研究概述）和最小资源（如图表、表格、参考文献、代码）重建完整论文的过程。这种评估方式的核心思想是将 AI 写作能力与外部依赖（如文献检索、实验设计）解耦，专注于评估核心写作能力。重构任务相当于现有 AI Scientist 系统中的写作组件，如果代理能够可靠地重建高保真度的论文，就表明其写作能力强。通过与原始论文的直接比较，可以精确评估生成内容的质量和准确性。

论文重构是 PaperRecon 框架的核心评估方式，理解这一概念对于理解整个评估框架的设计原理和工作流程至关重要。

研究动机

近年来 AI 工具特别是编码代理的快速发展使得自动化研究过程成为可能，但同时也引入了新的风险。已有 AI 撰写的论文被提交到学术会议的案例（Liang et al., 2025; ICLR Program Chairs, 2025; Neubig, 2025），这种趋势随着 AI Scientists 的快速发展而加剧。现有评估 AI 写作能力的方法存在严重缺陷：使用 AI 审稿人评估论文质量倾向于给含有严重捏造内容的论文更高分数；已有的幻觉研究仅限于表面问题如引用错误或个别幻觉案例，无法进行系统性评估。更重要的是，现有方法未能将写作质量分解为独立的维度进行精确评估。

本文的目标是本文的目标是建立第一个系统性的评估框架来量化现代编码代理撰写科学论文的质量和风险。该框架需要能够同时评估两个正交维度：展示质量和幻觉。展示质量评估应能衡量生成论文是否忠实保留了原始论文的关键要素；幻觉评估应能精确识别生成内容中的事实不一致和捏造。此外，该框架需要能够跟踪模型进步带来的写作能力提升，为研究社区提供可靠的风险评估工具。

与已有工作不同的是，本文的独特切入点是采用论文重构的评估范式：从一个现有论文创建压缩的研究概述，然后要求代理基于这个概述和最小资源重建完整论文，最后将生成的论文与原始论文进行对比评估。这种方法的核心优势是能够通过直接对比实现精确评估，并将写作质量分解为展示和幻觉两个独立维度。与现有方法（如AI审稿人评估或简单的引用错误检测）不同，PaperRecon不仅评估论文是否可接受，还量化了具体的质量维度和错误类型，为理解 AI 写作的风险提供了细粒度的洞察。

核心方法

PaperRecon 框架采用论文重构的评估范式，首先将现有论文压缩为结构化摘要，保留仅包含动机、方法和关键实验结果的核心信息。给定这个压缩表示以及其他最小资源（图表、表格、参考文献、代码），代理被要求重建原始论文。这种从最小输入生成论文的工作流程相当于将现有 AI Scientist 系统的写作组件隔离出来进行评估。如果代理能够可靠地重建高保真度的论文，就表明其写作能力强。该框架将写作质量分解为两个正交维度进行评估：展示质量使用评分表评估，幻觉通过基于原始论文来源的代理评估进行检测。

核心创新点是将论文写作能力的评估转化为论文重构任务，并通过两阶段的细粒度评估框架同时量化展示质量和幻觉。与现有评估方法的本质区别在于：首先，重构范式将写作能力与外部依赖解耦，专注于核心写作能力；其次，评分表评估比单纯的 LLM-as-a-judge 具有更强的判别力，能够精确衡量生成内容对关键要素的覆盖程度；第三，两阶段的幻觉评估既降低了计算成本，又提高了评估准确性，96%的检测到的主要矛盾声明确实是真正的幻觉；最后，该框架能够准确跟踪模型进步带来的写作能力提升，为研究社区提供可靠的进步指标。

方法步骤详情

PaperRecon 的完整流程包括四个主要步骤。第一步是输入准备：从每个原始论文提取研究概述、图表、表格、参考文献和代码。第二步是论文生成：代理基于这些输入重建完整论文，采用简单的写作管道包括编译反馈循环和页数限制调整。第三步是章节分类和匹配：从 GT 和生成的LaTeX文件提取所有章节，将其映射为七个公共类别，无法通过关键词规则分类的章节由 LLM 分类，多个原始章节映射到同一类别时进行合并。第四步是多维评估：展示评估使用预构建的评分表，LLM 评判者基于1-5分评估每个评分要素的覆盖程度，同时评估图表和表格的使用；幻觉评估采用两阶段声明级分析，第一阶段由 LLM 提取所有可验证声明并分类，第二阶段由编码代理重新审查 Contradictory 声明；引用级别评估通过比较 GT 和生成论文的引用键计算精确率、召回率和 F1 分数。

技术新颖性

本文的技术新颖性体现在多个方面。首先，论文重构评估范式是首次将 AI 写作能力的评估转化为可精确量化的重构任务，通过直接与原始论文对比实现了前所未有的评估精确度。其次，两维度解耦评估设计突破了现有评估方法的局限，使得同时量化写作质量和事实准确性成为可能。第三，细粒度的评分表评估针对每个章节预构建具体的评分要素，包括文本、图表和表格三个层面，比传统的 LLM-as-a-judge 具有更强的判别力（人类验证显示 Kendall's tau_b = 0.578, p < 0.001）。第四，两阶段幻觉评估设计在降低计算成本的同时实现了高精度（96%的检测矛盾声明确为幻觉），有效平衡了效率和准确性。最后，PaperWrite-Bench 基准由51篇2025年后发表的顶级会议论文构建，覆盖了计算机视觉、自然语言处理、机器学习和多媒体处理等多个领域，为全面评估现代写作代理提供了多样化的测试平台。

**Figure 1**: Paper Reconstruction Evaluation. Given minimal resources derived from a original paper, a coding agent reconstructs the full paper. The generated paper is then compared with the original paper to evaluate writing performance along two complementary axes: presentation quality and hallucination.

**Figure 2**: Overview of PaperRecon evaluation pipeline. Our evaluation compares generated papers against GT (original) papers along two complementary axes: Presentation evaluation with rubric and agentic hallucination evaluation.

实验结果

实验揭示了一个清晰的质量-幻觉权衡。Claude Code 在展示质量上优于 Codex：Claude Code Sonnet 4.6 的平均评分表分数为3.86，而 Codex GPT5.4 为3.59。然而，Codex 在幻觉控制上显著更好：Codex GPT5.4 每篇论文平均产生约3个幻觉，而 Claude Code Sonnet 4.6 产生超过10个幻觉。具体到各章节，Claude Code 在所有章节都取得了更高的展示分数。幻觉分析显示，Method 章节是幻觉最严重的区域，其次是 Experiment 章节。人类验证证实评分表评估与专家人类判断高度一致，幻觉检测的精确率达到96%。不同研究领域的表现有差异：NLP 会议的表现最高，这可能是因为 NLP 论文更注重发现型研究，数学公式和方法的复杂性较低。研究概述长度的影响分析显示，更详细的概述带来更高的展示分数和更少的幻觉。

**Table 1**: Presentation evaluation. Rubric evaluation scores by model and section (1–5 scale). We observe that Claude Code achieves higher presentation quality than Codex.

**Table 2**: Hallucination evaluation. Each score represents the average number of hallucinations per paper in each section. We observe that Codex produces fewer hallucinations than Claude Code.

**Table 3**: Citation evaluation scores.

**Table 4**: Effect of research overview length. Comparison of default vs. long research overview as input to the writing agent.

**Table 5**: Analysis by paper type. Evaluation results grouped by conference type.

查看结构化数据

任务	指标	本文	基线	提升
展示质量评估	平均评分表分数（1-5）	Claude Code Sonnet 4.6: 3.86	Codex GPT5.4: 3.59	+0.27 (+7.5%)
幻觉检测	每篇论文平均幻觉数	Codex GPT5.4: 3.0	Claude Code Sonnet 4.6: 10.4	-7.4 (-71.2%)
引用评估	引用 F1 分数	Claude Code Sonnet 4.6: 0.67	Codex GPT5.4: 0.56	+0.11 (+19.6%)
引用幻觉	幻觉引用数	Codex GPT5.4: 0.0	Claude Code Sonnet 4: 3.5	-3.5 (-100%)

局限与改进

作者承认了几个主要局限性。首先，框架提供了结构化资源给代理，这减少了外部依赖，但使得能够专注于评估核心写作能力，但在更有限资源下的写作性能评估是未来工作的重要方向。其次，评估科学论文本质上是具有挑战性的，人类写作是多样化的，当前 LLM 无法完全捕捉，因此章节级别的评估可能无法完全反映整体质量，开发更鲁棒的方法仍然是未来工作的重要方向。此外，作者观察到 NLP 会议的表现最高，这表明不同研究领域的写作风格和要求可能不同，可能需要针对每个研究领域分别评估写作进展。

独立分析的弱点

框架的第一个弱点是其可控输入假设可能过于理想化。现实世界的 AI 写作系统需要在更少的信息下工作，可能需要从更粗糙的研究想法或大纲开始，而不是详细的研究概述。改进方向是在更受限的输入设置下评估写作性能，包括模型依赖外部检索系统的场景。第二个弱点是章节级别的评估可能无法捕捉跨章节的一致性和整体论文的逻辑流畅性。当前的评估主要关注单个章节是否包含关键要素，但没有充分评估章节之间的过渡、论证的连贯性和叙事结构。改进方向是开发能够评估论文整体质量的更鲁棒方法。第三个弱点是框架的计算成本较高，特别是幻觉检测的两阶段评估需要多次 LLM 调用和代理评估。改进方向是优化评估流程。第四个弱点是框架目前主要针对计算机科学领域的论文，评估指标和评分表可能需要调整才能适用于其他学科。

未来方向

作者提出了几个未来研究方向。首先，在更有限资源下评估写作性能，包括模型依赖外部系统的设置。其次，开发更鲁棒的评估方法来捕捉多样化的人类写作风格，这可能包括整体论文质量评估和跨章节一致性评估。第三，扩展 PaperWrite-Bench 基准覆盖更多研究领域和更多样化的论文类型。第四，探索将推理时优化与轻量级微调相结合的方法，以更低的计算成本提高语义保真度。此外，基于论文成果可以延伸多个未来研究方向：开发更高效的幻觉检测方法；研究如何将 PaperRecon 框架应用于更完整的研究流程评估；探索如何利用评估结果改进 AI 写作代理；研究如何评估 AI 写作在不同研究场景下的适用性。

复现评估

论文在可复现性方面提供了较为详细的信息。作者计划开源代码和评估框架，但截至预印本发布时可能尚未完全开放。PaperWrite-Bench 基准的构建过程有详细描述：51篇论文来自多个顶级会议，覆盖了计算机视觉、自然语言处理、机器学习和多媒体处理等多个领域。研究概述的生成使用 GPT-5，平均每个文件463字（默认版本）或1492字（长版本）。评估使用的模型包括 Claude Sonnet 4、Claude Sonnet 4.6、GPT-5 和 GPT-5.4。评估流程的每个步骤都有详细描述。不过，论文没有明确报告实验所需的计算资源，也没有提供具体的超参数设置细节。复现难度中等：评估框架的实现相对直接，但构建 PaperWrite-Bench 基准需要大量人工工作和专业知识；此外，实验需要访问多个付费的 LLM API，这可能会增加复现成本。