OpenNovelty：基于大语言模型的可验证学术新颖性评估代理系统 OpenNovelty: An LLM-powered Agentic System for Verifiable Scholarly Novelty Assessment
通过检索真实论文和全文对比，实现可验证的学术论文新颖性评估
前置知识
检索增强生成（RAG）
检索增强生成是一种将大语言模型与外部知识检索相结合的技术范式，其核心思想是在生成回答之前先从外部知识源检索相关文档，然后将检索结果与原始查询一起输入LLM。这种方法的有效性基于两个关键假设：外部知识库包含准确、及时的信息，且检索模块能够找到与查询语义相关的文档。RAG系统通常包括三个核心组件：向量数据库（用于存储文档的嵌入表示）、语义检索引擎（通过计算查询向量与文档向量的相似度来检索相关文档）和上下文拼接模块（将检索结果整合到LLM的输入中）。RAG相比纯参数化方法的优势在于减少幻觉、提高可验证性并增强时效性，因为新信息可以通过更新外部知识库而不需要重新训练模型。
OpenNovelty的核心设计理念完全基于RAG思想，系统通过检索真实论文而非依赖LLM的参数化知识来确保所有新颖性判断都有据可查。理解RAG的工作原理和优缺点有助于深入把握论文'可验证性'这一核心设计原则，以及为什么作者选择这种架构而非端到端LLM生成。
层次分类法（Taxonomy）
层次分类法是一种有组织的知识表示方法，通过将概念组织成层次化的类别和子类别来构建知识结构。与聚类算法（如K-means或层次聚类）不同，分类法要求每个类别具有明确的语义标签和精确的范围定义，确保分类结果不仅可解释而且在逻辑上遵循MECE原则（Mutually Exclusive, Collectively Exhaustive，即相互独立且完全穷尽）。在学术研究语境中，分类法的构建通常基于多个维度，如方法论（监督学习vs无监督学习）、问题类型（分类vs回归vs聚类）或应用场景（医疗影像vs自然语言处理）。分类法的深度（层数）和分支因子（每个节点的子节点数量）需要在细粒度和可解释性之间权衡：深度过深可能导致类别过于碎片化，而分支因子过大可能使分类失去结构化优势。
OpenNovelty的创新之一是使用LLM构建层次化分类法来组织相关工作，这比传统聚类方法（仅基于向量相似度）更具可解释性。理解分类法的设计原理、MECE原则和层次结构有助于理解论文如何实现'结构化的相关工作组织'以及为什么这种方法比传统聚类更适合学术文献组织。
零样本提示（Zero-shot Prompting）
零样本提示是一种提示工程技术，其特点是不向模型提供任何示例（即不使用few-shot learning），而是通过精心设计的自然语言指令直接描述任务期望。零样本提示的有效性依赖于大语言模型在预训练阶段获得的大量世界知识和指令遵循能力。其优势包括泛化性强（不受示例偏差影响）、易于维护和审计（所有行为规范都包含在显式指令中而非隐含在示例模式里）、以及提示设计更简洁。然而，零样本提示的局限性在于对复杂任务可能需要更精细的指令设计和更强的指令遵循能力，且可能产生更多变异性（不同次运行输出更不一致）。相比之下，few-shot提示通过提供具体示例可以引导模型产生更稳定的输出，但可能引入示例偏差（模型过度拟合示例中的模式）。
OpenNovelty在Phase I的信息抽取阶段采用零样本范式而非few-shot，这是为了避免示例偏差影响模型对不同领域论文的泛化能力。理解零样本与few-shot的权衡有助于把握论文在工程实践中的设计选择：为什么选择零样本、这种选择的代价是什么、以及如何通过其他机制（如结构化输出验证）来弥补零样本的不足。
语义检索
语义检索是一种基于语义理解而非关键词精确匹配的文档检索方法。其核心技术是将查询和文档都映射到高维嵌入空间（embedding space），然后计算向量之间的相似度（通常使用余弦相似度：$\text{sim}(q,d) = \frac{q \cdot d}{\|q\|\|d\|}$）来衡量语义相关性。与传统的布尔检索（使用AND/OR/NOT逻辑）或TF-IDF检索（基于词频统计）相比，语义检索能够理解同义词、上下文含义和隐式关联。例如，查询'machine learning'可以找到包含'artificial intelligence'或'statistical learning'的文档，即使这些词在文档中完全不存在。现代语义检索系统通常使用预训练的语言模型（如BERT、Sentence-BERT）生成嵌入，并通过近似最近邻搜索（ANN）技术加速大规模检索。在学术文献搜索场景中，语义检索特别有价值，因为相同概念在不同子领域可能用完全不同的术语表达。
OpenNovelty的Phase II完全依赖语义检索引擎（Wispaper）来发现相关工作，这是系统实现'广召回'策略的关键。理解语义检索原理（嵌入空间、余弦相似度、近似最近邻搜索）有助于深入把握论文为什么选择语义相关性而非传统引用次数或关键词匹配作为过滤标准，以及这种选择如何影响系统的召回率和精确率权衡。
研究动机
学术界面临着前所未有的'发表爆炸'挑战，数据显示仅人工智能领域的cs.AI和cs.LG两个arXiv类别每年就接收数万篇新论文，而顶级会议如NeurIPS、ICLR、ICML的投稿量持续刷新历史纪录。这种爆炸性增长对同行评议系统造成了巨大压力，单个审稿人常常需要在极短的时间内（通常1-2周）评估多篇论文，而每篇论文的评审都要求审稿人对相关领域的前沿工作有全面、深入的理解。现实情况令人担忧：许多审稿人由于时间和精力限制，无法进行彻底、公平的评估，极端情况下甚至可能出现审稿人提供未仔细阅读全文的反馈的情况。更严重的是，学术界越来越关注审稿人未经适当验证就直接使用AI生成的反馈，这种做法严重威胁同行评议过程的完整性和可信度。在所有评估维度中，新颖性被广泛认为是决定论文接受的关键因素，但准确评估新颖性仍然是一个极具挑战的任务，这主要源于三个方面：文献规模庞大且快速增长（审稿人无法阅读所有相关工作）、通过细粒度分析验证新颖性声明的技术难度高（需要逐句对比全文内容）、以及审稿人判断的固有主观性（不同审稿人可能对相同论文给出截然不同的新颖性评估）。
本文的目标是针对上述挑战，本文提出OpenNovelty，一个基于大语言模型（LLM）的代理系统，旨在为大规模学术投稿提供透明、可追溯、基于证据的新颖性分析。系统的核心设计哲学是'让新颖性可验证'：不依赖LLM的参数化知识（这可能导致幻觉），而是通过语义检索引擎获取真实存在的学术论文，并进行贡献级别的全文对比分析，确保每个新颖性判断都建立在可验证的证据基础上。OpenNovelty已经在ICLR 2026的500多篇高评分投稿上成功部署，所有生成的新颖性报告都在公开网站上提供访问，为整个研究社区提供了前所未有的透明度和可访问性。系统的最终目标不是替代人类审稿人，而是为他们提供强大的辅助工具，通过系统性地发现相关工作、细粒度对比贡献声明、提供可验证的证据片段，帮助审稿人更高效、更公平地评估论文新颖性。作者计划在后续阶段将分析规模扩展到2000多篇ICLR 2026投稿，这表明系统具备处理大规模数据的能力和可扩展性设计。
与已有工作不同的是，现有的基于LLM的辅助审稿方法存在几个显著的局限性，OpenNovelty在这些方面实现了突破性的改进。首先，naive LLM方法（完全依赖模型的参数化知识）可能幻觉化不存在的引用，这是由于LLM在训练过程中记忆了大量的学术文献片段，但这些记忆往往是模糊的、不准确的，导致生成看似合理但实际上不存在的论文标题、作者或引用关系。其次，现有的RAG方法通常仅比较论文的标题和摘要，这种方法虽然能够发现表面相似的工作，但错过了关键的数学推导、算法细节和实验设置等技术层面的创新点，而这些恰恰是新颖性评估的核心内容。第三，大多数现有方法受限于LLM的上下文窗口（context window），无法系统化地组织大量相关工作，导致输出是零散的论文列表而非结构化的知识框架。OpenNovelty的独特切入角度是强调'可验证性'作为硬约束，而非软质量指标。具体而言，系统通过四个阶段的框架（信息抽取→论文检索→分析与综合→报告生成），确保所有新颖性判断都链接到可验证的证据片段和可追溯的引用，而非LLM不可解释的'黑箱'判断。这种设计从根本上解决了现有方法的幻觉问题和不可追溯性，为学术审稿提供了一个真正可靠的辅助工具。
核心方法
OpenNovelty采用四阶段流水线架构，其设计直觉来自人类审稿人系统性地评估论文新颖性的典型工作流程：首先深入理解论文试图解决的核心任务和作者声称的贡献声明，然后广泛寻找可能相关的已有工作，接着细粒度地对比每一项贡献声明是否存在相似的研究，最后将这些分析整合成结构化的评估报告。从技术路线上看，Phase I使用大语言模型（具体为claude-sonnet-4-5-20250929）进行零样本信息抽取和查询生成，这是系统中LLM使用的第一个环节；Phase II通过语义搜索引擎（Wispaper）进行广召回检索并应用多层过滤策略，这一阶段完全是规则驱动的，不涉及LLM调用；Phase III构建层次化分类法、执行全文对比和证据验证，这是系统中LLM使用的第二个环节，也是核心分析阶段；Phase IV基于Phase III产生的结构化输出进行模板化渲染，不再调用LLM。这种设计将'分析任务'（需要创造性和理解力，适合LLM）与'呈现任务'（纯格式化和组装，适合规则驱动）解耦，确保输出稳定、可重复且易于调试。值得注意的是，系统在每个关键环节都设置了验证和修复机制，如Phase I的结构化输出验证、Phase II的多层过滤、Phase III的证据验证和分类法修复，这些机制共同保证了系统的鲁棒性和输出质量。
OpenNovelty的核心创新在于将'证据验证'提升为系统的硬约束而非软质量信号，这一设计理念从根本上区别于现有的naive LLM方法。具体体现在三个关键的设计决策：首先，系统坚持所有新颖性判断必须基于检索到的真实论文而非LLM的参数化知识，这意味着每个判断都必须有确切的文献来源而非模型的模糊记忆。其次，系统要求每个can_refute判断（即认为某项贡献声明可被已有工作反驳）必须提供可验证的直接证据，具体形式是来自目标论文和候选论文的逐字引用对（quote pair），任何无法提供验证证据的can_refute判断都会在报告生成前自动降级为cannot_refute。第三，系统在报告中包含完整的可追溯性信息，包括每篇候选论文的相关性分数、分类法构建的依据和每个判断的证据片段，允许用户审计每个结论的基础并追溯到原始文献。这种设计与naive LLM方法形成本质区别：后者可能产生看似合理但无法验证的判断，用户无法区分哪些判断有坚实证据支持，哪些可能是模型幻觉。OpenNovelty的另一个核心创新是贡献级细粒度对比：系统不沿固定维度（如模型架构、精度、计算复杂度）比较论文，而是专注于评估每项具体贡献声明的'可反驳性'（refutability），这种设计更符合新颖性验证的本质目标，即判断论文声称的创新点是否真正新颖。此外，系统采用三分类判断（can_refute/cannot_refute/unclear）而非连续的相似度分数，为审稿人提供清晰、可操作的信号而非需要额外解释的数值。
方法步骤详情
Phase I（信息抽取）接收目标论文的PDF或URL作为输入，输出三部分内容：核心任务（5-15词的抽象表达，使用领域术语而非特定模型名称）、贡献声明（每个贡献是一个结构化对象，包含name（最多15词的简洁名称）、author_claim_text（最多40词的作者原文，用于准确归因）、normalized_description（最多60词的规范化描述，用于查询生成）和source_hint（来源提示，用于可追溯性））和6-12个扩展查询（每个核心任务或贡献生成1个主查询和2个语义变体）。核心任务查询直接表达为短语（如'reinforcement learning for LLM agents'），而贡献查询遵循'Find papers about [topic]'格式。Phase II（论文检索）执行所有查询（默认并发度为1以遵守API速率限制，但可配置以提高吞吐量），应用质量标志过滤（仅保留Wispaper标记为perfect的论文，这通常能减少70-80%的候选）、自引用移除（通过规范标识符比较、PDF URL匹配或直接标题匹配排除目标论文本身）、时间过滤（排除在目标论文发表之后发表的论文以确保公平的新颖性对比）。核心任务作用域应用Top-K选择（K=50），贡献作用域每个贡献应用Top-K选择（K=10），然后进行交叉作用域去重（通过规范标识符识别重复，优先保留元数据质量更高的实例，优先级为DOI > arXiv > OpenReview > 标题哈希），最终输出60-80篇候选论文。Phase III（分析与综合）首先用Top-50核心任务候选构建层次分类法（深度3-5层，通过LLM单次推理调用生成，遵循MECE原则并通过自动验证和修复机制处理缺失分配、重复分配或幻觉问题）；然后对每个候选论文进行文本相似性检测（识别30词以上的连续重叠片段，区分Direct（逐字复制）和Paraphrase（意译）两类）；接着执行两类对比：核心任务对比（根据分类法结构动态选择对比路径：如果目标论文在同一叶子节点有兄弟论文则进行论文级别区分，如果没有兄弟但有兄弟子主题则进行类别级别对比，如果孤立则记录无对比）和贡献级对比（一对一N评估，每项贡献独立对比每个候选，输出三分类判断：can_refute（候选论文呈现实质相似观点、方法或发现，挑战新颖性声明）/cannot_refute（候选论文虽然相关但不足以挑战声明）/unclear（关系无法确定，由于信息不足或模糊重叠））。对于can_refute判断，LLM必须提供直接引用对（目标论文和候选论文的逐字引用），然后通过token级锚点对齐算法验证（置信度阈值0.6，计算为anchor coverage和hit ratio的加权组合），验证失败的判断自动降级。Phase IV（报告生成）读取Phase III的结构化JSON，通过确定性规则渲染为Markdown或PDF，格式包括一致的引用格式（如'AgentGym-RL [1]'）、长引用截断（超过阈值的引用截断并添加省略标记）、分类法层级缩进等，不进行任何LLM调用或分析处理。
技术新颖性
OpenNovelty的技术新颖性体现在多个层面，每个层面都对现有方法实现了显著改进。在系统层面，这是首个将贡献抽取、语义检索、LLM驱动的分类法构建和贡献级对比集成到全自动流水线的新颖性分析框架。与传统的调研工作相比，OpenNovelty的层次分类法为审稿人提供了结构化的语境来理解每篇论文在研究领域的定位，这是传统手动调研难以大规模实现的。在验证机制层面，这是首个将证据验证作为硬约束的系统：所有新颖性判断都伴随显式引用和证据片段，有效避免了naive LLM方法的幻觉问题。系统对can_refute判断要求可验证证据的设计，确保了每个正面的新颖性质疑都有坚实的文献基础。在查询策略层面，系统采用语义变体扩展而非单一精确查询：每个核心任务或贡献都生成多个语义等价变体（主查询+2个变体），这一设计反映了学术术语的固有歧义性——同一概念在不同子领域可能用完全不同的短语表达（如'reinforcement learning'在某个子领域可能用'policy learning'或'reward-based learning'表达）。在判断分类层面，系统使用can_refute/cannot_refute/unclear三分类而非连续的相似度分数，为审稿人提供清晰、可操作的信号而非需要额外解释和设定阈值的数值。在聚焦层面，系统专注于贡献级可反驳性，而非常规调研沿固定维度（如模型架构、精度、计算复杂度）比较，这些维度仅在直接相关时才提及，这种聚焦更符合新颖性验证的本质目标。在架构层面，系统通过多个独立LLM调用生成报告内容而非端到端生成，这种结构化组装实现了针对性提示、独立重试和并行处理，提高了系统的鲁棒性和可扩展性。
实验结果
OpenNovelty在ICLR 2026的500多篇高评分投稿上成功部署，所有生成的新颖性报告都在公开网站上提供访问，这为研究社区提供了前所未有的透明度和可访问性。初步分析表明，系统能够有效地识别相关工作，包括那些作者可能在原始论文中忽略的密切相关论文。过滤阶段的统计数据提供了系统有效性的定量证据：在以'AgentGym-RL'论文为例的案例研究中，核心任务过滤从原始检索的774篇论文缩减到73篇（总过滤率为96.9%），其中质量标志过滤减少了72.9%的候选（从774篇到210篇），作用域内去重进一步减少了22.4%（从210篇到163篇），Top-K选择（K=50）最终保留50篇。贡献过滤展现了类似的高效性：9个查询（覆盖3个贡献，每个贡献3个查询）的原始检索结果为1554篇论文，质量标志过滤后减少到336篇（减少78.4%），Top-K选择（K=10 per contribution）最终保留30篇。交叉作用域去重将合并后的Top-K候选（50+30=80篇）进一步缩减到73篇唯一论文（减少8.8%）。这些数据表明，系统的多层过滤策略能够从大规模检索结果（数百到数千篇）高效地筛选出高质量的候选集（60-80篇），质量标志过滤是最有效的层级（~70-80%减少），这表明语义搜索引擎的质量信号与人工相关性判断高度相关。作用域内去重效果显著（~20-50%），说明不同查询（包括主查询和语义变体）产生高度重叠的结果，这验证了查询扩展策略的有效性。交叉作用域去重贡献较小（5-15%），说明核心任务查询和贡献查询检索的论文集大部分不重叠，这反映了两个作用域的不同目标：核心任务查询追求广泛覆盖，而贡献查询追求精确聚焦。系统在500多篇投稿上的成功部署验证了流水线的可扩展性，所有报告的公开性为研究社区提供了前所未有的透明度。然而，论文未提供与人工审稿人新颖性评分的定量相关性数据、系统的精确率/召回率指标或端到端评估结果，这是当前工作的主要局限。作者计划在后续阶段将分析扩展到2000多篇投稿，这表明系统具备处理大规模数据的能力，也为更全面的评估提供了可能。
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 候选论文过滤 | 核心任务作用域过滤率 | 从774篇过滤到73篇（总过滤率96.9%） | 无（新系统） | N/A |
| 候选论文过滤 | 质量标志过滤减少率 | 72.9% (核心任务) / 78.4% (贡献) | 无（新系统） | N/A |
| 候选论文去重 | 核心任务作用域去重率 | 22.4% | 无（新系统） | N/A |
| 候选论文去重 | 交叉作用域去重率 | 8.8% | 无（新系统） | N/A |
| 系统部署规模 | 处理论文数量 | 500+ (当前) → 2000+ (计划) | 无同类公开系统 | N/A |
局限与改进
作者在论文中明确承认了OpenNovelty的几个重要局限性。首先，在数学公式处理方面，PDF文本提取对公式、符号、下标和矩阵产生不稳定的结果，提取的公式片段作为纯文本处理，系统无法确定公式的语义等价性或可靠检测那些依赖数学创新的新颖性声明。这影响了Phase I的贡献抽取和Phase III的声明对比，使得数学导向的论文（如理论机器学习、优化理论）的新颖性评估可能不准确。其次，在视觉内容分析方面，图表、表格、架构图和算法伪代码未被分析，对于那些主要通过视觉元素传达贡献的论文（如计算机视觉、系统架构、算法设计领域），系统可能无法完全捕捉其新颖性，导致这些论文的新颖性评估不够全面。第三，在分类法稳定性方面，由于LLM生成的分类法可能因运行而异（语言模型的内在随机性），虽然MECE验证和自动修复机制能够缓解结构问题（如缺失分配、重复分配、幻觉引用），但类别边界和层次组织仍然保持主观性，不同运行可能产生语义有效但结构不同的分类法，这可能影响核心任务对比结果的一致性。第四，在检索边界方面，系统的新颖性评估受语义搜索引擎覆盖范围的限制，未被Wispaper索引的论文（如最近发布的预印本、非英文论文、特定领域的机构仓库）无法被检索或比较，这造成了某些研究社区的评估盲区。第五，在结果解读方面，系统输出的cannot_refute判断仅表示在检索范围内没有论文反驳该声明，而非在更广泛的文献中绝对不存在此类论文，用户需要谨慎解读这一判断的含义。第六，在管道依赖方面，系统的架构引入了级联依赖关系，上游阶段的错误会影响下游阶段的质量：Phase I的提取不准确（如术语过于具体或贡献声明不完整）可能导致Phase II的语义检索遗漏相关候选；Phase II的过滤策略过于激进或时间截止错误可能排除重要的相关工作；Phase III的分类错误可能将目标论文置于语义距离较远的兄弟节点中；Phase IV不进行额外分析，所有错误不变地传播到最终报告。第七，在系统性偏差方面，系统继承了上游组件的系统性偏差：检索引擎和LLM可能偏好索引良好的场所和英文出版物，虽然系统通过强制可追溯性（相关性分数、分类法依据、证据片段）部分缓解了这一问题，但无法完全消除。
独立分析的弱点
独立分析显示OpenNovelty存在几个可以改进的弱点。首先，缺乏定量评估是当前工作的最大弱点：论文未提供系统与人工审稿人新颖性评分的相关性数据、系统的精确率/召回率指标或端到端评估结果，这使得难以准确判断系统的实际性能和改进空间。改进方向包括构建NoveltyBench基准（聚合OpenReview同行评议数据和期刊如Nature Communications、eLife的透明评议数据），包含审稿人引用具体工作反驳新颖性声明的案例、多名审稿人独立识别相同相关工作的案例、作者反驳承认遗漏引用的案例，用于评估系统的检索召回率和与人工审稿人的一致性。其次，公式和视觉内容分析的空白限制了系统在技术领域的适用性，特别是那些依赖数学创新或视觉元素传达贡献的领域。改进方向包括集成LaTeX源码解析器（而非PDF文本提取）以准确重建公式结构，以及引入计算机视觉模块来分析架构图、流程图和伪代码图像，将其转换为结构化表示用于对比。第三，分类法的不稳定性和主观性影响系统的可重复性和结果一致性。改进方向包括探索混合方法（结合嵌入聚类和LLM生成的标签）或迭代细化机制（加入人工反馈来调整分类边界）、固定分类轴的优先级顺序（方法→问题公式化→研究语境）以减少随机性，以及建立分类法稳定性评估指标和运行间一致性追踪机制。第四，检索覆盖范围的依赖性限制了系统在小众或新兴领域的适用性。改进方向包括集成多个搜索引擎（Semantic Scholar、Google Scholar、OpenAlex）进行交叉验证、添加关键词回退机制（在语义检索失败时使用布尔查询）、以及支持自定义索引（机构内部数据库、arXiv流式更新）。第五，证据验证阈值的设定（当前为0.6）可能过于保守或宽松，影响can_refute判断的精确率-召回率权衡。改进方向包括在基准数据上进行阈值敏感性分析、探索自适应阈值机制（根据引用长度、上下文匹配度等动态调整），以及提供置信度分数作为软信号而非硬阈值，让审稿人能够根据自己的风险偏好进行调整。
未来方向
作者在论文中提出了详细的未来工作方向，覆盖了系统的四个主要阶段和端到端评估。在Phase I（抽取优化）方面，计划在输入粒度上进行对比实验（从摘要-only到全文的连续谱，包括中间设置如包含引言或结论），以确定不同输入范围对抽取质量和下游检索效果的影响；在抽取策略方面，计划对比零样本与少样本提示、单次抽取与迭代细化、结构化抽取与自由形式生成后处理，以识别在抽取质量和计算成本之间的最优权衡。在Phase II（检索基准）方面，计划构建NoveltyBench基准（聚合OpenReview ML会议数据和Nature Communications、eLife等期刊的透明评议数据），用于系统性地比较多个学术搜索引擎（Semantic Scholar、Google Scholar、OpenAlex、Wispaper）的检索有效性，评估指标包括recall@K、mean reciprocal rank和审稿人引用论文的覆盖率。在Phase III（分析质量）方面，计划在分类法组织上探索替代方法（如迭代细化加入人工反馈、混合嵌入聚类与LLM标签、不同的层次深度和分支因子）、在文本相似性检测上与剽窃检测工具进行基准比较并确定最优片段长度阈值和逐字vs意译的精确率-召回率权衡、在反驳判断校准上与专家评估对比以分析假阳性和假阴性率并探索置信度校准技术。在端到端评估方面，计划进行三个方向的实验：与人工审稿人一致性（测量OpenNovelty评估与OpenReview新颖性评分的相关性）、用户研究（评估OpenNovelty报告是否提高审稿效率和质量）、纵向分析（跟踪新颖性评估与最终接受决策和发表后影响的相关性）。基于当前成果的可延伸方向包括：将系统扩展到其他评估维度（如正确性、重要性、清晰度）、集成到现有审稿平台（如OpenReview或Overleaf插件）、支持多语言论文评估、开发审稿人培训工具（基于报告差距识别领域知识盲区）、以及建立新颖性追踪数据库（长期跟踪研究方向演变和突破点识别）。这些方向不仅能够改进OpenNovelty系统本身，还能为整个研究社区提供有价值的基础设施和洞察。
复现评估
论文未明确声明开源代码或数据集，但提供了公开网站（https://www.opennovelty.org）包含500多篇ICLR 2026投稿的完整新颖性报告，这为评估系统输出提供了部分透明性。技术细节在论文附录中得到了充分描述，包括提示模板（Phase I的核心任务提取、贡献声明提取、查询生成）、验证规则（Phase III的分类法验证和修复、证据验证算法）、过滤统计（Phase II的质量标志映射规则、过滤效果分析）、故障容错机制（Phase II的自动重试和优雅降级）、分类法节点定义、对比输出模式、证据和相似度验证程序等，这为理论复现提供了充分的基础。然而，实际复现仍然面临几个挑战。首先，系统依赖外部API（Wispaper语义搜索引擎、Claude Sonnet API），这些API需要付费访问或机构授权，开源版本可能无法获得相同的检索效果或需要修改架构以使用替代服务。其次，大规模部署需要显著的算力资源（500多篇投稿的处理时间和成本未公开，但Phase III涉及大量LLM调用，Phase II需要多次API调用），这对资源有限的团队构成障碍。第三，系统参数（温度设置、并发控制、K值选择、证据验证阈值）在论文中给出了具体值，但最优参数可能因领域而异，需要领域特定的调优和经验。第四，分类法稳定性问题意味着相同输入可能产生不同的输出（由于LLM的随机性），这可能影响复现验证的一致性。综合评估，OpenNovelty的复现难度为中等到困难，需要外部API访问、适当的算力资源和一定的参数调优经验。为提高复现性，改进方向包括：开源核心代码框架（不含API密钥和私有服务）、提供小规模演示数据集（10-20篇论文及完整的管道输出）、开源提示模板和验证规则、发布详细的复现指南和硬件需求估算，以及建立输出标准化格式和自动化评估脚本。
论文图表
Example 1展示了从Phase I的提取结果生成查询的具体案例，分为A和B两部分。A部分展示核心任务查询生成过程：提取的核心任务是'training LLM agents for long-horizon decision making via multi-turn reinforcement learning'，基于这个核心任务生成的查询包括主查询（直接复用提取文本）和两个语义变体（'multi-step RL for training large language model agents in long-term decision tasks'和'reinforcement learning of LLM agents across extended multi-turn decision horizons'）。B部分展示贡献查询生成过程：提取的贡献包括名称（'AgentGym-RL framework for multi-turn RL-based agent training'）和描述（'A unified reinforcement learning framework with modular architecture that supports mainstream RL algorithms across diverse scenarios including web navigation and embodied tasks'），基于这个贡献生成的查询遵循'Find papers about [topic]'格式，包含主查询（'Find papers about reinforcement learning frameworks for training agents in multi-turn decision-making tasks'）和两个语义变体（'Find papers about RL systems for learning policies in multi-step sequential decision problems'和'Find papers about reinforcement learning methods for agent training in long-horizon interactive tasks'）。示例清晰地展示了语义变体如何通过同义词替换（如用'RL'替代'reinforcement learning'、用'multi-step'替代'multi-turn'）、句式重组（如主动变被动、长句拆分）和术语标准化（如用'agents'替代'agent training'）实现语义等价但表达不同的查询。
这个示例对理解Phase I的查询生成策略至关重要，因为它通过具体案例展示了零样本提示的输出格式和语义扩展的实际机制。通过这个示例，读者可以看到三个关键点：首先，核心任务查询是短短语而没有任何搜索前缀，贡献查询有'Find papers about'前缀，这种设计反映了两种查询的不同用途；其次，每个项（核心任务或贡献）都生成3个查询（1个主查询和2个语义变体），这实现了论文声称的查询扩展机制；第三，语义变体如何使用替代术语（如'RL'、'multi-step RL'、'extended multi-turn'）和不同的句式结构来捕获学术术语的固有歧义性。这种具体示例比抽象描述更能帮助读者理解论文声称的'查询扩展机制'和'语义等价变体'的实际含义和工作原理。
Example 2展示了目标论文'AgentGym-RL: Training LLM Agents for Long-Horizon Decision Making through Multi-Turn Reinforcement Learning'的完整过滤流程统计数据。A部分展示核心任务过滤的详细步骤：原始检索结果为774篇论文，经过质量标志过滤后减少到210篇（减少了72.9%，减少了564篇），作用域内去重后减少到163篇（进一步减少了22.4%，减少了47篇），Top-K选择（K=50）后最终保留50篇。B部分展示贡献过滤的详细步骤：9个查询（覆盖3个贡献，每个贡献3个查询）的原始检索结果为1554篇论文，质量标志过滤后减少到336篇（减少了78.4%，减少了1218篇），Top-K选择（K=10 per contribution）后最终保留30篇。C部分展示交叉作用域去重的效果：合并Top-K候选（50+30=80篇）后，去重得到73篇唯一论文（减少了8.8%，减少了7篇）。总体过滤效果：从2328篇原始检索结果（774+1554）缩减到73篇候选论文，总过滤率为96.9%。注释说明在此例中，自引用过滤器和时间过滤器都删除了零篇论文（意味着目标论文本身没有被检索到，且没有论文是在目标论文之后发表的），但这些步骤仍然被执行以确保管道的完整性。
这个示例对理解Phase II的过滤策略至关重要，因为它提供了具体的定量数据来展示每层过滤的效果，证明了系统如何从大规模检索结果（数百到数千篇）高效地筛选出高质量的候选集（60-80篇）。通过这个示例，读者可以看到几个关键观察：首先，质量标志过滤是最有效的过滤层级（减少约70-80%），这表明语义搜索引擎的质量信号与人工相关性判断高度相关，验证了使用质量标志作为过滤标准的合理性；其次，作用域内去重效果显著（减少约20-50%），说明不同查询（包括主查询和语义变体）产生高度重叠的结果，这验证了查询扩展策略的有效性；第三，交叉作用域去重贡献较小（减少约5-15%），说明核心任务查询和贡献查询检索的论文集大部分不重叠，这反映了两个作用域的不同目标（核心任务查询追求广泛覆盖，贡献查询追求精确聚焦）；第四，总体过滤率约97%，证明了多层过滤策略的高效性，能够在保持高召回率的同时显著减少候选数量，使下游分析可行。这些数据强有力地支持了论文的'广召回、精过滤'设计理念。
Example 3展示了两类对比分析（核心任务对比和贡献级对比）的典型输出格式。A部分展示核心任务区分（兄弟论文级别）的输出：候选论文标题为'SkyRL-Agent: Efficient RL Training for Multi-turn...'，is_duplicate_variant标志为false（表示这不是同一个工作的不同版本），brief_comparison字段说明两者都属于'General-Purpose Multi-Turn RL Frameworks'类别，AgentGym-RL强调ScalingInter-RL方法用于horizon scaling（水平扩展），而SkyRL-Agent专注于优化的异步流水线调度器（asynchronous pipeline dispatcher）以提高效率。B部分展示贡献级对比的输出：贡献声明为'AgentGym-RL framework for multi-turn RL-based agent training'，候选论文为'Long-Horizon Interactive Agents'，refutation_status为cannot_refute（表示候选论文不足以反驳该贡献声明），brief_note字段解释候选论文专注于在单一状态环境（single stateful environment）训练交互式数字代理（具体为AppWorld），使用专用RL变体（LOOP），而原始论文提出跨越web导航、游戏和具身任务（embodied tasks）的多环境框架，因此两者的焦点不同。
这个示例对理解Phase III的对比分析输出格式至关重要，因为它展示了实际输出的具体字段和判断逻辑。通过这个示例，读者可以看到四个关键点：首先，核心任务对比输出包括候选论文标题、重复变体标志和简短对比（强调方法论区别），这为审稿人提供了快速理解目标论文与相关工作区别的途径；其次，贡献级对比输出包括贡献声明、候选论文标题、反驳状态和简短说明（解释为什么不能反驳），这为审稿人提供了可操作的信号来评估每项贡献的新颖性；第三，cannot_refute判断通过对比焦点的差异（单一环境vs多环境）来说明相关工作不挑战新颖性声明，这展示了系统如何通过细粒度分析而非表面相似性来判断新颖性；第四，输出格式简洁明确，每个字段都有明确的语义，为审稿人提供可操作的信号而非模糊的相似度分数。这个示例帮助读者理解论文声称的'贡献级聚焦'和'三分类判断'的实际应用，以及系统如何通过结构化输出来支持审稿人的决策过程。