DRPG：用于学术反驳的分解-检索-规划-生成智能体框架 DRPG (Decompose, Retrieve, Plan, Generate): An Agentic Framework for Academic Rebuttal
四阶段智能体框架自动生成高质量学术反驳
前置知识
学术反驳（Academic Rebuttal）
学术反驳是同行评审过程中的关键环节，指论文作者针对审稿人提出的问题、批评和质疑进行回应的过程。在顶级会议如NeurIPS和ICLR中，2025年投稿量超过25000篇，反驳质量直接影响论文是否被接收。有效的反驳需要精准理解审稿人的关切、从论文中找到相关证据支撑，并以说服力的方式组织论证。这一过程涉及复杂的多智能体交互，作者需要在有限篇幅内说服审稿人改变判断，同时保持学术诚信。
理解学术反驳的概念和挑战是理解本文研究动机的基础，DRPG框架正是为解决这一特定场景中的自动化问题而设计
Lost in the Middle现象
Liu等人（2024）发现大语言模型在处理长上下文时存在显著性能下降，尤其是在文本中间部分的信息提取能力明显弱于开头和结尾。这意味着当审稿意见涉及论文中间部分的方法细节或实验结果时，LLM很可能无法准确识别和引用相关证据，导致生成的反驳缺乏针对性或引用错误内容。这一现象对学术论文这类长文档处理构成了根本性挑战。
这是DRPG采用分解和检索策略的核心动机，框架通过将长文档切分为段落并仅检索相关部分来规避这一问题
密集检索（Dense Retrieval）
密集检索是一种基于神经网络的信息检索方法，使用预训练文本编码器（如BGE-M3）将查询和文档嵌入到高维向量空间中，通过计算向量间的余弦相似度来衡量语义相关性。相比传统的稀疏检索方法（如BM25），密集检索能够捕捉深层语义关系，更好地处理同义词、改写表达等语言现象。在本文中，密集检索用于从完整论文中识别与每个审稿要点最相关的段落。
Retriever模块的核心技术，理解密集检索原理有助于理解DRPG如何高效处理长论文并减少信息噪声
Elo评分系统
Elo评分系统是一种用于计算相对技能水平的统计方法，最初用于国际象棋等级评定，后广泛应用于竞技系统。在本文中，Elo评分用于量化不同反驳方法的相对质量：通过两两比较（pairwise comparison）的方法，使用GPT-4o作为评判器进行反驳质量对比，然后基于Bradley-Terry模型通过最大似然估计计算各方法的Elo分数，基准评分为1000。Elo分数差异能够直观反映方法间的性能差距。
本文的主要评估指标之一，理解Elo评分系统有助于解读Table 1中的核心实验结果
Bradley-Terry模型
Bradley-Terry模型是一种用于成对比较的概率模型，假设两个项目i和j的获胜概率与其能力参数成正比，公式为 P(i>j) = pi_i / (pi_i + pi_j)，其中 pi_i 表示项目i的能力参数。在本文中，该模型用于从GPT-4o的成对比较结果中估计各反驳方法的Elo分数。通过最大似然估计，可以从大量两两比较结果中推导出全局排序，这种方法比直接评分更能捕捉方法间的细微差异。
Elo评分的理论基础，理解该模型有助于理解实验评估的统计严谨性
多层感知机（MLP）
多层感知机是一种前馈神经网络，由输入层、若干隐藏层和输出层组成，每层包含多个神经元，相邻层之间通过可学习的权重矩阵和激活函数连接。在本文的Planner模块中，MLP用于评估候选反驳视角与论文段落之间的支撑关系：将视角向量和段落向量拼接后输入MLP，输出一个标量分数表示该视角被论文内容支持的程度。MLP通过监督学习训练，能够捕捉比简单向量相似度更复杂的关系。
Planner模块的核心组件，理解MLP的使用方式有助于理解DRPG如何学习视角-证据匹配
研究动机
学术反驳自动化面临两大核心挑战。首先，学术论文通常篇幅较长且信息密集，大语言模型在处理长上下文时存在显著的性能下降问题。Liu等人（2024）揭示的Lost in the Middle现象表明，LLM难以从长文本中准确提取与特定审稿意见相关的关键证据，尤其是在论文中间部分的信息识别能力明显弱化。其次，有效的反驳需要针对审稿人的具体批评构建有说服力的论证，但LLM并未专门接受说服力训练，倾向于生成过于泛泛、过度谦让或过度防御的回应，无法直接且令人信服地解决审稿人的核心关切。现有工作通常依赖现成的LLM或简单的提示管道来生成反驳，例如Kirtani等人（2025）和Jin等人（2024b）的工作，但这些方法在面对复杂、多维度的审稿意见时往往产生次优结果。随着顶级会议如NeurIPS和ICLR在2025年收到超过25000篇投稿，研究人员需要花费大量时间撰写反驳，迫切需要更高效的自动化或辅助工具来提升学术交流效率。
本文的目标是本文旨在设计一个系统化的智能体框架DRPG，能够自动处理完整的会议级论文和对应的审稿意见，生成高质量、有针对性且令人信服的学术反驳。具体而言，DRPG需要解决三个核心目标：第一，有效处理长篇论文，避免Lost in the Middle问题对证据提取的干扰；第二，针对每个审稿要点生成定制化的回应，而非泛泛而谈的通用回答；第三，通过显式的反驳策略规划，提升论证的针对性和说服力。作者期望DRPG不仅能超越现有的自动化反驳方法，还能达到甚至超越人类平均水平的反驳质量。
与已有工作不同的是，本文的独特切入角度在于将学术反驳视为一个需要系统化规划的复杂任务，而非简单的文本生成问题。与现有工作相比，DRPG的创新之处体现在三个方面：第一，将复杂的审稿意见分解为独立的原子级关切点，使每个子问题都能被独立且充分地处理；第二，引入显式的反驳规划阶段，先生成多个候选视角（澄清误解或证明贡献），再基于论文内容选择最佳视角，这与直接生成回应的传统方法形成鲜明对比；第三，采用两阶段规划策略，先由LLM生成创意性候选视角，再由专门训练的选择器基于论文证据进行筛选，这种解耦设计既保证了视角的多样性，又确保了最终选择的可靠性。此外，作者将学术反反驳视为一个有前景的辩论研究领域，因为反驳具有事实导向、基于高质量论文、且有大量公开数据可用的特点。
核心方法
DRPG采用四阶段流水线架构，将学术反驳生成分解为四个顺序执行的模块：分解（Decompose）、检索（Retrieve）、规划（Plan）和生成（Generate）。整体思路是将复杂的反驳任务逐步简化：首先将冗长的审稿意见拆分为可独立处理的原子级要点，然后为每个要点从论文中检索最相关的段落作为证据支撑，接着为每个要点规划最佳反驳策略，最后基于结构化信息生成专业的反驳段落。这种分而治之的策略有效规避了直接使用LLM处理长文本的性能瓶颈，同时通过显式的策略规划提升了反驳的针对性和说服力。框架的核心设计理念是将理解-检索-规划-生成这一人类作者撰写反驳的思维过程显式化并自动化。
DRPG的核心创新在于引入专门的Planner模块进行显式的反驳策略规划，这是与现有方法的本质区别。现有方法（如Jiu-Jitsu）通常使用预定义模板或直接生成回应，而DRPG的Planner采用两阶段设计：首先由想法生成器（Idea Proposer）针对每个审稿要点提出多个候选反驳视角，包括澄清（Clarification）和辩护（Justification）两种核心策略；然后由视角选择器基于论文内容评估每个候选视角的支撑度，选择最受支持的视角。这种设计的关键优势在于：想法生成器故意不接收论文内容，以鼓励生成多样化甚至看似不可行的视角，而选择器则基于实际证据进行筛选，确保最终选择的视角既有创意又有论文支撑。此外，Planner通过监督学习训练，使用人类成功反驳数据作为训练信号，能够以超过98%的准确率识别最佳反驳视角，并通过自置信度机制保证选择的可靠性。
方法步骤详情
DRPG的执行流程分为四个步骤：第一步是分解（Decompose），使用LLM将完整的审稿意见拆分为多个原子级要点，每个要点代表一个需要回应的独立关切或疑问，例如动机不清晰、缺少参考文献、数据量太小等。第二步是检索（Retrieve），使用BGE-M3文本编码器将论文段落和审稿要点分别编码为向量表示，通过余弦相似度计算匹配度，为每个审稿要点选择最相关的K=15个段落，同时保留层级化的章节标题以捕获高层语义信息，实践中可将输入长度减少约75%。第三步是规划（Plan），包括两个子步骤：首先由想法生成器针对每个审稿要点生成N个候选反驳视角，然后由MLP选择器计算每个视角与相关段落的支撑分数 s(pers, p) = (1/K) * sum_{j=1}^{K} M(E(pers) || E(p_j))，其中E表示文本编码器，M表示MLP模块，||表示向量拼接，选择得分最高的视角。选择器还应用自置信度机制，仅当置信度超过阈值T=0.8时才采用该视角，否则回退到无Planner的设置。第四步是生成（Execute），将审稿要点、相关段落和选定的反驳视角输入Executor LLM，生成最终的专业反驳段落，最后将所有要点的回应拼接为完整反驳。
技术新颖性
DRPG的技术新颖性体现在多个层面。首先，框架设计层面，DRPG是首个将学术反驳系统化分解为分解-检索-规划-生成四阶段的智能体框架，每个模块针对特定挑战设计，模块间的协同效应远超单一LLM的性能。其次，Planner模块的两阶段设计极具创新性：将创意生成与证据验证解耦，想法生成器在不知道论文内容的情况下产生多样视角，避免了LLM的锚定效应，而选择器基于实际证据进行客观评估，这种分离设计在保持创意多样性的同时确保了选择的可靠性。第三，支撑分数的计算方式通过MLP学习视角-段落间的复杂关系，而非简单依赖向量相似度，实验表明这种学习方式显著优于无学习的编码器方案（98.64% vs 45.44%准确率）。第四，自置信度机制的设计确保了系统的鲁棒性，当所有候选视角的支撑度都不够高时，系统能够优雅地回退到基础设置，避免强行选择不可靠的视角。最后，框架的模块化设计使其能够灵活适配不同的基础LLM，实验展示了从8B到70B不同规模模型的兼容性。
实验结果
实验在Re2数据集上进行，该数据集包含来自45个顶级计算机科学会议、跨越8年的超过17000篇论文和约60000条审稿意见及反驳。DRPG在四个基础模型（Qwen3-8B、GPT-oss-20B、Mixtral-8x7B、LLaMa3.3-70B）上均展现出一致的优越性能。在Elo评分方面，DRPG分别达到1054、1067、1119和1109的分数，显著高于所有基线方法，比直接提示方法（Direct）高出约200-400个Elo点。在与人类反驳的对比中，DRPG使用LLaMa3.3-70B作为基础模型时达到65.44%的胜率，使用Qwen3-8B时也能达到60.65%的胜率，表明即使是8B的小模型也能超越人类平均水平。在法官评分（Judge Score）方面，DRPG在所有设置下均获得最高分数（5.68-5.88），表明其生成的反驳在模拟审稿人评估中获得最高满意度。值得注意的是，DRPG的每个组件都贡献了显著性能提升：添加分解器提升约100 Elo点，添加检索器再提升约50-80点，添加Planner进一步提升约50-100点。Planner的消融实验表明，仅使用澄清策略（DRPG-C）或仅使用辩护策略（DRPG-J）都会导致性能下降，甚至不如不含Planner的DRG基线，证实了两种策略协同使用的重要性。多轮讨论实验显示，DRPG在后续轮次中持续改进，而基线方法在第一轮后即趋于平稳，表明DRPG能更好地整合反馈并回应后续问题。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 学术反驳生成（Qwen3-8B基础模型） | Elo Score | DRPG: 1054 | Jiu-Jitsu: 1013, DRG: 1004, Decomp: 991, Direct: 936 | 比Direct高118点，比最强基线Jiu-Jitsu高41点 |
| 学术反驳生成（GPT-oss-20B基础模型） | Elo Score | DRPG: 1067 | Jiu-Jitsu: 1029, DRG: 1054, Decomp: 1012, Direct: 837 | 比Direct高230点，比最强基线DRG高13点 |
| 学术反驳生成（LLaMa3.3-70B基础模型） | Elo Score | DRPG: 1109 | Jiu-Jitsu: 1058, DRG: 1065, Decomp: 1040, Direct: 725 | 比Direct高384点，比最强基线DRG高44点 |
| 人类反驳对比（Qwen3-8B基础模型） | Win Rate vs REAL | DRPG: 60.65% | Jiu-Jitsu: -, DRG: -, Decomp: -, Direct: 47.81% | 超越人类平均水平，比Direct高12.84个百分点 |
| Planner准确率 | Test Accuracy | Our Planner: 98.64% | full-paper: 86.41%, no-paper: 61.55%, encoder: 45.44% | 比full-paper高12.23个百分点，比encoder高53.2个百分点 |
| 多轮讨论性能（3轮后） | Judge Score | DRPG: ~5.78 | DRG: ~5.65, Direct: ~5.60 | DRPG持续改进，基线趋于平稳 |
局限与改进
本文存在若干局限性需要指出。首先，DRPG的实验设置主要聚焦于文本内容理解和论证生成，无法实际执行新的实验来回应审稿人的质疑。论文明确承认，当审稿人要求补充实验时，DRPG只能从现有论文内容中寻找相关证据或承诺未来工作，而无法生成真实的实验结果。其次，Planner模块的训练依赖于人类成功反驳数据，这些数据来自特定的顶级计算机科学会议，可能无法很好地泛化到其他学科领域（如医学、物理学）或不同审稿风格（如更加严厉或更加宽松的评审文化）。第三，框架的性能高度依赖于Retriever的质量，如果关键证据分布在多个不相邻段落或以隐含方式表达，检索器可能无法完整捕获相关信息。此外，自置信度阈值T=0.8导致约38%的审稿要点未能获得有效视角规划，这些要点的反驳质量可能受到影响。最后，评估方法本身存在一定局限：使用GPT-4o作为评判器可能引入系统性偏差，虽然人类研究表明中等程度的一致性（Cohen's kappa = 0.560），但评判标准的主观性仍然是一个挑战。
独立分析的弱点
DRPG存在几个值得关注的弱点。第一，想法生成器故意不接收论文内容以鼓励多样性，但这可能导致生成大量明显不可行的视角，增加了选择器的负担且降低了效率。改进方向可以是设计一个轻量级的预筛选机制，在保持多样性的同时过滤掉明显不合理的候选。第二，Planner的支撑分数计算仅考虑视角与段落的局部匹配，未建模段落间的全局关系和论证结构。当反驳需要整合多个段落的证据时，当前的平均池化策略可能丢失重要信息，可以考虑引入注意力机制或图神经网络来捕获跨段落的推理链。第三，框架对每个审稿要点独立处理，忽略了要点间的逻辑关联和整体反驳的连贯性。改进方向可以是引入全局规划器，确保各要点回应间的逻辑一致性和论述递进。第四，Retriever使用固定数量K=15的段落数，未根据审稿要点的复杂度动态调整，简单要点可能只需要2-3个段落，而复杂要点可能需要更多证据支撑。
未来方向
作者提出了一个重要的未来研究方向：将DRPG与AI Scientist系统集成，支持实验补充和完整的反驳流程自动化。具体而言，当审稿人要求额外实验时，AI系统不仅应能生成反驳文本，还应能设计实验方案、运行实验、分析结果，并将实验发现整合到反驳中。此外，基于DRPG的成果可以延伸多个研究方向：第一，将框架扩展到多轮交互场景的端到端优化，当前的多轮实验仅展示了框架的能力，但未专门针对多轮场景训练；第二，探索跨学科和跨文化的适应性，研究如何使Planner能够根据不同领域的审稿规范调整策略；第三，开发个性化的反驳生成，根据审稿人的历史评审风格和偏好定制回应方式；第四，研究反驳质量与论文接收率之间的因果关系，为框架设计提供更直接的优化目标；第五，将DRPG的核心思想（分解-检索-规划-生成）应用到其他需要复杂论证的场景，如法律文书撰写、政策分析报告等。
复现评估
本文的复现条件相对较好。作者在GitHub上开源了完整代码（https://github.com/ulab-uiuc/DRPG-RebuttalAgent），提供了详细的实现细节。数据方面，使用的Re2数据集是公开可用的大规模学术反驳数据集，包含17000多篇论文和60000条审稿意见，数据规模充足且来源真实。计算资源方面，实验展示了从8B到70B不同规模模型的结果，其中Qwen3-8B的实验相对容易复现，仅需单张消费级GPU即可运行；而LLaMa3.3-70B的实验则需要多卡或云端资源。Retriever使用开源的BGE-M3模型，无需额外训练。Planner的训练数据可以从Re2数据集中构建，但需要筛选导致评分提升的反驳样本。总体而言，复现难度中等：核心框架和数据均可获取，但完整的多模型实验需要显著的计算资源，且Planner的训练需要精心构建训练数据。建议复现者先从Qwen3-8B基础模型开始验证核心流程。
论文图表
