Paper2Rebuttal：面向透明化作者回复辅助的多智能体框架 Paper2Rebuttal: A Multi-Agent Framework for Transparent Author Response Assistance
首个将学术rebuttal写作重构为证据驱动规划任务的多智能体系统
前置知识
多智能体框架（Multi-Agent Framework）
多个具有不同角色和能力的LLM智能体协同工作的系统架构。每个智能体负责特定子任务（如解析、检索、规划、写作），通过中间产物传递实现复杂任务的分解与协作。与单一LLM直接生成相比，多智能体系统能够实现角色专业化、流程可控化和中间步骤可审计化。本文的RebuttalAgent包含Parser、Compressor、Extractor、Search Planner、Strategist、Drafter等多个专门化智能体。
本文的核心创新就是将rebuttal写作任务拆解为多个智能体的协作流程，理解多智能体架构是理解本文方法论的基础。
同行评审Rebuttal（Peer Review Rebuttal）
学术论文投稿后，作者针对审稿人提出的问题和批评进行正式回复的过程。在ICLR等顶级会议中，rebuttal阶段是决定论文最终命运的关键环节。作者需要准确理解审稿人意图，用论文中的具体证据回应每个批评点，同时保持全局论证一致性。一篇论文通常面对3-5位审稿人，每位审稿人提出多个问题，整个rebuttal需要在严格的截止日期内完成。
本文解决的核心问题就是如何用AI辅助这一高压、高风险的写作任务，理解rebuttal的特性和挑战是理解本文动机的前提。
Concern Decomposition（关切点分解）
将审稿人冗长、非结构化的评论文本分解为离散的、可独立处理的原子关切点（atomic concerns）的过程。例如，审稿人一段包含多个批评的段落会被拆解为「缺少与LoRA的比较」、「公式3的动机不清晰」等独立问题。这一过程还涉及合并重复关切（如不同审稿人用不同措辞提出相同问题）和过滤噪声（如空洞的模板评语）。
关切点分解是RebuttalAgent流水线的第一步，也是确保覆盖率（coverage）的关键。只有准确分解了所有关切，后续的证据检索和回应规划才能有的放矢。
Human-in-the-Loop（人机协作检查点）
在AI系统的关键决策节点设置人工审核和干预的机制。在本文中，系统在生成回应计划后会暂停，让作者审核和修改策略逻辑、确认或调整行动项，然后才进入最终文本生成阶段。这种设计将AI定位为辅助工具而非替代者，确保作者对最终回复保持完全控制权。
这一机制是本文区别于直接生成方法的核心设计哲学——将rebuttal写作从黑箱生成转变为透明、可审计、作者可控的过程。
LLM-as-Judge（LLM作为评判者）
使用大语言模型作为自动化评估工具，对AI生成的文本进行多维度打分的方法。本文采用细粒度的0-5分评分体系（支持半分），涵盖Relevance、Argumentation Quality、Communication Quality三个维度共9个子指标。相比传统的BLEU或ROUGE等指标，LLM-as-Judge能够评估语义对齐、逻辑一致性、证据支持等深层次质量维度。
本文的实验评估完全依赖这一方法，理解其评分标准和局限性对于判断实验结果的可靠性至关重要。
研究动机
学术论文的rebuttal阶段是同行评审生命周期中的关键环节，作者必须在严格的截止日期内对审稿人的批评进行逐条回应。然而，现有的AI辅助方法存在两大范式，各有严重缺陷。第一种是直接生成范式（direct-to-text），即在论文-回复对语料上进行监督微调（SFT）。这种方法的根本问题在于，它训练模型记忆特定的、不可迁移的实验结果，而非学习制定战略性回应的底层逻辑。因此，这些模型极易产生幻觉——频繁编造实验结果、过度承诺未验证的声明，而不是基于论文实际内容进行推理。第二种是交互式聊天范式，即使用GPT、Gemini等商业LLM进行多轮对话。虽然这些高能力模型能提供更好的推理，但工作流极其低效且不透明：作者被迫进行冗长的多轮提示来引导模型，关键的中间步骤（如关切点解析和证据检索）被隐藏在聊天界面之后，输出质量严重依赖用户的提示工程能力。在这两种范式下，作者都面临四个未被满足的核心需求：全面覆盖（不遗漏任何审稿人关切）、严格忠实（不编造技术细节）、可验证依据（将论断锚定到具体来源）、全局一致（避免跨回应的矛盾承诺）。
本文的目标是本文的具体目标是构建一个名为RebuttalAgent的多智能体系统，将rebuttal写作重构为一个「先验证、后写作」（verify-then-write）的证据组织任务，而非自由形式的文本生成。系统需要在四个维度上超越现有基线：（1）Coverage——确保回应覆盖审稿人提出的所有主要关切点，不遗漏任何实质性批评；（2）Faithfulness——所有论断必须严格基于论文已有的内容，不编造实验结果或数据；（3）Grounding——将主要声明链接到具体的论文段落或外部参考文献，实现可追溯的证据链；（4）Consistency——在不同回应之间维持统一的论证立场，避免对一位审稿人的让步与对另一位审稿人的回应产生矛盾。最终，系统应显著降低rebuttal写作的认知负担，同时保持作者作为最终决策者的角色。
与已有工作不同的是，本文的独特切入角度在于将rebuttal辅助重新定义为一个「决策与证据组织问题」（decision-and-evidence organization problem），而非文本生成问题。这一视角转换的核心洞察是：rebuttal写作的瓶颈不在语言流畅性，而在系统性的关切追踪、证据锚定和回应规划——这些恰恰是直接提示即使使用SOTA LLM也难以处理的因素。已有工作要么将rebuttal生成视为单步prompt-to-text任务，忽视了显式分解关切和检索证据的需要；要么依赖用户手动进行多轮交互引导。本文则通过显式生成可验证的中间产物（原子关切列表、混合上下文、外部证据摘要、回应计划）来填补这一空白，将原本隐式的推理过程暴露为可检查的结构化产物，使作者能够审核、修正策略逻辑而非仅仅接受或拒绝最终文本。
核心方法
RebuttalAgent的整体思路可以用一个类比来理解：想象一位经验丰富的学术秘书在帮教授写rebuttal。她不会直接提笔就写，而是先把审稿意见逐条拆解成问题清单，再翻阅论文找到相关段落，如果需要还会去查文献，然后列出一个回应策略大纲让教授过目，确认无误后才正式起草回复。RebuttalAgent将这个过程形式化为三个阶段的多智能体流水线：（1）输入结构化阶段——将论文PDF压缩为紧凑表示，同时将审稿评论分解为原子关切；（2）证据构建阶段——为每个关切构建包含论文内部高保真段落和外部文献摘要的混合证据包；（3）规划与起草阶段——生成可审查的回应计划，经过人类检查点确认后，再转化为正式的rebuttal草稿。技术路线上，系统由多个专门化的Agent组成，包括Parser Agent（PDF解析）、Compressor Agent（论文压缩）、Extractor Agent（关切提取）、Search Planner（外部检索规划）、Strategist Agent（策略制定）、Plan Checker（计划审查）、Drafter Agent（正式写作）等，每个Agent都有明确的输入输出契约和质量检查机制。
RebuttalAgent最本质的创新是「先规划、后写作」（plan-then-write）的工作流设计，与已有方法的核心区别在于：它在生成任何正式回复文本之前，先产出一个可检查的、证据链接的回应计划（response plan）。这个计划包含三个关键中间产物：（1）原子关切列表——确保覆盖率的结构化问题清单；（2）混合证据包——将压缩后的论文表示与原始高保真段落结合，并附带按需检索的外部文献摘要；（3）策略性回应大纲——明确区分「可解释性辩护」（用已有数据澄清）和「必要干预」（需要新实验或分析），对于后者不编造结果而是生成具体的行动项（Action Items）。这种设计的关键价值在于：它强制系统在「说谎」之前停下来——当系统检测到需要新实验时，它不会凭空生成数据，而是输出待办事项列表和占位符（如[TBD]），由作者决定是否执行和如何填充。这从根本上解决了直接生成方法的幻觉问题。
方法步骤详情
RebuttalAgent的完整流程分为三个阶段共八个步骤。第一阶段「输入结构化」：（1）Parser Agent将论文PDF转换为段落索引格式，保留结构完整性以便后续精确查找；（2）Compressor Agent将索引段落蒸馏为紧凑表示，保留关键技术声明和实验结果，同时由Consistency Checker验证压缩单元与原文的一致性，检测语义漂移；（3）Extractor Agent将原始审稿反馈解析为离散的原子关切，按相关性分组并分配初步类别，Coverage Checker验证意图保留和粒度适当性。第二阶段「证据构建」：（4）系统在压缩表示中搜索与每个原子关切最相关的段落，选择性地扩展这些焦点区域，用原始文本替换压缩单元，构建原子关切条件化的混合上下文；（5）当审稿评论涉及论文边界之外的问题（如新颖性争议、更广泛定位）时，Search Planner制定检索策略，通过学术搜索工具获取候选论文，Screening Agent筛选相关性，最终解析为结构化的证据摘要。第三阶段「规划与起草」：（6）Strategist Agent综合混合上下文和外部证据，为每个关切生成论证策略和行动项，明确区分可解释性辩护和必要干预；（7）Plan Checker审查回应计划的覆盖率、证据链接和跨点一致性，作者通过Human-in-the-Loop机制审核和修改策略；（8）Drafter Agent将验证后的计划转化为正式的rebuttal信函，遵循学术规范格式。
技术新颖性
RebuttalAgent的技术新颖性体现在三个层面。首先，在问题建模层面，它首次将rebuttal辅助定义为「决策与证据组织问题」而非文本生成问题，这一视角转换直接驱动了整个系统架构的设计。其次，在中间产物设计层面，系统引入了三个前所未有的结构化中间产物：（1）原子关切条件化的混合上下文（atomic concern conditioned hybrid context）——将压缩表示的效率与原始文本的精度结合，在有限上下文窗口内支持精确引用；（2）按需外部证据简报（on-demand external evidence briefs）——不是一次性检索所有文献，而是根据每个关切点的具体需求触发检索，生成可引用的结构化摘要；（3）可检查的回应计划（inspectable response plan）——在正式写作前暴露策略逻辑，将「解释性辩护」和「必要干预」显式分离，对后者用行动项而非虚构数据填充。最后，在工作流设计层面，系统引入了轻量级的Checker机制（Consistency Checker、Coverage Checker、Plan Checker），在每个关键步骤后进行自动验证，防止错误累积。这种「验证-然后-写作」的工作流是区别于已有SFT方法和交互式聊天方法的本质创新。
实验结果
实验结果在多个维度验证了RebuttalAgent的有效性。在主实验中（Table 1），RebuttalAgent在所有四个基线模型上均实现了显著且一致的提升。以DeepSeekV3.2为基座模型时，平均分从3.57提升至4.08（+0.51），其中Coverage提升最大达+0.78（3.65→4.43），Specificity提升+1.11（3.28→4.39）。以GPT5-mini为基座模型时，平均分从3.48提升至4.05（+0.57），Specificity提升高达+1.33（2.96→4.29），是所有提升中最大的单项。一个关键发现是，RebuttalAgent对较弱基座模型的增益更大：GPT5-mini获得约+0.55的平均提升，而Gemini-3-Flash仅获得约+0.33，这表明显式的关切结构化、证据构建和回应规划能够部分补偿基础模型能力的不足，将性能瓶颈从原始生成能力转移到决策与证据组织能力。消融实验（Table 2）揭示了各组件的贡献差异：外部证据简报（Evidence Construction）是最关键的中间产物，移除后导致Coverage从4.51降至4.26（-0.25），Constructiveness从4.09降至3.82（-0.27），表明可引用的证据在使回应具体化和有说服力方面起核心作用。Input Structuring的移除导致Semantic Alignment下降0.17（4.88→4.71），Evidence Support下降0.16（3.39→3.23），说明显式的关切分解有助于保持意图理解和证据关联。Checkers的移除影响较小但仍可测量，evidence support下降0.06，rebuttal quality下降0.06，表明轻量级验证即使在基础回应流畅时仍有价值。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Rebuttal质量（DeepSeekV3.2基座） | 平均分（9维） | 4.08 | 3.57 | +0.51 |
| Relevance（DeepSeekV3.2基座） | Coverage | 4.43 | 3.65 | +0.78 |
| Argumentation（GPT5-mini基座） | Specificity | 4.29 | 2.96 | +1.33 |
| Rebuttal质量（GPT5-mini基座） | 平均分（9维） | 4.05 | 3.48 | +0.57 |
| Rebuttal质量（Grok-4.1-fast基座） | 平均分（9维） | 4.25 | 3.82 | +0.43 |
| Rebuttal质量（Gemini-3-Flash基座） | 平均分（9维） | 4.23 | 3.85 | +0.38 |
局限与改进
本文存在若干需要审慎看待的局限性。首先，评估方法依赖LLM-as-Judge，尽管采用了细粒度的0-5分评分体系和详细的评分标准，但LLM评判者本身可能存在系统性偏差，例如倾向于给更长、更结构化的输出更高分数，这可能对RebuttalAgent（天然产出结构化产物）产生有利偏向。作者使用Gemini-3-Flash作为统一评判者，但未报告评判者一致性（inter-annotator agreement）或与人类专家评分的相关性。其次，RebuttalBench仅基于ICLR 2023的OpenReview数据构建，且最终挑战集仅包含20篇论文，样本量较小，可能无法充分代表不同学科领域、不同会议风格的rebuttal场景。第三，所有实验在全自动模式下运行（无人类参与），作者承认这应被视为「保守的性能下界」，但未报告人类参与模式下的实际提升幅度。第四，系统依赖商业LLM API（GPT-5-mini、Gemini-3-Flash等），未讨论成本、延迟和隐私方面的实际可行性——将完整的论文PDF发送给第三方API在实际学术场景中可能面临合规问题。最后，论文本身存在一个有趣的自指矛盾：虽然系统声称不编造实验结果，但Rebuttal Letter Writer的prompt模板中明确要求AI「invent plausible, realistic values/results」并用星号标记，这与其反幻觉的核心主张存在张力。
独立分析的弱点
从独立分析的角度，RebuttalAgent存在以下几个值得改进的弱点。第一，系统的证据构建高度依赖论文PDF的解析质量，但论文未评估PDF解析的鲁棒性——对于包含复杂公式、多栏布局、图表内嵌文本的论文，Parser Agent和Compressor Agent的精度可能显著下降，这在实际使用中是一个关键的故障点。改进方向：可以引入多模态PDF解析工具（如Nougat、Marker）并增加解析质量的自动验证环节。第二，外部文献检索模块（Search Planner + Screening Agent）的检索质量直接影响回应的说服力，但论文未报告检索的精确率和召回率，也未讨论当检索到的文献质量不高或与关切点不匹配时的降级策略。改进方向：可以引入检索质量的自动评估指标，并为检索失败场景设计基于论文内部证据的回退机制。第三，系统使用固定的优先级标签（P1/P2/P3）对关切点进行分类，但这种粗粒度分类无法反映关切点之间的依赖关系（如「缺少与X的比较」可能是「新颖性不足」这一更高层问题的子问题），可能导致回应策略缺乏层次感。改进方向：可以引入关切点的层次化建模，将原子关切聚合为策略级主题。第四，当前系统的Human-in-the-Loop机制仅在回应计划阶段生效，如果作者在最终草稿阶段发现问题，没有迭代修改的回路。改进方向：可以引入多轮计划-反馈-修订的闭环机制。
未来方向
基于本文的成果，未来研究可以从以下几个方向展开。首先，作者提出的「决策与证据组织」框架可以扩展到学术写作的其他高风险环节，如论文修改（revision letter）、基金申请书的评审回复（grant rebuttal）、甚至博士论文答辩的问答准备。这些场景共享「理解批评→检索证据→制定策略→生成回应」的核心流程，RebuttalAgent的架构可以作为模板。其次，当前系统在全自动模式下运行，未来可以深入研究不同程度的人机协作模式——从完全自动到完全手动之间，哪些检查点的人工参与对最终质量提升最大？这需要更细致的用户研究。第三，回应计划中的Action Items（如「添加消融实验」、「补充定理证明」）目前仅作为文本建议呈现，未来可以将这些行动项与实际的实验执行系统（如自动化实验平台）对接，实现从「建议做什么」到「自动执行并验证」的闭环。第四，可以探索将RebuttalAgent的中间产物（关切分解、证据链接、回应计划）作为训练数据，通过强化学习或DPO训练专门的rebuttal生成模型，从而减少对多智能体流水线的依赖。
复现评估
论文声明代码将被发布（Code will be released），但截至论文发表时尚未开源。评估数据集RebuttalBench基于公开的ICLR 2023 OpenReview数据构建，数据来源可获取，但论文使用的自动过滤和分层策略涉及LLM置信度阈值等参数，需要作者提供的处理脚本才能完全复现。系统依赖多个商业LLM API（GPT-5-mini、Gemini-3-Flash、Grok-4.1-fast、DeepSeekV3.2），实验的完全复现需要这些API的访问权限和相应费用。论文附录D提供了所有Agent的完整prompt模板，这是复现的重要基础，但prompt的微小变化可能导致输出质量的显著差异，需要精确匹配。整体而言，复现难度中等：核心架构和prompt可用，但数据处理流程和API依赖增加了复现的复杂性。建议关注作者的GitHub仓库发布情况。
论文图表