RbtAct：以反驳作为监督信号实现可操作的审稿反馈生成 RbtAct: Rebuttal as Supervision for Actionable Review Feedback Generation
利用作者反驳作为偏好监督，训练模型生成可操作的审稿反馈
前置知识
Direct Preference Optimization (DPO)
DPO 是一种从成对偏好数据中直接学习策略的方法，无需训练独立的奖励模型。它基于 Bradley-Terry 偏好模型，通过最大化策略对优胜回复相对于劣等回复的偏好概率来优化模型。具体来说，DPO 损失函数为 $$\mathcal{L}_{\text{DPO}}(\theta) = -\mathbb{E}_{(x, y_w, y_l)} \left[ \log \sigma \left( \beta \left[ \Delta_{\theta,\text{ref}}(x, y_w) - \Delta_{\theta,\text{ref}}(x, y_l) \right] \right) \right]$$ 其中 $\Delta_{\theta,\text{ref}}(x, y) = \log \pi_\theta(y|x) - \log \pi_{\text{ref}}(y|x)$，$\beta$ 控制偏好锐度。与 RLHF 相比，DPO 更加稳定且计算高效。
本文使用 DPO 将反驳导出的影响类别作为偏好信号，训练模型偏好引发作者实际行动的审稿意见，这是整个训练管线的核心。
Supervised Fine-Tuning (SFT)
SFT 是在高质量标注数据上对预训练语言模型进行有监督微调的过程。给定输入-输出对 $(x_i, y_i)$，模型通过最小化负对数似然 $-\log p(y_i | x_i)$ 来学习任务特定的生成能力。在本文中，SFT 阶段使用 ReviewSeg-SFT-13K 数据集，将 Llama-3.1-8B-Instruct 微调为能根据给定视角生成审稿反馈的模型。
SFT 为后续的 DPO 训练提供参考策略 $\pi_{\text{ref}}$，同时也是基线模型 RBTACT-SFT 的训练方式，理解 SFT 才能理解 DPO 阶段的增量改进。
Peer Review Rebuttal（同行评审反驳）
在学术同行评审流程中，作者收到审稿人的审稿意见后，会撰写反驳信（rebuttal）逐条回应审稿人的质疑。反驳可能包含：承诺进行具体修改（Concrete Revision Performed）、提出修改计划（Specific Revision Plan）、含糊承诺修改（Vague Commitment）、仅辩护不修改（Defend Without Change）、或转移话题（Deflect/Reframe）。这些不同类型的回应反映了审稿意见的实际影响力。
本文的核心洞察是反驳信中蕴含了丰富的隐式人类反馈信号——哪些审稿意见真正促使了作者改进论文，这构成了训练可操作审稿反馈生成器的监督信号。
Perspective-Conditioned Generation（视角条件生成）
视角条件生成是指模型在给定论文全文和一个特定审稿视角（如实验、写作、新颖性等七个类别）的条件下，生成一条聚焦于该视角的审稿意见。这种设计将完整的审稿报告分解为细粒度的单条反馈，每个视角独立生成，从而缩小了生成范围、提升了具体性，并使每条审稿意见能与对应的反驳段落精确对齐。
视角条件化是本文任务定义的关键创新，它使得模型可以针对论文的特定方面给出具体反馈，而非生成笼统的全文审稿报告，同时也使得基于反驳的偏好监督可以精确到段落级别。
研究动机
随着大语言模型在科学研究工作流中的广泛应用，越来越多的 AI 被用来辅助撰写同行评审报告。然而，现有研究（如 Liu and Shah 2023、Shin et al. 2025）反复指出，LLM 生成的审稿意见存在严重问题：它们往往停留在表面分析、使用通用化措辞、缺乏针对论文具体问题的深入剖析，导致作者无法从中获得可执行的改进指导。例如，MARG（D'Arcy et al. 2024b）虽然尝试通过多智能体框架减少通用化反馈，但其监督信号仍然依赖审稿人中心的标注，而非作者实际行为。ReAct（Choudhary et al. 2021）虽然标注了审稿意见的可操作性，但仅用于检测和分类，未用于生成优化。ARIES（D'Arcy et al. 2024a）将审稿意见与论文编辑关联，但目标是预测编辑行为而非优化审稿生成。这些方法共同的局限在于：它们都没有直接利用同行评审过程中最丰富的反馈信号——作者的反驳行为。
本文的目标是本文提出 RBTACT 框架，旨在直接优化审稿反馈生成器的可操作性（actionability）。核心目标是让模型生成的审稿意见能够像最好的人类审稿人一样，提供具体、可执行的改进建议，使作者能够据此做出实质性修改或制定明确的改进计划。为实现这一目标，作者希望构建一个大规模数据集 RMR-75K，将每个审稿意见段落与对应的反驳段落精确对齐，并标注影响类别，从而为偏好优化提供训练信号。
与已有工作不同的是，本文的独特切入角度在于将反驳（rebuttal）从被分析的对象转变为训练的监督信号源。此前的工作如 DISAPERE（Kennard et al. 2022）仅在句子级别标注了 506 对审稿-反驳关系用于话语分析，规模小且缺乏视角标签。Re2（Zhang et al. 2025）虽然扩展了多轮审稿讨论的规模，但同样未将反驳作为训练信号。本文首次提出：反驳中作者的实际行动（修改、计划、辩护等）天然构成了一个隐式奖励模型——如果一条审稿意见促使作者进行了具体修改（CRP），那么它的可操作性就应该高于那些仅被辩护（DWC）或回避（DRF）的意见。这种视角将反驳从数据分析对象转化为直接优化审稿生成的偏好监督源，填补了将作者实际行为反馈用于审稿生成训练的空白。
核心方法
RBTACT 的整体思路可以分为三个阶段：数据构建、监督微调和偏好优化。直觉上，作者首先从 ICLR 2024 的 OpenReview 数据中收集论文、审稿和反驳，然后将每条审稿意见分解为原子化的关键点（weakness/question segments），再将每个关键点与反驳中的对应段落进行语义对齐。对齐后，为每个审稿段落标注审稿视角（如实验、写作等），为每个反驳段落标注影响类别（如具体修改、计划、辩护等）。技术路线是：先用 SFT 数据（13,300 对）微调 Llama-3.1-8B-Instruct 建立强基线，再用偏好数据（21,822 对）通过 DPO 进行偏好优化，其中偏好对的影响顺序为 CRP > SRP > VCR > DWC > DRF，反映了审稿意见引发作者行动的程度差异。
本文的核心创新在于将反驳导出的影响类别作为可操作性的显式监督信号。与已有方法的本质区别体现在三个方面：第一，信号来源不同。ARIES 和 ReAct 等方法依赖审稿人中心的标注（如审稿人意图、论文编辑），而 RBTACT 直接利用作者在反驳中的实际反应——这是审稿意见是否真正有用的最直接证据。第二，监督粒度不同。DISAPERE 在句子级别标注 506 对关系，而 RBTACT 在段落级别构建了 75,542 个对齐映射，规模扩大约 150 倍。第三，训练目标不同。传统方法优化的是审稿的流畅性或与参考审稿的相似度，而 RBTACT 通过 DPO 直接优化生成审稿意见引发作者实际行动的概率，将可操作性作为首要优化目标。
方法步骤详情
方法分为以下具体步骤：（1）数据收集：从 OpenReview 的 ICLR 2024 获取 4,825 篇论文的完整稿件、审稿意见和反驳信，使用 MinerU 将 PDF 转为 Markdown。（2）审稿分段：提取审稿中的 Weaknesses 和 Questions 部分，对已列举的项目直接分割，否则使用 GPT-5 将审稿分解为原子化的批评单元。（3）审稿-反驳对齐：首先使用启发式方法通过显式锚点（如 W1、引用短语）进行高精度配对，然后使用 LLM 匹配器进行语义级别的 span 对齐，返回校准的置信度分数，通过贪心匹配强制一对一约束。（4）质量控制：包括结构过滤（去除无稳定原子单元的审稿）、覆盖过滤（去除无合理反驳匹配的段落）、置信度过滤（仅保留置信度 $\hat{c} \geq \tau$ 的对齐对）和实质过滤（去除无实质建议的段落）。（5）标注：为每个审稿段落标注 7 类视角标签，为每个反驳段落标注 5 类影响类别（CRP/SRP/VCR/DWC/DRF）。（6）SFT 训练：构建 13,300 对输入（论文+视角）-输出（审稿段落）数据，训练 3 个 epoch，学习率 $1.0 \times 10^{-4}$，余弦调度器。（7）DPO 训练：构建 21,822 个偏好三元组，按影响差距分层（大/中/小），训练 2 个 epoch，学习率 $1.0 \times 10^{-5}$，混合少量 SFT 损失防止漂移，$\lambda = 0.1$。
技术新颖性
RBTACT 的技术新颖性体现在多个层面。首先，它首次将反驳中的作者行为建模为可操作性的隐式奖励信号，这一洞察将同行评审过程从被分析的对象转变为训练的监督源，是对传统审稿生成范式的根本性转变。其次，视角条件化的任务定义将完整的审稿报告分解为单条聚焦反馈，使得段落级别的审稿-反驳对齐成为可能，这既促进了生成的具体性，也为精确的偏好监督创造了条件。第三，影响类别的层次化设计（CRP > SRP > VCR > DWC > DRF）将可操作性从模糊的概念转化为可量化的偏好序，通过难度分层（大/中/小影响差距）的偏好对构建，模型可以同时学习粗粒度和细粒度的可操作性区分。第四，整个管线——从启发式锚点匹配到 LLM 语义对齐，再到置信度过滤和人类验证——构成了一个完整且可扩展的段落级审稿-反驳映射框架，F1 达到 0.91，人类标注者间一致性 $\kappa = 0.80$。
实验结果
实验结果表明 RBTACT 在可操作性方面显著优于所有基线。在人类评估中，RBTACT 的可操作性得分达到 3.46/5，比 GPT-5-chat（3.38）高 0.08，比 Llama-3.1-70B（3.22）高 0.24，比 MARG（3.20）高 0.26。在 LLM-as-a-judge 评估中，RBTACT 同样以 3.38/5 的可操作性得分领先，高于 GPT-5-chat 的 3.28 和 DeepSeek-V3.2 的 3.13。特别值得注意的是，RBTACT 的 8B 参数模型在可操作性上与 32-70B 甚至更大的商业模型（如 GPT-5-chat）保持竞争力，证明了反驳监督训练的实际价值。在具体性方面，RBTACT 在人类评估中达到 4.08/5，在 LLM 评估中达到 3.70/5，均为最高。在基础性（Groundedness）和相关性（Relevance）方面，RBTACT 与最强基线保持持平（人类评估中 Groundedness 4.30、Relevance 4.76）。在 LLM-as-a-judge 的成对比较中，RBTACT 的平均胜率最高（57.1% 对 GPT-5-chat，63.8% 对 DeepSeek-V3.2，61.9% 对 Llama-3.1-70B），在多数视角上领先。人类评估与 LLM 评估在可操作性排名上高度一致（Spearman $\rho = 0.94$，Kendall $\tau_b = 0.87$），验证了 LLM 评估的可靠性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 视角条件审稿反馈生成（人类评估） | Actionability（可操作性，1-5分） | 3.46 | GPT-5-chat 3.38, RBTACT-SFT 3.28, DeepReviewer-14B 3.27 | 比最强基线 GPT-5-chat 高 0.08，比 SFT 版本高 0.18 |
| 视角条件审稿反馈生成（LLM-as-a-judge） | Actionability（可操作性，1-5分） | 3.38 | GPT-5-chat 3.28, DeepSeek-V3.2 3.13, RBTACT-SFT 3.18 | 比最强基线 GPT-5-chat 高 0.10，比 SFT 版本高 0.20 |
| 视角条件审稿反馈生成（人类评估） | Specificity（具体性，1-5分） | 4.08 | GPT-5-chat 4.04, RBTACT-SFT 4.01, DeepSeek-V3.2 3.98 | 比 GPT-5-chat 高 0.04，比 SFT 版本高 0.07 |
| LLM-as-a-judge 成对比较 | Actionability 成对胜率（%） | RBTACT 平均胜率最高 | vs GPT-5-chat: 57.1%, vs DeepSeek: 63.8%, vs Llama-70B: 61.9% | 在全部 8 个基线对比中均取得正胜率，最高对 LimGen 达 76.2% |
| 审稿-反驳对齐质量 | Span-level F1 / Cohen's \u03ba | F1=0.91 / \u03ba=0.80 | 无直接可比基线（DISAPERE 仅 506 对且无段落级对齐） | 首次实现大规模段落级对齐，F1 达到 0.91，IAA 达到 0.80 |
局限与改进
作者在论文末尾坦诚地指出了若干局限性。首先，反驳作为可操作性的隐式监督信号虽然信息丰富但并不完美——反驳反映的是审稿期间作者的短期行为，而非长期的实际实施情况，且可能包含策略性承诺或延迟回应。其次，数据集聚焦于使用 OpenReview 的公开反驳的会议（主要是 ICLR 2024），泛化到期刊、非英语学术社区和其他学科领域的能力尚未验证。第三，模型可能生成精确但不可行的建议，当前框架缺乏对稿件、代码或数据工件的严格验证机制。此外，从我的观察来看，实验仅使用了 ICLR 2024 的数据，存在一定的数据领域偏差；人类评估仅覆盖 50 篇论文，样本量相对有限；影响类别的标注完全依赖 GPT-5 自动标注，虽然进行了人类验证（准确率 89%），但仍可能存在系统性偏差；DPO 训练中偏好对的构建假设了严格的影响等级顺序（CRP > SRP > VCR > DWC > DRF），但现实中这种顺序并非总是成立——例如某些辩护可能比含糊承诺更有价值。
独立分析的弱点
本文存在几个值得深入讨论的弱点。第一，数据来源单一性：RMR-75K 完全基于 ICLR 2024 的数据构建，这意味着模型可能过度拟合该社区的审稿风格和反驳模式，对于其他会议（如 NeurIPS、ACL）或期刊（如 Nature、Science）的审稿反馈生成效果尚未可知。改进方向可以是扩展数据来源至多个学术会议和跨学科领域。第二，影响类别的粗糙性：五类影响类别（CRP/SRP/VCR/DWC/DRF）虽然提供了层次化的偏好信号，但同一类别内部的差异可能很大——例如具体修改可能涉及实验重跑或仅修改一个表格，而当前框架无法区分这种差异。改进方向可以是引入更细粒度的影响度量，如修改幅度的量化指标。第三，偏好对构建的局限性：当前仅在相同论文和相同视角内构建偏好对，这限制了偏好数据的多样性；且严格的影响等级假设忽略了不同审稿意见的相对重要性差异。第四，缺乏长期反馈验证：反驳中的承诺不一定被真正执行，模型可能学会生成能引发空洞承诺的意见而非真正有建设性的建议。
未来方向
作者提出的未来方向包括利用反驳信号进一步研究反驳驱动的学习和更好的可操作性评估方法。基于现有成果，可以延伸出多个有前景的研究方向：第一，将反驳监督扩展到多轮审稿讨论场景，利用完整的审稿-反驳-再审稿循环来建模审稿意见的长期影响。第二，结合 ARIES 的方法论，将反驳监督与论文实际编辑关联，构建从审稿意见到论文修改的端到端可操作性评估框架。第三，探索跨领域迁移——将在 ICLR 数据上训练的模型通过少量领域适配数据迁移到其他学科。第四，开发自动化的可操作性评估指标，替代当前依赖人类评估和 LLM-as-a-judge 的昂贵评估方式。第五，研究如何将反驳监督与其他信号（如审稿人评分、元审稿意见）融合，构建更全面的审稿质量评估体系。
复现评估
本文在复现性方面提供了较好的支持。代码和数据（RMR-75K）已在论文中声明公开，数据集包含 75,542 个样本，来源于 ICLR 2024 的公开数据（OpenReview API 可访问）。训练使用 Llama-3.1-8B-Instruct 作为基础模型，这是一个广泛使用的开源模型。然而，复现面临一些挑战：SFT 训练需要约 120 小时的 H200 GPU 时间，DPO 训练需要约 203 小时，总计约 323 小时的 H200 GPU 计算，对于普通研究机构来说算力门槛较高。数据构建管线中使用了 GPT-5 进行审稿分段和标注，这引入了对商业 API 的依赖和潜在的不可复现性。此外，数据质量控制管线（结构过滤、覆盖过滤、置信度过滤、实质过滤）的阈值和规则细节需要参照补充材料才能完整复现。总体而言，论文的数据和代码开源承诺良好，但完整的端到端复现需要较大的算力投入和对 GPT-5 API 的访问。
论文图表
