InternReviewer 与 InternAdvocate：面向同行评审与 Rebuttal 智能体强化学习的客观奖励与评估框架 InternReviewer & InternAdvocate: Objective Reward and Evaluation for Agentic Reinforcement Learning in Peer Review and Rebuttal
以工具日志裁决引用真伪的客观奖励，训练出会检索、无幻觉的 AI 审稿与答辩智能体
前置知识
Agentic RL（智能体强化学习）
让 LLM 作为策略在环境中进行多步交互的强化学习范式：模型在一条轨迹中交替进行推理、调用外部工具（如搜索引擎）、生成文本，环境把工具结果拼回上下文，最终整条轨迹获得一个奖励信号用于更新策略参数。与一次性 prompt→response 的普通 RL 不同，模型必须自己探索何时检索、检索什么、以及如何把证据综合进最终答案。
这是本文的训练范式基础。InternReviewer 和 InternAdvocate 都不做 SFT 冷启动，直接用 agentic RL 让模型从零探索出'检索—综合—引用'的完整行为链，理解这一点才能看懂奖励为何要覆盖工具使用步数。
MDP（马尔可夫决策过程）
序列决策的标准形式化框架，由状态空间、动作空间、状态转移和奖励四要素组成：智能体在每一步观察当前状态选择动作，环境转移到新状态并给出奖励，学习目标是最大化期望累积折扣奖励 $\mathbb{E}_\pi[\sum_t \gamma^t r_t]$。它把'多步交互'问题变成可以数学定义和优化的对象。
论文第 3.1 节将审稿与 rebuttal 显式建模为 MDP：状态 $s_t=\{M,H,E_{<t},\tau_{<t}\}$ 包含稿件、对话历史、已检索证据和推理轨迹，动作空间是检索动作与生成动作的混合。不熟悉 MDP 就无法理解其方法形式化部分。
LLM-as-a-Judge 及其缺陷
用一个（通常更强的）LLM 给生成文本打分或在两个候选间做偏好比较，把裁判输出当作评估指标或 RL 奖励。其固有问题是高度主观：换一个裁判模型或换一种提示词就会得到不一致的分数，存在位置偏差、长度偏差和高方差，且裁判自身的偏见会被蒸馏进被训练的模型。
本文的核心动机就是替代这一范式：学术批评主观性极强，基于 LLM 裁判或静态 rubric 偏好对的奖励信号不稳定，导致模型学会风格模仿而非事实准确。论文的'客观奖励'四件套正是针对它的逐一替换。
POLAR-7B（策略判别式奖励模型）
一种把奖励建模转化为'策略判别'的奖励模型：训练它分辨哪些输出来自与参考一致的策略、哪些来自不同策略，从而度量生成文本与任意目标策略（由参考文本定义）之间的相对差异，而不是给绝对质量分。初始化自 InternLM2.5 系列，原始输出分布约为均值 0、标准差 10，为 RL 微调流程设计并验证过能驱动下游策略改进。
POLAR-7B 同时扮演本文的两大角色：训练时 $r_{polar}$ 语义奖励的提供者（经 $r_{polar}=2\tanh(s_{POLAR}/10)$ 变换稳定梯度），以及测试时与 Qwen3-Reranker 并列的核心语义评估指标。
GSPO（组序列策略优化）
Group Sequence Policy Optimization，一种序列级的 RL 优化算法：对每个 prompt 采样一组 $G$ 条输出，用长度归一化的序列级重要性比 $s_i(\theta)=\exp\big(\frac{1}{|y_i|}\sum_t \log\frac{\pi_\theta(y_{i,t}|x,y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t}|x,y_{i,<t})}\big)$ 配合 clip 和组内优势归一化做整体更新。相比 token 级的 GRPO，它在 MoE 模型上能避免微小 token 更新引发专家路由分布剧变和训练-推理失配。
本文的基座是 Qwen3-30B-A3B-Thinking-2507 这样的大规模 MoE 模型，选择 GSPO 而非 GRPO 是训练稳定性的关键工程决策，论文明确指出 token 级更新会导致 MoE 路由漂移乃至模型崩溃。
时间感知检索与数据泄露
数据泄露指模型在评审任务中使用了该时间点之后才出现的知识（例如引用了论文投稿后才发表的文献），使评估失真。时间感知检索在检索系统中按时间戳做硬过滤，只允许访问截止日期之前的语料，模拟真实评审者当时能获取的信息边界。
本文设计了不对称的时间闸门：审稿智能体只能检索截稿日前 120 天以前的文献，rebuttal 智能体可放宽到截稿日后 90 天。这是防泄露的核心机制，也是其评估可信度的前提。
研究动机
顶会投稿量空前激增导致审稿人严重疲劳、反馈质量参差，社区开始用 LLM 辅助甚至自动生成评审，但现状有两大硬伤。其一是幻觉：'裸'LLM 会编造论文不存在的技术缺陷、引用根本不存在的文献，这对审稿人和作者都不负责任。其二是训练与评估信号主观：现有 RL 框架大多依赖 'LLM-as-a-Judge' 或基于静态 rubric 构造偏好对，而学术批评本身高度主观，换一个裁判模型或换一种提示就产生不一致的奖励，训练不稳定，模型最终学会的是风格模仿而非事实准确。免训练方案（CSPaper、AAAI AI Review、Stanford PaperReview、OmniScientist 等）依赖 GPT-5、Gemini-2.5 Pro 等闭源模型，没有通过领域训练持续改进的路径，输出趋于'谄媚式'的模板化优缺点罗列——已有观察表明单纯罗列更多缺点并不提升评审质量；基于训练的 DeepReviewer 用约 13,000 篇 ICLR 论文 SFT 一个 7B 模型，只会模仿人类评审的表面风格、继承其偏见，且训练时完全不用工具，无法对照真实文献评估新颖性，小规模且时间集中的训练集也带来跨会议泛化疑问；ReviewRL 虽在 SFT 后加了 RL，但同样无工具。此外该领域普遍采用的 BLEU/ROUGE 只看表层 n-gram 重合，把 'insufficient' 换成 'inadequate' 就得零分，语义相同表述不同会被惩罚、词汇相似结论相反反而得分。
本文的目标是本文的目标是训练出两个能主动检索文献、每条引用都可验证、结构合规的专业学术智能体——InternReviewer 负责生成首轮流审稿意见，InternAdvocate 负责针对批评生成逐条 rebuttal——并为二者配套一套客观、可分解、可独立归因的奖励与评估体系，彻底摆脱对主观 LLM 裁判的依赖。具体包括：从 OpenReview 构建大规模 paper–review–rebuttal 三元组数据集；让智能体在 RL 循环中调用本地 arXiv 搜索工具实时收集证据；奖励由四个可计算的模块构成——与人类专家评审的语义对齐（POLAR-7B 打分）、结构合规（章节与长度规则）、工具使用行为（步数约束）、引用真实性（用工具交互日志交叉核验，对幻觉引用零容忍）；最终目标是在评审与 rebuttal 两个任务上，于 Format、Tool、Citation、Hallucination、POLAR 等最能定义专业学术交流质量的指标上全面超越 Claude Sonnet 4.5、Gemini 3.1 Pro Preview、GPT-5.2 等前沿闭源模型，并在人类偏好研究中获得高胜率。
与已有工作不同的是，本文的独特切入角度有三个。第一，把'引用真实性'从软约束变成硬验证：不同于依赖模型自查的自洽性检查，本文用智能体与搜索引擎的实时交互日志作为 ground truth——References 里的每一条都必须能在检索记录中找到标题与 arXiv ID 的唯一匹配，任何一条幻觉引用就对整条轨迹施加 -1.0 的惩罚，这利用了 RL 环境天然确定性的优势，让幻觉在训练信号层面无法逃逸，是此前审稿 Agent 工作没有做到的。第二，绕过 SFT 冷启动直接做 agentic RL：真实学术数据不存在中间工具调用轨迹，SFT 只能学到表面风格，于是本文用指令协议强制每轮至少调用一次 arxiv_search，配合工具奖励，让策略在探索中自发形成'检索—综合'行为。第三，时间感知的不对称检索约束：审稿智能体只能检索截稿日前 120 天以前的成熟文献，rebuttal 智能体可放宽到截稿日后 90 天（作者在评审期内合法引用同期预印本），忠实模拟真实评审中审稿人与作者面临的不同时间视野，同时杜绝未来知识泄露。此外它刻意剔除评审最终评分作为标签，理由是终分是 rebuttal 后的共识、与首轮批评逻辑脱钩，会引入标签噪声。
核心方法
直觉上，一篇合格的审稿=论点与专家共识语义对齐+格式专业+有真实文献支撑+检索行为克制。本文把这四点直接写成可计算的奖励并放进 RL 闭环。技术路线分五步。（1）任务形式化：将审稿/rebuttal 建模为 MDP，状态 $s_t=\{M,H,E_{<t},\tau_{<t}\}$ 包含稿件、对话历史、已检索证据与推理轨迹，动作空间为检索动作 $a_{ret}$（构造查询探测外部知识）与生成动作 $a_{gen}$（综合证据成文）的混合，目标最大化期望累积回报。（2）数据：经 OpenReview API 收集 ICLR 2013–2025、NeurIPS 2021–2024、ICML 2025 共 184,857 对评审–rebuttal 轨迹，MinerU 解析为保留章节层级的 Markdown，删除参考文献与附录（保留 8–9 页正文）、双盲匿名、剔除最终评分，得到 72K 训练 + 1K 测试样本。（3）环境：本地 Elasticsearch 集群索引 593,092 篇 arXiv CS 论文，预计算分层摘要与向量，支持毫秒级 kNN 检索与角色化时间过滤，避免外部 API 限速拖垮训练。（4）奖励：$r_{total}=r_{polar}+r_{format}+r_{tool}+r_{cite}$ 四模块线性组合。（5）优化：用 GSPO 在序列层面做 clip 更新以稳定 30B MoE 训练，每个 prompt 采样 $G$ 条轨迹，优势由组内奖励归一化得到，全量 72K 语料训练一个 epoch。
核心创新是'客观奖励设计'对主观 LLM-as-a-Judge 的系统性替代，其中最关键的一环是把工具交互日志用作引用真实性的裁决依据。具体地：语义质量由 POLAR-7B 以人类评审为参考打分，经 $r_{polar}=2\tanh(s_{POLAR}/10)$ 变换稳定梯度（POLAR 原始输出分布均值 0、标准差 10，tanh 变换让大部分信号落在高梯度区避免饱和）；结构合规用规则检查必需章节完整性加 2000–10000 字符的长度惩罚项；行为约束用步数门槛——$p=2$（未调用工具）罚 1.0、$4\le p\le 6$（理想的 1–2 跳'搜索-综合'）奖 1.0、其余罚 0.6，防止模型要么偷懒不检索要么无限检索回避生成；引用奖励 $r_{cite}=r_{inline}+r_{fact}$ 同时管理内部一致性（行内引用与参考文献一一对应得 +1.0 否则 -1.0，重复条目罚 0.6、编号不连续罚 0.3，引用/来源比超 3.5 判为引用堆砌，独特文献数限制在 2–5 条）与外部 grounding。与已有方法的本质区别在于：grounding 不靠模型自证，而靠'检索是否真的发生过'这一环境事实，使引用幻觉成为可机械判定的问题；再叠加审稿人截稿前 120 天、答辩人截稿后 90 天的不对称时间闸门，让'引用真实'与'时间合法'同时成为硬约束。
方法步骤详情
第一步，数据构建：OpenReview API 拉取论文 PDF、首轮评审与作者 rebuttal 的多轮轨迹（共 184,857 对）；MinerU 高保真解析为保留章节层级的 Markdown；按会议规范截断到正文（移除 References 与附录，主流 CS 会议正文限 8–9 页），剥离作者名、单位、致谢完成双盲匿名；刻意剔除最终评分以防标签噪声。输入按角色分化：InternReviewer 只拿匿名稿件以促成无偏原创评价，InternAdvocate 拿'稿件+针对性首轮批评'的复合输入。第二步，指令协议：注入按投稿周期推断的时间截点；强制每轮至少调用一次 arxiv_search 惩罚'懒惰'策略；规定 InternReviewer 输出 Summary/Strengths/Weaknesses/Questions/References 五节，InternAdvocate 输出逐条回应的 Responses/References；行内引用格式与参考文献规范有明确指令；输出用 / 标签封装以便与思维链、工具日志无噪解耦。第三步，环境搭建：本地 Elasticsearch 集群索引 593,092 篇 arXiv CS 论文的元数据；每篇按 8,000 token 分块（重叠 800），Qwen3-235B-A22B-Thinking-2507 逐块生成稠密技术摘要后二次归约为'全局快照'，Qwen3-Embedding-8B 向量化入库；检索用 kNN 稠密搜索加时间过滤（reviewer：截稿前 120 天；advocate：截稿后 90 天），预计算缓存保证环境确定性与毫秒级响应。第四步，奖励计算：$r_{total}=r_{polar}+r_{format}+r_{tool}+r_{cite}$ 各模块独立打分求和。第五步，GSPO 更新：序列级重要性比 $s_i(\theta)=\exp\big(\frac{1}{|y_i|}\sum_t \log\frac{\pi_\theta(y_{i,t}|x,y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t}|x,y_{i,<t})}\big)$，优势 $\hat{A}_i=\frac{r_{total}(y_i)-\mathrm{mean}(r_{total})}{\mathrm{std}(r_{total})}$，在 72K 样本上训练一个 epoch。
技术新颖性
技术新颖性体现在四个层面。奖励层面：四模块线性分解 $r_{total}=r_{polar}+r_{format}+r_{tool}+r_{cite}$ 的每一项都可独立监控与归因，训练曲线证实这种设计带来'结构先收敛、语义后精修'的两阶段学习；相比 ReviewRL 等把多种信号糊在一个总分里，可诊断性大幅提升。验证层面：用环境日志而非模型判断来裁决引用真伪，零容忍惩罚使幻觉从概率性、可辩解的问题变成可机械判定的事实问题，这与 self-consistency 类方法有本质区别——前者问'世界里的证据是否存在'，后者问'模型自己信不信'。数据层面：18.5 万对评审–rebuttal 轨迹远超 DeepReviewer 的 1.3 万篇，覆盖三个顶会十余个年份，且论证了为何必须丢弃逻辑脱钩的最终评分。算法层面：选用 GSPO 而非 GRPO，针对 30B MoE 的专家路由漂移问题做序列级 clip，避免 token 级更新引发不可逆的训练-推理失配与模型崩溃。基础设施层面同样有新意：分层摘要预计算+向量入库保证环境确定性——同一篇论文的检索结果永远一致，这对 RL 收敛稳定性和实验可复现性都是关键设计，而非单纯的速度优化。
实验结果
审稿任务（Table 1）：InternReviewer 在五项关键指标全部第一——Format 满分 1.5000、Tool 满分 1.0000、Citation 0.7920、Hallucination 0.8560、POLAR -0.9075；最强闭源对手 GPT-5.2 的 Citation 为 -0.4497、Hallucination 为 -0.4628、POLAR 为 -2.0471；Claude Sonnet 4.5 的 Citation 低至 -0.6887；基座 Qwen3-30B-A3B-Thinking-2507 的 Citation 最差（-0.9283），说明参数化推理能力强并不等于引用纪律。Rebuttal 任务（Table 2）：InternAdvocate 同样在 Format（1.4910）、Tool（1.0000）、Citation（0.7620）、Hallucination（0.8620）、POLAR（-0.8430）居首，引用与幻觉两项比最强闭源模型高出超过 1.5 个绝对点（如 Hallucination 0.8620 vs GPT-5.2 的 -0.6975）。一个反直觉发现：BLEU/ROUGE 上开源基座能匹敌甚至超过前沿闭源模型（审稿任务 BLEU-1：Qwen3 0.2144、InternReviewer 0.2198 vs Claude 0.1263），暴露表层词汇对齐指标与真实质量脱节，故论文只将其列为次要诊断指标。Reranker 是唯一例外：GPT-5.2 最高（Review 0.9476、Rebuttal 0.9307），本文模型第二（0.9027/0.9108）。训练动态（图4/5）：Format 与 Tool 奖励 100 步内即饱和；Citation 从 -0.9283 跳升至 0.8241（Advocate 从 -0.2406 至 0.6923）后平台化在 0.78–0.79；Hallucination 全程缓慢单调爬升，是最难习得的行为；总奖励 700–800 步趋于收敛（Reviewer 3.9236→3.9670，Advocate 3.8651→3.9468）。人类偏好（Table 3/4）：审稿任务 InternReviewer 胜率 0.85（GPT-5.2 反而最高 0.90，基座 0.80）；rebuttal 任务 InternAdvocate 胜率 0.80 居首（基座 0.70、GPT-5.2 仅 0.55），均显著高于各自的未训练基座。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 审稿生成 | Citation（引用内部一致性）↑ | InternReviewer 0.7920 | GPT-5.2 -0.4497（最强闭源） | +1.24 绝对分 |
| 审稿生成 | Hallucination（引用外部 grounding）↑ | InternReviewer 0.8560 | GPT-5.2 -0.4628（最强闭源） | +1.32 绝对分 |
| Rebuttal 生成 | Hallucination ↑ | InternAdvocate 0.8620 | GPT-5.2 -0.6975（最强闭源） | +1.56 绝对分 |
| 审稿生成 | POLAR-7B 语义对齐 ↑ | InternReviewer -0.9075（全场最佳） | GPT-5.2 -2.0471 | +1.14 绝对分 |
| 审稿生成 | Tool（工具使用行为）↑ | InternReviewer 1.0000（满分） | Claude Sonnet 4.5 0.1549 / GPT-5.2 -0.5518 | +0.85 ~ +1.55 绝对分 |
| 审稿生成 | 人类偏好胜率 | InternReviewer 0.85 | 基座 Qwen3-30B-A3B-Thinking 0.80 | +0.05（GPT-5.2 达 0.90 反超本文） |
| Rebuttal 生成 | 人类偏好胜率 | InternAdvocate 0.80（全场最佳） | GPT-5.2 0.55 / 基座 0.70 | 较最强对手 +0.10，较基座 +0.10 |
局限与改进
作者承认的局限：长上下文仍是瓶颈——数学密集、图表繁多的论文既考验 MinerU 的解析保真度也考验模型上下文窗口；检索源仅限 arXiv 索引的约 59.3 万篇 CS 论文，覆盖面不足；现有输出偶尔仍出现伪造引用或错误归属，需要更显式的幻觉检测指标做针对性缓解。我自己的观察还有几点：第一，人类偏好评估中 GPT-5.2 在审稿任务胜率 0.90 反而高于 InternReviewer 的 0.85，说明本文模型并未在'人类感知质量'上全面第一，优势集中于其奖励显式覆盖的维度（结构、工具、引用、幻觉）；第二，POLAR-7B 既是训练奖励又是主评指标之一，存在 Goodhart 式自我印证风险——POLAR 上的大幅领先可能部分反映对该打分模型偏好的拟合，而 Reranker 上输给 GPT-5.2 也旁证语义泛化并非完胜；第三，奖励以人类评审为黄金标准，而人类评审本身充满噪声、偏见与不一致，模型上限被锚定在'模仿人类'而非'超越人类'；第四，工具行为被硬编码在 4–6 步区间、引用数限制 2–5 条，这些简化提高了训练稳定性但排除了更深入的多轮检索与更广文献覆盖的可能；第五，评估集仅 1K 样本且为单轮生成，未覆盖真实评审的多轮讨论、meta-review 与最终录用决定环节；第六，仅在 CS 顶会英文数据上验证，跨语言与跨学科泛化未知。
独立分析的弱点
独立分析的弱点：1) 奖励与评估同源——POLAR-7B 既产生训练奖励 $r_{polar}$ 又是测试主指标，模型可能过拟合到该打分模型的偏好分布，'POLAR 提升'与'真实审稿质量提升'之间未做交叉验证，建议引入独立第三方评审模型或真实 accept/reject 结果做外部校准。2) '完美'的 Tool 满分实为约束的产物：+1.0 只奖励 4–6 步，1.0000 说明模型学会了贴着奖励边界行动，但无法区分'刚好合规'与'真正必要的深度检索'，对需要大量查证的重度实验论文可能检索不足，可改为按检索文档与最终论点的实际相关性打分。3) 零容忍幻觉惩罚（任一未 grounding 引用罚 -1.0）叠加 2–5 条引用上限，可能诱发保守策略：模型为避险而少引用、少展开文献对比，牺牲论证的广度与锐度——这与'堆缺点不提升质量'的批评类似，堆引用纪律也不等于深刻洞察。4) 时间阈值（120 天/90 天）是手工启发式，不同会议审稿周期差异大，固定窗口可能引入系统性时间偏差。5) 剔除最终评分避免了标签噪声，但也丢掉了'评审如何影响录用决定'的监督信号，训练出的审稿人可能与真实录用标准脱节。6) 篇幅约束固定在 2000–10000 字符，对短评/长评等真实评审形态缺乏建模。每个弱点都可指向一个改进方向：外部校准、过程级检索奖励、引用质量-数量权衡、自适应时间窗、决策感知奖励。
未来方向
作者明确提出的方向：用记忆增强架构与长上下文训练缓解长文解析与窗口瓶颈；把检索源扩展到 Google Scholar 与领域专用库以超越 arXiv 覆盖；在评估套件中增加显式的伪造引用/错误归属检测指标；构建审稿人与作者双智能体对抗共进化的多智能体训练，让评审与 rebuttal 策略在交互中互相提升，产生超越任何固定数据集的通用策略；把训练好的审稿智能体嵌入 AI Scientist 生态，作为对 AI 生成稿件提供快速、一致、有文献依据的质量信号的内部评估组件，闭合'假设—实验—写作—评审'的完整科研回路。基于本文成果还可延伸：其一，把结果级的引用验证细化为过程级——每次工具调用后即时核验当步论断，学习可验证的中间推理而非只验证终稿；其二，'环境日志裁决真实性'的奖励范式可迁移到其他高幻觉风险的专业写作场景，如代码审查、医学报告、法律文书；其三，18.5 万对轨迹本身是研究评审动力学的金矿（评分迁移、rebuttal 成功率、批评类型分布）；其四，可引入评审置信度校准与自一致性（同一论文多次采样的稳定性）作为新评估维度，并向 OpenReview 之外的其他学科社区泛化。
复现评估
复现评估：本文是一篇技术报告，正文加附录（A.1 训练流程、A.2 指令模板、A.4 摘要 prompt、A.5 评估 prompt）细节披露较全，公式、奖励阈值、数据规模都写明，透明度在同类工业报告中算高的；但截至阅读时文中没有明确的开源代码、数据集或模型权重声明，这是最大不确定性。数据可通过 OpenReview API 公开重新采集（ICLR/NeurIPS/ICML 的评审与 rebuttal 均公开），但需自建 MinerU 解析与匿名化流水线。基础设施门槛相当高：需要本地 Elasticsearch 集群索引约 593,092 篇 arXiv 论文，并用 Qwen3-235B-A22B-Thinking-2507 预计算分层摘要——这一步的离线算力开销可观；训练侧基于 Qwen3-30B-A3B MoE 做 agentic RL（72K 样本、约 800 步、一个 epoch），需要多卡集群、高吞吐 rollout 框架、POLAR-7B 奖励模型与 Qwen3-Embedding-8B。有工程经验的团队完整复现估计需要数周投入；个人研究者可以低成本复现数据管线与小规模消融（如奖励模块拆解实验），但完整训练难度高。
论文图表
