当AI评审训练AI审稿人：科学判断崩塌及其缓解 When AI Reviews Train AI Reviewers: Scientific-Judgment Collapse and Mitigation
合成评审训练会让AI审稿人判断趋同，TrustReviewer以策展与激活引导缓解
前置知识
模型崩塌（Model Collapse）
反复用模型自身生成的样本训练后续模型时，原始分布的低概率尾部会被逐渐抹除，输出向高概率模式集中，多样性与覆盖率持续下降。Shumailov 等人（2023）与 Alemohammad 等人（2024）分别从理论和自消耗循环实验刻画了该现象；但 Gerstgrasser 等人（2024）证明若真实数据被累积而非替换，崩塌可以避免，说明结论是条件性的而非普适的。
本文提出的“科学判断崩塌”正是该概念在同行评审领域的特化，理解其机制与边界条件才能读懂实验动机与结论的适用范围。
监督微调与 LoRA
监督微调（SFT）用（输入，目标输出）对继续训练语言模型；LoRA 是参数高效微调方法，冻结原有权重、只训练低秩增量 $\Delta W = BA$。本文统一采用 rank 64、缩放因子 128、dropout 0.05、适配全部目标模块，配合 64k token 上下文、梯度累积 16 步、bfloat16 与 FlashAttention-2，大幅降低显存需求。
本文所有审稿模型（$M_1$、四个 $M_2^p$ 变体、$M_{TR}$）都以完全相同的 LoRA 配置训练，这是“只变数据、其余固定”这一控制变量设计的技术基础。
激活引导（Activation Steering）
表示工程家族的推理时干预方法：从对比样本的内部激活差中估计一个方向向量，生成时将其加到残差流上 $\tilde{h}_{\ell,t} = h_{\ell,t} + \alpha v_{\text{steer}}^{(\ell)}$，从而在不更新任何参数的情况下调节模型行为。CAA 用正负行为样本对比求均值，Activation Addition 用对比提示。本文改用同一论文的官方评审与模型生成评审的激活差来构造方向。
这是 TrustReviewer 测试时校正阶段的核心机制，不读懂引导向量的构造与注入方式就无法理解其增益来源与方法定位。
语义嵌入与余弦距离
把文本编码为高维向量（本文用 jina-embeddings-v3，支持 8192 token，做 L2 归一化），两个向量夹角余弦 $\cos(e_i, e_j) = e_i^\top e_j$ 度量语义相近程度，$1 - \cos$ 即语义距离。对同一论文多条评审计算平均成对距离 $D_{\text{paper}} = \frac{2}{n(n-1)}\sum_{i<j}(1 - \cos(e_i, e_j))$，即可得到\u201c判断多样性\u201d的连续度量。
论文用同论文语义距离与语料级散度两个嵌入指标来定义和检测判断崩塌，它们是全文最核心的因变量。
研究动机
大语言模型正加速进入科学同行评审：它们总结论文、起草批评意见、预测分数、辅助人类审稿人撰写报告。这带来一个隐蔽的反馈循环——由 LLM 撰写或深度修改的评审一旦公开发布，就会进入未来的训练语料，被用于训练下一代审稿模型，后继模型因此部分学习了前辈模型的判断。Liang 等人（2024）的估计显示，某些 AI 会议的公开评审语料中已存在大量 LLM 实质性改写痕迹。更广义地，递归训练的已知风险是模型崩塌：Shumailov 等人（2023）证明反复用生成样本拟合会抹除分布尾部；Zhu 等人（2024）发现合成数据比例升高会带来分布漂移与 n-gram 过度集中；但 Gerstgrasser 等人（2024）表明若真实数据被累积而非替换，崩塌可以避免。这些结论彼此有条件、不普适，而它们对同行评审提出的具体问题——若审稿模型在 AI 生成的评审上训练，其科学判断的表达范围是否会收窄——此前没有任何受控实验给出答案。
本文的目标是本文目标分两层。第一，在受控环境中量化一步递归训练的影响：从 Llama 3.1 8B 出发，先在 2018\u20132023 年官方 ICLR 评审上微调出审稿模型 $M_1$，再用 $M_1$ 为 ICLR 2024 论文生成合成评审，然后以不同的官方/合成混合比例 $p \in \{0\%, 33\%, 66\%, 100\%\}$ 训练四个后继模型 $M_2^p$，全程固定初始化、数据过滤与优化设置，只让合成评审比例成为变量，从而把合成监督的因果效应从混杂因素中隔离出来。第二，针对实验揭示的\u201c科学判断崩塌\u201d，构建开源缓解系统 TrustReviewer，在训练时（语料策展）与推理时（激活引导）两个互补阶段干预，在保持判断多样性的同时提高与官方推荐的一致性，且测试时干预不需要再训练或额外专家标注。
与已有工作不同的是，本文的切入角度有三重独特性。其一，以往研究要么关注通用生成任务中的模型崩塌本身，要么评估 LLM 辅助评审的文本质量（是否流畅、能否指出实质弱点），本文首次把\u201c生成的评审文本作为下一代审稿模型的监督数据\u201d这一环节本身作为研究对象，测量的是判断分布而非文本质量。其二，实验设计是严格的控制变量式：所有 $M_2^p$ 变体共享相同的 $M_1$ 初始化、过滤管线与超参数，唯一计划内的差异是合成评审比例 $p$，这与依赖自然发生的 AI 辅助痕迹做相关性推断的观察性研究有本质不同。其三，作者刻意使用\u201cofficial（官方）\u201d而非\u201chuman（人类）\u201d评审的措辞，承认 ChatGPT 发布后的官方评审可能含未观测到的 AI 辅助，从而把问题严谨地限定为\u201c已知来源合成监督暴露量\u201d的效应，并区分了\u201cAI 辅助、自主评审、在 AI 文本上训练\u201d三种性质不同的干预。
核心方法
方法分两部分。第一部分是受控递归训练框架：记基座 $M_0$ 为 Meta-Llama-3.1-8B-Instruct，$\mathcal{T}(M,D)$ 表示监督微调。先用 2018–2023 年官方 ICLR 评审训练 $M_1 = \mathcal{T}(M_0, D_{2018:2023}^{\text{off}})$；截止 2023 年，因为这批评审大体早于 ChatGPT 普及且在 Llama 3.1 预训练截止之前，2024 年评审则落在截止之后，避免数据泄漏。再用 $M_1$ 为 2024 年论文生成合成评审：每篇取 3 条，其中 $a$ 条合成、$h=3-a$ 条官方，$p \in \{0\%, 33\%, 66\%, 100\%\}$ 对应 $a=0,1,2,3$，构造 $D_{2024}^p$ 后训练 $M_2^p = \mathcal{T}(M_1, D_{2024}^p(M_1))$，学习率 $2 \times 10^{-6}$。第二部分是 TrustReviewer：先在 2018–2025 年官方评审策展语料（112,743 对，约 1.9B token）上单阶段微调出核心审稿模型 $M_{TR}$，再在推理时叠加成对激活引导得到 $M_{TR}^{\text{steered}}$。
核心创新有三。第一，把“科学判断崩塌”操作化为判断分布指标而非文本质量：评分标准差与熵下降（分布压缩）、同一论文多条评审的平均成对余弦距离 $D_{\text{paper}} = \frac{2}{n(n-1)}\sum_{i<j}(1-\cos(e_i,e_j))$ 下降（同论文同质化）、语料级嵌入散度 $\text{Spread} = \frac{1}{N}\sum_i \|e_i-\bar{e}\|_2^2$ 下降（判断空间集中）。第二，成对激活引导：从 5000 个论文–评审对中，对同一篇论文取官方评审 $r^{\text{off}}$ 与生成评审 $r^{TR}$ 的最后非填充 token 隐藏态 $\phi_\ell(r)$，计算 $v_{\text{steer}}^{(\ell)} = \frac{1}{K}\sum_{i=1}^{K}[\phi_\ell(r^{\text{off}}_i) - \phi_\ell(r^{TR}_i)]$。论文内容被配对固定，估计的是“判断风格”方向而非内容方向，这是对 Activation Addition、CAA 等对比提示方法的领域适配；生成时仅在最后一个 token 位置叠加 $\alpha v_{\text{steer}}^{(\ell)}$，参数不动。第三，训练时预防（策展降低低质量与语义退化监督）与测试时校正（引导消除残余崩塌倾向）互补，后者无需再训练或专家标注。
方法步骤详情
流程六步。（1）数据：经 OpenReview API 抓取 2018–2025 年 ICLR 论文与评审，Marker 转 Markdown，只留正文。（2）过滤：第一关要求评分可解析且符合当年表单结构，剔除含后续回复标记、少于 600 字符、含至少 8 个重复行或至少 4 个重复 30-gram 的样例；第二关要求完整训练序列严格小于 64,000 token。（3）训练 $M_1$：LoRA（rank 64、缩放 128、dropout 0.05、全目标模块），学习率 $2\times10^{-5}$、余弦衰减、3 个 epoch、bfloat16、FlashAttention-2、64k 上下文。（4）$M_1$ 生成 2024 合成评审，按四种比例训练 $M_2^p$（学习率 $2\times10^{-6}$）。（5）在 2000 篇跨年留出集（2018–2025 分别为 57/88/136/161/161/235/449/713 篇）上每篇独立采样 3 次（温度 0.6、top-p 0.95、最多 4096 新 token），严格解析 ## Rating 评分，计算精确匹配、MAD、熵与 jina-embeddings-v3 语义指标。（6）TrustReviewer：在 112,743 对语料上单阶段微调 $M_{TR}$；5000 对构造引导向量，100 对验证网格搜索选定第 31 层与 $\alpha=0.15$，生成时逐 token 注入。
技术新颖性
新颖性体现在三个层面。因果设计上，已有递归训练研究多用固定比例自我消耗循环或观察现成语料，本文显式构造 0%→33%→66%→100% 的合成暴露梯度并固定其余一切因素，因而能对“多一分合成监督就多一分收窄”做出单调性陈述。度量设计上，把崩塌细化为评分 STD 与熵、同论文成对余弦距离、语料级散度三个互补指标，分别覆盖评分尺度使用、单篇内判断差异与全局判断空间三个粒度，比单纯评估生成文本质量更接近“科学判断”的本质。干预设计上，把表示工程家族（RepE、Activation Addition、CAA）迁移到评审场景，用“同论文官方评审 vs 生成评审”的配对激活差取代传统正负行为提示对比，使引导方向对齐“判断多样性”这一抽象属性，且训练时策展与测试时引导组合成无需再训练的双阶段方案。此外语料、数据集与代码全部开源，而最强基线 OpenReviewer 的策展语料并不公开，复现友好度形成鲜明对比。
实验结果
四组核心发现。其一，合成暴露压缩评分分布：官方评审 STD 为 1.73、熵为 2.38；$M_2^{0\%}$ 降至 1.63 与 2.31；33% 合成时降到 1.44 与 2.14，66% 与 100% 仍低于基线；均值非单调（5.30→5.85→5.70），说明是同质化而非系统性偏宽或偏严。其二，同论文语义距离从 0.159 单调降至 0.153（33%）、0.147（66%）、0.142（100%），约降 11%。其三，语料级散度从 0.609 降至 0.584/0.580/0.579，约降 5%，最大跌幅出现在最初引入合成监督时。其四，TrustReviewer 在 2000 篇留出集上精确匹配 75.40%±0.46，高于 OpenReviewer 73.10%±1.36、Qwen3.6-35B-A3B 61.85%±0.33 与 Llama 基座 33.93%±0.54；MAD 1.079 全场最低（对手 1.113/1.335/2.679）；熵 2.18 为生成模型最高（官方参考 2.38）。激活引导带来额外增益：同 checkpoint 精确匹配 73.85%→75.40%（+1.55 个百分点），熵 2.13→2.18，语料散度扩大，MAD 基本不变（1.077→1.079），说明引导在不牺牲对齐的前提下拓宽判断多样性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ICLR 留出集（2000 篇）评审推荐预测 | 精确推荐匹配 Exact Match (%)，3 次生成均值±标准差 | 75.40 ± 0.46 | OpenReviewer 73.10 ± 1.36（最强基线）；Qwen3.6-35B-A3B 61.85 ± 0.33；Llama-3.1-8B-Instruct 33.93 ± 0.54 | 较最强基线 +2.30 个百分点，较自身基座 +41.47 个百分点 |
| ICLR 留出集评审推荐预测 | 平均绝对距离 MAD（相对官方平均评分，越低越好） | 1.079 ± 0.005 | OpenReviewer 1.113；Qwen 1.335；Llama 2.679 | 较最强基线降低 0.034，较基座降低 1.600 |
| 评分多样性 | 评分分布熵（越高越多样，官方参考 2.38） | 2.18 ± 0.01（引导前 2.13） | OpenReviewer 2.10；Qwen 1.94；Llama 1.53 | 较最强基线 +0.08，引导额外 +0.05 |
| 受控递归训练（$M_2^p$ 对比，负向发现） | 同论文语义距离 / 语料级语义散度（jina-embeddings-v3） | 100% 合成时 0.142 / 0.579 | 0% 合成（$M_2^{0\%}$）0.159 / 0.609 | 合成暴露 0%→100% 使二者单调下降约 11% / 5%（即判断崩塌） |
局限与改进
作者明确承认的局限：实验只覆盖单步递归、单一基模型家族（Llama 3.1 8B）与单一领域（AI 会议 ICLR 评审格式），效应在多代递归、不同模型规模与家族、其他科学领域或评审格式下可能不同。评估口径也需窄读：判断多样性更大不等于质量更高——多样的评审可能全错，同质的评审可能全对；精确匹配与 MAD 衡量的是与官方评分分布的一致性而非科学判断的正确性，官方评审只是制度参考而非 ground truth，其中可能含错误、分歧或未观测的 AI 辅助；嵌入距离只是实质多样性的代理，不能证明评审真的指出了不同且有效的科学关切。我的补充观察：$M_1$ 自身的生成质量在进入监督前并未被独立评估；单步效应量较小（5%\u201311%），多代累积是否放大仍是推测；外部基线（如 Qwen3.6-35B-A3B）未必在其最优提示下被评测；\u201c官方评审作为引导参考\u201d与\u201c官方评审可能已含 AI 痕迹\u201d之间存在方法论张力。
独立分析的弱点
独立分析发现的弱点：第一，递归链条只有一步，无法回答崩塌是否复利放大，而这恰是实践者最关心的——改进方向是构建 3\u20135 代递归链，逐代跟踪评分 STD/熵与两个语义散度曲线的形状。第二，所有语义分析依赖 jina-embeddings-v3 单一嵌入模型，结论可能受该模型表示偏好影响——应做多嵌入模型集成，并补充人工评估批评的正确性、具体性与实质覆盖。第三，精确匹配以官方评分为目标，可能隐含奖励迎合机构平均风格的模型，与\u201c保留判断多样性\u201d的动机存在内在张力——可引入分布校准类指标（如预测分布对官方评分分布的覆盖度）。第四，合成评审全部来自 $M_1$ 单一来源，无法区分\u201c合成性\u201d与\u201c单模型风格集中\u201d——可混合多个生成器，或做\u201c累积真实数据 vs 替换式合成\u201d的对照实验。第五，激活引导仅选到最后一层、固定 $\alpha = 0.15$，超参只基于 100 对验证数据，鲁棒性与可迁移性未知——可探索多层组合引导、按输入自适应的 $\alpha$，以及引导向量跨模型家族的复用。
未来方向
作者提出的方向：多代递归下科学判断崩塌是否复合放大是\u201c未来工作的重要问题\u201d；把框架扩展到更多基座规模、模型家族、科学领域、会议与评审格式；用人类评估补充批评正确性、具体性与实质覆盖度的测量。基于本文成果可延伸的方向：其一，在评审域检验 Gerstgrasser 式\u201c累积真实数据可避免崩塌\u201d是否成立，即官方评审持续累积而非被合成数据替换的场景；其二，会议主办方视角的工具链——检测与标记 AI 生成评审、制定公开评审语料的发布与训练许可政策，从源头管理递归风险；其三，把成对激活引导推广到其他科学判断任务（基金评审、meta-review、提案评估）；其四，在多代递归训练中动态监测熵与散度并自动触发数据策展，形成\u201c训练—监测—策展\u201d闭环；其五，研究引导向量在不同模型、不同年份评审表单间的可迁移性，降低部署成本。
复现评估
复现条件相当好。开源情况：项目页（hosytuyen.github.io/projects/TrustReviewer）、HuggingFace 数据集合集（hosytuyen/trustreviewer）与 GitHub 代码均公开，且作者特别公开了策展语料（112,743 个论文\u2013评审对、约 1.9B token），这是相对 OpenReviewer（语料不公开）的明确优势。数据可经 OpenReview API 自行重建，附录 A\u2013E 完整给出过滤阈值、系统提示与年度表单模板、引导超参搜索网格、生成与解析规程。算力方面：LoRA（rank 64）微调 Llama 3.1 8B、64k 上下文、FlashAttention-2，单张 80GB 级 GPU 可承担；需训练约 6 个模型变体（$M_1$、四个 $M_2^p$、$M_{TR}$），再加 2000 篇 × 3 次、最多 4096 token 的生成与嵌入计算，整体属中等偏重的单机负载。难度评估：流程线性、脚本开源、文档充分，主要门槛在 64k 上下文的显存管理与各年份评审表单的整理，中高级工程能力即可复现。
论文图表
在 2000 篇留出论文上对比五个系统的精确匹配、MAD 与评分熵（3 次生成均值 ± 标准差）：TrustReviewer 75.40% / 1.079 / 2.18 全面领先 OpenReviewer（73.10% / 1.113 / 2.10）、Qwen3.6-35B-A3B（61.85% / 1.335 / 1.94）与 Llama 基座（33.93% / 2.679 / 1.53）；引导使同 checkpoint 的精确匹配从 73.85% 升至 75.40%、熵从 2.13 升至 2.18。
这是论文的核心定量结果表，是 TrustReviewer 优于全部外部基线、且激活引导带来额外增益的直接证据，所有对齐性与多样性结论均以此为准。