APRES:一个基于智能体的论文修改与评估系统 APRES: An Agentic Paper Revision and Evaluation System
用LLM智能体自动搜索能预测论文未来影响力的评分标准,再用该标准反向改写论文,人工盲评中79%更偏好修改版。
前置知识
智能体搜索(Agentic Search)
一种让LLM通过迭代的"提出—评估—选择—精化"循环来自动寻找最优解的方法,典型实现是AIDE/MultiAIDE脚手架。它把搜索组织成一棵搜索树,每个节点都是一次"提议+评分"的结果,父节点的输出会被改写后再评估,从而逐步逼近全局最优。
APRES的核心是让LLM自己去发现"什么样的评审维度最有用",这本质就是一个搜索问题;只有理解了智能体搜索,才能理解APRES为什么能在60+维度的评分标准空间里自动收敛。
负二项回归(Negative Binomial Regression)
一种用于预测非负整数计数(且方差通常大于均值,即过离散)的广义线性模型,其响应变量服从负二项分布。相比泊松回归,它多了一个离散参数 $\alpha$,能更稳健地处理引用数这类右偏、长尾的计数数据,公式形式为 $\log \mathbb{E}[y|x]=\beta^\top x$。
论文用引用数作为影响力的代理指标,而引用数明显过离散(平均只有2.07但有长尾),所以必须用负二项回归而非普通线性回归;这也是连接"LLM打出的评分向量"和"未来引用数"的桥梁。
Glicko2评分系统
基于两两比较的动态评分算法(类似Elo但加入置信度 $RD$ 与波动率 $\sigma$),通过比较更新双方评分得到全局稳定排序,更新公式为 $R' = R + \frac{q}{\frac{1}{D^2}+\frac{1}{RD^2}} \cdot g(RD_j) \cdot (s - E)$。
APRES用Glicko2把大量论文的成对比较结果汇总成一个连续的质量分数,从而得到一个与会议最终决定(oral/spotlight/poster/reject)高度相关的全局排名,这是它能验证"LLM评分与人类会议决策是否一致"的关键工具。
Diff格式编辑(Search/Replace Diff)
类似Aider使用的"搜索块/替换块"编辑方式,模型不是输出整篇论文,而是输出若干对 `search:原文本` / `replace:新文本` 的局部修改指令。这样既能定位编辑位置、避免把整篇论文大幅缩短,也能方便地用规则禁止修改结果表格。
APRES必须严格保证"不修改科学结论只改写作",而直接让LLM重写全文会引发灾难性缩短或篡改;diff格式是把"约束性改写"落到工程上的核心机制。
研究动机
同行评审长期面临规模危机:顶会每年投稿数以万计,但合格审稿人增长远跟不上,导致审稿疲劳、周期冗长,且不同审稿人间一致性极差——NeurIPS 2021一致性实验显示两份独立委员会对约23%的论文意见相左,若重来几乎一半接收论文会换人。同时,人工评审给出的原始分数几乎是随机预测:在APRES自建数据集中,直接把人类审稿分数丢进负二项回归只能得到MAE≈5.0,与"预测训练集平均引用数(MAE=5.3)"几乎没差别,说明人类打分对未来引用几乎没有信号。LLM虽然能低成本生成评审,但直接用它来评审/改写论文风险很高——容易被prompt injection操纵、会无意中改写科学论断、或偏离学术写作风格。
本文的目标是构建一个LLM驱动的"智能体论文修订与评估系统(APRES)",其目标有二:(1)自动发现一个对未来引用数有强预测力的评审评分标准(rubric),取代人类撰写的固定评审维度;(2)以该评分标准为优化目标,在不修改科学结论的前提下,对论文文本做闭环迭代改写,使之更清晰、更可能产生影响力。最终在两个指标上证明系统有效:对引用数的MAE相对次优基线提升19.6%,在人工盲评对364对论文的偏好选择中,修改版被选中的比例显著高于原版(79%)。
与已有工作不同的是，已有工作要么是用模板/单LLM生成评论(Wang 2020,Gao 2024),要么是多智能体模拟评审委员会(D'Arcy 2024),要么是用RL训练评审(Zeng 2025);在影响力预测一侧,也主要是用引用图或文档嵌入(Geng 2022,Hao 2024)。APRES的独特切入是把"评审标准本身的发现"与"基于该标准的自动改写"用同一个智能体搜索脚手架串成一个闭环:先用一个agentic search在评分标准的庞大组合空间中搜索最预测引用的子集,再让同一个搜索范式服务于文本改写。这种"评分标准发现+约束性自动改写"的端到端整合是之前工作都没有做到的,Table 1里四个维度(LLM驱动、预测影响力、发现预测性标准、引导自动改写)只有APRES全部打勾。
核心方法
APRES的思路是"先搜出最能预测未来影响力的评审标准,再以此改写论文"。两阶段共享MultiAIDE智能体搜索脚手架(基于AIDE扩展)。第一阶段Rubric Search:让Rubric Proposer不断提出或改进维度集 $R=\{r_1,\dots,r_k\}$,Reviewer对数据集中论文打分得 $x_p$,负二项回归 $\mathbb{E}[y_p\mid x_p]$ 直接预测12个月后引用数 $y_p$,用MAE反馈;分数最高的rubric回灌Proposer继续改写直至收敛。第二阶段Paper Improvement:把搜出的 $R^*$ 当目标函数,Reviewer对原论文评 $S_{\mathrm{ori}}$,Rewriter以diff格式提局部修改得 $S_{\mathrm{rev}}$,更高则保留迭代。Rewriter严格限于改文本、不碰结果表格,以保证科学结论不变。
核心创新点是把"评分标准的发现"从"人类预先定义"变成"由LLM搜索得到的、可被预测模型验证"的优化对象。已有方法(无论是Reviewer2、MARG、还是传统会议review form)都把评审维度当成固定输入,而APRES的"Rubric Proposer"会动态生成、增删、改写rubric条目,并通过"预测未来引用"这一客观目标来筛选——所以它最终得到的不是"和人类评审一致"的维度,而是"和未来学术影响一致"的维度。论文进一步用同一个搜索范式把这个发现出来的rubric转成改写目标,实现了"标准—评—改"的闭环;同时通过diff格式编辑+禁止改表格,把"高质量反馈"从纸面落到可操作的局部编辑上,这一点与直接prompt LLM重写全文有本质区别。
方法步骤详情
方法两阶段共8步。**Rubric Search:**(1) Propose:Proposer输出维度集 $R=\{r_1,\dots,r_k\}$;(2) Score:Reviewer按 $r_i$ 对论文打分得 $x_p$;(3) Evaluate:负二项回归 $y_p\sim\mathrm{NegBin}(\mu(x_p),\alpha)$ 预测引用数,MAE评估;(4) Select & Refine:MultiAIDE按MAE选最优节点,最多200步。**Paper Improvement:**(5) Reviewer用 $R^*$ 对 $p_{\mathrm{ori}}$ 评 $S_{\mathrm{ori}}$;(6) Rewriter逐节出diff,只输出search/replace且禁编辑表格;(7) $p_{\mathrm{rev}}$ 同Reviewer用 $R^*$ 评 $S_{\mathrm{rev}}$;(8) MultiAIDE迭代120步,保留最高分版本。
技术新颖性
技术新颖性体现在三方面。第一,首次把"评审标准的搜索"本身作为优化对象,通过负二项回归对引用数的预测力来对LLM的输出打分,让"哪些维度重要"从经验规则变成了可被数据驱动验证的决策——这就是论文标题里"Agentic"二字的真正含义。第二,用同一套MultiAIDE搜索范式同时承担rubric发现与论文改写两件事,使两个阶段天然耦合、且改写目标不会偏离第一阶段发现的真信号。第三,在工程上用diff格式编辑+表格黑名单+专门prompt约束,把"LLM改写论文"这一高风险操作收敛到一个可审计、可局部回滚的形态:实验证明,即便在已是非常优秀的顶会论文上,改写版仍能在79%的盲评对中被人类偏好选中。
实验结果
实验在ICLR/NeurIPS论文集(26,707篇)上进行。**引用预测(Fig. 2):** MultiAIDE 25步收敛,o3/Gemini 2.5 Pro MAE=1.92/1.96;基线落败(人类分≈5.0、SPECTER+PCA≈2.65),APRES相对次优降低19.6%。**改写(Fig. 4):** Discovered Rubric优于Simple Rubric与Embedding PCA;Borderline $\Delta S$=3.33/2.86(o3/Pro),被推向接收区;Clear Reject 2.98/3.34,上限更低——善修写作不修方法硬伤。**盲评(Tab. 3):** 287/364 (79%)被多数偏好改写版,二项检验 $p<10^{-22}$。**消融(Tab. 4):** 完整 $\Delta S$=1.67/3.33/2.98,去 $R^*$ 降至1.02/1.24/1.21,去搜索降至1.13/1.46/1.34。**一致性(Fig. A2):** LLM自比不一致率19.5%~25.2%,低于NeurIPS 2021人工23%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 12个月未来引用数预测 | MAE(越低越好) | 1.92 (OpenAI-o3 + MultiAIDE搜索) | 2.65 (SPECTER嵌入 + PCA + 负二项回归) | 相对次优基线降低19.6% |
| 12个月未来引用数预测 | MAE | 1.96 (Gemini 2.5 Pro + MultiAIDE) | 5.0 (Human scores baseline) | 相对人类审稿分基线降低约61% |
| 论文改写质量(Borderline论文) | Improvement Score ΔS = S_rev - S_ori | 3.33 (OpenAI-o3) | 1.46 (APRES w/o MultiAIDE) | 提升约128%,证明搜索贡献显著 |
| 论文改写质量(Borderline论文) | Improvement Score ΔS | 3.33 (完整APRES, o3) | 1.24 (APRES w/o R*) | 提升约168%,证明rubric贡献最关键 |
| 改写后人工盲评偏好 | 多数人偏好改写版的pair占比 | 78.8% (287/364, 二项检验 p<10^-22, 95%CI=[70.1%, 79.0%]) | 50% (无差异零假设) | 绝对提升约29个百分点,3/3一致偏好占47.8% |
| LLM审稿一致性(自比) | Disagreement Rate (越低越好) | 19.5% (OpenAI-o1自比) | 23.0% (NeurIPS 2021 人类) | 绝对降低3.5个百分点 |
局限与改进
作者明确承认三点限制:(1)只处理纯文本,**不看图**——而图往往是论文核心结果的载体;(2)虽然prompt和工程上都禁止改表格,但不能严格保证Rewriter没在文字段落里引入微妙的不准确(比如改写方法描述时可能丢失与原实验一致的细节);(3)**对抗性攻击**风险——prompt injection可以在论文里藏指令,从而操控LLM评审,论文未评估其影响。观察到的额外问题包括:用引用数作为影响力代理本身就有偏差,会被学科规模、时机、社交媒体推广影响,且一旦成为优化目标又会触发Goodhart's Law;发现的rubric完全由LLM搜索得到,其偏见/盲点尚未被系统审计;Clear Reject论文的提升曲线证明本系统"修文笔不修方法",对于核心科学缺陷无能为力;最后,所有实验只在ML顶会数据上做,泛化到其他学科尚未验证。
独立分析的弱点
**只改文本不改图**——很多论文核心说服力来自可视化(t-SNE图、attention map等),但APRES跳过figure,对"图文配合差"的论文基本无力。改进:用多模态LLM把图表结构化为描述,在caption层改写。**引用数作目标有偏**——当前rubric完全优化对引用数的拟合,会向"热门子领域+时髦关键词+大引文圈"倾斜,导致向"短期引用机器"靠拢。改进:用混合目标(如citation+5年h-index+复现清单完成度)替换单一引用数。**Rewriter局部diff视野太短**——一次只改一段,看不到全文论证逻辑,常只把一句变长而不能整体重排。改进:加"全局结构pass"先做章节级重组再交给diff Rewriter。**评估单一**——只看人类偏好,未测量读者理解度、引用、复现率的下游影响。改进:做端到端评估,把改写版投入新的投稿-审稿-引用流水线观察。
未来方向
作者提出的方向:(1)**多模态扩展**——纳入图、表、公式,开发"科学结论保真度"自动验证器,在Rewriter每次输出后做一致性检查;(2)**对抗鲁棒性**——研究prompt injection防御,把论文先过清洗层再交给评分器;(3)**替代目标**——跳出引用数,用复现性清单、专家质量评分等更稳健的代理。可延伸方向:**a) 会议端整合**——把APRES作为ICLR/NeurIPS给作者的"AI预审"工具,投稿前自我改进;**b) 多语言支持**——针对中、日、韩作者做特定风格迁移;**c) 领域泛化**——应用到医学、社会科学等领域验证普适性;**d) 风格化rubric库**——把60+条rubric做成可插拔组件,让会议/期刊自定义;**e) 与复现工具链结合**——对接Black et al.(2025)、Xiang et al.(2025)的自动复现检查,从语言与可执行两维度同时提升。
复现评估
复现性整体良好:数据来自OpenReview与Semantic Scholar的influential citation,均为公开源;数据集26,707篇按80/10/10划分。论文承诺发表时公开代码、prompt、衍生数据与评估脚本;正文与附录给出全部超参:MultiAIDE的 $N_0=N=3$、$p_{\mathrm{debug}}=0.5$、$D_{\max}=5$,rubric搜索上限200步、改写120步;附录F公开了Reviewer、Rubric Proposer、Rewriter三套prompt模板与完整EVALUATION_RUBRIC字典。算力方面,o3 + 200步MultiAIDE + 26,707篇×60+维度评分,API调用成本不低,普通研究者复现门槛主要是费用而非算法。潜在难点:(i)实验对LLM版本敏感,版本变更可能使绝对MAE漂移;(ii)Semantic Scholar的influential citation随时间更新;(iii)人工偏好依赖PhD标注者,主观性强。整体而言,方法学和数据集高度可复现,工程上最大门槛是LLM API预算。
论文图表