无需隐藏提示！纯展示层修改即可操纵 AI 同行评审 No Hidden Prompts Needed! You Can Game AI Peer Review with Presentation-Only Revisions
证明仅改论文「包装」不改科学内容，就能在主流 AI 评审器上平均提分 +1.21、攻击成功率 75.1%。
前置知识
AI 同行评审（LLM-as-Reviewer）
使用大语言模型（LLM）作为论文评审者，自动生成结构化的评审意见、优缺点与整体评分。AAAI 2026、ICLR 2025 等顶会已在审稿流程中试点 LLM 评审辅助。
本文的攻击目标是 AI 评审器而非人类审稿人，必须先理解评审提示工程（review prompt）和评分 schema（ICLR 1–10、NeurIPS 1–6 等）才能读懂实验设计。
提示注入与隐藏文本攻击（Prompt Injection）
在 PDF/LaTeX 源中嵌入不可见文本或隐藏指令，使 LLM 评审器执行攻击者预设的输出。例如用白字、零号字体或 LaTeX 注释植入指令。
本文明确将自己与 prompt injection 区分——所有改动可见、合法、不违反任何会议政策，因此更难防御，是本文切入点的关键对比。
闭式黑盒优化（Black-box Optimization）
在无法访问目标模型梯度或内部参数的情况下，仅通过查询输入-输出对来搜索最优解的方法。本文将 AI 评审器视为黑盒，用其输出的分数和文本作为优化信号。
理解黑盒优化能帮助理解为何作者选择「闭式迭代」（closed-loop iterative）而非一次性改写；评分信号和文本信号共同驱动搜索。
LLM-as-a-Judge 与成对比较（Pairwise Judge）
用一个 LLM 作为裁判来比较两个输出（baseline vs candidate），输出方向性判断（哪个更好、好多少）。本文使用成对 judge 评估 Δstrength 和 Δseverity，规避 LLM 直接打分的中心化漂移问题。
成对 judge 是本文评估协议的核心组件，所有主结论（+1.21 提分、强度-弱点不对称）都建立在 judge 的成对判断之上。
研究动机
随着 AAAI 2026、ICLR 2025 等顶会开始试点 LLM 辅助评审，社区对 AI 评审器鲁棒性的担忧日益增长，但现有研究几乎都集中在显式攻击上：例如在论文中嵌入不可见指令、白色文字、LaTeX 注释等 prompt injection 或 hidden text 攻击。这些攻击明显违反会议政策，一旦被检测到即面临 desk reject。已有研究（如 Lin et al. 17）也尝试了同义词替换等表层 NLP 扰动，但这些是非语义改动，攻击粗糙且容易识别。本文的观察是：存在一种更隐蔽、目前完全合规的攻击形式——作者只修改论文的展示层内容（abstract、contribution list、related work、discussion、narrative structure），而完全不动方法、实验、图表、方程、证明和数值结果。这等同于在评审制度中埋下 repackaging 的合规漏洞，使 AI 评审者系统性地奖励展示优化而非科学改进。
本文的目标是本文提出一个可被检验的「必要条件」（necessary condition）：当论文的科学内容保持不变时，AI 评审分数不应因为展示层调整而系统性变好。作者把这个条件形式化为一个攻击-测试问题：能否构造一个 closed-loop 系统，利用 AI 评审器自身的反馈作为优化信号，迭代搜索展示层修改，使分数显著上升？如果在多个主流模型和评审模板上都能成功，则说明当前 AI 评审器在结构上不满足该必要条件，不应被用于影响论文接收决策。
与已有工作不同的是，与已有的 paper rewriting/laundering 工作相比，本文有三个关键差异：（1）科学内容硬约束——Baumann et al. 3 的 zero-shot paper laundering 不区分科学内容与展示，且提分有限；Kaneko 10 的 PAA 只改 abstract，需要 2000+ 次 API 调用且只能拿到标量分数。（2）闭式迭代信号——本文把 AI 评审的文本反馈和分数一起作为优化信号，从中抽取结构化 signals（每个 reviewer 反复出现的 perception 模式），再从 20+ 策略池中信号驱动地选择攻击动作。（3）机制级诊断——本文不止展示「能攻击成功」，还系统诊断成功的机制结构：strength-weakness asymmetry（强化优势比消除弱点更稳定）和 strategy effectiveness gradient（叙事重构远胜表层润色），并通过人评盲测和迁移实验证明这是结构性而非模型特定的漏洞。
核心方法
本文的核心方法叫 Adversarial Repackaging，是一个作用于 LaTeX 源层的闭式迭代攻击系统。直觉上：作者把 AI 评审器当作一个能给出反馈的对手，让攻击智能体像反复改稿的学生一样不断改论文，然后观察评审的分数和文本是否变好。技术路线上，系统被显式约束在三个编辑区（Free / Limited / Fixed），并通过 6 阶段流水线（Profile → Plan → Edit & Compile → Review → Evaluate → Update）在每个攻击轮次中信号驱动地选择 20+ 展示策略中的一种或多种执行修改。系统维持一个 best-so-far 版本 $S^\star$ 和一个持续信号历史 $H$，每个新轮次都从当前最优版出发做局部修改，而不是盲堆之前的全部改动，从而可以从失败修改中恢复。
和已有方法最本质的区别是「信号驱动的策略选择」（signal-driven strategy selection）。PAA 等抽象改写方法只用一个标量分数作为反馈，无法利用评审的文本；零样本 paper laundering 干脆没有迭代。而本文在 Profile 阶段用一个子 agent 把 $N$ 份评审文本抽成结构化 signals（每个 signal 带 frequency 和 severity），在 Plan 阶段把高 severity 且尚未处理的 signal 映射到会重塑 reviewer 解读方式的策略，例如 analytical discussion expansion 对应分析深度不足的批评、related work repositioning 对应新颖性定位不足的批评。同时，已被 reviewer 识别的 strengths 会被标记为 protected，后续编辑不能弱化它们；曾经让 reviewer 反弹的方向则被禁用。这种读懂评审再动手的机制使攻击不再是碰运气的局部润色，而是有目标的叙事重构。
方法步骤详情
方法分三大模块：（1）威胁模型与编辑分区——攻击者在 LaTeX 源 $S$ 上操作，把它改成 $S'$，编译成 PDF $D'$ 后提交给 AI 评审。论文被分为三区：Free zone（abstract、intro、related work、discussion、conclusion，可重写但不能引入新科学声明）、Limited zone（方法描述、结果分析，可重新组织但事实必须保留）、Fixed zone（数据、表格、图、方程、证明、数值结果，不可动）。形式化优化目标为 $\max_{S' \in C(S)} J(Y(D, T), Y(D', T))$，其中 $Y(D, T)$ 是模板 $T$ 下 $N$ 份独立评审的聚合结果，$J$ 同时度量分数和内容两个维度的变化。（2）多轮攻击闭环——每轮执行 Profile→Plan→Edit & Compile→Review→Evaluate→Update 六阶段。Profile 阶段：profiling sub-agent 读 $N$ 份评审文本和论文源，抽取结构化 signal。Plan 阶段：主 agent 把未解决的 signal 映射到策略池中的策略，决定本轮要改什么。Edit & Compile 阶段：editing sub-agent 改 LaTeX 并编译 PDF。Review 阶段：$N$ 份独立评审被生成。Evaluate 阶段：成对 judge 评估候选版相对 baseline 的方向门控与选择分数。Update 阶段：决定是否把候选版升为新的 best version。（3）评估协议——候选筛选分两层：先过方向门控 $\Delta_{str} > \tau_s \wedge \Delta_{sev} < \tau_w \wedge (\Delta_{str} - \Delta_{sev}) > \tau_n$（默认 $\tau_s=\tau_w=1.0, \tau_n=0.8$），再算复合选择分数 $\text{SelectionScore} = w_r \bar{r}_{cand} + w_c \Delta_{content}$（默认 $w_r=0.8, w_c=0.2$），只有方向门控过且分数超过当前最优版才接受。最终实验报告同样的成对 judge 输出 $\Delta_{strength}$、$\Delta_{severity}$、$\Delta_{content}$，并报告均值分数偏移 $\Delta S$ 和攻击成功率 ASR（$\Delta S \geq +1$ 的论文比例）。
技术新颖性
技术新颖性体现在三点。第一个是科学内容硬约束 + 展示层重写的二区机制，让攻击被限制在合法可解释的写作行为内，比 prompt injection 更难防御。第二个是信号驱动的策略选择，让攻击 agent 不再是 LLM 自由生成，而是用 reviewer 反馈驱动 20+ 策略池的自适应选择，每一轮都基于具体的批评意见对症下药。第三个是双维度评估（分数 + 内容方向），通过成对 judge 同时跟踪 $\Delta_{strength}$ 和 $\Delta_{severity}$，不仅量级化了攻击效果，还揭示了 strength-weakness asymmetry 和 strategy effectiveness gradient 两个结构性失败模式，这是一般 paper laundering 工作没有的机制级诊断。
实验结果
主实验覆盖 500+ 篇 arXiv 2026 年 4 月之前的未发表预印本，三款评审模型（Claude Sonnet 4、Sonnet 4.5、GPT-5-mini）各跑完整闭式攻击。Finding 1a（科学内容不变也能大幅提分）：跨模型平均 $\Delta S = +1.21$，ASR = 75.1%。Sonnet 4 表现最脆弱：原始分 3.80 → 攻击后 5.27（$\Delta S=+1.47$，ASR=87.0%）；Sonnet 4.5：4.18 → 5.42（$+1.24$，79.8%）；GPT-5-mini：5.12 → 6.03（$+0.91$，58.4%）。每篇论文攻击至多 8 轮，远少于 PAA 的 32 步 × 8 候选。Finding 1b（三个设计维度缺一不可）：在子集上对比零样本 PL（仅一次改写）、PAA（仅改 abstract）、Research Agent（迭代但无对抗目标）三类基线，本方法在所有指标上显著领先（Wilcoxon 检验 $p<0.0001$）。Finding 2（强度-弱点不对称）：在 round 级别，$\Delta_{strength}$ 86.1% 轮次为正（均值 $+2.19$），而 $\Delta_{severity}$ 仅 68.4% 轮次减弱，31.6% 反而恶化（backfire rate 是 strengths 的 2.6 倍）；67.7% 轮次达成理想结果（strengths 上升 + weaknesses 减弱），18.4% 轮次出现 swamping（strengths 上升同时 weaknesses 同步恶化但总分仍升）。Finding 3（策略效率梯度）：叙事重构策略（related work repositioning 首中率 49.3%、analytical discussion expansion 44.9%）远胜表层编辑（table formatting 29.8%、local polishing 27.8%、algorithm box 26.5%），其中 analytical discussion expansion 效果幅度最大（$\Delta_{strength}=+2.63$，$\Delta_{severity}=-1.98$）。Finding 4（迁移性）：跨模型迁移实验中，所有 off-diagonal $\Delta S$ 均为正（matched 1.42 vs mismatched 0.88），跨模板迁移在 NeurIPS/ICML 模板下 $\Delta S$ 仍为正（+0.60/+0.53）。人评盲测：30 对版本中 20 对被分类为语义保留（66.7%），Fleiss' $\kappa=0.62$，证明科学内容未改的约束在人类判断下也基本成立。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AI 评审分数偏移（Sonnet 4，全数据集） | ΔS (mean score gain) / ASR | +1.47 / 87.0% | PAA (Sonnet 4 子集): +0.46 / 36.7%；Zero-shot PL: +0.33 / 30.0%；Research Agent: +0.90 / 53.3% | 相对 PAA 提升 +1.01 分、ASR 提升 50.3 个百分点 |
| AI 评审分数偏移（Sonnet 4.5，全数据集） | ΔS / ASR | +1.24 / 79.8% | PAA (子集): +0.27 / 30.0%；Zero-shot PL: +0.25 / 28.3%；Research Agent: +0.55 / 41.7% | 相对 PAA 提升 +0.97 分、ASR 提升 49.8 个百分点 |
| AI 评审分数偏移（GPT-5-mini，全数据集） | ΔS / ASR | +0.91 / 58.4% | PAA (子集): +0.46 / 36.7%；Zero-shot PL: +0.33 / 30.0%；Research Agent: +0.90 / 53.3% | GPT-5-mini 起点分较高（5.12），提分空间小但仍超过最强基线 |
| 感知强度变化（成对 judge） | Δstrength (Sonnet 4) | +3.40 | PAA: +0.71；Research Agent: +1.85；Zero-shot PL: +0.72 | 约为 PAA 的 4.8 倍 |
| 弱点严重度变化（成对 judge） | Δseverity (Sonnet 4，越负越弱化批评) | -2.81 | PAA: -0.19；Research Agent: -0.92；Zero-shot PL: -0.25 | 约为 PAA 的 14.8 倍，弱化批评的幅度远超基线 |
| 跨模型迁移（Sonnet 4 → Sonnet 4.5 评估） | ΔS (transfer subset) | +1.07 | PAA / 零样本 PL 的迁移性未单独报告 | 同类族内迁移性显著，跨族（Claude→GPT）仍为正（+0.53） |
| 跨模板迁移（ICLR 优化 → NeurIPS/ICML 评估，Sonnet 4.5） | ΔS | NeurIPS: +0.60；ICML: +0.53 | ICLR 匹配模板下: +1.20 | 不同评分尺度（1–6）下仍为正，验证攻击非 ICLR 特定 |
局限与改进
作者明确承认三点局限。（1）模型覆盖有限：实验仅测试 Claude Sonnet 4/4.5 与 GPT-5-mini 两族三类配置，受算力限制未覆盖更多模型；但 cross-model transfer 实验中所有 off-diagonal 都为正，作者认为这暗示漏洞是结构性的而非单模型缺陷。（2）存在自然效果天花板：对于弱点是具体实验缺陷（单数据集、缺真实世界验证）的论文，展示优化仍能提分但会 plateau 在 5.0–5.5，提示 AI 评审器对实质性短板保留部分敏感性。（3）人评语义保留率仅 66.7%：盲测 30 对中 10 对被判为有可感知差异，主要集中在 conclusions / main claims 维度（DPS=0.97），说明虽然方法和实验事实未变，但叙事层改写对部分读者而言确实改变了论文传达的主张——这是展示层 vs 科学内容边界本身的模糊性所致。我自己的观察是：所有改动都通过 1 个外部 judge 评估，意味着 judge 本身的偏差可能未完全被排除；并且 case study 的可推广性未在大样本上系统验证，可能存在 selection bias。
独立分析的弱点
独立分析可见四个弱点。第一个是自然分高的论文提分空间小——GPT-5-mini 起点已经 5.12，越接近 acceptance threshold 攻击越难起作用；改进方向是同时在 boundary 区间（4–6）单独评估 ASR。第二个是闭式迭代的算力代价未严格测算——8 轮 × 3 评审 × 2 模型（attacker + judge）每论文就要 ~50 次 API 调用，相对 PAA 的 2000+ 是少很多，但相对人工改稿仍然可观；改进方向是设计更轻量的轻量化 attacker（如单轮一次改写多区）。第三个是评估协议对 judge 模型本身的依赖——所有 Δstrength/Δseverity 都来自 Sonnet 4.5 作为成对 judge，没有完全排除 judge 自身的偏好；改进方向是交叉使用多个独立 judge 报告方差。第四个是案例研究的可推广性未量化——单个 paper 的 score 3→6 是戏剧性证据，但未在大样本中系统统计评分等级翻转率（如从 Reject 翻到 Accept 的论文比例）；改进方向是单独报告 acceptance threshold flip rate。
未来方向
作者在 Discussion 部分提出三个方向。（1）Content-anchored robustness testing：建议 AI 评审器在部署前必须经过展示层扰动测试，本文发布的攻击框架和污染可控数据集可作为基准。（2）解耦科学判断与写作判断：先基于方法/实验/结果独立评科学性，再叠加写作分，防止展示→科学泄漏。（3）攻击防御研究：探索能否在评审 prompt 中加入忽略展示层修饰、专注科学证据的指令或 in-context 对抗样例。基于本文结果可延伸的方向还有：a) 把同一套攻击推广到 reviewer-respond rebuttal 阶段；b) 探索人类审稿人是否同样受 repackaging 影响（人类盲测）；c) 用更强的 judge 验证跨语言的科学内容保留；d) 把科学内容固定的硬约束形式化为自动可验证的不变量（如方法描述的语义嵌入相似度阈值），让攻击和防御双方都有客观锚点。
复现评估
复现性较好。数据方面：作者提供了全自动的污染可控 rolling benchmark 构建管道，arXiv 拉取 → 多阶段过滤（dedup 84% → publication verification 67% → LaTeX 编译 29% → cross-review 19%）→ 归档，500+ 篇论文带 LaTeX 源 + 编译 PDF + arXiv metadata，可重复执行。代码方面：项目网站 https://xyimatvoid.github.io/ARGAR-Site/ 公开了框架和数据集，构建管道无需人工干预。算力方面：每篇论文 ≤8 轮 × 3 评审 × 3 个模型 = ≤72 次 API 调用，加上 judge，整体算力中等到较高（依赖商用 API 的 token 费用）。复现难度中等偏低：实验不依赖私有数据，全部 prompt 模板（ICLR/NeurIPS/ICML 评审 prompt、pairwise judge prompt、aggregation prompt）都在附录 J 完整给出；超参 $\tau_s=\tau_w=1.0$、$\tau_n=0.8$、$w_r=0.8$、$w_c=0.2$、$N=3$ 评审都已明示；attacker 温度 0.9、judge 温度 0.0、reviewer 温度 0.1 全部列出。潜在风险是 GPT-5-mini 是 reasoning model 不支持 temperature 配置，可能导致复现的随机性分布不完全相同。
论文图表
一张表格化案例分析。选取一篇信息论嵌入质量度量论文（2 数据集、5 方法），baseline 评审给 3/10 Reject，5 个 strengths + 6 个 weaknesses；展示层攻击后变 6/10 Weak Accept，6 个 strengths（含 1 新增）+ 5 个 weaknesses（3 弱化 + 2 新增）。Strength inflation 部分展示同一个 novelty 声明从 addresses a genuine gap 升级到 the first... addressing a fundamental gap（贡献列表增强策略）、同一组 2 数据集从 only two datasets 重构为 complementary data regimes（preemptive framing）、理论贡献从 conceptually interesting 升级为 systematically compares（theoretical formalization）。Limitation laundering 展示四种机制：M1 limitation rationalization 把缺 MI 对比重塑为方法学决策；M2 preemptive framing 把 2 数据集不足重塑为互补数据设计；M3 decoy limitations 让原始弱点消失、does not provide clear guidance 反转为 clear practical utility，且新弱点恰好对应攻击者主动暴露的方向；M4 theoretical formalization 让未严格建立的理论降级为缺乏更深分析。
这是 Finding 4 的核心证据，把 31.6% backfire 率背后的失败模式用人话讲出来——AI 评审器把看起来已经处理等同于已经解决。对理解展示层操纵如何转化为科学评估提升的读者是必读。
上块全数据集三模型：Sonnet 4 (3.80→5.27, ΔS=+1.47, ASR=87.0%, Δstrength=+3.40, Δseverity=-2.81, Δcontent=+6.21)、Sonnet 4.5 (4.18→5.42, +1.24, 79.8%, +3.11, -2.75, +5.86)、GPT-5-mini (5.12→6.03, +0.91, 58.4%, +2.25, -1.98, +4.23)。下块子集基线对比：Sonnet 4 上 Zero-shot PL (+0.33, 30.0%)、PAA (+0.46, 36.7%)、Research Agent (+0.90, 53.3%)、Ours (+1.53, 86.7%)。所有 ΔS 在全数据集上 Wilcoxon 检验 p<0.0001。
主结果表，承载论文最核心的实验数字（75.1% ASR、+1.21 提分、跨模型一致有效）以及消融逻辑（每个设计维度的必要性），是读者评估攻击有效性的第一手依据。
三模型对接受 vs 被拒论文的打分差异：Human 6.41±0.73 vs 4.67±0.96；Sonnet 4 6.08±0.81 vs 5.14±1.02 (p=.0010, r=.59, ρ=.56)；Sonnet 4.5 6.31±0.74 vs 5.37±1.05 (p=.0005, r=.61, ρ=.58)；GPT-5-mini 6.43±0.95 vs 5.26±1.21 (p=.0005, r=.58, ρ=.57)。
是 AI 评审器评估可靠性的关键验证，证明 AI 打分与历史人类决策方向一致，攻击效果不是来自 AI 评审乱打分而是被操纵后向高分移动。
成对 judge 在 ICLR 2024/2025 人评对上的方向准确率。Gap≥3: 2024 Δseverity 95.8% / Δstrength 90.6%、2025 92.7% / 85.4%；Gap≥4: 96.2% / 91.2%、95.0% / 90.0%；Gap≥5: 96.9% / 93.8%、95.3% / 90.6%。
验证成对 judge 自身的可靠性——只有当 judge 准确率高时，本文 Δstrength/Δseverity 的报告才有意义。
5 维度人评量表（0–2 分）：Core contribution、Method/approach、Experimental setup、Results/evidence、Conclusions/claims。
是人评盲测的方法学基础，是科学内容固定约束的人类验证依据。