戴着镣铐跳舞：基于心智理论的学术反驳策略性说服 Dancing in Chains: Strategic Persuasion in Academic Rebuttal via Theory of Mind
首个将心智理论(ToM)引入学术反驳的框架，通过建模审稿人心态生成策略性回复
前置知识
心智理论 (Theory of Mind, ToM)
心智理论是认知科学中的核心概念，指个体理解他人信念、意图、欲望和观点差异的能力。在人工智能领域，机器心智理论(Machine ToM)指AI系统推断和建模人类或AI队友心理状态以支持协作的能力。LLM如GPT-4已展现出类ToM推理能力。本文将ToM扩展到学术反驳领域，通过建模审稿人的知识背景、潜在偏见和核心关切来指导回复策略制定。具体实现包括宏观层面分析(审稿人整体立场、态度、主要关切、专业程度)和微观层面分析(评论的具体类型、严重程度、主要关注点)，形成多维度审稿人画像。
学术反驳是典型的信息不对称动态博弈，作者必须在不了解审稿人知识背景和偏见的情况下进行说服，理解ToM是把握本文核心创新的前提
策略性说服 (Strategic Persuasion)
策略性说服超越了表面的礼貌回复，是一种需要分析权衡的复杂决策过程：何时让步、何时坚持、何时提供新证据、何时重构叙事。成功说服需要感知对方心理状态的能力，然后根据建模结果战略性地分配有限的回复空间，区分需要直接反驳的核心批评和可以巧妙重构的次要观点。本文将学术反驳从简单的语言模仿转变为策略推理任务。
现有方法主要依赖SFT模仿表面语言模式，导致回复表面礼貌但缺乏策略深度，理解策略性说服的定义有助于理解本文的核心创新
Group Reward Policy Optimization (GRPO)
GRPO是一种强化学习算法，对于每个输入问题q，模型生成一组G个候选回复{o1, o2, ..., oG}，然后通过优化clipped surrogate objective来更新策略πθ。目标函数包含重要性采样比率的裁剪(clip范围为[1-ε, 1+ε])、基于组相对奖励计算的优势值Ai、以及KL散度正则化项β·DKL(πθ∥πref)。该算法在DeepSeek-R1中首次提出，本文采用它来优化RebuttalAgent的策略，其中πθold为更新前策略，πref为冻结的参考策略。
GRPO是本文强化学习阶段的核心优化算法，理解其工作原理有助于理解自奖励机制如何与策略优化结合
自奖励机制 (Self-Reward Mechanism)
自奖励机制是一种无需外部奖励模型的可扩展自我改进方法，利用SFT调优后的模型GSFT的内在指令遵循和推理能力来自主评估生成输出。整体奖励函数R(o) = w1·Rformat(o) + w2·Rthink(o) + w3·Rresp(o) + w4·Rdiv(o)，包含四个维度：格式遵循(二进制奖励，检查是否正确包含Analysis/Strategy/Response结构)、推理质量(GSFT评估分析和策略的内容质量)、回复质量(GSFT评估最终回复的说服力和证据使用)、回复多样性(与预定义负面样本对比，鼓励多样化回复，防止reward hacking)。
自奖励机制是本文训练流程的核心创新之一，解决了缺乏外部专家标注奖励模型的问题，实现了可扩展的自我改进
研究动机
学术反驳是大语言模型在研究工作流中尚未充分探索的关键环节。从博弈论视角看，学术反驳不是简单的技术辩论，而是典型的不完全信息动态博弈(Dynamic Game of Incomplete Information)，作者必须在严重的信息不对称下说服审稿人——他们不知道审稿人的知识背景、内在偏见或回复的级联效应。现有方法主要依赖在审稿数据集上进行监督微调(SFT)，这些模型擅长模仿表面语言模式，导致回复表面礼貌但公式化、缺乏策略深度。这种失败源于它们无法执行博弈论结构所要求的策略性、换位思考推理。实践中，成功的反驳超越表面礼貌，其本质是策略性推理练习，需要分析何时让步、何时坚持、何时提供新证据、何时重构叙事等复杂权衡。
本文的目标是本文提出RebuttalAgent，首个将心智理论(ToM)集成到学术反驳中的框架，将反驳过程从简单的语言模仿转变为策略推理任务。具体目标包括：(1)通过新颖的ToM-Strategy-Response(TSR)三阶段框架，显式建模审稿人视角、识别潜在关切、制定基于证据的回复；(2)构建大规模高质量数据集RebuttalBench，包含超过70K样本，每个样本包含完整的TSR推理链；(3)通过SFT和RL两阶段训练，使Agent具备ToM分析和策略规划能力；(4)开发专门的评估器Rebuttal-RM，实现与人类专家偏好的高度对齐。
与已有工作不同的是，本文的独特切入角度是将认知科学中的心智理论引入学术反驳领域，这是首次将机器心智理论(Machine ToM)扩展到此特定场景。与现有方法仅模仿表面语言不同，本文通过层级审稿人画像建模(宏观层面分析整体意图和微观层面解构具体评论)来构建审稿人心理模型，然后基于此画像制定策略，最后基于预检索的证据块生成有证据支撑的回复。这种'先理解审稿人、再制定策略、最后生成回复'的显式分解，迫使模型在决定'如何回复'之前先决定'说什么'，确保最终文本不仅回应表面问题，而且与审稿人的潜在意图、态度和主要关切策略性对齐。
核心方法
RebuttalAgent采用新颖的ToM-Strategy-Response(TSR)三阶段框架，将复杂的反驳任务分解为连贯的推理和生成步骤。整体思路是：首先通过心智理论理解审稿人，然后制定针对性策略，最后基于证据生成有说服力的回复。具体流程为：(1)评论提取阶段，从原始审稿意见中提取独立的、可操作的评论，实现98%的准确率；(2)上下文检索阶段，通过三阶段检索模块(分段→嵌入→余弦相似度排序)隔离与目标评论最相关的论文内容；(3)TSR框架执行阶段，依次进行Theory-of-Mind分析、Strategy制定、Response生成。训练流程包括两个阶段：首先通过监督微调(SFT)在RebuttalBench上赋予Agent基础反驳能力，然后通过强化学习(RL)利用自奖励机制进一步优化ToM分析和策略策略。
核心创新在于将心智理论显式操作化为层级审稿人画像建模，这是与已有方法的本质区别。现有方法(如RebuttalFT)直接在真实回复上进行SFT，只能模仿表面语言模式；Strategy-Prompt方法虽然也先分析再回复，但缺乏系统性的审稿人心理建模。RebuttalAgent的独特之处在于：(1)宏观层面建模审稿人整体立场(Accept/Reject等5类)、态度(Enthusiastic/Constructive等5类)、主要关切(Novelty/Methodology等4类)和专业程度(Domain Expert/Generalist/Unfamiliar)；(2)微观层面解构每个评论的具体关注点(Significance/Methodology/Experimental Rigor/Presentation)和严重程度(Major/Minor)；(3)基于完整画像制定策略，而非仅基于评论表面文本。这种层级分析确保回复策略与宏观和微观批评都策略性对齐。
方法步骤详情
方法分为以下步骤：(1)评论提取：使用LLM-as-Extractor从原始审稿意见中提取独立的批评陈述，对100个随机样本手动验证达到98%准确率；(2)上下文检索：将论文分段(通常对应段落)，使用预训练嵌入模型Qwen3-Embedding-0.6B编码评论和论文块为高维向量，通过余弦相似度计算相关性，检索top-k最相关块；(3)Theory-of-Mind阶段(T)：进行层级分析，宏观层面推断审稿人整体意图(Overall Stance/Attitude/Dominant Concern/Expertise)，微观层面解构评论(Significance/Methodology/Experimental Rigor/Presentation)，构建多维度审稿人画像；(4)Strategy阶段(S)：基于完整画像和目标评论，提示LLM输出简洁的高层次策略，显式分解确保模型先决定如何回复再决定写什么；(5)Response阶段(R)：综合策略输入(ToM画像+策略)和上下文输入(检索的证据块CE+原始回复rorig)，通过引导式合成生成最终回复rtarget，形式化为rtarget = G(Ri, ctarget, P, S, Σpj∈CE M_pj, rorig)。
技术新颖性
技术新颖性体现在多个方面：(1)首次将机器心智理论操作化到学术反驳场景，通过层级分析结构(宏观+微观)显式建模审稿人心理状态，而非仅进行表面语言分析；(2)TSR框架的显式分解策略，将'理解审稿人→制定策略→生成回复'作为独立但连贯的步骤，这种分解迫使模型进行深度推理；(3)自奖励机制(Self-Reward)的设计，无需外部奖励模型即可实现可扩展的自我改进，通过四个维度(格式、推理、回复、多样性)的奖励信号引导学习；(4)回复多样性奖励(Rdiv)作为反reward hacking机制，通过与预定义负面样本对比鼓励多样化回复，防止模型陷入模板化输出；(5)大规模合成数据集RebuttalBench的构建方法，采用批评-精炼(critique-and-refine)流程，使用多个强大教师模型(GPT-4.1、Claude 3.5等)生成数据以减少模型特定偏见。
实验结果
实验结果表明RebuttalAgent在多个维度显著优于所有基线：(1)在R2-test域内测试集上，RebuttalAgent平均得分9.42，比基线Qwen3-8B(7.96)提升18.3%，其中Persuasiveness和Constructiveness维度提升最大(最高达34.6%)；(2)RebuttalAgent超越所有专有模型，包括GPT-4.1(8.50)、DeepSeek-R1(8.64)、o3(9.21)，在Clarity维度达到最高分9.43；(3)在Rebuttal-test域外测试集上，RebuttalAgent同样取得9.34的平均分，展示良好的泛化能力；(4)人类评估(100个随机样本，3位具有3年以上AI/ML研究经验的标注者，Cohen's κ=0.79)中，RebuttalAgent平均得分9.57，显著优于o3(9.26)和GPT-4.1(8.99)，在Persuasiveness维度相对GPT-4.1提升7.36%；(5)Rebuttal-RM评估器与人类偏好的一致性得分0.812，显著超过GPT-4.1(0.745)和DeepSeek-r1(0.705)；(6)消融实验证实所有组件的必要性，去除ToM、Strategy、Thinking或SFT/RL阶段都会导致性能显著下降，其中回复质量奖励(Rresp)影响最大。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 学术反驳生成 (R2-test域内) | 平均分 (0-10分制) | 9.42 | Qwen3-8B: 7.96, GPT-4.1: 8.50, o3: 9.21 | 比Qwen3-8B提升18.3%，比GPT-4.1提升10.8%，比o3提升2.3% |
| Clarity维度 | Clarity得分 | 9.43 | Qwen3-8B: 8.51, GPT-4.1: 8.91, o3: 9.34 | 比Qwen3-8B提升10.8%，达到最高分 |
| Persuasiveness维度 | Persuasiveness得分 | 9.20 | Qwen3-8B: 8.08, GPT-4.1: 8.57, o3: 9.12 | 比Qwen3-8B提升13.8%，比GPT-4.1提升7.4% |
| Constructiveness维度 | Constructiveness得分 | 9.50 | Qwen3-8B: 8.87, GPT-4.1: 9.42, o3: 9.50 | 比Qwen3-8B提升7.1%，与o3持平 |
| 人类评估 | 人类评估平均分 | 9.57 | o3: 9.26, GPT-4.1: 8.99, Qwen3-8B: 8.50 | 比o3提升3.3%，比GPT-4.1提升6.4% |
| Rebuttal-RM评估器 | 与人类偏好的一致性(平均) | 0.812 | GPT-4.1: 0.745, DeepSeek-r1: 0.705, Qwen3-8B: 0.664 | 比GPT-4.1提升9.0%，比DeepSeek-r1提升15.2% |
局限与改进
尽管RebuttalAgent取得了显著成果，但仍存在以下局限性：(1)数据局限：训练数据来源于Re2-rebuttal数据集，主要包含2017-2023年OpenReview上的24个会议和21个研讨会，可能无法充分代表所有学科领域(如医学、法律)的审稿风格；(2)评论排除策略：作者显式排除了需要进行新实验的评论(如'与基线X比较')，专注于语言说服和策略论证，这意味着模型无法处理需要实际实验数据支撑的反驳场景；(3)评估偏差：虽然开发了Rebuttal-RM作为评估器，但该评估器本身也是基于Qwen3-8B微调的，可能存在系统性偏差，且与人类偏好的一致性(0.812)虽超过GPT-4.1但仍非完美；(4)伦理风险：作者承认模型可能无意中学习和强化训练数据中的偏见，如不恰当的说服策略，尽管通过排除实验相关评论来缓解虚构证据的风险，但无法完全消除；(5)泛化能力：域外测试(Rebuttal-test)虽然显示了较好的泛化能力(9.34分)，但该测试集也仅包含ICLR和NeurIPS的近期审稿，对其他领域(如计算机视觉、自然语言处理以外的领域)的泛化能力尚未验证；(6)计算资源：训练过程需要3张H800 GPU和2张A100 80GB GPU，可能限制了资源有限的研究者的复现。
独立分析的弱点
独立分析的弱点及改进方向：(1)单轮反驳假设：当前框架假设针对单个评论的独立回复，未考虑审稿人-作者之间的多轮对话动态，改进方向是扩展为多轮交互框架，建模历史对话对当前策略的影响；(2)证据检索局限：当前使用简单的余弦相似度进行检索，可能遗漏语义相关但表面不同的内容，改进方向是引入更先进的检索方法(如混合检索、查询扩展)或端到端训练检索模块；(3)策略生成显式性：虽然引入了显式策略生成步骤，但策略质量高度依赖LLM的推理能力，且缺乏对策略执行效果的反馈机制，改进方向是引入策略验证模块或基于结果的策略优化；(4)多样性奖励设计：当前Rdiv通过与预定义负面样本对比来鼓励多样性，但负面样本的选择可能引入偏见，改进方向是设计更自适应的多样性度量或基于对抗训练的方法；(5)评估维度局限：当前评估仅考虑Attitude、Clarity、Persuasiveness、Constructiveness四个维度，可能遗漏其他重要方面(如技术准确性、创新性回应)，改进方向是扩展评估维度或引入更细粒度的评估标准。
未来方向
未来研究方向包括：(1)多模态扩展：当前框架仅处理文本，未来可扩展到处理图表、数学公式等多模态审稿意见，结合视觉理解能力进行更全面的分析；(2)跨领域泛化：将框架应用到更广泛的学术领域(如医学、法律、社会科学)，验证ToM策略在不同学科审稿文化中的有效性；(3)人机协作：开发交互式工具，允许作者与RebuttalAgent协作，作者提供关键见解而Agent负责策略组织和语言润色，实现更高效的人机协作；(4)多轮对话：扩展为支持审稿人-作者多轮对话的框架，能够根据审稿人反馈动态调整策略；(5)可解释性增强：进一步提升ToM分析和策略生成的可解释性，让作者理解为什么选择特定策略，而非仅提供最终回复；(6)实时适应：开发能够根据审稿人实时反馈动态调整策略的在线学习框架；(7)公平性研究：深入研究不同文化背景、语言风格的审稿人对回复策略的偏好差异，确保框架对不同审稿人群体的公平性。
复现评估
复现评估：(1)开源情况：作者提供了完整的代码和模型(GitHub: https://github.com/Zhitao-He/RebuttalAgent)，包括RebuttalBench数据集构建流程、RebuttalAgent训练代码、Rebuttal-RM评估器，复现所需的基础设施较为完善；(2)数据：RebuttalBench基于公开的Re2-rebuttal数据集构建，使用GPT-4.1解析审稿意见，生成超过70K样本，数据构建流程详细记录在论文和附录中，但依赖GPT-4.1等商业API可能产生费用；(3)算力：训练需要3张H800 GPU(用于GRPO训练)和2张A100 80GB GPU(用于SFT)，推理阶段使用单张GPU，对于学术实验室来说算力需求中等偏高；(4)难度：论文详细记录了所有超参数、训练细节和提示模板，但完整的训练流程(数据合成+SFT+RL)较为复杂，需要熟悉LLM微调和强化学习；(5)评估：Rebuttal-RM的训练数据和流程完整公开，但评估依赖于该评估器本身，可能存在循环评估的问题，建议同时使用人类评估进行验证。总体而言，复现难度中等，主要挑战在于算力需求和多阶段训练流程的复杂性。
论文图表