PaperMentor：面向Overleaf上AI研究论文的以人为本多智能体写作导师 PaperMentor: A Human-Centered Multi-Agent Writing Tutor for AI Research Papers on Overleaf
PaperMentor通过专家技能库指导的多智能体系统，在Overleaf中提供可操作的学术写作建议
前置知识
多智能体系统
多智能体系统是将复杂任务分解为多个专门化子任务，每个智能体负责特定领域的独立智能单元。在PaperMentor中，12个专业智能体并发运行，分别负责摘要、引言、相关工作、方法、结果、结论、附录、写作风格、LaTeX格式、图表说明等不同审查领域，每个智能体接收相关的技能文件和上下文信息，生成格式化的评论，最后汇总去重。这种设计使系统能够同时关注论文的多个维度，提高反馈的全面性和专业性。
理解多智能体系统的设计原理对于理解PaperMentor如何将复杂的论文写作审查任务分解为可管理的子任务、如何实现并行处理以及如何整合多个专家意见至关重要。
技能库（Skill Library）
技能库是PaperMentor的核心知识基础，是一个精心策划的专家写作指导集合，包含40多个技能文件，总计超过16000字的专业知识。这些技能来源于AI/ML/NLP教授的内部反馈和公开可用的资深研究员写作指南，涵盖六个顶级类别：setup、venues、paper types、sections、figures and tables、writing style。技能库采用模块化设计，每个智能体根据其专业领域接收相关技能文件，确保评论与特定论文类型、目标会场和写作标准相匹配。技能库设计为可扩展的社区驱动资源，研究者可以通过简单的文本编辑添加新技能或改进现有技能。
技能库是PaperMentor与直接使用LLM基线的本质区别所在，理解其结构和作用机制对于把握系统的核心创新点和性能提升来源至关重要。
ShareJS操作转换协议
ShareJS是一个实时协作框架，其操作转换协议（Operational Transformation, OT）允许多个客户端同时编辑同一个文档并自动解决冲突。在Overleaf中，ShareJS用于实现多用户实时协作编辑功能。PaperMentor利用ShareJS的协议直接将AI生成的评论注入到Overleaf的原生评论面板中，使评论以与人类评审者相同的方式呈现。评论包含源文件标识、高亮文本的字符跨度、评论文本和严重性级别四个信息，通过ShareJS协议与Overleaf编辑器无缝集成，无需改变用户现有的写作工作流程。
理解ShareJS协议的工作原理有助于理解PaperMentor如何在不改变Overleaf原生用户体验的情况下，将AI反馈无缝集成到现有的协作编辑环境中。
评论严重性标签
PaperMentor为每个生成的评论分配一个严重性级别标签，用于表示问题的重要性程度。系统定义了三个严重性级别：CRITICAL表示严重问题，必须立即解决，通常影响论文的核心贡献陈述或方法描述的完整性；WARNING表示警告级别问题，应该解决但不是立即致命的，通常涉及结果呈现的清晰度或方法细节的充分性；SUGGESTION表示建议级别，可以改进但不是必需的，通常涉及格式规范或风格一致性。严重性标签帮助作者优先处理最重要的问题，同时不会让低优先级建议淹没在反馈中。
严重性标签机制是PaperMentor以人为本设计理念的具体体现，理解其分类标准和使用方式有助于理解系统如何帮助作者高效处理大量反馈。
领域感知与会场感知
领域感知（Venue-aware）是指系统能够理解不同学术会议或期刊的特定要求和惯例，如ACL对可复现性细节的重视或NeurIPS对理论分析的深度要求。会场感知允许用户提供目标会场信息，系统根据会场的具体标准调整评论重点。论文类型感知（Paper Type-aware）是指系统能够识别不同类型的AI研究论文（如数据集论文、方法论文、工程论文、跨学科论文、立场论文等）并应用相应的写作规范。例如，数据集论文需要详细描述数据收集过程和标注指南，而方法论文应该清晰展示动机、形式化定义和与基线的比较。系统使用LLM根据技能库中的描述自动识别最合适的论文类型。
领域感知和会场感知是PaperMentor提供专业化、有针对性反馈的关键机制，理解其工作原理对于把握系统如何超越通用写作建议至关重要。
研究动机
当前AI写作工具在支持学术写作方面存在显著不足。语法检查工具如Grammarly和Writefull主要关注句子级别的语法修正，而AI评审工具如Liang等人（2024）的系统和Zhou等人（2024）的工作则模拟同行评审并提供最终评分判断。这两类工具都无法提供起草阶段需要的、基于文本锚点的叙事结构、组织结构和技术呈现方面的指导。初级AI研究者往往缺乏经验丰富的导师指导，只能通过试错学习学术写作，这种状况可能导致即使技术想法很强，但由于呈现方式薄弱而影响论文的最终接受。在ICLR 2026这样的顶级AI会议中，评审者不仅评估技术贡献，还同等重视清晰度、叙事结构、组织性和对惯例的遵循（Rogers和Augenstein, 2020; Shah, 2022），这使得写作质量成为影响论文命运的关键因素。
本文的目标是本文的目标是构建一个以人为本的AI写作辅助系统，为AI研究论文提供专家级、可操作的写作建议，同时完全保留作者对写作过程的控制权。具体来说，系统应该生成与Overleaf原生评论集成的文本锚点评论，允许作者在自己的协作工作流中审查建议。系统需要结合精心策划的专家技能库和多个专业化智能体，审查论文的不同方面，包括格式合规性、措辞准确性和术语一致性。通过用户研究验证系统的有效性，确保生成的评论既有效又可操作，显著优于直接使用相同LLM而不使用技能库的基线。最终目标是缩小写作指导方面的导师差距，为初级研究者提供高质量、个性化的写作反馈。
与已有工作不同的是，本文的独特切入角度在于将专家写作指导知识结构化为可编程的技能库，并与多智能体LLM系统相结合。与现有AI评审工具关注接受/拒绝判断或整体评分不同，PaperMentor专注于起草阶段需要的具体写作建议。与商业写作工具关注表面语言质量不同，PaperMentor提供结构和组织反馈，这对科学写作特别是初级研究者特别重要。与直接提示LLM不同，PaperMentor使用精心策划的专家技能库来引导多个专业化智能体，使评论与特定论文类型、目标会场和写作标准相匹配。这种基于评论而非重写的方法保留了作者的主观能动性（Dhillon等人，2024; Han等人，2024），同时提供AI领域感知和会场感知的指导。论文还通过严格的用户研究评估系统的有效性，比较了带技能库的PaperMentor与直接使用相同LLM基线的性能差异。
核心方法
PaperMentor采用三阶段流水线架构，结合专家技能库和多智能体系统，在Overleaf中生成原生的写作建议。第一阶段是输入处理，用户上传LaTeX项目并选择目标会场和参考论文，系统解析嵌套文件、提取结构元素、识别论文类型并将内容分配给适当的审查领域。第二阶段是多智能体审查，12个专业智能体并发运行，根据领域特定专业知识、论文类型指南、会场期望和参考论文生成结构化反馈。第三阶段是评论聚合，对智能体评论进行去重、整合并映射回原始LaTeX源文件，最终在Overleaf界面中呈现。整个系统构建在开源的Overleaf Community Edition上，前端扩展了侧边栏面板，后端使用Express.js路由处理器和审查编排引擎，通过ShareJS操作转换协议将评论注入Overleaf的原生评论面板。
PaperMentor的核心创新点在于将专家写作指导结构化为模块化、可扩展的技能库，并将其与多智能体LLM系统深度集成。与直接使用LLM生成评论的基线不同，PaperMentor的12个专业智能体（7个章节智能体、3个全局智能体、2个动态智能体）由技能库中的专门化知识指导，每个智能体只审查其专业领域的内容，确保评论的高度相关性和专业性。技能库的六个顶级类别（setup、venues、paper types、sections、figures and tables、writing style）形成了层次化的知识结构，使系统能够提供会场感知和论文类型感知的反馈。另一个核心创新是保留作者控制权的基于评论而非重写的方法，系统只提供建议，由作者决定是否采纳，这种设计遵循了以人为本的AI协作原则。此外，技能库的可扩展性和社区驱动开发模式使系统能够随着AI研究社区的写作实践演进而不断改进。
方法步骤详情
PaperMentor的完整工作流程分为三个阶段。第一阶段输入处理开始于用户打开LaTeX项目并选择目标会场和参考论文，系统首先解析嵌套文件将项目合并为单一LaTeX源文件，然后提取摘要和所有章节标题（包括章节和小节直到附录）。使用合并后的源文件和提取的结构信息，系统识别论文类型（分析、数据集、方法、工程、跨学科或立场论文）并使用LLM将每个最底层章节标题映射到一个或多个审查领域（摘要、引言、相关工作、方法、结果、结论、附录），同时定义全局审查领域（写作风格、数学格式、表格和图形说明）。第二阶段多智能体审查运行12个专业智能体并发执行，每个智能体接收相关的LaTeX源文本、领域特定技能文件、论文类型特定指南、会场特定期望和任何提供的参考论文，生成格式化评论（包括源文件、高亮文本的字符跨度、评论文本、严重性级别）。当输入长度超过预定义阈值时，任务进一步分解为由更低级子智能体处理的更小子任务。第三阶段评论聚合首先删除接近重复的评论（高亮文本跨度大幅重叠且评论文本在词汇上相似），合并时保留更高严重性的评论，优先选择章节特定智能体而非全局智能体，然后使用智能体生成的字符跨度将每个评论映射回其对应的源文件，最后通过ShareJS协议在Overleaf界面中呈现。
技术新颖性
PaperMentor的技术新颖性体现在多个方面。首先，技能库的创新在于将非结构化的专家写作指导转化为结构化、可计算的标记格式，使用Claude Opus 4.5重构和标准化来自32个高质量已发表示例和350篇2025年会议（NeurIPS、ICLR、COLM）评审的材料，所有生成标记都经过人工审查和改进以确保一致性、正确性、清晰性和简洁性。其次，多智能体系统的创新在于将论文审查任务自然分解为12个专业智能体，每个智能体专注于特定领域，既提高了效率又保证了评论的专业性。第三，会场感知和论文类型感知的创新在于系统能够根据用户提供的上下文动态调整评论重点，提供真正个性化的写作指导。第四，与Overleaf深度集成的创新在于利用ShareJS协议将AI反馈无缝注入原生编辑环境，无需改变用户现有的写作工作流程。最后，技能库的可扩展性和社区驱动开发模式的创新在于系统设计为活的资源，研究者可以通过简单的文本编辑添加新技能或改进现有技能，使系统能够随着AI研究社区的写作实践演进而不断改进。
实验结果
用户研究结果表明，PaperMentor在有效性和可操作性方面显著优于直接使用相同LLM而不使用技能库的基线。14名AI研究者参与研究，每人评估4篇论文，每篇论文评估60条评论（30条PaperMentor生成，30条基线生成），总共评估3360条评论。评价维度包括有效性（反馈是否事实正确且与高亮文本相关）、可操作性（反馈是否清楚建议作者应该改变什么）和简洁性（反馈是否简洁扼要，没有不必要的细节或重复）。PaperMentor在有效性上达到$0.675 \pm 0.023$，比基线的$0.610 \pm 0.023$提升了$6.5$个百分点（$p < 0.001$）；在可操作性上达到$0.906 \pm 0.014$，比基线的$0.865 \pm 0.016$提升了$4.1$个百分点（$p < 0.001$）；在简洁性上达到$0.900 \pm 0.015$，比基线的$0.973 \pm 0.008$低了$7.3$个百分点（$p < 0.001$）。这表明虽然技能库的引入使评论更长，但也显著提高了评论的准确性和可操作性，揭示了简洁性与改进的有效性和可操作性之间的权衡。评论分布显示，约40%的评论集中在方法和结果部分，考虑到章节长度，PaperMentor对摘要和方法等高影响章节分配了相对更多的关注，而对附录的关注较少，表明系统的智能分配策略有效。定性反馈显示，大多数参与者认为AI反馈模仿了教授的语气，易于理解，对改进论文有用，且批评水平总体平衡。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 学术写作评论生成 | 有效性（Validity） | 0.675 ± 0.023 | 0.610 ± 0.023（直接GPT-5.2提示） | +6.5个百分点（p < 0.001，Mann–Whitney U检验） |
| 学术写作评论生成 | 可操作性（Actionability） | 0.906 ± 0.014 | 0.865 ± 0.016（直接GPT-5.2提示） | +4.1个百分点（p < 0.001，Mann–Whitney U检验） |
| 学术写作评论生成 | 简洁性（Conciseness） | 0.900 ± 0.015 | 0.973 ± 0.008（直接GPT-5.2提示） | -7.3个百分点（p < 0.001，Mann–Whitney U检验） |
局限与改进
作者承认的局限性包括：PaperMentor目前主要在LaTeX源代码上操作，可能错过依赖于渲染PDF输出、视觉图形质量或数值验证的问题。评估包括80篇论文和14名注释者，虽然足以证明相对于基线的统计显著改进，但未捕捉到写作风格、会场、学科和研究背景的全部多样性。系统依赖于技能库的覆盖范围和底层LLM的可靠性，因此其反馈应被视为起草辅助而非权威评审判断。此外，章节特定智能体为提高效率只在有限的手稿部分而非整篇论文上操作，导致一些有效性错误，当智能体将术语、定义或实验细节识别为缺失时，实际上这些内容在文档其他部分已引入。作者还指出，技能库主要反映了英语语言、西方AI会场的规范和惯例，可能无法同等地推广到来自不同文化或学科背景的研究者。作者还提醒，过度依赖AI反馈可能会无意中使写作风格同质化或抑制科学交流中的多样修辞声音。我自己的观察包括：系统目前只支持有限的论文类型（分析、数据集、方法、工程、跨学科、立场），可能无法覆盖所有AI研究论文类型；评估只与直接LLM基线比较，没有与人类专家写的评论比较，无法评估系统反馈的绝对质量；系统目前只支持LaTeX，不适用于Word或其他格式的论文；系统需要用户主动触发，无法在写作过程中提供实时反馈。
独立分析的弱点
PaperMentor的第一个弱点是章节特定智能体的有限上下文可能导致重复或遗漏识别，因为它们只在分配的章节上操作而看不到整篇论文，导致将已在其他章节引入的内容标记为缺失。改进方向是开发轻量级的文档范围基础机制，如共享摘要、全局定义或文档内容的结构化表示，可以被所有审查智能体高效访问。第二个弱点是技能库的潜在偏差，因为它主要反映了英语语言、西方AI会场的规范和惯例，可能无法同等地推广到来自不同文化或学科背景的研究者。改进方向是鼓励社区贡献多样化的技能模块，扩展技能库以覆盖更多学科和地区的写作实践。第三个弱点是评估的局限性，只与直接LLM基线比较而没有与人类专家评论比较，无法评估系统反馈的绝对质量。改进方向是收集和基准测试专家撰写的Overleaf评论，为评估系统生成的反馈的整体质量和有用性提供更强的参考点。第四个弱点是系统目前主要在LaTeX源代码上操作，可能错过依赖于渲染PDF输出、视觉图形质量或数值验证的问题。改进方向是集成PDF渲染和视觉分析模块，扩展审查范围到视觉呈现和数值一致性检查。第五个弱点是系统需要用户主动触发，无法在写作过程中提供实时反馈。改进方向是开发增量分析功能，能够在用户编辑时实时生成和更新建议。
未来方向
作者提出的未来工作方向包括：开发轻量级的文档范围基础机制，如共享摘要、全局定义或文档内容的结构化表示，可以被所有审查智能体高效访问，以减少因有限上下文导致的错误；收集和基准测试专家撰写的Overleaf评论，为评估系统生成的反馈的整体质量和有用性提供更强的参考点；鼓励社区贡献扩展技能库并改进系统，使其能够随着AI研究社区的写作实践和标准的演进而不断改进。基于成果可延伸的未来方向包括：将系统扩展到更多论文类型和学科领域，如计算机视觉、HCI、机器人学等；支持多种文档格式，如Word、Markdown等，扩大用户覆盖范围；开发增量分析和实时反馈功能，在用户写作过程中提供即时建议；集成更多高级分析功能，如自动检测方法论缺陷、自动生成贡献陈述草稿、自动识别缺失的实验等；开发个性化学习功能，根据用户的写作历史和偏好调整反馈风格和重点；探索多语言支持，为非英语研究者提供母语写作建议；开发协作学习功能，让研究团队能够共享自定义技能和写作规范；集成更多AI模型选项，让用户能够选择最适合自己需求的底层LLM。
复现评估
PaperMentor以AGPL-3.0许可证开源，代码公开可用（https://github.com/jiarui-liu/overleaf），提供了在线演示（https://overleafmentor.ai.utoronto.edu/）和演示视频（https://youtu.be/BD4caEJtGR0）。系统构建在开源的Overleaf Community Edition之上，前端使用TypeScript和React组件，后端使用Express.js路由处理器和审查编排引擎。评估使用的数据集包括总共80篇具有可编译LaTeX源文件的论文：10篇来自先前的内部学生提交，70篇从ICLR 2026提交中随机采样（包括arXiv链接和可下载的LaTeX源文件），故意从所有提交中采样而不仅限于已接受论文以确保论文质量的广泛光谱。用户研究招募了14名具有AI学术背景的研究者（从本科生到博士生），每人评估4篇论文，每篇论文评估60条评论，总共评估3360条评论。所有外部论文均来自公开可用的预印本（arXiv），仅根据各自许可证用于非商业研究目的。用户研究遵循ETH Zurich的研究伦理指南，免于正式伦理审查。复现难度中等，需要部署Overleaf Community Edition、配置后端服务、设置LLM API（如GPT-5.2）、准备评估数据集和招募注释者。技能库采用简单的文本标记格式，易于扩展和修改，社区可以贡献新技能或改进现有技能。总体而言，PaperMentor具有良好的可复现性和可扩展性，为研究社区提供了一个强大的学术写作辅助工具。
论文图表