MDAgent2：面向分子动力学代码生成与知识问答的大语言模型 MDAgent2: Large Language Model for Code Generation and Knowledge Q&A in Molecular Dynamics
首个端到端分子动力学代码生成与QA框架，结合三阶段训练与闭环强化学习
前置知识
分子动力学（Molecular Dynamics, MD）模拟
分子动力学是一种基于经典力学的计算模拟方法，通过求解牛顿运动方程来追踪原子或分子在时间演化中的轨迹。在材料科学中，研究者使用专门的模拟平台（如LAMMPS）来建模从晶体构建到热导率分析的各种物理过程。MD模拟涉及复杂的建模脚本、严格的物理约束和高度结构化的输入格式，需要较强的领域专业知识和丰富的实践经验。
本文的核心应用场景就是MD模拟中的LAMMPS脚本生成，理解MD模拟的基本概念和LAMMPS的工作流程是理解本文动机和方法的前提。
LAMMPS脚本
LAMMPS（Large-scale Atomic/Molecular Massively Parallel Simulator）是一种广泛使用的分子动力学模拟软件，其脚本语言用于定义模拟系统的几何结构、原子间势函数、热力学条件和输出设置等。LAMMPS脚本通常包含units、dimension、boundary、atom_style等命令，编写这些脚本需要深厚的领域知识。
本文的目标是自动生成可执行的LAMMPS脚本，理解LAMMPS脚本的结构和复杂性有助于理解本文解决的技术难题。
持续预训练（Continued Pre-Training, CPT）
CPT是一种在已有预训练模型基础上，使用特定领域数据继续进行预训练的技术。其目的是向模型注入领域知识，增强模型对专业术语、模拟工作流和结构化概念的理解能力，同时保持模型的通用语言能力。CPT通常使用大规模无标注语料库进行训练。
本文采用三阶段后训练策略，CPT是第一阶段，用于向基础模型注入分子动力学和LAMMPS相关知识，理解CPT的工作原理对于理解本文的训练流程至关重要。
监督微调（Supervised Fine-Tuning, SFT）
SFT是一种使用高质量标注数据对预训练模型进行任务对齐的训练技术。通过在指令-响应对上进行训练，使模型学会按照特定格式和要求生成回答。SFT通常在CPT之后进行，用于将模型与下游任务需求对齐。
SFT是本文三阶段训练的第二阶段，使用MD-InstructQA数据集进行训练，用于增强模型的问答能力和代码生成的冷启动。
Group Relative Policy Optimization（GRPO）
GRPO是一种广泛用于大语言模型强化学习的算法，通过对比同一批次中不同输出的奖励来计算优势函数，从而优化策略模型。相比传统的PPO算法，GRPO不需要训练单独的价值模型，简化了训练流程。
本文基于GRPO提出了MD-GRPO框架，利用模拟执行结果作为奖励信号进行闭环优化，理解GRPO的基本原理是理解MD-GRPO创新点的基础。
多智能体系统（Multi-Agent System）
多智能体系统是一种由多个自主智能体组成的计算系统，每个智能体负责特定功能，通过协作完成复杂任务。在本文的上下文中，MDAgent2-RUNTIME包含代码生成器、代码运行器和结果评估器三个功能节点，共同实现从自然语言到仿真代码的自动化流程。
MDAgent2-RUNTIME是本文的核心系统贡献，理解多智能体协作机制有助于理解该系统的整体架构和工作流程。
强化学习中的奖励函数设计
奖励函数是强化学习的核心组件，用于评估智能体行为的质量并提供优化信号。在代码生成任务中，奖励函数通常包括格式奖励（确保输出结构正确）和正确性奖励（评估代码质量）。本文设计了包含8个评估维度的混合奖励函数，涵盖LAMMPS脚本的关键质量指标。
本文的MD-GRPO框架创新性地设计了执行驱动的奖励函数，理解奖励函数的设计原理有助于理解该方法的核心技术贡献。
研究动机
分子动力学（MD）模拟是材料科学中探索原子尺度行为的核心工具，然而编写LAMMPS脚本仍然是高度专业化且耗时的任务。尽管大语言模型（LLMs）在代码生成和领域问答方面展现出潜力，但在MD场景中的表现受到多个因素限制。首先，领域数据稀缺且构建困难：当前材料数据生态系统存在稀缺、碎片化、格式不一致、可访问性有限和数据质量参差不齐等问题，这些问题在文本到代码生成任务中尤为突出。目前缺乏专门针对分子动力学的高质量数据集和系统化的构建方法。其次，缺乏针对LAMMPS的评估基准：虽然已有DiSCoMaT、MaScQA、ChemBench等材料科学基准，但它们对分子动力学模拟和LAMMPS代码生成的覆盖有限，难以全面评估LLMs在该领域的能力。第三，代码生成研究不足且缺乏闭环优化：大多数现有研究聚焦于文本到文本生成，对文本到代码生成的探索有限，特别是针对工业和科学仿真代码。许多现有方法仍停留在一次性生成阶段，缺乏自动化执行、评估和自我纠正的闭环机制。最后，大规模SOTA模型的高成本和有限部署性：专有商业模型（如GPT-5.1）无法本地部署，超大规模开源模型（如Qwen3-235B）推理成本过高。
本文的目标是本文的具体目标是构建MDAgent2，这是首个专门为分子动力学领域的代码生成和知识问答设计的端到端框架。具体而言，作者旨在：（1）设计结构化的数据构建流程，产出三个高质量数据集（MD-Knowledge、MD-InstructQA、MD-CodeGen），填补MD领域高质量数据资源的空白；（2）采用三阶段后训练策略（CPT、SFT、RL）训练两个领域适应模型（MD-Instruct和MD-Code），显著提升模型在MD领域的理解和生成能力；（3）引入MD-GRPO，一种利用模拟执行结果作为奖励信号的闭环强化学习框架，通过低奖励轨迹回收机制持续优化代码生成质量；（4）构建MDAgent2-RUNTIME，一个可部署的多智能体系统，集成代码生成、执行、评估和自我纠正功能；（5）建立MD-EvalBench，首个针对LAMMPS代码生成和问答的基准测试。
与已有工作不同的是，本文的独特切入角度体现在以下几个方面：与之前的MDAgent主要依赖SFT且未将执行反馈驱动的强化学习纳入训练循环不同，MDAgent2引入了MD-GRPO这一闭环强化学习框架，直接利用模拟执行结果作为奖励信号，实现了从一次性代码生成到执行感知优化的范式转变。此外，本文不仅关注模型训练，还构建了完整的多智能体运行时系统MDAgent2-RUNTIME，实现了从自然语言描述到工业级仿真代码的全自动化流程。这种'数据构建-模型训练-运行时系统-评估基准'的全链路设计在MD领域尚属首次，为AI for Science中的自动代码生成和自主实验提供了系统性的方法论基础。
核心方法
MDAgent2的整体思路可以概括为'数据-训练-系统-评估'四位一体的框架设计。从直觉上讲，要让LLM在分子动力学这样高度专业化的领域生成高质量代码，需要解决三个层次的问题：首先是'知识注入'，让模型理解MD领域的专业知识和LAMMPS语法；其次是'任务对齐'，让模型学会将自然语言描述转换为正确的仿真代码；最后是'质量保证'，通过执行反馈不断优化生成代码的可执行性和物理正确性。技术路线方面，作者首先构建了三个高质量数据集（MD-Knowledge用于领域预训练、MD-InstructQA用于指令微调、MD-CodeGen用于代码生成），然后采用CPT→SFT→RL的三阶段后训练策略在Qwen3-8B基础上训练MD-Instruct和MD-Code两个模型，接着构建了包含代码生成器、代码运行器和结果评估器的多智能体系统MDAgent2-RUNTIME，最后建立了MD-EvalBench基准进行全面评估。这种从数据到系统的全链路设计确保了每个环节都有高质量的支撑。
MDAgent2的核心创新点是MD-GRPO，一种基于执行反馈的闭环强化学习框架，这是与已有方法的本质区别。传统的代码生成方法（包括之前的MDAgent）主要依赖SFT进行训练，生成的代码质量受限于训练数据的覆盖范围，且缺乏对代码实际执行效果的优化。MD-GRPO的关键创新在于：（1）执行驱动的奖励设计——不再使用人工设计的奖励函数或LLM评分，而是直接执行生成的LAMMPS代码并基于模拟结果计算奖励，包括格式奖励 R_format 和正确性奖励 R_correct，总奖励为 R_total = lambda_1 * R_format + lambda_2 * R_correct，其中 lambda_1=1，lambda_2=5；（2）低奖励轨迹回收机制——当生成的代码执行失败或得分较低时，系统记录整个轨迹并改写原始查询为优化形式 q'，然后将其加入训练数据池，使模型能够迭代地纠正之前观察到的失败模式；（3）多维度评估体系——正确性奖励基于8个专家设计的评估维度，涵盖LAMMPS脚本质量的关键方面，采用奖励信号和惩罚信号的混合设计。这种从'一次性生成'到'执行感知优化'的转变是本文最本质的技术贡献。
方法步骤详情
MDAgent2的方法步骤如下：第一阶段是数据构建。MD-Knowledge数据集通过多阶段数据清洗流程构建，包括无用文本过滤、基于正则表达式的内容移除、基于MinHash和LSH的近似去重、基于嵌入相似度的语义去重、以及基于LLM评估的高质量样本筛选。MD-InstructQA数据集通过PDF到Markdown的转换、结构敏感的混合分块、语义领域标签树生成、问题生成和知识增强提示生成等步骤构建。MD-CodeGen数据集结合领域专家手工收集的高质量示例和自动化任务建模方法生成。第二阶段是模型训练。CPT阶段将MD-Knowledge语料与通用领域数据混合进行增量预训练；SFT阶段将MD-InstructQA与通用指令数据混合进行微调，并引入MD-CodeGen子集作为冷启动种子；MD-GRPO阶段对策略模型生成的多个候选代码执行分子动力学模拟，基于奖励模型评分优化策略，同时通过轨迹感知优化不断改进。第三阶段是系统部署。MDAgent2-RUNTIME包含三个功能节点：代码生成器（Writer LLM生成初始代码并通过语法和势函数检查迭代优化）、代码运行器（在Docker沙箱中执行代码）、结果评估器（基于多维评估标准生成结构化分数），形成完整的闭环优化流程。
技术新颖性
MDAgent2的技术新颖性体现在多个层面。首先，在数据层面，本文设计了系统化的数据构建流程，产出三个高质量数据集填补了MD领域数据资源的空白，其中MD-Knowledge数据集采用五阶段清洗流程确保质量，MD-InstructQA通过语义提取和问答生成实现自动化构建，MD-CodeGen结合专家经验和自动化建模实现规模化生产。其次，在训练层面，MD-GRPO首次将执行反馈驱动的闭环强化学习引入MD代码生成任务，通过执行结果作为奖励信号和低奖励轨迹回收机制实现了从一次性生成到迭代优化的范式转变，其奖励函数设计融合了格式约束和8个维度的正确性评估。第三，在系统层面，MDAgent2-RUNTIME实现了从自然语言到仿真代码的全自动化流程，集成了LAMMPS特定工具（语法验证、势函数管理、自动推荐等）和人机协作机制。最后，在评估层面，MD-EvalBench是首个针对LAMMPS代码生成和问答的基准测试，包含理论知识、语法理解和代码生成三个维度的评估。这种从数据到评估的全链路创新在MD领域尚属首次。
实验结果
本文的实验结果展示了MDAgent2在分子动力学问答和代码生成任务上的显著优势。在QA能力评估方面，MD-Instruct-8B在MD-KnowledgeEval和LAMMPS-SyntaxEval两个基准上表现出色，总体平均分达到74.67，相比基线模型Qwen3-8B的70.50提升了4.17分。具体来看，在知识评估（Knowledge）上得分为76.89（+1.74），在语法评估（Syntax）上得分为72.45（+6.61），表明领域特定后训练显著增强了模型的MD相关知识理解能力。值得注意的是，MD-Instruct-8B的表现超越了更大的通用模型Qwen-Flash（73.47）和Qwen3-14B（72.91），证明了领域适应训练的价值。Qwen3-Max以82.49分取得最佳总体表现，显示大规模SOTA模型仍保持强大的泛化能力。在代码生成能力评估方面，MDAgent2-RUNTIME显著提升了代码生成性能：以MD-Code-8B为例，启用RUNTIME循环将ExecSucc@3从14.23%提升至37.95%（提升23.72个百分点），Code-Score-Human从9.29略升至9.32。这些结果证明了迭代评估和自我纠正在多智能体系统中的价值。此外，MDAgent2-RUNTIME在所有三个骨干模型上均优于MDAgent多智能体框架，这归功于两个关键差异：MDAgent2集成了专门针对LAMMPS的工具，并利用实际LAMMPS执行反馈（这是MDAgent所没有的）。领域特定后训练的MD-Code-8B在直接提示设置下也达到了9.29的Code-Score-Human，表明完整的后训练栈（CPT+MD-GRPO RL）显著提升了模型生成准确和可执行LAMMPS脚本的能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 分子动力学知识问答（MD-KnowledgeEval） | 总体平均分（Total Score） | MD-Instruct-8B: 76.89 | Qwen3-8B: 75.15 | +1.74（绝对提升） |
| LAMMPS语法理解（LAMMPS-SyntaxEval） | 总体平均分（Total Score） | MD-Instruct-8B: 72.45 | Qwen3-8B: 65.84 | +6.61（绝对提升） |
| 综合问答能力（Overall QA） | 总体平均分（Overall Avg） | MD-Instruct-8B: 74.67 | Qwen3-8B: 70.50 | +4.17（绝对提升） |
| LAMMPS代码生成（LAMMPS-CodeGenEval） | 执行成功率 Exec-Success@3 | MD-Code-8B + RUNTIME: 37.95% | MD-Code-8B Direct Prompting: 14.23% | +23.72个百分点（相对提升167%） |
| LAMMPS代码生成（LAMMPS-CodeGenEval） | 代码人工评分 Code-Score-Human | MD-Code-8B + RUNTIME: 9.32 | MD-Code-8B Direct Prompting: 9.29 | +0.03（微小提升） |
局限与改进
本文的局限性主要包括以下几个方面。从作者承认的角度来看，目前数据集覆盖的模拟任务包括材料热力学性质计算、流体动力学模拟和材料力学性能模拟，但尚未扩展到更广泛的任务类型。此外，本文聚焦于分子动力学作为代表性领域，虽然提出的框架具有通用性，但在其他科学领域的应用效果尚需验证。从作者提出但未充分展开的角度看，当前系统尚未集成多模态LLM，LAMMPS模拟输出的可视化信息（如热力学曲线、原子轨迹、结构演化的GIF或PNG格式）尚未被充分利用作为评估输入。从个人观察来看，本文的实验规模相对有限，主要在8B参数模型上进行验证，对于更大规模模型（如14B、32B）的适用性尚不明确；MD-GRPO的训练效率和计算成本未被详细讨论；奖励函数的设计虽然包含8个维度，但权重设置（lambda_1=1，lambda_2=5）的敏感性分析不足；此外，MD-EvalBench的规模（知识336题、语法333题）相对较小，可能无法全面覆盖MD领域的复杂场景。
独立分析的弱点
本文存在以下几个值得注意的弱点。首先，在数据构建方面，MD-CodeGen数据集的规模和多样性可能不足——虽然结合了专家经验和自动化建模，但LAMMPS脚本的组合空间极为庞大，当前数据集可能无法覆盖所有常见的模拟场景和边界情况，建议未来扩展数据集规模并引入更多材料系统和物理条件。其次，在MD-GRPO的奖励设计方面，正确性奖励基于8个维度的加权求和，但权重设置缺乏理论依据和敏感性分析，不同任务类型可能需要不同的权重配置，建议引入自适应权重调整机制或基于任务类型的条件化奖励设计。第三，在系统评估方面，MD-EvalBench的题目数量相对有限（知识336题、语法333题），且未公开详细的题目分布和难度梯度，可能无法充分评估模型在复杂场景下的表现，建议扩大基准规模并引入分层评估机制。第四，在实验设计方面，所有实验在8B参数模型上进行，缺乏对更大规模模型的验证，且未与最新的代码生成专用模型（如CodeLlama、StarCoder等）进行对比，建议扩展模型规模和基线范围。最后，在可复现性方面，虽然代码和数据承诺公开，但训练细节（如超参数选择、训练曲线、收敛条件）描述不够详细，可能影响其他研究者的复现效果。
未来方向
基于本文的成果和作者的展望，未来研究方向可从以下几个维度展开。首先，在数据和任务扩展方面，作者计划进一步扩展支持的任务类型，未来可探索将框架应用到更广泛的材料科学模拟任务（如相变模拟、缺陷动力学、界面反应等）以及其他科学计算领域（如计算流体力学、有限元分析等）。其次，在多模态集成方面，作者提出将多模态LLM集成到MDAgent框架中，利用LAMMPS模拟输出的可视化信息（热力学曲线、原子轨迹、结构演化动画）作为额外的评估输入，以提高可解释性和评估粒度。第三，在模型规模扩展方面，可探索在更大规模的基座模型（如Qwen3-32B、Qwen3-235B）上应用相同的后训练策略，研究模型规模与领域适应效果的关系。第四，在强化学习优化方面，可探索更先进的RL算法（如DPO、KTO等）替代GRPO，或设计更精细的奖励函数以处理更复杂的代码质量评估。最后，在人机协作方面，可进一步完善MDAgent2-RUNTIME的人机交互机制，支持更自然的领域知识注入和迭代优化流程，实现真正的AI辅助科学研究。
复现评估
从复现评估角度来看，本文的可复现性具有以下特点。在开源承诺方面，作者声明数据和代码将在接受后公开于GitHub（https://github.com/FredericVAN/PKU_MDAgent2），但目前可能尚未完全开放。在数据方面，三个数据集（MD-Knowledge、MD-InstructQA、MD-CodeGen）的构建流程有详细描述，但部分步骤依赖领域专家的人工审核，完全自动化复现存在一定难度。在算力方面，本文基于Qwen3-8B进行训练，使用了三阶段后训练策略（CPT、SFT、MD-GRPO），虽然8B模型的训练成本相对可控，但MD-GRPO阶段需要执行大量LAMMPS模拟来获取奖励信号，对计算资源有一定要求。在难度方面，数据构建流程涉及PDF解析、语义分块、标签树生成等复杂步骤，MD-GRPO的实现需要集成LAMMPS执行环境和奖励计算模块，整体复现难度中等偏上。总体而言，如果作者能提供完整的训练脚本、预处理流程和预训练模型，其他研究者应该能够在相似的计算条件下复现主要结果。
论文图表
