AAVGen：肾脏选择性靶向的腺相关病毒衣壳精密工程 AAVGen: Precision Engineering of Adeno-associated Viral Capsids for Renal Selective Targeting
基于蛋白质语言模型和强化学习的AAV衣壳设计框架，优化多目标功能特性
前置知识
蛋白质语言模型（PLM）
受自然语言处理启发的深度学习模型，通过在海量蛋白质序列上进行自监督预训练，学习氨基酸序列的统计规律和生物学语义。模型将蛋白质序列视为语言，使用类似Transformer的架构捕捉残基间的远程依赖关系和结构功能关联。
AAVGen的核心基础，理解PLM原理才能明白模型如何学习AAV衣壳的序列-功能关系，以及如何通过微调和强化学习优化生成过程
AAV（腺相关病毒）
一种小型无包膜单链DNA病毒，因其非致病性、长期基因表达能力和广泛的细胞感染性，成为基因治疗中最常用的载体之一。AAV衣壳由VP1、VP2、VP3三种蛋白组成，其中VP1是主要结构蛋白，决定病毒的组织趋向性和免疫逃逸能力。
论文的研究对象，理解AAV的生物学特性才能明白为什么需要优化生产适应性、肾脏趋向性和热稳定性这三个特定属性
强化学习策略优化
一种基于序列级奖励的强化学习算法，将完整生成的序列作为奖励计算和策略更新的原子单位。与传统token级优化不同，GSPO通过分组归一化计算优势，并使用序列级重要性比裁剪目标函数，直接强化整体序列的可行性而非局部token质量。
AAVGen的关键技术突破，理解GSPO如何超越传统方法进行多目标优化，才能把握论文在蛋白质生成领域的技术贡献
研究动机
野生型AAV血清型在基因治疗应用中面临多个固有局限性。首先，它们的组织趋向性受限，例如AAV2、AAV8和AAV9等天然血清型对肾脏的转导效率较低，而肾脏在代谢稳态和遗传疾病中扮演关键角色，其独特的解剖特征如肾小球滤过屏障和异质细胞群对高效病毒转导构成挑战。其次，野生型AAV易被预存的中和抗体识别，导致免疫清除和治疗失败。第三，不同AAV血清型的生产效率差异显著，影响临床应用的可扩展性。现有工程方法如理性设计、定向进化和简单AI方法都难以同时优化多个功能属性，尤其是需要平衡生产适应性、组织趋向性和热稳定性等相互制约的目标。
本文的目标是开发一个生成式人工智能框架AAVGen，能够从头设计具有增强多目标功能特征的AAV衣壳，专门针对肾脏选择性靶向。具体目标是生成大规模新颖且生物学合理的AAV VP1蛋白序列库，这些序列在生产适应性、肾脏趋向性和热稳定性三个关键属性上超越野生型AAV2，同时保持其经典衣壳折叠结构。该框架需要整合蛋白质语言模型的序列理解能力、监督微调的知识迁移能力以及强化学习的多目标优化能力，实现真正的多属性协同优化而非权衡取舍。
与已有工作不同的是，本文的独特切入角度在于首次将分组序列策略优化（GSPO）应用于AAV衣壳设计，实现了真正的序列级多目标优化。与现有方法相比，ALICE系统仅关注中枢神经系统趋向性而忽略其他属性，CAP-PLM使用ESM-2嵌入和one-hot编码进行回归训练，而本文直接微调完整的ESM-2模型，使其能够处理可变长度的VP1序列并直接评分。更重要的是，AAVGen引入了复合奖励函数，将生产适应性、肾脏趋向性和热稳定性三个回归模型的预测结果整合到统一优化框架中，辅以序列长度控制和批次内唯一性奖励，确保生成多样性。此外，研究创新性地使用AAV2和AAV9两种血清型微调基础模型，利用不同血清型间共享的功能和结构关系提高模型的泛化能力。
核心方法
AAVGen采用三阶段训练策略：首先基于ESM-2蛋白质语言模型构建三个回归预测器，分别预测生产适应性、肾脏趋向性和热稳定性；其次在AAV2和AAV9的VP1数据集上监督微调ProtGPT2模型，学习AAV衣壳的基础残基-残基关系；最后使用分组序列策略优化（GSPO）进行强化学习训练，通过复合奖励函数引导模型生成多属性优化的衣壳序列。整个流程从数据收集和预处理开始，整合来自三个独立研究的AAV变体数据，总计超过40万条序列及其对应的实验测量值。通过迁移学习策略，三个回归模型共享底层特征表示，提高训练效率和预测一致性。最终的生成模型能够产生50万个新颖的AAV VP1变体，经过序列多样性分析、功能属性预测和AlphaFold3结构建模的多维度验证。
核心创新点是将序列级奖励的强化学习引入蛋白质生成领域，通过GSPO算法实现多目标协同优化。与传统token级强化学习不同，GSPO将完整生成的蛋白质序列作为奖励计算的原子单位，确保优化信号直接强化整体序列的生物学可行性而非局部氨基酸质量。复合奖励函数由五个组件线性组合而成：生产适应性奖励、肾脏趋向性奖励、热稳定性奖励、序列长度控制奖励和批次内唯一性奖励。每个功能属性奖励使用阶梯映射逻辑，根据预测分数与野生型AAV2的相对差异赋予不同等级的奖励，阈值基于回归模型在验证集上的平均绝对误差（MAE）。这种设计使模型能够在探索序列多样性的同时，持续向多属性最优区域收敛，而非在不同目标间权衡取舍。
方法步骤详情
数据收集阶段整合来自Ogden等人的AAV2深度突变扫描数据（包含31,579个生产适应性序列、24,984个肾脏趋向性序列、30,889个热稳定性序列）、Bryant等人的局部区域多突变数据（296,896个序列）和Eid等人的AAV9数据（100,000个序列）。数据预处理包括重建全长VP1序列、标准化适应度分数、去除低质量数据点，并使用分层采样划分为训练集和验证集。回归模型开发阶段，首先在包装数据集上微调ESM-2（8M参数）14,100步建立生产适应性模型，然后以该模型为起点分别微调肾脏趋向性模型（26,600步）和热稳定性模型（37,500步）。监督微调阶段，在合并的AAV2和AAV9 VP1数据集（192,199个非冗余序列）上微调ProtGPT2（738M参数）三个epoch，使用FASTA格式和EOS标记。强化学习阶段，使用GSPO训练4个epoch，每批次生成G=32个候选序列，采用温度1.0、top-p=1.0的采样策略，最大生成长度754个token。评估阶段生成50万个序列，进行序列重复性分析、长度分布分析、与野生型的比对分析、功能属性分类和结构建模验证。
技术新颖性
技术新颖性体现在四个方面：一是首次在蛋白质生成中应用序列级强化学习，GSPO算法将完整序列作为优化单元，避免了token级优化的局部最优陷阱；二是复合奖励函数设计，整合三个功能属性回归模型的预测结果，实现真正的多目标协同优化而非加权求和；三是可变长度序列处理能力，直接微调ESM-2而非使用固定长度嵌入，支持生成不同长度的VP1变体；四是多血清型训练策略，使用AAV2和AAV9数据微调基础模型，捕获血清型间共享的功能结构关系。与现有方法相比，AAVGen在相同硬件上训练时间更短（总训练约37小时），生成序列质量更高，且支持多属性同时优化。AlphaFold3结构验证显示生成序列的RMSD呈现双峰分布，表明模型学习了两种主要的高性能结构模式，而非单一最优解。
实验结果
回归模型评估显示生产适应性模型达到Spearman相关系数0.91，表现出强预测性能；肾脏趋向性模型相关系数0.35，热稳定性模型相关系数0.26，虽然相对较弱但均具有统计显著性。AAVGen生成的50万条序列分析显示约4%为重复序列，去除重复后有1,787条与训练集完全匹配，230条与AAV2野生型完全相同，无AAV9野生型匹配，表明低模板复制率和成功的新颖性偏向。序列长度分布中位数741（IQR 740-743）与训练集中位数741（IQR 737-743）高度吻合。生成序列与AAV2野生型的相似度中位数99.32%（IQR 99.05-99.46%），同一性中位数99.18%（IQR 98.91-99.32%），比对分数中位数1443.5（IQR 1438.5-1448.5），编辑距离中位数13%（IQR 10-15%）。功能属性分析显示，去重后的436,765条序列中，生产适应性方面435,448条（99.7%）被分类为Best，669条（0.15%）为Good，128条（0.03%）为Uncertain，559条（0.4%）为Bad；肾脏趋向性方面491,439条（98.27%）为Good，5,416条（1.24%）为Uncertain，2,155条（0.4%）为Bad，仅1条为Best；热稳定性方面386,844条（88.57%）为Good，43,626条（9.99%）为Uncertain，6,295条（1.44%）为Bad，无Best分类。成对Spearman相关分析显示三个优化属性间存在强正相关，表明AAVGen成功实现多属性协同优化而非权衡取舍。结构分析随机选择500条Good和Best序列，每条预测5个结构，RMSD呈现双峰分布（0.42Å和0.47Å），而随机生成基线中位数0.48Å。低RMSD组（<0.45Å）中RMSD与三个功能属性均呈显著负相关（生产适应性rho=-0.22，肾脏趋向性rho=-0.23，热稳定性rho=-0.25），高RMSD组无显著相关。两组的功能属性中位数均远超随机基线（低RMSD组：生产适应性0.81、肾脏趋向性1.21、热稳定性1.10；高RMSD组：0.92、1.34、1.22；随机基线：-4.65、-4.19、-4.37）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 生产适应性预测 | Spearman相关系数 | 0.91 | 未明确对比（引用研究中提及的早期方法性能较低） | 显著优于早期使用神经网络和LSTM的方法 |
| 肾脏趋向性优化 | 生成序列分类比例 | 98.27%为Good/Best | ALICE系统仅优化CNS趋向性，未考虑其他属性 | 首次实现多属性协同优化 |
| 序列结构保真度 | 与野生型AAV2的RMSD | 中位数0.42-0.47Å（双峰） | 随机生成序列0.48Å | 结构更保守且保持功能多样性 |
| 多属性相关性 | 功能属性间Spearman相关 | 强正相关（rho>0.5） | 传统方法常显示属性间负相关（权衡取舍） | 实现真正的协同优化 |
局限与改进
作者承认的主要局限包括：首先，所有生成的序列均未在体外进行实验验证，无法对其功能性能得出确定性结论，模型预测可能存在系统偏差。其次，肾脏趋向性和热稳定性回归模型的训练受限于高质量数据稀缺性，导致预测能力有限和验证集上较高的平均绝对误差，这会影响奖励信号的可靠性。第三，研究主要关注VP1蛋白序列生成，未考虑VP2和VP3亚基的影响，完整AAV衣壳功能可能涉及多个亚基的协同作用。第四，GSPO训练的序列批次大小（G=32）相对较小，可能限制优化轨迹的多样性。第五，虽然使用了AAV2和AAV9两种血清型，但训练数据仍相对集中，对其他AAV血清型的泛化能力有待验证。第六，热稳定性预测模型的性能较弱（Spearman rho=0.26），可能限制生成序列在此属性上的改进潜力。此外，AlphaFold3结构预测虽然显示结构保守性，但计算成本高昂，无法对所有生成序列进行验证，抽样分析可能引入偏差。
独立分析的弱点
独立分析的弱点主要集中在四个方面：一是训练数据不平衡问题，生产适应性数据（约32万条）远多于肾脏趋向性（约2.5万条）和热稳定性（约3.1万条），导致不同属性的奖励信号强度不一致，可能偏向优化数据丰富的属性。改进方向包括数据增强技术或调整奖励权重平衡各属性贡献。二是奖励函数的阶梯映射可能过于粗糙，仅使用野生型+1/4 MAE作为阈值，忽略了序列性能的连续分布，改进方向可引入更细粒度的奖励映射或直接使用原始预测值作为连续奖励。三是GSPO的分组大小（G=32）可能限制探索多样性，特别是在序列空间高维的情况下，改进方向可增加分组大小或引入种群多样性维护机制。四是计算资源需求高，总训练时间约37小时（NVIDIA V100 32GB），限制快速迭代和超参数搜索，改进方向可使用模型蒸馏或知识迁移技术压缩模型规模。五是结构验证仅基于AlphaFold3预测，缺乏实验结构数据验证，改进方向可引入实验结构验证或使用其他结构预测方法交叉验证。六是未考虑AAV衣壳组装的协同效应，单独优化VP1可能无法保证完整病毒粒子的功能，改进方向可整合多亚基协同组装模型或引入衣壳组装动力学约束。
未来方向
作者提出的未来研究方向包括：首先，进行体外实验验证生成序列的功能性能，包括生产效率测定、肾脏细胞转导实验和热稳定性测定，确认模型预测的准确性。其次，扩展训练数据集，包括更多AAV血清型和实验测定结果，特别是肾脏趋向性和热稳定性数据，提高回归模型的预测能力。第三，将AAVGen框架应用于其他组织靶向（如肝脏、肌肉、中枢神经系统）的AAV衣壳设计，验证框架的泛化能力。第四，探索更复杂的奖励函数设计，如基于进化信息或物理化学性质的约束，进一步提高生成序列的生物合理性。第五，研究RMSD双峰分布的生物学意义，探索是否存在两种不同的结构优化路径及其功能差异。基于成果可延伸的方向包括：整合多亚基协同组装模型，将VP2和VP3纳入设计框架；引入实验反馈循环，通过湿实验数据迭代优化模型；扩展到其他病毒载体（如腺病毒、慢病毒）的设计；开发交互式设计平台，让研究者能指定目标属性并获得定制化衣壳序列；研究生成序列的免疫原性预测，进一步提高临床转化潜力；结合高通量筛选技术，建立生成-验证的闭环优化系统。
复现评估
复现评估显示本研究具有较好的开源性和可复现性。所有代码已在GitHub公开（mohammad-gh009/AAVGen），包括模型训练、推理和评估脚本。输入数据集在Hugging Face公开（Moreza009/AAV_datasets），包含来自三个研究的原始数据和处理后的训练集。生成的输出数据集也已公开（Moreza009/AAVGen-dataset-out），包含50万个生成序列及其预测分数。训练好的模型在Hugging Face提供：AAVGen主模型（Moreza009/AAVGen）和三个回归模型（Moreza009/AAV-Fitness、Moreza009/AAV-Kidney-Tropism、Moreza009/AAV-Thermostability）。还提供了Kaggle推理笔记本，便于快速试用。硬件需求为NVIDIA V100 GPU（32GB VRAM）和AMD Epyc 7502 CPU（32GB RAM），训练时间总计约37小时（包括回归模型训练、SFT和GSPO阶段）。依赖库包括Hugging Face Transformers 4.56.1、TRL 0.23.1、PyTorch、Biopython 1.85和PyMOL 3.1.1，均为主流版本，环境配置相对简单。主要复现挑战在于AlphaFold3结构预测的计算成本较高，每序列预测5个结构需大量GPU资源。此外，原始数据集的预处理管道较为复杂，涉及多个研究的数据格式统一和标准化，需要仔细遵循Methods部分的详细描述。总体而言，本研究的数据和代码开源程度高，文档详细，具备良好的可复现性。
论文图表