公平划分颠覆排行榜：CHANRG揭示RNA二级结构预测的泛化局限性 Fair splits flip the leaderboard: CHANRG reveals limited generalization in RNA secondary-structure prediction

CHANRG的构建过程分为四个主要步骤。第一步是数据收集和完整性筛选，从Rfam 15.0版本收集10,025,911条序列，涉及4,178个源家族，通过完整性筛选后保留10,025,740条序列。第二步是高强度序列级去重，移除序列相似度超过99%的重复序列，得到5,670,054条序列。第三步是基于bpRNA-CosMoS相似性分数的结构感知去重，移除结构相似度超过0.9的冗余序列，最终得到170,083个结构非冗余RNA序列。第四步是架构感知划分设计，基于RNArchitecture定义的分层RNA结构分类方案，结合参考基因组感知规则，将序列分配到Train（123,223条）、Validation（14,070条）、Test（14,070条）和三个OOD regimes（GenA：12,499条，GenC：4,424条，GenF：1,797条）。最后，在多层级指标体系下评估29个预测器，使用padding-free、symmetry-aware参考实现确保评估的batch不变性。

CHANRG的技术新颖性体现在三个方面。首先，结构感知去重是前所未有的，传统的基准测试主要基于序列级别去重，而CHANRG同时考虑了序列和结构两个维度的冗余控制，结构感知修剪移除了额外的33倍残差冗余。其次，架构感知划分设计是生物启发的，基于非编码RNA的层级组织结构，结合参考基因组感知规则，创建了三种生物学上截然不同的OOD regimes，分别测试保留架构、训练中不存在的clans和基因组稀疏家族的泛化能力。最后，分层评估指标体系是多尺度的，从base-pair F1（局部接触恢复）到stem F1（螺旋级恢复）到topology F1（高阶结构组织）再到topology GED（结构编辑距离），能够更精细地定位模型失败的模式。

CHANRG基准测试的独立分析弱点包括：首先，假结预测的评估仍然有限，当前的bpRNA-CosMoS结构表示主要关注非交叉二级结构拓扑，假结参与的交互难以精确捕捉，这可能导致对某些类型的结构泛化能力评估不足。其次，基准测试主要关注结构预测的准确性，未直接评估下游生物学效用，如RNA功能预测、药物设计靶点识别或实验设计指导，高benchmark鲁棒性可能无法直接转化为实际应用价值。第三，架构感知划分设计虽然生物学上合理，但GenA、GenC和GenF的定义可能无法覆盖所有类型的生物学新颖性，特别是结构新颖性和序列新颖性的交互作用可能未充分探索。第四，虽然padding-free计算解决了batch依赖性问题，但该方法假设接触矩阵的对称性，这对于某些类型的不对称RNA结构预测可能不适用。第五，基准测试主要关注单序列预测，未考虑协进化信息或多序列比对输入，这可能导致对某些类型的预测器不公平。未来的改进方向包括：扩展假结预测的评估框架，引入下游生物学效用的评估任务，探索更多类型的OOD regimes，设计更灵活的计算框架以支持不对称结构预测，以及纳入多序列比对输入的评估。

未来的研究方向包括：首先，将假结预测纳入评估框架，当前的bpRNA-CosMoS结构表示主要关注非交叉二级结构拓扑，假结参与的交互难以精确捕捉，开发更全面的结构表示和评估指标将能够更全面地评估结构泛化能力。其次，开发更强可迁移的结构先验，当前的基础模型pipeline未能稳健地恢复高阶结构，这可能需要将结构感知归纳偏差更深度地集成到基础模型架构或训练目标中。第三，设计更丰富的基准测试任务，当前基准测试主要关注结构预测准确性，未来的基准可以包括功能预测、稳定性预测、相互作用预测等更接近实际应用的任务。第四，建立基准测试鲁棒性与实验验证RNA功能之间的更紧密联系，当前基准测试通过curated注释和结构新颖性评估迁移，未来可以设计直接与实验结果相关联的评估任务。第五，探索更多类型的OOD regimes，当前CHANRG定义了三种OOD regimes，但可能还有其他类型的生物学新颖性值得探索，如结构-功能解耦、环境依赖性结构变化等。第六，开发更灵活的计算框架以支持不对称结构预测和更复杂的结构表示，当前padding-free计算假设接触矩阵的对称性，这可能限制某些类型RNA结构的准确预测。

CHANRG基准测试的复现评估总体上是高度可复现的。数据方面，基于公开的Rfam 15.0数据集，包含10,025,911条序列，涉及4,178个源家族，经过完整性筛选、高强度序列级去重和结构感知去重后得到170,083个结构非冗余RNA序列，所有数据都是公开可获取的。代码方面，作者提供了完整的评估框架和padding-free、symmetry-aware参考实现，所有29个预测器都通过MultiMolecule框架实例化，确保了标准化的预处理和评分。实现方面，padding-free计算确保了batch不变性，消除了传统密集填充tensor引入的batch依赖性artifact。算力方面，虽然基础模型预测器（特别是RiNALMo-giga-U-Net）需要大量GPU资源，但结构化解码器和直接神经预测器在标准GPU上即可运行。文档方面，论文提供了详细的实验设置、参数配置和评估协议，其他研究者可以按照相同的设置复现结果。然而，需要注意的是，某些基础模型可能需要特定的许可证或访问权限，这可能会限制完全复现。此外，虽然论文提供了详细的实验设置，但某些超参数调优过程可能未完全公开，这可能会影响结果的精确复现。总体而言，CHANRG基准测试在数据、代码、实现和文档方面都提供了充分的复现支持，是一个高度可复现的研究成果。