Nature：中科大周少华/熊鹏团队开发完全开源的RNA基础模型——structRF

RNA 语言模型通过利用大规模序列数据，在多种下游任务中取得了优异性能。然而，RNA 的功能从根本上受到其层级结构的塑造，因此结构信息对于预训练至关重要。现有方法通常依赖噪声标注或特定任务目标，这可能会限制其泛化能力。

RNA 不仅作为遗传信息的载体，将 DNA 转录的信息传递至蛋白质翻译，还能折叠成多种结构，并作为细胞过程的通用调控因子。除核糖体 RNA（rRNA）和转运 RNA（tRNA）在基因表达中的经典作用外，许多非编码 RNA（ncRNA）也发挥重要调控作用，例如介导 circRNA 中 5′ 帽非依赖性翻译的内部核糖体进入位点（IRES），以及介导 pre-mRNA 剪接的 snRNA。这些 RNA 的功能源于其层级结构：一级序列基序决定碱基配对模式和三级折叠，进而塑造生化活性与相互作用。因此，阐明序列、结构与功能之间的关联，对于理解 RNA 生物学和推进以 RNA 为核心的疗法至关重要。

数十年来核酸测序技术的创新，已产生海量的 RNA 序列数据，极大提升了我们解析转录组复杂性的能力。受自然语言处理进展的启发，以任务无关的自监督方式预训练的 RNA 语言模型，能够从大规模序列数据中捕获具有代表性的模式与上下文关系。这一能力支持了解码 RNA 模式、预测 RNA 三级结构及推断其功能等应用。现有 RNA 语言模型大多在非编码 RNA 序列上预训练，面向通用任务。

RNA 语言模型通过利用大规模序列数据，在多种下游任务中取得了强劲性能。然而，RNA 的功能从根本上受其层级化结构所塑造，这使得结构信息对预训练至关重要。而现有方法通常依赖带有噪声的标注或任务特化目标，这可能会限制模型的泛化能力。

在这项最新研究中，研究团队提出了一个结构引导的 RNA 基础模型——structRFM，通过在掩码语言建模中引入配对匹配操作，将碱基配对相互作用整合进来，并在 2100 万条 RNA 序列-结构对上完成训练。

研究团队还引入了 MUSES——一种多来源二级结构集成方法，用以减轻预测器偏差，以及一种动态掩码比例，用以平衡结构引导掩码与核苷酸级掩码。structRFM 将序列与结构联合表征学习为序列级、核苷酸级和配对级特征，从而支持广泛的下游适配。它在零样本同源性分类中排名领先，并为二级结构预测树立了新的基准。其三级结构适配模型 Zfold，能够持续改进三维预测及其提取出的二级结构，在 CASP15-natural、CASP16 和 RNA-Puzzles 上的性能可与 AlphaFold3 相媲美。structRFM 还提升了功能预测任务的性能，并能够泛化至新发布的 RNA 家族和长链非编码 RNA（lncRNA）。

structRFM 模型的概述

综上所述，这些结果验证了结构引导预训练的有效性，并凸显了多模态 RNA 基础模型在稳健的结构与功能推断方面的潜力。

最后，研究团队已开源完整的 2100 万配对数据集、模型权重及源代码均，以支持研究结果的复现及多模态 RNA 基础模型的发展。

论文链接：

https://www.nature.com/articles/s41586-026-11210-2