開源！港中文、MIT、復(fù)旦提出首個(gè)RNA基石模型

本文中 RNA-FM 模型的出現(xiàn)一定程度上緩解了 RNA 帶標(biāo)注數(shù)據(jù)緊張的現(xiàn)狀，為其他研究者提供了訪問大批量無標(biāo)簽數(shù)據(jù)的便捷接口。并且，該模型將以 RNA 領(lǐng)域基礎(chǔ)模型的身份，為該領(lǐng)域的各種各樣的研究提供強(qiáng)有力的支援與幫助。

不同于蛋白質(zhì)領(lǐng)域，RNA 領(lǐng)域的研究往往缺少充足的標(biāo)注數(shù)據(jù)，比如 3D 數(shù)據(jù)只有 1000 多個(gè) RNA。這極大限制了機(jī)器學(xué)習(xí)方法在 RNA 結(jié)構(gòu)功能預(yù)測(cè)任務(wù)中的開發(fā)。
為了彌補(bǔ)標(biāo)注數(shù)據(jù)的不足，本文展示了一項(xiàng)可為 RNA 各類研究提供豐富結(jié)構(gòu)功能知識(shí)的基石模型 ——RNA foundation model (RNA-FM)。作為全球首個(gè)基于 23 million 的無標(biāo)簽 RNA 序列通過無監(jiān)督方式訓(xùn)練得到的 RNA 基石模型，RNA-FM 挖掘出了 RNA 序列中蘊(yùn)含的進(jìn)化和結(jié)構(gòu)模式。
值得注意的是，RNA-FM 僅需要配比簡(jiǎn)單的下游模型，或是僅提供 embedding，就能夠在很多下游任務(wù)中獲得遠(yuǎn)超 SOTA 的表現(xiàn)，比如在二級(jí)結(jié)構(gòu)預(yù)測(cè)中可以提升 20%，距離圖預(yù)測(cè)可以提升 30%。大規(guī)模的實(shí)驗(yàn)證明，該模型具有極強(qiáng)的泛化性，甚至可以用于 COVID-19 以及 mRNA 的調(diào)控片段。 

• 論文預(yù)印本：https://arxiv.org/abs/2204.00300
• 代碼和模型：https://github.com/ml4bio/RNA-FM
• Server: https://proj.cse.cuhk.edu.hk/rnafm

引言
近年來，基于深度學(xué)習(xí)的生物計(jì)算方法在蛋白質(zhì)領(lǐng)域取得了突破性的進(jìn)展，其中最著名的里程碑當(dāng)屬谷歌 DeepMind 團(tuán)隊(duì)研發(fā)的端到端蛋白質(zhì) 3D 結(jié)構(gòu)預(yù)測(cè)框架 AlphaFold2。然而蛋白質(zhì)只是諸多生物分子的一種，基因（DNA/RNA）作為蛋白質(zhì)的產(chǎn)生源頭，其相比于后者蘊(yùn)含了更多的基礎(chǔ)信息，有著更重要的研究?jī)r(jià)值。
一般而言，蛋白質(zhì)是由用于編碼（coding）的 RNA，也就是 mRNA，翻譯得到的產(chǎn)物，一段固定的 mRNA 可以翻譯為一段固定的蛋白質(zhì)序列。而實(shí)際上這部分用于編碼的 RNA 只占所有 RNA 序列的 2%，剩下的 98% 是非編碼 RNA（non-coding RNA，ncRNA）。雖然 ncRNA 并不直接 “翻譯” 成蛋白質(zhì)，但是他們會(huì)折疊成具有特定功能的三級(jí)結(jié)構(gòu)，在 mRNA 的翻譯過程中或是其他生物機(jī)能中起到調(diào)控的作用。因此，分析 ncRNA 的結(jié)構(gòu)以及功能是比蛋白質(zhì)分析更為基礎(chǔ)，也更為復(fù)雜的研究。
不過相比于計(jì)算方法較為成熟的蛋白質(zhì)領(lǐng)域，目前基于 RNA 的結(jié)構(gòu)和功能預(yù)測(cè)還處于初期，而原本適用于蛋白領(lǐng)域的計(jì)算方法也很難直接遷移到 RNA 領(lǐng)域。限制這些計(jì)算方法的主要是 RNA 數(shù)據(jù)的標(biāo)注通常獲取很難，需要耗費(fèi)很多的實(shí)驗(yàn)資源和時(shí)間才能完成少量數(shù)據(jù)的標(biāo)注，而計(jì)算方法大多又需要大量的標(biāo)注數(shù)據(jù)進(jìn)行監(jiān)督才能發(fā)揮高性能。雖然有標(biāo)注的數(shù)據(jù)不多，但 RNA 領(lǐng)域其實(shí)也積累了很多的無標(biāo)注序列數(shù)據(jù)。本文的方法便是利用這些無標(biāo)簽的數(shù)據(jù)為各種下游任務(wù)提供額外的有效信息。
基于這種考慮，港中文、MIT、復(fù)旦及上海人工智能實(shí)驗(yàn)室團(tuán)隊(duì)提出了一個(gè)以無監(jiān)督方式在 23million 的無標(biāo)簽純 RNA 序列上訓(xùn)練的基石模型RNA foundation model (RNA-FM)。雖然數(shù)據(jù)在訓(xùn)練過程中沒有提供標(biāo)注信息，但是 RNA-FM 仍以無監(jiān)督的方式挖掘出了這些 RNA 序列蘊(yùn)含著的進(jìn)化和結(jié)構(gòu)模式。
如果能夠有效地將 RNA-FM 應(yīng)用于下游的 RNA 結(jié)構(gòu)和功能預(yù)測(cè)任務(wù)中，這些計(jì)算方法必將受益于 RNA-FM 歸納得到的知識(shí)，進(jìn)而實(shí)現(xiàn)性能表現(xiàn)上的提升。RNA-FM 的上游預(yù)訓(xùn)練以及下游的遷移和應(yīng)用框架如下圖所示。

 研究概覽
為了確認(rèn)預(yù)訓(xùn)練的 RNA-FM 是否從大量的無標(biāo)簽數(shù)據(jù)中學(xué)到了 “知識(shí)” 以及學(xué)到了怎樣的 “知識(shí)”，文章對(duì) embedding 進(jìn)行了一系列的分析。
首先是直接通過 UMAP 對(duì)各種特征進(jìn)行簡(jiǎn)單聚類比較，發(fā)現(xiàn)來自預(yù)訓(xùn)練 RNA-FM 的 embedding 比其他 embedding 形成了具有更加明顯的 RNA 種類聚落。這意味著 RNA-FM 的 embedding 確實(shí)包含了用于區(qū)分 RNA 種類的結(jié)構(gòu)或功能信息。
接著，文章還利用軌跡推斷（Trajectory inference）通過 RNA-FM embedding 去預(yù)測(cè)來自不同物種的 lncRNA 的演化。從下圖 streamplot 上看，預(yù)測(cè)的物種之間演化的偽時(shí)間大致與真實(shí)的物種演化信息一致，說明 RNA-FM embedding 還包含一部分進(jìn)化信息。
值得注意的是，無論是 RNA 種類的群落信息還是 lncRNA 的演化信息，RNA-FM 在訓(xùn)練中都沒有直接接觸過這些的標(biāo)簽。RNA-FM 完全是以自監(jiān)督的方式僅從純序列中發(fā)掘出了與結(jié)構(gòu)、功能以及演化相關(guān)的模式。 

更多實(shí)驗(yàn)結(jié)果
除了直接對(duì) RNA-FM 的 embedding 進(jìn)行分析，文章還嘗試將 RNA-FM 引入到各種各樣的下游 RNA 結(jié)構(gòu)預(yù)測(cè)任務(wù)，包括二級(jí)結(jié)構(gòu)、接觸預(yù)測(cè)，距離預(yù)測(cè)，以及三級(jí)結(jié)構(gòu)預(yù)測(cè)，且都取得了明顯的提升。
尤其是在二級(jí)結(jié)構(gòu)預(yù)測(cè)上，文章以 RNA-FM 作為主干，僅以一個(gè)簡(jiǎn)單的 ResNet 網(wǎng)絡(luò)作為下游模型，就在兩個(gè)公開數(shù)據(jù)集上超過了其他 12 種 state-of-the-art 方法，在 F1score 上優(yōu)于其中最好的 UFold 達(dá) 3-5 百分點(diǎn)，在與 UFold 的 head-to-head 比較中，RNA-FM 在絕大部分的 RNA 類別上都超過 UFold。如果將 RNA-FM 和 E2Efold 結(jié)合，還可以進(jìn)一步帶來 5% 的表現(xiàn)提升。

  為了驗(yàn)證模型的實(shí)際應(yīng)用價(jià)值，文章利用 RNA-FM 對(duì) COVID-19 數(shù)據(jù)進(jìn)行完善的分析，包括利用 RNA-FM 精準(zhǔn)預(yù)測(cè) COVID-19 參照基因組（29870 nt）中關(guān)鍵調(diào)控元件，以及利用 RNA-FM embedding 粗略預(yù)測(cè) COVID-19 主要變種的演化趨勢(shì)。 
一般而言，分子的結(jié)構(gòu)決定功能，RNA-FM 既然可以出色地完成 RNA 結(jié)構(gòu)預(yù)測(cè)任務(wù)，那么是否能夠利用 RNA-FM 也提升功能預(yù)測(cè)的結(jié)果呢？
因此，文章進(jìn)一步嘗試將 RNA-FM 引入下游的 RNA 功能預(yù)測(cè)任務(wù)中，比如利用 RNA-FM 的 embedding 進(jìn)行 RNA - 蛋白質(zhì)作用的預(yù)測(cè)。
實(shí)驗(yàn)證明，RNA-FM embedding 的引入提升了模型的性能，且在一些例子中竟然達(dá)到了匹配真實(shí)二級(jí)結(jié)構(gòu)信息作為輸入的預(yù)測(cè)結(jié)果。 

為了探究基于 ncRNA 訓(xùn)練的 RNA-FM 是否可以泛化到其他 RNA 上，文章最后嘗試?yán)?RNA-FM 基于 mRNA 上的 5’UTR 進(jìn)行蛋白表達(dá)的功能預(yù)測(cè)。雖然 mRNA 不屬于 ncRNA，但是其上的 5‘UTR 是不翻譯但具有調(diào)控功能的區(qū)域，符合 ncRNA 的特點(diǎn)，且未出現(xiàn)在訓(xùn)練數(shù)據(jù)中。
從下圖可以看到，包含 RNA-FM embedding 的模型總是優(yōu)于不包含的模型。盡管性能上的提升比較有限，但也部分說明 RNA-FM 在非 ncRNA 的數(shù)據(jù)上也具有一定的泛化性。

 結(jié)論
總的來說，該文章以無標(biāo)簽的 RNA 序列數(shù)據(jù)預(yù)訓(xùn)練語言模型 RNA-FM，并通過直接或間接的方式，在結(jié)構(gòu)或功能等一系列不同的任務(wù)上進(jìn)行全面的驗(yàn)證，證明了 RNA-FM 確實(shí)可以有效地提升計(jì)算方法在下游任務(wù)中的表現(xiàn)。
RNA-FM 的出現(xiàn)一定程度上緩解了 RNA 帶標(biāo)注數(shù)據(jù)緊張的現(xiàn)狀，為其他研究者提供了便捷的訪問大批量的無標(biāo)簽數(shù)據(jù)的接口，其將以 RNA 領(lǐng)域基礎(chǔ)模型的身份，為該領(lǐng)域的各種各樣的研究提供強(qiáng)有力的支援與幫助。