原創(chuàng) | 一文帶你速讀計(jì)算化學(xué)領(lǐng)域頂會(huì)論文

計(jì)算模擬和實(shí)驗(yàn)研究是當(dāng)今研究化學(xué)，生物學(xué)和材料科學(xué)的兩個(gè)重要手段。當(dāng)前，以機(jī)器學(xué)習(xí)為代表的人工智能技術(shù)在科學(xué)計(jì)算領(lǐng)域潛力巨大，展示出旺盛的生命力和光明前景。本文解讀了機(jī)器學(xué)習(xí)在計(jì)算化學(xué)領(lǐng)域的最新研究，帶你速讀4篇相關(guān)領(lǐng)域的最新頂會(huì)論文。

1. 1. 論文題目：So3krates: Equivariant attention for interactions on arbitrary length-scales in molecular systems（NIPS 2022） 

鏈接：https://arxiv.org/pdf/2205.14276.pdf

機(jī)器學(xué)習(xí)方法在量子化學(xué)中的應(yīng)用已經(jīng)使得許多傳統(tǒng)的原位方法無法計(jì)算的化學(xué)現(xiàn)象能夠被研究。由于機(jī)器學(xué)習(xí)力場(chǎng)往往關(guān)注局部原子的相互作用，這常常使得長程相互作用被忽視。這篇文章引入球諧坐標(biāo)系，以反映分子中每個(gè)原子的高階幾何信息，使得在歐式空間距離較遠(yuǎn)卻存在長程相互作用的原子在球諧空間得以反映。提出的模型SO3KRATES3 - 基于自我注意力的傳遞神經(jīng)網(wǎng)絡(luò) - 將幾何信息與原子特征解耦，使它們能夠被獨(dú)立地被注意力機(jī)制處理。結(jié)果表明，SO3KRATES能夠描述任意長度尺度上的非局部量子力學(xué)效應(yīng)。而解耦機(jī)制的引入，使得該模型在不嚴(yán)重?fù)p失精度的前提下，可以得到更好地加速比。

圖1：SO3KRATES3 - 基于自我注意力的傳遞神經(jīng)網(wǎng)絡(luò) - 將幾何信息與原子特征解耦以提高加速比

1. 2. 論文題目：EQUIFORMER: EQUIVARIANT GRAPH ATTENTION TRANSFORMER FOR 3D ATOMISTIC GRAPHS（ICLR 2023）

鏈接：https://arxiv.org/pdf/2206.11990.pdf

盡管Transformer網(wǎng)絡(luò)在各個(gè)領(lǐng)域取得了廣泛的成功，但在3D原子圖領(lǐng)域，如分子，即使考慮到3D相關(guān)的物理約束，如平移不變性和旋轉(zhuǎn)等變性（指的是分子的能量或者受力性質(zhì)不會(huì)隨著他們的旋轉(zhuǎn)，平移等變化），它們?nèi)匀槐憩F(xiàn)不佳。本文展示了Transformer可以很好地推廣到3D原子圖，并提出了Equiformer，一種利用Transformer網(wǎng)絡(luò)并結(jié)合基于不可約表示-等變圖神經(jīng)網(wǎng)絡(luò)。首先，我們通過僅將Transformer網(wǎng)絡(luò)原始操作替換為它們的等變操作，最小限度地修改Transformer網(wǎng)絡(luò)。其次，我們提出了一種新型的注意力機(jī)制，稱為等效圖注意力。它通過用多層感知器注意力替換點(diǎn)積注意力并采用非線性消息傳遞來改進(jìn)傳統(tǒng)的Transformer。通過這兩個(gè)創(chuàng)新，Equiformer在QM9、MD17和OC20數(shù)據(jù)集上取得了比以前模型更具競(jìng)爭(zhēng)力的結(jié)果。

圖2：Equiformer的網(wǎng)絡(luò)結(jié)構(gòu)圖：它通過用多層感知器注意力替換點(diǎn)積注意力并采用非線性消息傳遞來改進(jìn)傳統(tǒng)的Transformer

1. 3. 論文題目：Uncertainty-driven dynamics for active learning of interatomic potentials（Nature Computational Science）

鏈接：https://www.nature.com/articles/s43588-023-00406-5

主動(dòng)學(xué)習(xí)（AL）是一種強(qiáng)大的工具，可迭代生成多樣化的數(shù)據(jù)集。

一般來說可以采用委員會(huì)質(zhì)詢(query by committee ,QBC)策略和元?jiǎng)恿W(xué)方法QBC對(duì)不確定性的估計(jì)是集合內(nèi)多個(gè)模型的不一致性。通常，一個(gè)組合中有多個(gè)神經(jīng)網(wǎng)絡(luò)，它們使用相同的結(jié)構(gòu)和超參數(shù)，但在訓(xùn)練之前使用不同的模型參數(shù)的初始隨機(jī)化以及不同的訓(xùn)練/驗(yàn)證數(shù)據(jù)分割。實(shí)驗(yàn)觀察到，在集合預(yù)測(cè)的變異性與實(shí)際預(yù)測(cè)誤差之間有良好的相關(guān)性，這表明預(yù)測(cè)任務(wù)需要超出訓(xùn)練數(shù)據(jù)范圍的外推。在QBC策略中，如果觀察到這種集合變異性很大，則訓(xùn)練集將用新的模擬數(shù)據(jù)進(jìn)行擴(kuò)充。

元?jiǎng)恿W(xué)是一種有效的勢(shì)能面探索方法，它基于集體變量(CVs)的概念。通過偏置勢(shì)的引入可以使分子在研究過程中遵循所選的集體變量路徑。通過對(duì)偏置勢(shì)的調(diào)整，可以獲得更好的勢(shì)能面信息，從而更準(zhǔn)確地描述反應(yīng)路徑。因此，在使用元?jiǎng)恿W(xué)方法進(jìn)行反應(yīng)研究時(shí)，偏置勢(shì)經(jīng)常被使用，以提高計(jì)算的準(zhǔn)確性和效率。然而，CV需要手動(dòng)選擇，而且它們的數(shù)量在實(shí)踐中是有限的。選擇合理的自由度來表示反應(yīng)需要直覺，并且可能會(huì)導(dǎo)致錯(cuò)誤。

在這里，作者開發(fā)了一種策略，綜合上述方法的優(yōu)點(diǎn)以更快地發(fā)現(xiàn)有意義地?cái)U(kuò)充訓(xùn)練數(shù)據(jù)集的構(gòu)型。這種方法——基于不確定性的主動(dòng)學(xué)習(xí)動(dòng)力學(xué)（UDD-AL）——修改了用于分子動(dòng)力學(xué)模擬的勢(shì)能面，以支持配置空間中存在大的模型不確定性的區(qū)域。我們?cè)趦蓚€(gè)AL任務(wù)中展示了UDD-AL的性能：對(duì)甘氨酸構(gòu)象空間進(jìn)行抽樣和對(duì)乙酰丙酮中質(zhì)子轉(zhuǎn)移的促進(jìn)進(jìn)行抽樣。該方法被證明能夠高效地探索化學(xué)構(gòu)型空間，而這可能無法在普通動(dòng)態(tài)采樣下實(shí)現(xiàn)。

圖3：UDD-AL的工作流

1. 4. 論文題目：Equivariant Networks for Crystal Structures （NIPS 2022）

鏈接：https://arxiv.org/abs/2211.15420

使用深度模型進(jìn)行有監(jiān)督學(xué)習(xí)在材料科學(xué)方面具有巨大的應(yīng)用潛力。最近，圖神經(jīng)網(wǎng)絡(luò)在這一領(lǐng)域得到廣泛應(yīng)用，直接從分子的模型中受到啟發(fā)。然而，材料通常比分子更具結(jié)構(gòu)上對(duì)稱性（晶體有230種空間群，分子只有32種點(diǎn)群），這是這些模型沒有利用的特征。在本文中，引入了一類具有晶體對(duì)稱群等變性的模型。通過定義一般化的消息傳遞操作來實(shí)現(xiàn)這一點(diǎn)，這些操作可以用于更一般的置換群，或者可以看作是在晶體圖上定義表達(dá)卷積的操作。經(jīng)驗(yàn)上，這些模型在屬性預(yù)測(cè)任務(wù)上取得了與最先進(jìn)方法相當(dāng)具有競(jìng)爭(zhēng)性的結(jié)果。

以上四篇論文代表了人工智能在分子動(dòng)力學(xué)領(lǐng)域的最新進(jìn)展和研究方向，供在這一領(lǐng)域有深耕意向的讀者參考。