給GNN一堆數(shù)據(jù)，它自己發(fā)現(xiàn)了萬(wàn)有引力定律

如果牛頓沒(méi)被蘋(píng)果砸中，GNN 和符號(hào)回歸也能發(fā)現(xiàn)萬(wàn)有引力定律？

機(jī)器學(xué)習(xí) (ML) 推動(dòng)了科學(xué)的巨大進(jìn)步，從粒子物理學(xué)到結(jié)構(gòu)生物學(xué)再到宇宙學(xué)，機(jī)器學(xué)習(xí)能夠在大型數(shù)據(jù)集中學(xué)習(xí)特征，對(duì)不同的對(duì)象進(jìn)行分類(lèi)，并執(zhí)行參數(shù)推斷，以及更具開(kāi)創(chuàng)性的應(yīng)用，例如自回歸語(yǔ)言模型、預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)，以及蛋白質(zhì)功能預(yù)測(cè)。
機(jī)器學(xué)習(xí)強(qiáng)大的學(xué)習(xí)能力，我們不禁會(huì)問(wèn)，機(jī)器學(xué)習(xí)能否僅僅通過(guò)觀察我們的太陽(yáng)系來(lái)重新發(fā)現(xiàn)萬(wàn)有引力定律？
牛頓的萬(wàn)有引力定律指出，兩個(gè)質(zhì)點(diǎn)彼此之間相互吸引的作用力，是與它們的質(zhì)量乘積成正比，并與它們之間的距離成平方反比。它是經(jīng)典力學(xué)的一部分，是在 1687 年于《自然哲學(xué)的數(shù)學(xué)原理》中首次發(fā)表的，并于 1687 年 7 月 5 日首次出版。

近日來(lái)自薩塞克斯大學(xué)、倫敦大學(xué)學(xué)院等機(jī)構(gòu)的研究者在論文《 Rediscovering orbital mechanics with machine learning 》中對(duì)上述問(wèn)題進(jìn)行的解答，他們的回答是：可以。

論文作者之一 Miles Cranmer 推特截圖
具體而言，該研究提出了一種采用機(jī)器學(xué)習(xí)方法，通過(guò)觀察自動(dòng)發(fā)現(xiàn)實(shí)際物理系統(tǒng)的控制方程和隱藏屬性。研究者訓(xùn)練了一個(gè)圖神經(jīng)網(wǎng)絡(luò)，通過(guò) 30 年的軌跡數(shù)據(jù)來(lái)模擬太陽(yáng)系的太陽(yáng)、行星和大型衛(wèi)星的動(dòng)力學(xué)。然后，他們使用符號(hào)回歸來(lái)發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)隱式學(xué)習(xí)的力學(xué)定律解析表達(dá)式，結(jié)果表明表達(dá)式等效于牛頓萬(wàn)有引力定律。

論文地址：https://arxiv.org/pdf/2202.02306.pdf
該研究分為兩個(gè)階段：第一階段的學(xué)習(xí)模擬器基于圖網(wǎng)絡(luò) (GN)，圖網(wǎng)絡(luò)是一種深度神經(jīng)網(wǎng)絡(luò)，可以通過(guò)訓(xùn)練來(lái)逼近圖上的復(fù)雜函數(shù)。在這里，太陽(yáng)系的太陽(yáng)、行星和衛(wèi)星的（相對(duì)）位置和速度被表示為輸入圖的節(jié)點(diǎn)，而天體之間可能的物理交互（例如力）被表示為圖的邊。該研究將基于 GN 的模擬器與 30 年來(lái)觀測(cè)到的太陽(yáng)系軌跡進(jìn)行了擬合。
在第二階段，該研究分離邊函數(shù)（edge function），并應(yīng)用符號(hào)回歸擬合邊函數(shù)的解析公式，其最好的擬合是對(duì)牛頓萬(wàn)有引力定律的擬合。然后，該研究使用已發(fā)現(xiàn)的方程重新擬合未觀察到的（相對(duì)）天體質(zhì)量，并找到了與天體真實(shí)質(zhì)量幾乎完美的擬合。之后研究者可以使用發(fā)現(xiàn)的方程和重新學(xué)習(xí)的質(zhì)量來(lái)模擬太陽(yáng)系動(dòng)力學(xué)，并獲得與真實(shí)觀察到的軌跡非常接近的對(duì)應(yīng)關(guān)系。
下圖為太陽(yáng)、水星、金星、地球和火星的示意圖，以及學(xué)習(xí)模擬器使用的相應(yīng)圖結(jié)構(gòu)。圖的節(jié)點(diǎn)代表天體，邊的亮度與它們之間的引力相互作用的強(qiáng)度成正比。 

數(shù)據(jù)與模型
數(shù)據(jù)：符號(hào)回歸研究歷來(lái)都專注于玩具（toy）模擬，但是現(xiàn)實(shí)世界的數(shù)據(jù)充滿了混亂，包括噪音、信息丟失、未知的物理常數(shù)等。因此該研究直接從對(duì)太陽(yáng)系的觀察中重新發(fā)現(xiàn)軌道力學(xué)。
該研究基于 NASA Horizons 的星歷表 （Ephemeris）數(shù)據(jù)開(kāi)發(fā)了一個(gè)訓(xùn)練數(shù)據(jù)集，數(shù)據(jù)集包括太陽(yáng)系中質(zhì)量超過(guò) 10^18 kg 的 31 個(gè)天體：太陽(yáng)、行星、冥王星和一系列衛(wèi)星。訓(xùn)練數(shù)據(jù)來(lái)自 1980 年到 2010 年的 30 年期間的數(shù)據(jù)，驗(yàn)證集來(lái)自 2010-2013 年的數(shù)據(jù)。
模型：模型是基于 Battaglia 等人在 2018 年提出的交互網(wǎng)絡(luò)（Interaction Network）的圖神經(jīng)網(wǎng)絡(luò) (GNN)。GNN 非常適合物理數(shù)據(jù)集：它們通過(guò)消息傳遞顯式地處理對(duì)象（節(jié)點(diǎn)）之間的交互，并允許研究者輕松地將對(duì)稱（如置換、平移和旋轉(zhuǎn)等）嵌入到網(wǎng)絡(luò)中。
GNN 的唯一輸入是天體在給定時(shí)刻的位置和速度，以及學(xué)習(xí)參數(shù)。通過(guò)訓(xùn)練 GNN 來(lái)預(yù)測(cè)每個(gè)天體的加速度，模擬系統(tǒng)的動(dòng)力學(xué)，以及天體的質(zhì)量。

蒸餾符號(hào)規(guī)則
接下來(lái)，研究者希望找出 GNN 實(shí)際學(xué)會(huì)了哪些規(guī)則來(lái)預(yù)測(cè)這些動(dòng)態(tài)。將模型壓縮為一組符號(hào)規(guī)則也可以提高泛化能力。
為此，該研究使用符號(hào)回歸擬合 GNN 消息傳遞模塊的輸入和輸出。符號(hào)回歸是一種機(jī)器學(xué)習(xí)算法，可搜索數(shù)百萬(wàn)個(gè)符號(hào)表達(dá)式以擬合數(shù)據(jù)。該研究使用 PySR 算法 (Cranmer, 2022) 來(lái)完成這項(xiàng)任務(wù)，其中用到了一種進(jìn)化算法。
下圖是從已經(jīng)過(guò)學(xué)習(xí)的模擬器中發(fā)現(xiàn)的符號(hào)表達(dá)式，從中可以發(fā)現(xiàn)所有情況下輸出變量都是 F_x，

更復(fù)雜的表達(dá)式能更準(zhǔn)確地逼近 GNN 的內(nèi)部函數(shù)。然而，人們總是可以在一個(gè)簡(jiǎn)單的表達(dá)式中添加其他項(xiàng)來(lái)提高它的準(zhǔn)確性，所以簡(jiǎn)單性和準(zhǔn)確性是可以權(quán)衡的。該研究使用與 Cranmer 等人 (2020) 相同的分?jǐn)?shù)，成功地模擬了牛頓的萬(wàn)有引力定律（如上圖藍(lán)綠色所示）。
然后研究者把這個(gè)已模擬的規(guī)律，放回 GNN 的消息傳遞模塊中，得到的模擬效果如下：

顯然，性能變好了一些，但仍然不完美，為什么？
為了解決這個(gè)問(wèn)題，研究者首先比較了每個(gè)天體的算法估計(jì)質(zhì)量與真實(shí)質(zhì)量（歸一化到太陽(yáng)的質(zhì)量范圍內(nèi)）：

與每個(gè)天體的真實(shí)質(zhì)量相比，模型估計(jì)的質(zhì)量偏差很大，有時(shí)甚至相差幾個(gè)數(shù)量級(jí)。
雖然 GNN 中的消息傳遞函數(shù)能夠很好地近似牛頓萬(wàn)有引力定律，但并不能完全精準(zhǔn)地?cái)M合。神經(jīng)網(wǎng)絡(luò)可以高度學(xué)習(xí)非線性函數(shù)，但這些質(zhì)量參數(shù)可能對(duì) GNN 來(lái)說(shuō)是良好輸入，卻不是 GNN 符號(hào)版本的最佳輸入。
因此，該研究決定通過(guò)固定的符號(hào)表達(dá)式重新擬合質(zhì)量參數(shù)，這種改進(jìn)確實(shí)產(chǎn)生了更好的效果：

此時(shí)，模型重新估計(jì)的天體質(zhì)量和真實(shí)質(zhì)量的比較結(jié)果如下圖所示：

改進(jìn)之后，模型估計(jì)的天體質(zhì)量幾乎完全匹配真實(shí)質(zhì)量。為了解釋這一點(diǎn)，研究者認(rèn)為需要做的是證明該算法的有效性。
我們知道，天體的質(zhì)量只影響它對(duì)其他天體的引力，例如如果地球變成兩倍大，月球軌道會(huì)受到很大影響，但地球環(huán)繞太陽(yáng)的軌道會(huì)保持不變。對(duì)于像 Phoebe、Hyperion 和 Nereid 這樣的天體，由于它們是非常小的衛(wèi)星，對(duì)其他天體軌跡的影響可以忽略不計(jì)。因此，只要它們的質(zhì)量很小就不會(huì)以任何方式影響系統(tǒng)。為了證實(shí)這一理論，研究者估計(jì)了每個(gè)天體對(duì)其他天體的引力影響，并聯(lián)合質(zhì)量估計(jì)的誤差作圖。

從上圖可以發(fā)現(xiàn)，兩者之間存在明顯的負(fù)相關(guān)，這意味著一個(gè)天體對(duì)其他天體的引力影響越小，質(zhì)量估計(jì)的效果就越差。這也就解釋了該算法如何一步步地成功學(xué)習(xí)了萬(wàn)有引力定律和預(yù)估天體質(zhì)量。
原文鏈接：https://astroautomata.com/paper/rediscovering-gravity/