華為大模型登Nature正刊！審稿人：讓人們重新審視預(yù)報(bào)模型的未來(lái)

比傳統(tǒng)方法快1萬(wàn)倍、只需要1.4秒就能完成24小時(shí)全球氣象預(yù)報(bào)——它就是來(lái)自華為云的盤(pán)古氣象大模型。

近期，它登上了Nature，據(jù)稱(chēng)還是近年來(lái)首篇以中國(guó)科技公司作為唯一署名單位發(fā)表的Nature正刊論文（也就是華為云獨(dú)作）。

審稿人給予它高度評(píng)價(jià)，這一模型使人類(lèi)得以重新審視氣象預(yù)報(bào)模型的未來(lái)。

言外之意，就是有了它，原來(lái)的傳統(tǒng)方法都不香了。

那么，它究竟是如何被開(kāi)發(fā)出來(lái)的？解決了哪些關(guān)鍵難題？又有何具體成效和應(yīng)用？

順著這篇論文帶你一文看盡。

上世紀(jì)20年代以來(lái)，特別是近三十年隨著算力的迅速發(fā)展，傳統(tǒng)的數(shù)值天氣預(yù)報(bào)在每日天氣預(yù)報(bào)、極端災(zāi)害預(yù)警、氣候變化預(yù)測(cè)等領(lǐng)域取得了巨大的成功。

但是隨著算力增長(zhǎng)的趨緩和物理模型的逐漸復(fù)雜化，這一方式的瓶頸日益突出。

于是研究者們開(kāi)始挖掘新的氣象預(yù)報(bào)范式如使用深度學(xué)習(xí)方法預(yù)測(cè)未來(lái)天氣。

華為云研發(fā)團(tuán)隊(duì)于2年前開(kāi)始這方面的研究。

他們發(fā)現(xiàn)，在數(shù)值方法應(yīng)用最廣泛的領(lǐng)域如中長(zhǎng)期預(yù)報(bào)中，現(xiàn)有的AI預(yù)報(bào)方法精度仍然顯著低于數(shù)值預(yù)報(bào)方法，并受到可解釋性欠缺，極端天氣預(yù)測(cè)不準(zhǔn)等問(wèn)題的制約。

而造成AI氣象預(yù)報(bào)模型的精度不足主要有兩個(gè)原因：

第一，現(xiàn)有的AI氣象預(yù)報(bào)模型都是基于2D神經(jīng)網(wǎng)絡(luò)，無(wú)法很好地處理不均勻的3D氣象數(shù)據(jù)；

第二，AI方法缺少數(shù)學(xué)物理機(jī)理約束，因此在迭代的過(guò)程中會(huì)不斷積累迭代誤差。

在此，華為云的研究人員提出了3D Earth-Specific Transformer（3DEST）來(lái)處理復(fù)雜的不均勻3D氣象數(shù)據(jù)，從而打造了盤(pán)古氣象大模型。

其主要思想是使用一個(gè)視覺(jué)transformer的3D變種來(lái)處理復(fù)雜的不均勻的氣象要素，并且使用層次化時(shí)域聚合策略，訓(xùn)練了4個(gè)不同預(yù)報(bào)間隔的模型（分別為1小時(shí)間隔、3小時(shí)間隔、6小時(shí)間隔、24小時(shí)間隔），使得預(yù)測(cè)特定時(shí)間氣象狀況的迭代次數(shù)最小，從而減少迭代誤差，也避免了由遞歸訓(xùn)練帶來(lái)的訓(xùn)練資源消耗。

為了訓(xùn)練每個(gè)模型，研究人員使用1979-2021年的氣象數(shù)據(jù)，以小時(shí)為單位采樣，訓(xùn)練了100個(gè)epoch。

每個(gè)模型需要在192塊V100顯卡上訓(xùn)練16天。事實(shí)上，即使經(jīng)歷100個(gè)epoch，這些模型依舊沒(méi)有完全收斂。

也就是說(shuō)，在計(jì)算資源更加充足的情況下，AI預(yù)報(bào)的精度還能夠進(jìn)一步提升。

最終推理時(shí)，盤(pán)古氣象大模型僅需在一張V100顯卡上運(yùn)行1.4秒，即可完成24小時(shí)全球氣象預(yù)報(bào)，包括位勢(shì)、濕度、風(fēng)速、溫度、海平面氣壓等，其中水平空間分辨率達(dá)到 0.25°×0.25° ，時(shí)間分辨率為1小時(shí)，覆蓋13層垂直高度，可以精準(zhǔn)地預(yù)測(cè)細(xì)粒度氣象特征。

而作為首個(gè)精度超過(guò)傳統(tǒng)數(shù)值預(yù)報(bào)方法的AI方法，它的計(jì)算速度相比傳統(tǒng)數(shù)值預(yù)報(bào)提升超過(guò)10000倍。

今年5月，臺(tái)風(fēng)“瑪娃”走向受到廣泛關(guān)注。

中央氣象局表示，華為云盤(pán)古大模型在“瑪娃”的路徑預(yù)報(bào)中表現(xiàn)優(yōu)異，提前五天預(yù)報(bào)出其將在臺(tái)灣島東部海域轉(zhuǎn)向路徑。

在第19屆世界氣象大會(huì)上，歐洲氣象局也指出，華為云盤(pán)古氣象大模型在精度上有著不可否認(rèn)的能力，純數(shù)據(jù)驅(qū)動(dòng)的AI天氣預(yù)報(bào)模型，展現(xiàn)出了可與歐洲中期天氣預(yù)報(bào)中心業(yè)務(wù)數(shù)值模式媲美的預(yù)報(bào)實(shí)力。

歐洲中期天氣預(yù)報(bào)中心主任弗洛倫斯·哈比耶詳細(xì)地展示了華為云盤(pán)古氣象大模型與歐洲中期天氣預(yù)報(bào)中心的實(shí)時(shí)運(yùn)行檢驗(yàn)對(duì)比情況：

為了探索AI捕獲極端天氣的能力，我們研究了今年2月芬蘭的一個(gè)案例，當(dāng)時(shí)觀測(cè)到了-29℃的寒潮，我們發(fā)現(xiàn)盤(pán)古較早認(rèn)識(shí)到了這一事件的嚴(yán)重性。

弗洛倫斯·哈比耶還強(qiáng)調(diào)，AI預(yù)測(cè)方法資源消耗少，為發(fā)展中國(guó)家提供了重要機(jī)遇，因?yàn)樗辉傩枰笠?guī)模的超算資源，還為提升全球預(yù)報(bào)能力提供了難得的機(jī)遇。

至于華為云選擇AI氣象預(yù)報(bào)領(lǐng)域作為一個(gè)“突破口”，一方面，氣象預(yù)報(bào)尤其是對(duì)極端天氣如暴雨、臺(tái)風(fēng)、干旱、寒潮的精準(zhǔn)預(yù)測(cè)關(guān)乎國(guó)際民生；另一方面，氣象預(yù)測(cè)問(wèn)題非常復(fù)雜，AI可以從海量數(shù)據(jù)中挖掘出新的大氣演變規(guī)律，在精度和速度上具有巨大的提升潛力。

據(jù)了解，世界氣象組織（WMO）即將發(fā)布的WMO2024—2027年戰(zhàn)略計(jì)劃吸收了人工智能元素，使其成為推動(dòng)氣象科技發(fā)展的重要力量。

WMO還將積極推動(dòng)AI在臨近預(yù)報(bào)及數(shù)值天氣預(yù)報(bào)等領(lǐng)域的示范應(yīng)用，創(chuàng)建人工智能產(chǎn)品應(yīng)用國(guó)際比對(duì)平臺(tái)，制定AI氣象應(yīng)用標(biāo)準(zhǔn)和指南，推動(dòng)人工智能數(shù)據(jù)集共享等相關(guān)工作，探索并發(fā)揮AI在氣象領(lǐng)域的應(yīng)用潛力，有效支撐全民早期預(yù)警倡議。

最后，華為云盤(pán)古氣象大模型團(tuán)隊(duì)如何看待AI氣象預(yù)報(bào)的未來(lái)？

答案是三大關(guān)鍵：

首先，大數(shù)據(jù)。龐大的氣象數(shù)據(jù)是AI模型的基石，當(dāng)前盤(pán)古氣象大模型僅使用部分ERA5再分析數(shù)據(jù)，未來(lái)的AI模型將基于海量的、更精細(xì)的全球觀測(cè)數(shù)據(jù)。

其次，大算力。氣象數(shù)據(jù)超高的分辨率對(duì)AI模型的訓(xùn)練造成了巨大的挑戰(zhàn)，盤(pán)古氣象大模型現(xiàn)在的輸入分辨率為1440×720×14×5，相比計(jì)算視覺(jué)任務(wù)常用的分辨率224×224×3大約500倍，隨著分辨率的進(jìn)一步增加和模型的增大，需要的算力資源也會(huì)迅速增加。

最后，大模型。復(fù)雜的氣象規(guī)律，超高的分辨率與龐大的數(shù)據(jù)量都決定了AI氣象預(yù)報(bào)需要使用計(jì)算量極高的AI模型。同時(shí)，想要不斷迭代領(lǐng)先的AI氣象預(yù)報(bào)模型，穩(wěn)定的云上環(huán)境、工作套件和對(duì)應(yīng)的運(yùn)維也是必不可少的。