田納西大學(xué)教授杰克·唐加拉獲得2021年度圖靈獎(jiǎng)，為高性能計(jì)算發(fā)展做出重大貢獻(xiàn)

近日，美國(guó)計(jì)算機(jī)協(xié)會(huì)（Association for Computing Machinery，簡(jiǎn)稱(chēng) ACM）將 2021 年度圖靈獎(jiǎng)授予田納西大學(xué)電氣工程和計(jì)算機(jī)科學(xué)系教授杰克·唐加拉（Jack J. Dongarra），以表彰其在高性能計(jì)算發(fā)展上的重大貢獻(xiàn)，該獎(jiǎng)項(xiàng)相當(dāng)于“計(jì)算領(lǐng)域的諾貝爾獎(jiǎng)”。

在唐加拉過(guò)往的生命中，有很大一部分時(shí)間是在計(jì)算機(jī)科學(xué)和數(shù)學(xué)的世界之間穿梭。谷歌 AI 業(yè)務(wù)負(fù)責(zé)人杰夫·迪恩（Jeff Dean）這樣評(píng)價(jià)道， “唐加拉的工作從根本上改變并推動(dòng)了科學(xué)計(jì)算?！敝档靡惶岬氖?，在獲得表彰的同時(shí)，唐加拉還獲得了 100 萬(wàn)美元的獎(jiǎng)金，谷歌為 ACM 提供了該獎(jiǎng)項(xiàng)的財(cái)務(wù)支持。

對(duì)于此次獲獎(jiǎng)，唐加拉表示，"我對(duì)此前的圖靈獎(jiǎng)獲得者有著極大的尊重，我使用過(guò)他們的書(shū)以及定理，我只希望自己能成為未來(lái)計(jì)算機(jī)科學(xué)家的榜樣。"

其實(shí)，很多科學(xué)工作者，甚至包括此前的圖靈獎(jiǎng)獲得者，都曾在某個(gè)時(shí)候或者是每天都在使用唐加拉所開(kāi)發(fā)的程序和庫(kù)，如廣泛用于系統(tǒng)性能基準(zhǔn)測(cè)試的線(xiàn)性代數(shù)程序 LINPAC、執(zhí)行科學(xué)計(jì)算核心的向量和矩陣操作的主力運(yùn)算庫(kù) BLAS 以及用于 GPU 的線(xiàn)性代數(shù)庫(kù) MAGMA。

圖 | 杰克·唐加拉（Jack J. Dongarra）（來(lái)源：ACM）

據(jù)了解，唐加拉出生于 1950 年，如今已過(guò)古稀之年。在他看來(lái)，其一生最重要的貢獻(xiàn)主要有三個(gè)方面。

第一是開(kāi)發(fā)了眾多可移植的、適用于高性能機(jī)器的數(shù)值軟件；第二是在計(jì)算機(jī)的并行處理機(jī)制上做了相關(guān)工作，如消息傳遞接口（Message passing interface，簡(jiǎn)稱(chēng)MPI）；第三是開(kāi)發(fā)測(cè)量計(jì)算機(jī)性能的評(píng)估技術(shù)，如衡量超級(jí)計(jì)算機(jī)能力的 TOP500 測(cè)試。

唐加拉稱(chēng)，“這些工作都集中在先進(jìn)的計(jì)算機(jī)架構(gòu)上以及如何非常有效地利用它們?！倍ㄒ恢骶€(xiàn)是，如何讓科學(xué)家在計(jì)算機(jī)允許的范圍內(nèi)做他們想做的實(shí)驗(yàn)。

為此，唐加拉發(fā)明了一些工具，以幫助程序員在各種計(jì)算方面擁有更強(qiáng)的掌握能力，其最近專(zhuān)注的是一個(gè)叫做 SLATE 的線(xiàn)性代數(shù)軟件包。

據(jù)悉，SLATE 可以在“計(jì)算金字塔”（computational pyramid）上運(yùn)行，從筆記本電腦到臺(tái)式機(jī)、集群以及超級(jí)計(jì)算機(jī)。唐加拉介紹，“用戶(hù)可以忘記底層的硬件，只需提出線(xiàn)性代數(shù)問(wèn)題，SLATE 會(huì)想辦法把它分散到數(shù)十萬(wàn)個(gè)處理器或 GPU 上?！?br />
現(xiàn)在，超級(jí)計(jì)算在世界范圍內(nèi)盛行，越來(lái)越多的人通過(guò)云計(jì)算來(lái)使用超級(jí)計(jì)算機(jī)，這很大程度上歸功于唐加拉長(zhǎng)年的編程努力。

唐加拉表示，“就計(jì)算方式而言，我們正處于一個(gè)拐點(diǎn)，傳統(tǒng)方式是在這些占據(jù)兩個(gè)網(wǎng)球場(chǎng)大小的機(jī)器上進(jìn)行科學(xué)計(jì)算，而現(xiàn)在更多是基于云來(lái)調(diào)用機(jī)器"。

他認(rèn)為，從某種意義上說(shuō)，超級(jí)計(jì)算行業(yè)在建造超級(jí)計(jì)算機(jī)的傳統(tǒng)方式上幾乎已經(jīng)走到了盡頭。摩爾定律失效后，組裝一臺(tái)獨(dú)立的高性能計(jì)算機(jī)并不是一個(gè)可以繼續(xù)擴(kuò)展的過(guò)程，承擔(dān)下一個(gè)巨大計(jì)算時(shí)代的應(yīng)當(dāng)是云規(guī)模系統(tǒng)。

亞馬遜、Meta、谷歌等科技巨頭擁有巨大的設(shè)備和系統(tǒng)資源，而科學(xué)家們由于資金的原因，很難將必要的資源落實(shí)到位，而云中的商業(yè)資源可供科學(xué)家們利用，以滿(mǎn)足其特定需求。

值得一提的是，唐加拉還關(guān)注著中國(guó)的超級(jí)計(jì)算發(fā)展，并多次到訪(fǎng)中國(guó)參與技術(shù)交流。他曾在北京考察中國(guó)首臺(tái)千兆次超級(jí)計(jì)算機(jī)“天河一號(hào)”，還在 2013 年出席了在長(zhǎng)沙舉行的國(guó)際 HPC 會(huì)議，與眾多的中國(guó)超算科學(xué)家進(jìn)行技術(shù)交流。

除超級(jí)計(jì)算外，線(xiàn)性代數(shù)也憑著唐加拉對(duì)向量和矩陣以及張量的處理來(lái)到了計(jì)算的核心。唐加拉表示，“我是一個(gè)數(shù)學(xué)家，對(duì)我來(lái)說(shuō)，一切都是線(xiàn)性代數(shù)，但世界也在看到這一點(diǎn)。事實(shí)上，機(jī)器學(xué)習(xí)和人工智能中的大多數(shù)問(wèn)題，都可以追溯到線(xiàn)性代數(shù)中的‘永恒計(jì)算組件’。”

此外，唐加拉還注意到科學(xué)家和軟件編寫(xiě)者的編程語(yǔ)言需求。當(dāng)被問(wèn)及更推薦哪種軟件編程范式，他表示，Julia、MatLab 都較為不錯(cuò)。

他談到，今天需要的軟件編程范式是 “以簡(jiǎn)單的方法來(lái)表達(dá)所有計(jì)算”，也就是線(xiàn)性代數(shù)的計(jì)算，如矩陣乘法。

這也正是唐加拉多年來(lái)一直在做的事情，即輕松地表達(dá)事物，并獲得底層硬件的性能。具體而言，就是通過(guò)更多的工具來(lái)抽象化細(xì)節(jié)，讓科學(xué)家更有生產(chǎn)力。

目前，唐加拉的興趣所在是 AI 技術(shù)，他對(duì) AI 為工程和科學(xué)帶來(lái)的好處有著堅(jiān)定的信念，并正在努力研究各類(lèi)基于線(xiàn)性代數(shù)的機(jī)器學(xué)習(xí)算法。

他表示，“機(jī)器學(xué)習(xí)是一個(gè)巨大的工具，我們才剛剛開(kāi)始了解如何使用機(jī)器學(xué)習(xí)等 AI 技術(shù)來(lái)幫助解決科學(xué)問(wèn)題。它也許不會(huì)直接解決我們的問(wèn)題，但它將成為幫助我們解決問(wèn)題的好伙伴。”

-End-