圖靈獎(jiǎng)得主Jack Dongarra：超級計(jì)算頂部還有很大空間

在最近的一次采訪中，2021 年圖靈獎(jiǎng)得主 Jack Dongarra 談了談高性能計(jì)算當(dāng)前的發(fā)展?fàn)顩r以及未來有潛力的發(fā)展方向。

超級計(jì)算機(jī)可以說是科學(xué)計(jì)算界的奧運(yùn)冠軍。通過數(shù)值模擬，超級計(jì)算機(jī)豐富了我們對世界的理解：無論是宇宙中數(shù)光年之外的恒星、地球的天氣和氣候，還是人體的運(yùn)作機(jī)理。

四十多年來，Jack Dongarra 一直是高性能計(jì)算領(lǐng)域的推動(dòng)者。今年早些時(shí)候，2021 年 ACM A.M. 圖靈獎(jiǎng)授予 Dongarra，以表彰 "他對數(shù)值算法和工具庫的開創(chuàng)性貢獻(xiàn)，讓高性能計(jì)算軟件在四十多年里能夠跟上硬件的指數(shù)式發(fā)展"。

本文作者 Bennie Mols 于 9 月在德國舉行的第九屆海德堡桂冠論壇期間見到了 Dongarra，并探討了高性能計(jì)算的當(dāng)下和未來?，F(xiàn)年 72 歲的 Dongarra 是田納西大學(xué)的特聘教授，自 1989 年以來一直是美國能源部橡樹嶺國家實(shí)驗(yàn)室的特聘研究人員。Bennie Mols 是駐荷蘭阿姆斯特丹的科學(xué)和技術(shù)作家。

以下是采訪內(nèi)容

Q1：幾十年來，您進(jìn)行科學(xué)研究的動(dòng)力是什么？

A：我主攻的是數(shù)學(xué)方面的研究，尤其是數(shù)值線性代數(shù)方面，我所有的工作都源于此。對于諸如物理和化學(xué)這類需要計(jì)算——尤其是解線性方程組——的學(xué)科來說，一款能計(jì)算答案的軟件無疑是非常重要的。同時(shí)，你還必須確保軟件的運(yùn)行與機(jī)器的架構(gòu)相一致，這樣才能真正獲得機(jī)器所能達(dá)到的高性能。

Q2：對于在超級計(jì)算機(jī)上運(yùn)行的軟件來說，最重要的要求是什么？

A：我們希望該軟件的計(jì)算結(jié)果是準(zhǔn)確的。我們希望科學(xué)界能夠使用和理解這個(gè)軟件，甚至可以對其改進(jìn)作出貢獻(xiàn)。我們希望軟件性能良好，可以在不同的機(jī)器上移植。我們希望代碼是可讀的、可靠的。最后，我們希望軟件能夠提高使用它的人的生產(chǎn)力。

開發(fā)滿足所有這些要求的軟件是一個(gè)非同小可的過程。這種級別的工程往往有數(shù)百萬行的代碼，而且大約每隔 10 年，我們就會(huì)看到機(jī)器架構(gòu)發(fā)生一些重大變化。這將導(dǎo)致我們需要對算法和體現(xiàn)這些算法的軟件進(jìn)行重構(gòu)。軟件跟著硬件走，在超級計(jì)算的頂層仍有很大的空間，來達(dá)到更好的機(jī)器性能。

Q3：目前在高性能計(jì)算方面有什么令你興奮的發(fā)展？

A：我們的高性能超級計(jì)算機(jī)是建立在第三方元件上的，比方說你和我也能買到高端芯片，只是高性能計(jì)算機(jī)上需要很多。通常我們在高性能計(jì)算機(jī)上面以 GPU 的形式使用一些加速器。我們將多個(gè)芯片開發(fā)板放在一個(gè)機(jī)架上，許多這樣的機(jī)架一起組成一臺超級計(jì)算機(jī)。我們使用第三方元器件的原因在于它更便宜，但如果你專門設(shè)計(jì)芯片來做科學(xué)計(jì)算，你會(huì)得到性能更好的超級計(jì)算機(jī)，這是一個(gè)令人興奮的想法。

事實(shí)上，這正是亞馬遜、Facebook、谷歌、微軟、騰訊、百度和阿里巴巴等公司正在做的事情；他們正在制造自己的芯片。他們可以這樣做，因?yàn)樗麄冇旋嫶蟮馁Y金，而高校的資金是有限的，因此不幸地不得不使用第三方的產(chǎn)品。這與我的另一個(gè)擔(dān)憂有關(guān)：我們?nèi)绾螌⑷瞬帕粼诳茖W(xué)領(lǐng)域，而不是看到他們?nèi)閳?bào)酬更高的大公司工作？

Q4：對于高性能計(jì)算的未來，還有哪些重要的發(fā)展？

A：確實(shí)有一些重要的事情。很明顯，機(jī)器學(xué)習(xí)已經(jīng)對科學(xué)計(jì)算產(chǎn)生了重要影響，而且這種影響只會(huì)越來越大。我認(rèn)為機(jī)器學(xué)習(xí)是一種工具，有助于解決計(jì)算科學(xué)家想要解決的問題。

這與另一個(gè)重要的發(fā)展相輔相成。傳統(tǒng)上，我們的硬件使用 64 位浮點(diǎn)運(yùn)算，所以數(shù)字也用 64 位表示。但是，如果你使用更少的比特，例如 32、16、甚至 8 比特，你可以加快計(jì)算速度。但是加快計(jì)算速度，就會(huì)失去精度。然而，人工智能的計(jì)算看起來往往可以用更少的比特，16 甚至 8 比特來完成。這是一個(gè)需要探究的領(lǐng)域，我們需要找出在什么情況下縮減位數(shù)效果好，什么情況下效果不好。

另一個(gè)研究領(lǐng)域是關(guān)于如何從低精度的計(jì)算開始，得到一個(gè)近似值，然后再使用更高精度的計(jì)算來細(xì)化結(jié)果。

Q5：超級計(jì)算機(jī)的功耗如何？

A：現(xiàn)在性能最好的超級計(jì)算機(jī)消耗 20 或 30 兆瓦，以達(dá)到每秒百億億次浮點(diǎn)運(yùn)算的速度。如果地球上的每個(gè)人每秒鐘做一次計(jì)算，那么需要四年多的時(shí)間才能完成超大規(guī)模計(jì)算機(jī)在一秒鐘內(nèi)完成的工作?？赡茉?20 年內(nèi)，我們要達(dá)到 zettaflop 的規(guī)模，也就是 10 的 21 次方次浮點(diǎn)數(shù)運(yùn)算。然而，功耗可能會(huì)成為限制性因素。你將需要一個(gè) 100 或 200 兆瓦的機(jī)器，目前來看這太耗能了。

Q6：您如何看待量子計(jì)算在未來高性能計(jì)算中的作用？

A：我認(rèn)為量子計(jì)算能解決的問題是有限的，它不會(huì)解決像三維偏微分方程這樣的問題，我們在這方面經(jīng)常使用超級計(jì)算機(jī)，如氣候建模。

在未來，我們將構(gòu)建一個(gè)包含不同類型計(jì)算工具的集成工具。我們將有處理器和加速器，我們將有幫助機(jī)器學(xué)習(xí)的工具，我們很可能有以大腦的方式進(jìn)行神經(jīng)形態(tài)計(jì)算的設(shè)備，我們將有光學(xué)計(jì)算機(jī)，此外，我們將有量子計(jì)算機(jī)來解決特定的問題。

原文鏈接：https://cacm.acm.org/news/265289-there-is-plenty-of-room-at-the-top-of-supercomputing/fulltext