一直被噴不實(shí)用的超算 在深度學(xué)習(xí)時(shí)代會(huì)改變嗎？

　　在中學(xué)課本里，我們都學(xué)到過(guò)“超級(jí)計(jì)算機(jī)”這個(gè)概念，在印象里它通常和神州五號(hào)、航空母艦等等高科技設(shè)備出現(xiàn)在同一個(gè)章節(jié)，屬于國(guó)家科研能力的體現(xiàn)，更是在國(guó)際科技戰(zhàn)備的賽點(diǎn)。

　　現(xiàn)在這么多年過(guò)去了，一回神中國(guó)超級(jí)計(jì)算機(jī)的代表作已經(jīng)從天河進(jìn)化成了神威·太湖之光，并且通過(guò)對(duì)地震、海浪等等自然現(xiàn)象的精確模擬兩次獲得了戈登貝爾獎(jiǎng)。

　　據(jù)稱(chēng)，戈登貝爾獎(jiǎng)是超算領(lǐng)域的最高獎(jiǎng)項(xiàng)，在獎(jiǎng)項(xiàng)評(píng)選標(biāo)準(zhǔn)中更多會(huì)考慮到超算項(xiàng)目的實(shí)際應(yīng)用性。過(guò)去三十年中，這一獎(jiǎng)項(xiàng)一直被美國(guó)和日本壟斷，直到最近兩年才被中國(guó)蟬聯(lián)。

　　說(shuō)實(shí)在的，大多數(shù)人的印象中，中國(guó)超算經(jīng)過(guò)這么多年的發(fā)展，還實(shí)現(xiàn)了“零的突破”，可在IT領(lǐng)域中，我們似乎更多的受益于互聯(lián)網(wǎng)、移動(dòng)終端的發(fā)展。

　　地震?海浪?超算到底能干嘛

　　擁有這種疑問(wèn)的人不是少數(shù)，超級(jí)計(jì)算機(jī)這幾年開(kāi)始頻繁的受到一種質(zhì)疑：強(qiáng)大的算力究竟有什么用?耗費(fèi)這么多科研經(jīng)費(fèi)和資源，是不是只是為了刷排名而沒(méi)有實(shí)用價(jià)值?

　　其實(shí)人們會(huì)產(chǎn)生這種疑問(wèn)是很正常的，超級(jí)計(jì)算機(jī)從研發(fā)到生產(chǎn)以至于后期的運(yùn)維，成本都非常之高。研發(fā)時(shí)凝聚的高精尖科研力量自不必提，產(chǎn)品上光是CPU/GPU就有幾千個(gè)，占地面積要達(dá)到上千平方米。使用起來(lái)更是電老虎，以天河二號(hào)為例，滿(mǎn)負(fù)荷運(yùn)行的情況下，一天的電費(fèi)就需要30萬(wàn)。而大量的計(jì)算還會(huì)讓超級(jí)計(jì)算機(jī)發(fā)熱，如何降溫還成了個(gè)大問(wèn)題。

　　所以，這么昂貴的超級(jí)計(jì)算機(jī)都用來(lái)做什么了呢?

　　以去年神威·太湖入圍戈登貝爾的幾個(gè)項(xiàng)目為例，他們分別是“千萬(wàn)核可擴(kuò)展全球大氣動(dòng)力學(xué)全隱式模擬”、“高分辨率海浪數(shù)值模擬”和“鈦合金微結(jié)構(gòu)演化相場(chǎng)模擬”。

　　em……沒(méi)錯(cuò)，除去軍事應(yīng)用外，超級(jí)計(jì)算機(jī)通常會(huì)被應(yīng)用于天文、氣象、基礎(chǔ)物理、化學(xué)等等方面的研究。乍一聽(tīng)起來(lái)，的確離人們的現(xiàn)實(shí)生活太遠(yuǎn)了。畢竟現(xiàn)在整個(gè)世界都還沒(méi)用出現(xiàn)什么突破以往物理定律的新發(fā)現(xiàn)，雖然能發(fā)射火箭，可普通人還不能進(jìn)行一次太空旅行，至于天氣預(yù)報(bào)倒是比以前準(zhǔn)確了不少，可也沒(méi)出現(xiàn)過(guò)超算成功預(yù)測(cè)并避開(kāi)自然災(zāi)害的情況。

　　用超級(jí)計(jì)算機(jī)玩網(wǎng)游，是一種怎樣的體驗(yàn)?

　　計(jì)算這件事，在大數(shù)據(jù)遍地的今天并不少見(jiàn)，既然超級(jí)計(jì)算機(jī)的計(jì)算能力那么強(qiáng)，為什么不把交通大數(shù)據(jù)、金融大數(shù)據(jù)這些東西都放到上面去算呢?

　　首先，我們要對(duì)超算能力這件事有一個(gè)正確的認(rèn)識(shí)。由于超級(jí)計(jì)算機(jī)集成了大量CPU，它所擅長(zhǎng)的也是CPU最擅長(zhǎng)的工作——浮點(diǎn)運(yùn)算。由于計(jì)算機(jī)使用的是二進(jìn)制，所以在處理1.01這種帶小數(shù)點(diǎn)的小數(shù)時(shí)，只能用科學(xué)計(jì)數(shù)法來(lái)表示。這樣就避免了小數(shù)運(yùn)算時(shí)的有窮性，可以對(duì)無(wú)窮大和無(wú)窮小的數(shù)值進(jìn)行運(yùn)算。

　　超級(jí)計(jì)算機(jī)最擅長(zhǎng)的就是依靠并聯(lián)的CPU們對(duì)浮點(diǎn)數(shù)計(jì)算進(jìn)行并行運(yùn)算?？梢猿惺芷渌?jì)算機(jī)無(wú)法承受的計(jì)算峰值。一個(gè)CPU算一道題需要5個(gè)小時(shí)，用五個(gè)CPU把這道題拆解開(kāi)來(lái)分別計(jì)算，就只需要一個(gè)小時(shí)。一些在普通計(jì)算機(jī)上要跑一個(gè)禮拜的項(xiàng)目，拿到超級(jí)計(jì)算機(jī)上可能兩分鐘就完成了。

　　所以現(xiàn)在我們知道了，超算的最大作用，是為某一種特定形式的計(jì)算節(jié)約時(shí)間。而在日常生活中，也許我們面對(duì)的問(wèn)題并不是浮點(diǎn)數(shù)計(jì)算，比如區(qū)塊鏈應(yīng)用的就是單一hash的運(yùn)算;又或者像電商、游戲大廠(chǎng)，它們面臨的不是高計(jì)算量，而是快速頻繁的數(shù)據(jù)并發(fā)吞吐。

　　而把計(jì)算任務(wù)部署到超算上，又面臨著不少的成本，除去使用費(fèi)用不說(shuō)，由于超算只提供編譯平臺(tái)，使用者還要自己去熟悉系統(tǒng)。而且目前的超級(jí)計(jì)算機(jī)雖然大多為學(xué)術(shù)機(jī)構(gòu)所有，但是一想到要把自己用戶(hù)的數(shù)據(jù)拿到別人的機(jī)子上計(jì)算，總覺(jué)得有點(diǎn)怪怪的……

　　所以，超算并不是不能用來(lái)處理我們?nèi)粘?、商業(yè)中遇到的計(jì)算問(wèn)題，而是很多本來(lái)不是超算最擅長(zhǎng)的，綜合使用成本而言，沒(méi)有必要使用超算。

　　用超算訓(xùn)練AI，會(huì)不會(huì)是超算民用的第一步?

　　不過(guò)一個(gè)好消息是，隨著深度學(xué)習(xí)的普及和發(fā)展，超算的計(jì)算能力或許可以被更多人應(yīng)用起來(lái)。

　　眾所周知，深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)層數(shù)更深，每個(gè)神經(jīng)元之間互相連接，形成了一個(gè)非常復(fù)雜的結(jié)構(gòu)。而每個(gè)神經(jīng)元中又都需要Sigmoid函數(shù)這類(lèi)復(fù)雜的數(shù)學(xué)計(jì)算，加上圖像識(shí)別、語(yǔ)音識(shí)別這類(lèi)工作本身數(shù)據(jù)訓(xùn)練集就很大，最后就集結(jié)成了一種非?？膳碌挠?jì)算量。

　　這幾年深度學(xué)習(xí)的發(fā)展，離不開(kāi)計(jì)算能力的發(fā)展。英偉達(dá)之所以能靠賣(mài)GPU超過(guò)同行，最大的原因就是深度學(xué)習(xí)對(duì)計(jì)算能力的依賴(lài)。

　　那么，超級(jí)計(jì)算機(jī)能不能應(yīng)用在深度學(xué)習(xí)上呢?答案是肯定的。

　　在今年年初的德?lián)淙藱C(jī)大賽中，打贏了人類(lèi)牌手的Libratus就是一個(gè)在超級(jí)計(jì)算機(jī)上訓(xùn)練的AI。Libratus甚至沒(méi)有搭建神經(jīng)網(wǎng)絡(luò)，光學(xué)習(xí)了游戲規(guī)則，利用強(qiáng)化學(xué)習(xí)自我博弈就超越了人類(lèi)水平。

　　在國(guó)內(nèi)，百度旗下的深度學(xué)習(xí)開(kāi)源平臺(tái)PaddlePaddle也支持超算應(yīng)用，甚至還入選了今年的ASC超算大賽總決賽。計(jì)算性能的超越讓一些以往不可能的事情成為可能，比如上面那個(gè)德?lián)涞陌咐?，不?yīng)用神經(jīng)網(wǎng)絡(luò)、單純靠強(qiáng)化學(xué)習(xí)的自我博弈在沒(méi)有超算的情況下可能要花費(fèi)無(wú)法想象的時(shí)間，而有了超算后，這件事情就成為了可能。

　　同理，一些大量數(shù)據(jù)、長(zhǎng)時(shí)間的深度學(xué)習(xí)/深度強(qiáng)化學(xué)習(xí)模型訓(xùn)練都可以在超計(jì)算機(jī)上完成。不過(guò)，這個(gè)領(lǐng)域中的超級(jí)計(jì)算機(jī)的競(jìng)爭(zhēng)對(duì)手也不少。

　　首先就是芯片廠(chǎng)商們，英偉達(dá)、IBM、高通等等廠(chǎng)商都在爭(zhēng)先恐后的研發(fā)著適用于深度學(xué)習(xí)的芯片。早在3年前，IBM推出的TrueNorth就已經(jīng)集成了54億個(gè)硅晶體管，計(jì)算能力已經(jīng)接近當(dāng)年的超級(jí)計(jì)算機(jī)，功耗卻只有65毫瓦。英偉達(dá)也曾推出過(guò)集成8個(gè)GPU的“超算系統(tǒng)”，計(jì)算能力也可以滿(mǎn)足大部分人的需求。

　　其次就是云服務(wù)供應(yīng)商，也就是上述芯片廠(chǎng)商的客戶(hù)們。他們不光花重金搭建起來(lái)能力超群的分布式計(jì)算系統(tǒng)，還貼心的和TensorFlow、caffe等等深度學(xué)習(xí)框架合作，讓算法可以無(wú)縫部署在系統(tǒng)上。阿里云在今年推出的異構(gòu)計(jì)算產(chǎn)品最高可提供每秒75萬(wàn)億次的算力，雖然比起超級(jí)計(jì)算機(jī)還差的遠(yuǎn)，但性?xún)r(jià)比卻不低。

　　最后，還有一大批以研究算法為主的技術(shù)供應(yīng)商。他們雖然不能提供算力，卻可以通過(guò)種種方式壓縮算法模型，讓算法模型在更低算力的硬件中也能運(yùn)行。比如西雅圖的一個(gè)創(chuàng)業(yè)團(tuán)隊(duì)，就在一直嘗試用二值化神經(jīng)網(wǎng)絡(luò)調(diào)整模型精度，試圖在能耗和成果中找到一個(gè)平衡。

　　加上在深度學(xué)習(xí)上，高成本、軟件環(huán)境復(fù)雜、數(shù)據(jù)隱私擔(dān)憂(yōu)等等問(wèn)題仍然有待解決。綜合看來(lái)超級(jí)計(jì)算機(jī)仍然不是最好的解決方案。

　　讓人哭笑不得的是，很多人認(rèn)為深度學(xué)習(xí)帶來(lái)的高強(qiáng)度計(jì)算要求會(huì)推進(jìn)超級(jí)計(jì)算機(jī)的商業(yè)化、民用應(yīng)用，結(jié)果反而是帶動(dòng)了其他算力供應(yīng)商的發(fā)展，給超級(jí)計(jì)算機(jī)造就了更多的競(jìng)爭(zhēng)對(duì)手。

　　即使我們暫時(shí)還不能在生活場(chǎng)景中享受到超算帶來(lái)的益處，但超算在天文、物理、軍工上帶來(lái)的貢獻(xiàn)仍然是巨大的，如果沒(méi)有超算，在研發(fā)火箭、衛(wèi)星時(shí)幾乎無(wú)法進(jìn)行模擬計(jì)算。而超算帶來(lái)的快速、高精度的模擬，為這些高精尖技術(shù)的研發(fā)節(jié)約了無(wú)法估計(jì)金錢(qián)和時(shí)間成本。或許，等我們能在火星上觀(guān)光的那天，就會(huì)切實(shí)體會(huì)到超算帶來(lái)的福利吧。