攪動(dòng)100億美金的ChatGPT，竟然這么依賴TA？
發(fā)布人：傳感器技術(shù)
時(shí)間：2023-01-13
來(lái)源：工程師
發(fā)布文章
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對(duì)面交流
海量資料庫(kù)查詢
這幾天，「微軟砸下百億美金注資OpenAI」的消息瘋狂刷屏。
作為一家沒(méi)有商業(yè)模式的公司，OpenAI怎么就能估值百億美金？投資人這么好忽悠嗎？其實(shí)，拉出OpenAI背后的ChatGPT，大家就多少能明白一點(diǎn)了。這個(gè)語(yǔ)言模型「頂流」，最近可謂是無(wú)人不知，無(wú)人不曉。而近水樓臺(tái)先得月的微軟，已經(jīng)悄咪咪地在互聯(lián)網(wǎng)巨頭混戰(zhàn)中，先下了一城。前腳剛表示ChatGPT即將整合進(jìn)自家搜索引擎必應(yīng)，后腳就放出ChatGPT計(jì)劃加入Office「辦公全家桶」這個(gè)重磅炸彈。AIGC革命，又到了拼算力的環(huán)節(jié)
2022年，是AIGC的革命元年。
DALL·E 2的誕生讓「文生圖」火了整整一年，緊跟其后的Stable Diffussion、Midjourney更是啟發(fā)了無(wú)數(shù)人的藝術(shù)靈感，甚至讓不少畫手感到了「失業(yè)危機(jī)」。到了年末，ChatGPT更是在全民中掀起AIGC的風(fēng)暴。雖然是壓軸出場(chǎng)，但「強(qiáng)化學(xué)習(xí)」（RLHF）賦予它的魔力，成功地掀起了一場(chǎng)全民的狂歡。剛剛我們提到的這些應(yīng)用，雖然看起來(lái)花里胡哨，但在背后提供支撐的依然是大家熟知的大模型們。
眾所周知，對(duì)于大模型來(lái)說(shuō)，不管是前期的訓(xùn)練還是后期的推理，都離不開巨量的「算力」。舉個(gè)例子，「當(dāng)紅炸子雞」ChatGPT和DALL·E 2基于的GPT-3，以及國(guó)產(chǎn)自研的源1.0、悟道和文心等等，不僅在參數(shù)量上達(dá)到了千億級(jí)別，而且數(shù)據(jù)集規(guī)模也高達(dá)TB級(jí)別。想要搞定這些「龐然大物」的訓(xùn)練，就至少需要投入超過(guò)1000PetaFlop/s-day（PD）的計(jì)算資源。
也難怪OpenAI在大煉GPT-3之前，會(huì)讓微軟花10億美元給自己獨(dú)家定制了一臺(tái)當(dāng)時(shí)全世界排名前五的超級(jí)計(jì)算機(jī)。但是問(wèn)題在于，并不是每個(gè)需要到大量AI算力的企業(yè)或高校，都能財(cái)大氣粗地斥巨資搞一個(gè)自己的「人工智能高性能計(jì)算中心」。那么，如果我們換一個(gè)思路，讓算力變得更加「普適普惠」，是不是也能實(shí)現(xiàn)相同或更好的效果呢？于是，在2020年12月的時(shí)候，國(guó)家信息中心和浪潮信息聯(lián)合發(fā)布了《智能計(jì)算中心規(guī)劃建設(shè)指南》。其中，便提到了一個(gè)全新的概念——智能計(jì)算中心（簡(jiǎn)稱，智算中心）。
智算中心是什么？
為了能更好地解決人工智能領(lǐng)域的問(wèn)題，智算中心的發(fā)展就需要基于最新的AI論和先進(jìn)的AI計(jì)算架構(gòu)，并以AI芯片、AI服務(wù)器、AI集群為算力的載體。首先，當(dāng)前主流的AI加速計(jì)算，主要是采用CPU系統(tǒng)搭載GPU、FPGA、ASIC等異構(gòu)AI加速芯片。由于GPU芯片中原本為圖形計(jì)算設(shè)計(jì)的大量算術(shù)邏輯單元（ALU），可為以張量計(jì)算為主的深度學(xué)習(xí)計(jì)算提供很好的加速效果，因此廣受學(xué)術(shù)界和工業(yè)界的歡迎。
隨著越來(lái)越深入的應(yīng)用，GPU芯片本身也根據(jù)AI的計(jì)算特點(diǎn)，進(jìn)行了針對(duì)性的創(chuàng)新設(shè)計(jì)，如張量計(jì)算單元、TF32/BF16數(shù)值精度、Transformer引擎（Transformer Engine）等。而更加「專一」的AI計(jì)算加速芯片，主要脫胎于GPU芯片。
所以，為何還要興建智算中心？
智算中心是數(shù)字經(jīng)濟(jì)時(shí)代促進(jìn)產(chǎn)業(yè)轉(zhuǎn)型升級(jí)、優(yōu)化產(chǎn)業(yè)結(jié)構(gòu)、提升城市競(jìng)爭(zhēng)力的關(guān)鍵基礎(chǔ)設(shè)施，并為快速增長(zhǎng)的人工智能算力需求提供了必不可少的支撐。具體來(lái)說(shuō)可以分為四個(gè)方面：推進(jìn)AI產(chǎn)業(yè)化、賦能產(chǎn)業(yè)AI化、助力治理智能化、促進(jìn)產(chǎn)業(yè)集群化。- AI產(chǎn)業(yè)化
在訓(xùn)練算力消耗上，自動(dòng)駕駛感所采用的知模型要遠(yuǎn)大于一般的計(jì)算機(jī)視覺感知模型。比如，特斯拉的L2級(jí)FSD自動(dòng)駕駛?cè)诤细兄Ｐ?，?xùn)練過(guò)程使用了百萬(wàn)量級(jí)的道路采集視頻，算力投入約為500PD。而且，隨著自動(dòng)駕駛級(jí)別從L2提升到L4，對(duì)算力的需求將進(jìn)一步提高。對(duì)此，智算中心提供的普惠算力，可以極大降低自動(dòng)駕駛所需算力的成本。- 產(chǎn)業(yè)AI化
截至目前，AlphaFold 2已經(jīng)可以預(yù)測(cè)出2億多個(gè)蛋白質(zhì)結(jié)構(gòu)，幾乎覆蓋了整個(gè)「蛋白質(zhì)宇宙」。通過(guò)AlphaFold 2，單個(gè)蛋白結(jié)構(gòu)的預(yù)測(cè)時(shí)間縮短到了分鐘級(jí)，準(zhǔn)確率也達(dá)到了92.4%。AlphaFold 2的開發(fā)，就是以巨量算力為支撐的。僅在訓(xùn)練數(shù)據(jù)準(zhǔn)備階段，AlphaFold 2就消耗了約2億核時(shí)的CPU算力，訓(xùn)練過(guò)程中更是消耗了約300PD的AI算力。而非常契合AI for Science算力需求的智算中心，將成為支撐高校和科研院所高質(zhì)量科研的重要基礎(chǔ)設(shè)施。- 治理智能化
- 產(chǎn)業(yè)集群化
然而，問(wèn)題也隨之而來(lái)
不可忽視的是，在如火如荼的建設(shè)過(guò)程中，這些智算中心也暴露出了很多問(wèn)題和挑戰(zhàn)。
首先，我國(guó)對(duì)智能算力的需求與日俱增。《2022-2023中國(guó)人工智能計(jì)算力發(fā)展評(píng)估報(bào)告》數(shù)據(jù)顯示，2021年我國(guó)智能算力規(guī)模達(dá)155.2 EFLOPS（FP16），預(yù)計(jì)到2026年，我國(guó)的智能算力規(guī)模將達(dá)到1,271.4 EFLOPS。在未來(lái)80%的場(chǎng)景都將基于AI，它們所占據(jù)的大部分算力資源，都是由智算中心承載。
最后，現(xiàn)階段存在的概念認(rèn)知尚不清晰、建設(shè)標(biāo)準(zhǔn)尚不統(tǒng)一、應(yīng)用場(chǎng)景尚不豐富、運(yùn)營(yíng)模式尚不成熟等問(wèn)題，也直接影響著智算中心的發(fā)展。怎么解決？
對(duì)此，《指南》給出的解決思路是：1. 普適普惠；2. 開放兼容。
先來(lái)說(shuō)什么叫「普適普惠」。普適普惠是指，發(fā)揮公共基礎(chǔ)設(shè)施的社會(huì)價(jià)值，既要滿足用戶對(duì)通用算力的需求，又要滿足不同用戶不同場(chǎng)景對(duì)多元化算力的需求。具體來(lái)說(shuō)，智算中心要朝著標(biāo)準(zhǔn)化、低成本、低門檻方向發(fā)展，使智能計(jì)算可以像水電一樣，成為社會(huì)基本公共服務(wù)，滿足不同用戶不同場(chǎng)景對(duì)算力多元化的需求。其次，就是要「開放兼容」。具體來(lái)說(shuō)，就是要開源開放、培育生態(tài)。以開放硬件和開源軟件為主，融合多元算力，實(shí)現(xiàn)算力的聚合、調(diào)度、釋放，讓智算中心「用起來(lái)、用的好」。同時(shí)，要加強(qiáng)對(duì)智算中心關(guān)鍵軟硬件產(chǎn)品的研發(fā)支持和大規(guī)模應(yīng)用推廣。
展望未來(lái)
現(xiàn)在，以AIGC、元宇宙、智慧科研 （AI for Science）為代表的新興場(chǎng)景，正在走進(jìn)我們的日常生活，給我們的未來(lái)帶來(lái)無(wú)限的可能。
與之相應(yīng)的，智算中心建設(shè)布局浪潮正在全國(guó)快速掀起。智能算力的普適普惠，對(duì)于大多數(shù)企業(yè)來(lái)說(shuō)，尤其是中小企業(yè)，創(chuàng)新的門檻大大地降低了。相信在不久的將來(lái)，我們會(huì)很快見證「以數(shù)據(jù)輸入，讓智能輸出」，智能計(jì)算會(huì)如水電一般，真正惠及每一個(gè)人。 來(lái)源：新智元*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。
