新版摩爾定律也要靠算力 英偉達(dá)稱AI訓(xùn)練速度可再提高1萬倍

ChatGPT之父、OpenAI公司CEO奧特曼（Sam Altman）周日在一條Twitter上寫道：“新版摩爾定律很快就要來了，宇宙中的智能數(shù)量每18個(gè)月就會(huì)翻一倍?！?/p>本文引用地址：http://m.butianyuan.cn/article/202302/443814.htm

摩爾定律是英特爾聯(lián)合創(chuàng)始人摩爾對半導(dǎo)體行業(yè)的預(yù)測，指芯片中的晶體管數(shù)量大約每兩年翻一番，同時(shí)價(jià)格降一半。幾年前，芯片巨頭英偉達(dá)創(chuàng)始人CEO黃仁勛就曾表示：“摩爾定律已死?！?/p>

奧特曼的最新言論很快在社交媒體上發(fā)酵，但他沒有具體解釋所謂的“智能”（intelligence）到底是指什么，這也引發(fā)了業(yè)內(nèi)的熱烈討論。

宇宙智能數(shù)量18個(gè)月翻番指什么？

“當(dāng)（人腦之外的）另一個(gè)結(jié)構(gòu)可以突破（神經(jīng)元）總量限制時(shí)，智能的確會(huì)不斷爆炸?！鲍C豹移動(dòng)董事長傅盛在微信朋友圈中寫道。他向第一財(cái)經(jīng)記者解釋稱：“這里的智能應(yīng)該指神經(jīng)元參數(shù)?！?/p>

瀾舟科技創(chuàng)始人CEO周明對第一財(cái)經(jīng)記者表示，雖然神經(jīng)元參數(shù)確實(shí)是可以數(shù)值化衡量的指標(biāo)，但是過去幾年里，神經(jīng)元參數(shù)似乎并沒有18個(gè)月就實(shí)現(xiàn)翻番。

“我認(rèn)為Altman說的意思比較含糊，我個(gè)人的理解是，世界上的人工智能能力每18個(gè)月翻一倍，但怎么才算翻一倍，是增加新的能力的個(gè)數(shù)，還是已有能力的翻倍提升，他沒有明確說明?！敝苊鲗Φ谝回?cái)經(jīng)記者表示。

第一財(cái)經(jīng)記者就如何理解“智能”翻番向ChatGPT提問。首先問：“宇宙中智能數(shù)量每18個(gè)月翻一倍，這里的智能是指什么？”ChatGPT回答道：“聲稱宇宙中的智能數(shù)量每18個(gè)月翻番是沒有科學(xué)依據(jù)的，因?yàn)橹悄懿皇且粋€(gè)可以用這種方式測量或量化的物理量，通常認(rèn)為它是一個(gè)具有復(fù)雜特性的東西，不能簡化為單個(gè)指標(biāo)或者數(shù)值?！?/p>

當(dāng)?shù)谝回?cái)經(jīng)記者在提問中加入ChatGPT創(chuàng)始人奧特曼的名字，再問：“奧特曼所說的新版摩爾定律是指什么？”ChatGPT回答稱：“新摩爾定律指的是奧特曼在2018年做出的關(guān)于人工智能快速發(fā)展及其能力呈指數(shù)級增長的預(yù)測。奧特曼表示，人工智能發(fā)展的速度目前正在超過摩爾定律?！?/p>

從ChatGPT的回答中可以看出，這一預(yù)測是奧特曼早在2018年就曾作出的，但當(dāng)時(shí)OpenAI的能力遠(yuǎn)不如今天，這一表態(tài)自然也未受到關(guān)注。

如今，奧特曼重新將他的“新版摩爾定律”拋出，背后是深度學(xué)習(xí)和AI的崛起。但不管ChatGPT如何強(qiáng)大，背后也離不開算力的支撐。

隨著人類對于算力的要求越來越高，要滿足新的高性能運(yùn)算需求，芯片就需要不斷迭代，成本也會(huì)隨之增加。目前支撐包括ChatGPT大模型在內(nèi)的95%用于機(jī)器學(xué)習(xí)的芯片都是英偉達(dá)的A100，該芯片的單價(jià)超過1萬美元。

在上周英偉達(dá)的財(cái)報(bào)會(huì)議上，黃仁勛稱，英偉達(dá)的GPU在過去的十年里將AI的處理性能提高了100萬倍。英偉達(dá)現(xiàn)在希望將AI的訓(xùn)練速度提高至少1萬倍。

研究機(jī)構(gòu)Gartner分析師盛陵海對第一財(cái)經(jīng)記者表示：“過去十年是AI發(fā)展從0到100的階段，但是要從100到10000，是完全不同的場景。過去十年芯片的發(fā)展還遵循摩爾定律，但隨著摩爾定律接近極限，未來計(jì)算機(jī)的能力要進(jìn)一步提升越來越困難，除非量子計(jì)算能有大的突破?！?/p>

誰能顛覆人工智能“主力”A100？

根據(jù)研究機(jī)構(gòu)New Street Research發(fā)布的一份報(bào)告，英偉達(dá)的A100目前已成為人工智能領(lǐng)域的“主力”，占據(jù)了用于機(jī)器學(xué)習(xí)的圖形處理器市場95%的份額。

訓(xùn)練大型語言模型需要大量GPU，這些GPU還能進(jìn)行“推理”。擁有熱門AI產(chǎn)品的公司通常需要購買更多GPU來處理峰值期間的數(shù)據(jù)或用于模型的改進(jìn)。例如，人工智能公司Stability AI公司過去一年購買的A100芯片數(shù)量增加到目前的5400個(gè)。Stability AI的軟件用于圖像生成器Stable Diffusion，使用256個(gè)A100芯片訓(xùn)練模型，訓(xùn)練總時(shí)長達(dá)20萬個(gè)小時(shí)。

除了單個(gè)的A100芯片之外，英偉達(dá)還出售一個(gè)包含8個(gè)A100的服務(wù)器系統(tǒng)DGX，售價(jià)接近20萬美元。根據(jù)機(jī)構(gòu)測算，微軟基于ChatGPT的人工智能搜索必應(yīng)（Bing AI）需要超過2萬臺(tái)DGX服務(wù)器系統(tǒng)，才能使Bing的模型支持每個(gè)人的搜索，這表明該功能可能需要微軟投資40億美元的基礎(chǔ)設(shè)施支出。

而谷歌每天進(jìn)行近百億次的搜索服務(wù)需要的服務(wù)器能力更大。根據(jù)New Street Research的技術(shù)分析師Antoine Chkaiban的預(yù)測，谷歌要滿足所有人的搜索，需要在DGX上花費(fèi)800億美元?！斑@說明每個(gè)使用如此龐大的語言模型的用戶都需要一臺(tái)大型超級計(jì)算機(jī)?！盋hkaiban在報(bào)告中寫道。

但目前僅有大公司才有實(shí)力進(jìn)行如此巨大的投資。為了讓更多小公司能夠使用英偉達(dá)AI的能力，英偉達(dá)正在拓展一種全新商業(yè)模式。黃仁勛在上周的財(cái)報(bào)電話會(huì)議中表示，未來將直接出售對DGX系統(tǒng)的云訪問，從而降低小公司研究人員使用AI能力的入門成本。

在黃仁勛看來，英偉達(dá)提供的價(jià)值是將原來需要投入10億美元運(yùn)行CPU的數(shù)據(jù)中心縮減為僅用1億美元就能搞定的數(shù)據(jù)中心，現(xiàn)在將該數(shù)據(jù)中心放在云端共享，意味著可以由100家公司來分擔(dān)這一成本，因此每家公司支付的實(shí)際上是非常少的費(fèi)用?！艾F(xiàn)在企業(yè)可以花一兩千萬來構(gòu)建一個(gè)類似GPT的大型語言模型，這是可以支付得起的?！秉S仁勛表示。

盡管英偉達(dá)并不是唯一一家生產(chǎn)用于人工智能GPU的公司，但根據(jù)研究機(jī)構(gòu)State of AI的報(bào)告，截至去年12月，超過2萬篇開源AI論文中都使用了英偉達(dá)的AI芯片，其中A100在2022年的使用量迅速增長，成為英偉達(dá)被使用第三多的芯片，僅次于其售價(jià)1500美元的游戲芯片。

目前能與A100的使用量競爭的仍然是英偉達(dá)去年量產(chǎn)的下一代人工智能芯片H100。這款芯片的售價(jià)更高，并且在截至今年1月的財(cái)季中，H100芯片的收入已經(jīng)超過了A100。英偉達(dá)表示，H100是該公司推出的首款針對transformer架構(gòu)進(jìn)行優(yōu)化的數(shù)據(jù)中心GPU，transformer正在越來越多地用于新的頂級人工智能應(yīng)用程序，重要性日益凸顯。

“H100采用了5納米的制程，相比于A100的7納米制程而言，H100的性能應(yīng)該是顯著優(yōu)于A100的?！笔⒘旰Φ谝回?cái)經(jīng)記者表示。