AI的決定性時(shí)刻 英偉達(dá)“贏麻了”

“切勿錯(cuò)過(guò)AI的決定性時(shí)刻！”這是英偉達(dá)2023年GTC大會(huì)的廣告語(yǔ)。不知英偉達(dá)所說(shuō)的“決定性時(shí)刻”是指黃仁勛在GTC大會(huì)主題演講中三次強(qiáng)調(diào)的“AI的iPhone時(shí)刻”，還是說(shuō)本屆GTC大會(huì)就是AI的“決定性”時(shí)刻。

當(dāng)然，今時(shí)今日可能確實(shí)是AI的決定性時(shí)刻。

從上周三到現(xiàn)在，一系列或驚艷，或不那么驚艷的最前沿AI技術(shù)接二連三地刷爆科技新聞版面。從OpenAI發(fā)布GPT-4，到百度發(fā)布文心一言，再到微軟發(fā)布Office的AI助手Microsoft 365 Copilot，以及Midjourney發(fā)布能“畫(huà)手指”的V5版本，甚至幾個(gè)小時(shí)前，谷歌也上線(xiàn)了Bard聊天機(jī)器人接受排隊(duì)測(cè)試。

在這樣的AI關(guān)鍵時(shí)刻，手握GPU算力技術(shù)的英偉達(dá)自然不會(huì)缺席，畢竟在大模型軍備競(jìng)賽中，作為“軍火商”的英偉達(dá)，已經(jīng)贏麻了。

北京時(shí)間3月21日晚11點(diǎn)，2023春季GTC大會(huì)正式上線(xiàn)，在大會(huì)的主題演講中，黃仁勛圍繞AI、量子計(jì)算、芯片等前沿科技，發(fā)布了一系列前沿技術(shù)和產(chǎn)品。

ChatGPT專(zhuān)用GPU可提速10倍

圍繞AI的發(fā)布自然少不了GPU的提速，在黃仁勛的主題演講中發(fā)布了全新的GPU推理平臺(tái)，該平臺(tái)包括4種不同配置，針對(duì)不同工作負(fù)載進(jìn)行優(yōu)化，分別對(duì)應(yīng)了AI視頻加速、圖像生成加速、大型語(yǔ)言模型（LLM）加速和推薦系統(tǒng)和LLM數(shù)據(jù)庫(kù)。包括：L4 Tensor Core GPU、L40 GPU、H100 NVL GPU和Grace Hopper超級(jí)芯片。

其中，H100 NVL是專(zhuān)門(mén)為L(zhǎng)LM設(shè)計(jì)的GPU，采用了Transformer加速解決方案，可用于處理ChatGPT。相比于英偉達(dá)HGX A100，一臺(tái)搭載四對(duì)H100和雙NVLINK的標(biāo)準(zhǔn)服務(wù)器速度能快10倍，可以將大語(yǔ)言模型的處理成本降低一個(gè)數(shù)量級(jí)。此外，H100 NVL配備94GB HBM3顯存的PCIe H100 GPU，采用雙GPU NVLink，支持商用PCIe服務(wù)器輕松擴(kuò)展。

L4是針對(duì)AI生成視頻的通用GPU，用于加速AI視頻，可以提供比CPU高120倍的性能，能效提升約99%。可以?xún)?yōu)化視頻解碼與轉(zhuǎn)碼、視頻內(nèi)容審核、視頻通話(huà)等性能，一臺(tái)8-GPU L4服務(wù)器可以取代100多臺(tái)用于處理AI視頻的雙插槽CPU服務(wù)器。目前，英偉達(dá)GPU在AI視頻生產(chǎn)技術(shù)供應(yīng)商Runway的產(chǎn)品中已經(jīng)提供了相應(yīng)的技術(shù)支持。

L40則是用于圖像生成，針對(duì)2D、3D圖像生成進(jìn)行優(yōu)化，并可以結(jié)合Omniverse，直接生成3D內(nèi)容，甚至是元宇宙內(nèi)容。該平臺(tái)推理性能是英偉達(dá)的云推理GPU T4的10倍。

此外，Grace Hopper超級(jí)芯片是為推薦系統(tǒng)和大型語(yǔ)言模型AI數(shù)據(jù)庫(kù)設(shè)計(jì)的?？捎糜趫D推薦模型、向量數(shù)據(jù)庫(kù)和圖神經(jīng)網(wǎng)絡(luò)。它可以通過(guò)900GB/s的高速一致性芯片到芯片接口連接英偉達(dá)Grace CPU和Hopper GPU。

計(jì)算光刻技術(shù)提速40倍

黃仁勛帶來(lái)的另一項(xiàng)革命性技術(shù)，也關(guān)乎英偉達(dá)自身的產(chǎn)品研發(fā)，是一項(xiàng)聚焦先進(jìn)芯片設(shè)計(jì)制造的技術(shù)——NVIDIA cuLitho的計(jì)算光刻庫(kù)。

NVIDIA cuLitho計(jì)算光刻庫(kù)可以通過(guò)計(jì)算技術(shù)大幅優(yōu)化芯片制造流程，利用GPU技術(shù)實(shí)現(xiàn)計(jì)算光刻，可以使傳統(tǒng)光刻技術(shù)提速40倍以上，為2nm及更先進(jìn)芯片的生產(chǎn)提供助力。

事實(shí)上，英偉達(dá)的計(jì)算光刻庫(kù)在研發(fā)過(guò)程中，已經(jīng)與3家全球頂尖的芯片制造廠(chǎng)商開(kāi)展了長(zhǎng)達(dá)4年的合作。包括晶圓制造巨頭臺(tái)積電、光刻機(jī)制造商阿斯麥，以及EDA巨頭新思科技，目前3家廠(chǎng)商均已開(kāi)始將該技術(shù)引入芯片設(shè)計(jì)和制造流程。

“計(jì)算光刻是芯片設(shè)計(jì)和制造領(lǐng)域中最大的計(jì)算工作負(fù)載，每年消耗數(shù)百億CPU小時(shí)?！秉S仁勛介紹說(shuō)，大型數(shù)據(jù)中心24x7全天候運(yùn)行，以便創(chuàng)建用于光刻系統(tǒng)的掩膜板。這些數(shù)據(jù)中心是芯片制造商每年投資近2000億美元的資本支出的一部分。

NVIDIA H100需要89塊掩膜板，在CPU上運(yùn)算時(shí)，處理單個(gè)掩膜板，當(dāng)前需要2周時(shí)間。如果在GPU上運(yùn)行cuLitho則只需8小時(shí)即可處理完一個(gè)掩膜板。黃仁勛說(shuō)：“臺(tái)積電可以通過(guò)在500個(gè)DGX H100系統(tǒng)上使用cuLitho加速，將功率從35MW降至5MW，替代用于計(jì)算光刻的40000臺(tái)CPU服務(wù)器。”

GPU&量子計(jì)算

除了AI和芯片以外，英偉達(dá)還在研究另一項(xiàng)前沿科技——量子計(jì)算。

本次GTC上宣布的第一個(gè)全新產(chǎn)品就是與Quantum Machines合作的NVIDIA DGX Quantum。該產(chǎn)品結(jié)合了通用量子控制系統(tǒng)Quantum Machines OPX+和NVIDIA Grace Hopper超級(jí)芯片，這個(gè)平臺(tái)可以為高性能和低延遲量子經(jīng)典計(jì)算的研究人員提供了一種革命性的新架構(gòu)。

據(jù)黃仁勛介紹，NVIDIA DGX Quantum是全球首個(gè)GPU加速的量子計(jì)算系統(tǒng)，可以實(shí)現(xiàn)GPU和量子處理單元（QPU）之間的亞微秒級(jí)延遲。這種組合使研究人員能夠建立強(qiáng)大的應(yīng)用，實(shí)現(xiàn)校準(zhǔn)、控制、量子糾錯(cuò)和混合算法，將量子計(jì)算與最先進(jìn)的經(jīng)典計(jì)算相結(jié)合。

DGX Quantum還為開(kāi)發(fā)人員配備了統(tǒng)一軟件棧，混合GPU-Quantum編程模型NVIDIA CUDA Quantum，能夠在同一系統(tǒng)中整合和編程 QPU、GPU 和 CPU，是一個(gè)混合型量子經(jīng)典計(jì)算平臺(tái)。目前，CUDA Quantum 已經(jīng)開(kāi)放了源代碼，為開(kāi)發(fā)者提供了更多的支持。

AI超級(jí)計(jì)算上云

本次GTC的另一個(gè)重頭戲是云。

英偉達(dá)發(fā)布的DGX Cloud云服務(wù)，提供了專(zhuān)用的NVIDIA DGX AI超級(jí)計(jì)算集群，搭配N(xiāo)VIDIA AI軟件，使每個(gè)企業(yè)都可以使用簡(jiǎn)單的網(wǎng)絡(luò)瀏覽器訪(fǎng)問(wèn)AI超算，消除了獲取、部署和管理本地基礎(chǔ)設(shè)施的復(fù)雜性。

該服務(wù)目前已經(jīng)與Microsoft Azure、Google GCP和Oracle OCI開(kāi)展合作。每個(gè)DGX Cloud實(shí)例都具有八個(gè)H100或A100 80GB Tensor Core GPU，每個(gè)節(jié)點(diǎn)共有640GB GPU內(nèi)存。

使用NVIDIA Networking構(gòu)建的高性能、低延遲結(jié)構(gòu)，可以確保工作負(fù)載跨互連系統(tǒng)集群擴(kuò)展，允許多個(gè)實(shí)例充當(dāng)一個(gè)巨大的GPU，以滿(mǎn)足高級(jí)AI訓(xùn)練的性能要求。

目前，英偉達(dá)開(kāi)放的首個(gè)NVIDIA DGX Cloud，是與Oracle Cloud Infrastructure（OCI）合作的云服務(wù)。用戶(hù)可以租用DGX Cloud的月租為36999美元起。

AI工廠(chǎng)，制造智能

除了算力以外，英偉達(dá)還想要通過(guò)云服務(wù)，把制造大模型的能力交給更多的用戶(hù)。

黃仁勛帶來(lái)的另一項(xiàng)關(guān)于云的重磅發(fā)布是NVIDIA AI Foundations，旨在為用戶(hù)提供定制化的LLM和生成式AI解決方案。該服務(wù)包括語(yǔ)言模型NEMO、視覺(jué)模型PICASSO和生物學(xué)模型BIONEMO。

其中，NEMO是用于自然語(yǔ)言文本的生成式模型，可以提供80億、430億、5300億參數(shù)的模型，且會(huì)定期更新額外的訓(xùn)練數(shù)據(jù)，可以幫助企業(yè)為客服、企業(yè)搜索、聊天機(jī)器人、市場(chǎng)分析等場(chǎng)景定制生產(chǎn)生成式AI模型。

PICASSO則用于制作視覺(jué)模型，可以用于訓(xùn)練包括圖像、視頻和3D應(yīng)用的生成式AI模型。PICASSO可以通過(guò)高文本提示和元數(shù)據(jù)用DGX Cloud上的模型創(chuàng)造AI模型。目前英偉達(dá)已經(jīng)與Shutterstock合作，開(kāi)發(fā)了Edify-3D生成式AI模型。

本次GTC英偉達(dá)還著重關(guān)注生物制藥領(lǐng)域。BIONEMO是專(zhuān)門(mén)為用戶(hù)提供創(chuàng)建、微調(diào)、提供自定義模型的平臺(tái)，包括AlphaFold、ESMFold、OpenFold等蛋白質(zhì)預(yù)測(cè)模型。生物圈的熱門(mén)方向是利用生成式AI發(fā)現(xiàn)疾病靶因、設(shè)計(jì)新分子或蛋白類(lèi)藥物等。

此外，英偉達(dá)還與Adobe合作，將生成式AI融入營(yíng)銷(xiāo)人員和創(chuàng)意人士的日常工作流，并開(kāi)展了對(duì)于藝術(shù)家版權(quán)保護(hù)的工作。

寫(xiě)在最后

有人將GPU在深度學(xué)習(xí)方面的成功比作是中了技術(shù)的彩票，但黃仁勛并不這么認(rèn)為。他曾多次表示自己在10年前就已經(jīng)看到了AI行業(yè)的發(fā)展?jié)摿Γ约癎PU對(duì)AI的決定性作用。英偉達(dá)正是看好這點(diǎn)，才孤注一擲地投入力量開(kāi)發(fā)更適合AI的GPU產(chǎn)品。

OpenAI在2018年推出的GPT-1，只有1.2億參數(shù)量，而最后一個(gè)公布了參數(shù)量的GPT-3則有1750億，雖然有一些專(zhuān)家認(rèn)為ChatGPT和GPT-4的參數(shù)量有可能更小，但業(yè)界多數(shù)的聲音認(rèn)為，更強(qiáng)大的模型就以為這更大的參數(shù)規(guī)模，且要消耗更多的算力。

OpenAI已公布的信息顯示，在訓(xùn)練上一代的GPT-3時(shí)，使用了數(shù)千個(gè)NVIDIA V100 GPU。

調(diào)研機(jī)構(gòu)TrendForce在一份報(bào)告中提到，GPT-3訓(xùn)練時(shí)大概用到了20000個(gè)NVIDIA A100 GPU左右的算力，而ChatGPT商業(yè)化后所需的GPU數(shù)量將達(dá)到30000個(gè)以上。

某AI芯片專(zhuān)家告訴虎嗅，目前OpenAI公布的技術(shù)細(xì)節(jié)不多，前期的訓(xùn)練又都是在英偉達(dá)的顯卡上做的。“這給了英偉達(dá)更多針對(duì)Transformer的GPU實(shí)驗(yàn)數(shù)據(jù)，從一定程度上造成了英偉達(dá)對(duì)ChatGPT和GPT-4的技術(shù)壟斷，從市場(chǎng)競(jìng)爭(zhēng)的角度說(shuō)來(lái)說(shuō)，對(duì)其他AI芯片很不利?！?/p>

事實(shí)上，谷歌此前曾推出過(guò)針對(duì)TenserFlow的TPU產(chǎn)品，然而，英偉達(dá)此次發(fā)布的GPU推理平臺(tái)針對(duì)時(shí)下火熱的GPT大模型，進(jìn)行了Transformer架構(gòu)優(yōu)化，則似乎又領(lǐng)先了谷歌一步。