英偉達 Q3 狂賣 50 萬 GPU，AI 爆火背后是顯卡的爭奪

據(jù)統(tǒng)計，英偉達在第三季度大約賣出了 50 萬臺 H100 和 A100 GPU，大語言模型爆火的背后，是眾組織機構(gòu)對 GPU 的爭奪，是英偉達近千噸的顯卡出貨量。

據(jù)市場跟蹤公司 Omdia 的統(tǒng)計分析，英偉達在第三季度大約賣出了 50 萬臺 H100 和 A100 GPU！

此前，Omdia 通過英偉達第二季度的銷售額，估計其大概賣出了 900 噸 GPU！

大語言模型火爆的背后，英偉達建立起了強大的顯卡帝國。

在人工智能的大潮之下，GPU 成為了各機構(gòu)、公司，甚至是國家在全球范圍內(nèi)爭奪的對象。

在本財年第三季度，Nvidia 在數(shù)據(jù)中心硬件上獲得了 145 億美元的收入，比去年同期幾乎翻了兩番。

—— 這顯然得益于隨著人工智能和高性能計算（HPC）的發(fā)展而變得炙手可熱的 H100 GPU。

市場跟蹤公司 Omdia 表示，Nvidia 售出了近 50 萬個 A100 和 H100 GPU，龐大的需求量也導(dǎo)致了，基于 H100 的服務(wù)器需要 36~52 周的時間才能交付。

從上圖可以看出，Meta 和微軟是最大買家。它們各自采購了多達 15 萬個 H100 GPU，大大超過了谷歌、亞馬遜、甲骨文和騰訊采購的數(shù)量（各 5 萬個）。

值得注意的是，大多數(shù)服務(wù)器 GPU 都供應(yīng)給了超大規(guī)模云服務(wù)提供商。而服務(wù)器原始設(shè)備制造商（如戴爾、聯(lián)想、HPE）目前還無法獲得足夠的 AI 和 HPC GPU。

Omdia 預(yù)計，到 2023 年第四季度，Nvidia 的 H100 和 A100 GPU 的銷量將超過 50 萬臺。

不過，幾乎所有大量采購 Nvidia H100 GPU 的公司都在為人工智能、HPC 和視頻工作負載開發(fā)定制自己的芯片。

因此，隨著他們轉(zhuǎn)向使用自己的芯片，對 Nvidia 硬件的采購量可能會逐漸減少。

上圖統(tǒng)計了服務(wù)器的情況，2023 年服務(wù)器出貨量同比下跌了 17% 到 20%，而服務(wù)器收入則同比上漲了 6% 到 8%。

Omdia 云和數(shù)據(jù)中心研究實踐總監(jiān) Vlad Galabov 和數(shù)據(jù)中心計算和網(wǎng)絡(luò)首席分析師 Manoj Sukumaran 預(yù)計，到 2027 年，服務(wù)器市場價值將達到 1956 億美元，比十年前翻一番多。

隨著大公司紛紛轉(zhuǎn)向超異構(gòu)計算，或使用多協(xié)處理器來優(yōu)化服務(wù)器配置，服務(wù)器處理器和協(xié)處理器的需求將持續(xù)增長。

目前，就運行人工智能訓(xùn)練和推理的服務(wù)器而言，用于大型語言模型訓(xùn)練的最流行服務(wù)器是配置了 8 個 H100 / A100 GPU 的 Nvidia DGX 服務(wù)器，以及亞馬遜的配置了 16 個定制協(xié)處理器（Inferentia 2）的 AI 推理服務(wù)器。

而對于配備了許多定制協(xié)處理器的視頻轉(zhuǎn)碼服務(wù)器，最流行的是擁有 20 個 VCU（視頻編碼單元）的谷歌視頻轉(zhuǎn)碼服務(wù)器，以及使用了 12 個可擴展視頻處理器的 Meta 視頻處理服務(wù)器。

隨著一些應(yīng)用的需求逐漸成熟，構(gòu)建優(yōu)化定制處理器的成本效益會越來越高。

媒體和人工智能會是超異構(gòu)計算的早期受益者，之后數(shù)據(jù)庫和網(wǎng)絡(luò)服務(wù)等其他工作負載也會出現(xiàn)類似的優(yōu)化。

Omdia 的報告指出，高度配置的人工智能服務(wù)器的增加正在推動數(shù)據(jù)中心物理基礎(chǔ)設(shè)施的發(fā)展。

例如，今年上半年的機架配電收入比去年增長了 17%，在需要液體冷卻解決方案的趨勢之下，數(shù)據(jù)機柜熱管理收入有望在 2023 年實現(xiàn) 17% 的增長。

另外，隨著生成式人工智能服務(wù)的普及，企業(yè)將廣泛采用 AI，而當前人工智能部署速度的瓶頸可能是電力供應(yīng)。

熱情的買家們

除了上面提到的巨頭們，「民間」也有各種組織和公司紛紛采購 NVIDIA 的 H100，以發(fā)展自己的業(yè)務(wù)，或者投資未來。

Bit Digital 是一家提供數(shù)字資產(chǎn)和云計算服務(wù)的可持續(xù)數(shù)字基礎(chǔ)設(shè)施平臺，總部位于紐約。公司已與客戶簽訂條款，開展 Bit Digital AI 業(yè)務(wù)，為客戶的 GPU 加速工作負載提供支持。

根據(jù)協(xié)議，Bit Digital 將為客戶提供最少 1024 個、最多 4096 個 GPU 的租賃服務(wù)。

同時，Bit Digital 公司已同意購買 1056 塊 NVIDIA H100 GPU，并已支付了首筆定金。

由美國公司 Del Complex 創(chuàng)建的 BlueSea Frontier Compute Cluster（BSFCC）本質(zhì)上是一艘巨大的駁船，包含 10000 個 Nvidia H100 GPU，總價值 5 億美元。

據(jù)路透社報道，一家名為 Voltage Park 的非營利組織以 5 億美元的價格收購了 24000 個 Nvidia H100 芯片。

Volatage Park 是一家人工智能云計算組織，由億萬富翁 Jed McCaleb 資助，計劃為人工智能項目租賃計算能力。

Voltage Park 提供的 GPU 價格低至每 GPU 每小時 1.89 美元。按需租賃的客戶可以租用 1 到 8 個 GPU，希望租用更多 GPU 的用戶則需要保證一定的租賃期限。

與之相比，亞馬遜通過 8 臺 H100 的 P5 節(jié)點為用戶提供按需服務(wù)，但價格要貴得多。

以 8 卡的節(jié)點來計算，AWS 的收費為每小時 98.32 美元，而 Voltage Park 的收費為每小時 15.12 美元。

在人工智能的熱潮之下，英偉達也是雄心勃勃。

據(jù)英國《金融時報》報道，這家硅谷芯片巨頭希望提高 H100 處理器的產(chǎn)量，目標是明年出貨 150 萬至 200 萬臺。

由于 ChatGPT 等大型語言模型的爆火，今年 5 月，Nvidia 市值飆升，成功躋身萬億美元俱樂部。

作為開發(fā)大型語言模型的基礎(chǔ)組件，GPU 成為了人工智能公司，甚至是國家在全球范圍內(nèi)爭奪的對象。

《金融時報》稱，沙特阿拉伯和阿聯(lián)酋已經(jīng)購買了數(shù)千臺英偉達的 H100 處理器。

與此同時，有富裕資金的風(fēng)險投資公司，也忙著為投資組合中的初創(chuàng)公司購買 GPU，以建立自己的人工智能模型。

GitHub 前首席執(zhí)行官 Nat Friedman 和 Daniel Gross 曾支持過 GitHub、Uber 和其他許多成功的初創(chuàng)公司，他們購買了數(shù)千個 GPU，并建立了自己的人工智能云服務(wù)。

這個名為仙女座集群（Andromeda Cluster）的系統(tǒng)，擁有 2512 個 H100 GPU，能夠在大約 10 天內(nèi)訓(xùn)練出一個 650 億參數(shù)的人工智能模型。雖然不是目前最大的模型，但也相當可觀。

盡管只有兩位投資人支持的初創(chuàng)企業(yè)，才能使用這些資源。此舉還是受到了好評。

Anthropic 的聯(lián)合創(chuàng)始人 Jack Clark 表示，個人投資者在支持計算密集型初創(chuàng)企業(yè)方面所做的工作超過了大多數(shù)政府。

相比于第三季度的 145 億，第二季度，Nvidia 售出了價值 103 億美元的數(shù)據(jù)中心硬件。

對于這個成績，Omdia 曾作出估計：一個帶有散熱器的 Nvidia H100 計算 GPU 的平均重量超過 3 公斤（6.6 磅），而 Nvidia 在第二季度出貨了超過 30 萬臺 H100，算下來總重量超過 900 噸（180 萬磅）。

讓我們把這 900 噸具象化一點，它相當于：

4.5 架波音 747

11 架航天飛機軌道飛行器

215827 加侖水

299 輛福特 F150

181818 臺 PlayStation 5s

32727 只金毛獵犬

有網(wǎng)友對此表示：

不過也有媒體覺得這個估計不太準確。因為 Nvidia H100 有三種不同的外形，重量也各不相同。

Nvidia H100 PCIe 顯卡重 1.2 千克，而帶散熱片的 OAM 模塊的最高重量為 2 千克。

假設(shè) Nvidia H100 出貨量的 80% 是模塊，20% 是顯卡，那么單個 H100 的平均重量約為 1.84 千克左右。

不管怎樣吧，這都是一個驚人的數(shù)字。而且英偉達在第三季度的銷量是顯著增長的，如果按照 50 萬塊 GPU 每塊 2 千克，那么總重量就是 1000 噸。

—— 現(xiàn)在的顯卡都是按噸賣的了，不知道大家怎么看？