如何用GPU掙更多的錢(qián)？

無(wú)獨(dú)有偶，2023 年從 Nvidia 獲得最多 “Hopper ”H100 分配的公司也是超大規(guī)模公司和云計(jì)算構(gòu)建商，它們?cè)诤芏嗲闆r下都身兼兩職，既有興趣出租 GPU 容量供他人構(gòu)建人工智能模型，也有興趣在大型語(yǔ)言模型開(kāi)發(fā)方面進(jìn)行創(chuàng)新。
顯然，Nvidia 非常希望在競(jìng)爭(zhēng)對(duì)手開(kāi)始蠶食其在 LLM 加速計(jì)算方面的近乎壟斷地位之前，能夠在生成式人工智能浪潮中榨取每一分錢(qián)。2022 年夏天，OpenAI 的 ChatGPT 作為 API 推出，改變了數(shù)據(jù)中心計(jì)算的本質(zhì)。
但是，GenAI 彩虹盡頭的聚寶盆并沒(méi)有因?yàn)?Nvidia 而結(jié)束。隨著這些 GPU 的容量被出租，數(shù)以萬(wàn)計(jì)的企業(yè)正試圖獲得 GPU 時(shí)鐘周期來(lái)訓(xùn)練自己的模型，并希望以此來(lái)改變自己的業(yè)務(wù)，因此，錢(qián)袋子還在不斷增加。其中包括微軟Azure（15萬(wàn)）、Meta Platforms（15萬(wàn)）、亞馬遜網(wǎng)絡(luò)服務(wù)（5萬(wàn)）、谷歌云（5萬(wàn)）、甲骨文云基礎(chǔ)架構(gòu)（5萬(wàn)）、騰訊（5萬(wàn)）、百度（3萬(wàn)）和阿里巴巴（2.5萬(wàn)）創(chuàng)建的大規(guī)模GPU綜合體，根據(jù)Omdia的數(shù)據(jù)，這些綜合體是根據(jù)它們的Nvidia H100分配來(lái)排名的，但其中也包括像CoreWeave（4萬(wàn)）和Lambda（2萬(wàn)）這樣的純GPU云玩家。此外，還有兩張外卡：ByteDance（2 萬(wàn)）和 Tesla（1.5 萬(wàn)），它們是自己的東西，正在做自己的 LLM。
就本分析而言，CoreWeave 和 Lambda（前身為 Lambda Labs）是最有趣的兩家公司，因?yàn)樗鼈冊(cè)?GPU 分配和如何籌集風(fēng)險(xiǎn)資本方面大做文章。華爾街也希望它們能在今年或明年進(jìn)行兩次大規(guī)模的首次公開(kāi)募股。
我們理解所有的喧囂，但我們懷疑華爾街是否已經(jīng)計(jì)算清楚。至于這些首次公開(kāi)募股前公司的估值是否合理，我們留給你們自己去計(jì)算。我們認(rèn)為，從基本面來(lái)看，全球股市整體估值過(guò)高，而且?guī)资陙?lái)估值越來(lái)越高。但我們不會(huì)因此而影響我們的分析，因?yàn)閮r(jià)值是一個(gè)相對(duì)而非絕對(duì)的指標(biāo)。任何擁有 401(k) 賬戶的人都需要這些熱氣來(lái)證明自己的真實(shí)價(jià)值。(等等，也包括我們）。
我們來(lái)找點(diǎn)樂(lè)子。我們一直保存著這張迷人的圖表，它被埋藏在 2023 年 10 月的同一份財(cái)務(wù)報(bào)告中，其中包括 Nvidia 的路線圖，我們對(duì)其進(jìn)行了編輯，使其更加準(zhǔn)確，以備不時(shí)之需。至少?gòu)?Nvidia 高層的角度來(lái)看，它解釋了 GPU 騙局的經(jīng)濟(jì)學(xué)原理：

左邊的餅圖很容易理解。如果你想成為 GPU 云計(jì)算領(lǐng)域的佼佼者，那么就從 10 億美元開(kāi)始吧。有了這筆錢(qián)，你就可以花 4 億美元購(gòu)買(mǎi)總共 16,000 臺(tái) H100 的人工智能服務(wù)器，再花 1 億美元購(gòu)買(mǎi) Nvidia 的 InfiniBand 網(wǎng)絡(luò)將它們連接起來(lái)。在這四年里，你還需要花費(fèi) 5 億美元來(lái)建造一個(gè)數(shù)據(jù)中心，并對(duì)其進(jìn)行運(yùn)營(yíng)、供電和制冷。Nvidia 沒(méi)有對(duì)數(shù)據(jù)中心的成本或其中的鐵件進(jìn)行折舊，但顯然你會(huì)這樣做。
我們不知道 Nvidia 是如何計(jì)算出 GPU 計(jì)算價(jià)格的，但按照 Nvidia 八路 DGX H100 的克隆版配置 GPU 服務(wù)器最低 40 萬(wàn)美元左右的價(jià)格計(jì)算，2000 臺(tái)服務(wù)器的成本就是 8 億美元，而不是 4 億美元。我們認(rèn)為，考慮到對(duì) H100 的巨大需求，超大規(guī)模用戶和云計(jì)算構(gòu)建者不會(huì)得到 46.7% 的折扣。
現(xiàn)在，請(qǐng)看右邊。Nvidia 表示，以每 GPU 小時(shí) 4 美元計(jì)算，四年內(nèi)的租金機(jī)會(huì)約為 25 億美元。我們必須施展一定的巫術(shù)才能得出這個(gè)數(shù)字，下面我們就來(lái)解釋一下。
首先，如果以 16,000 個(gè) GPU 為例，乘以四年內(nèi)每小時(shí) 4 美元（按每年 365.25 天，每天 24 小時(shí)計(jì)算），那么租金收入流為 22.4 億美元。而不是 25 億美元。右邊的餅圖似乎暗示，通過(guò)使用更昂貴的 InfiniBand 網(wǎng)絡(luò)而不是以太網(wǎng)，可以將 GPU 的利用率提高 15%，四年內(nèi)價(jià)值 3.5 億美元，并將 GPU 集群的吞吐量提高 25%，價(jià)值 6 億美元。如果假設(shè)總性能提高 43.8%，意味著只需要 11,130 個(gè) H100 GPU，而不是 16,000 個(gè)，再乘以 11,130 個(gè) GPU 四年內(nèi)每 GPU 小時(shí) 4 美元的成本，就可以得到 25.1 億美元的租金收入。
啊，但是等等，通過(guò)分析亞馬遜網(wǎng)絡(luò)服務(wù)的 p5 GPU 實(shí)例價(jià)格（我們?cè)谌ツ昶咴伦隽嗽敿?xì)分析），我們知道八路 H100 系統(tǒng)實(shí)例的按需實(shí)例價(jià)格為每小時(shí) 98.32 美元，即每 GPU 小時(shí) 12.29 美元。我們估計(jì)保留一年的實(shí)例價(jià)格為每小時(shí) 57.63 美元，即每 GPU 小時(shí) 7.20 美元，我們知道保留三年的實(shí)例公布價(jià)格為 43.16 美元，即每 GPU 小時(shí) 5.40 美元。
我們認(rèn)為 GPU 租金不會(huì)因?yàn)槭褂?InfiniBand 帶來(lái)的性能提升或利用率提高而改變。(我們知道 AWS 在這些 p5 實(shí)例中使用的不是 InfiniBand，而是其自己的 400 Gb/sec 以太網(wǎng) EFAv2 實(shí)現(xiàn)）。因此，情況是這樣的：如果您有 16,000 個(gè) GPU，并且您有按需實(shí)例（50%）、一年實(shí)例（30%）和三年實(shí)例（20%）的混合平均值，那么四年的 GPU 租金收入為 52.7 億美元，H100 GPU 的平均成本為每小時(shí) 9.40 美元。使用 InfiniBand 提高了效率，這意味著云計(jì)算可以更快地讓更多客戶使用這些 GPU，但這并不會(huì)改變每小時(shí)的租賃成本。這只是意味著客戶可以更快地完成工作，更多客戶可以使用它，但一年只有 35,064 個(gè)小時(shí)，365.25 天。
因此，假設(shè) H100 GPU 的價(jià)格更準(zhǔn)確，InfiniBand 升級(jí)到 800 Gb/秒，AWS 上的 p5 實(shí)例條款組合定價(jià)更準(zhǔn)確，我們將如何編輯 Nvidia 制作的圖表：

你需要知道：你為 Nvidia GPU 投入 8 億美元，為數(shù)據(jù)中心和網(wǎng)絡(luò)再投入 7 億美元，如果你擁有按需和預(yù)留實(shí)例客戶的合理組合，你將再次獲得 5270 美元的收入。
我們認(rèn)為，AWS、微軟 Azure 和谷歌云基礎(chǔ)架構(gòu)之間的數(shù)字不會(huì)有太大差別，而且我們懷疑，只要 GPU 仍然稀缺，CoreWeave 或 Lambda 等公司的 GPU 價(jià)格（以及收入）最終會(huì)不會(huì)低得多。
一些值得思考的問(wèn)題：長(zhǎng)期租用較少數(shù)量的 GPU 總比短期租用較多數(shù)量的 GPU 便宜，這必須與任何給定規(guī)模的 LLM 的 GPU 內(nèi)存容量和 GPU 內(nèi)存帶寬需求相比較。客戶可能需要大量的 GPU 來(lái)存儲(chǔ)，而不是計(jì)算，但無(wú)論如何，他們都要為計(jì)算付費(fèi)。
正是考慮到這一點(diǎn)，我們才考慮了最近對(duì) CoreWeave 和 Lambda 的投資。
CoreWeave 是一家比特幣挖礦公司，成立于紐約市郊區(qū)的新澤西州羅斯蘭德（Roseland），目前已轉(zhuǎn)向人工智能處理領(lǐng)域，該公司今天宣布獲得了來(lái)自 Coatue 的 11 億美元 C 輪融資，Magnetar（領(lǐng)投 B 輪融資）以及 Altimeter Capital、Fidelity Management 和 Lykos Global Management 也參與了本輪融資。2023 年 12 月的 B 輪融資達(dá)到了 6.42 億美元，而在此之前，2023 年 4 月的 A 輪融資也達(dá)到了 4.2 億美元。去年 8 月，CoreWeave 還從 Magnetar 和黑石集團(tuán)獲得了 23 億美元的債務(wù)融資。正是這筆資金讓 CoreWeave 在過(guò)去一年里從三個(gè)數(shù)據(jù)中心發(fā)展到十四個(gè)數(shù)據(jù)中心。這就是 21.6 億美元的風(fēng)險(xiǎn)投資和 23 億美元的貸款，總計(jì) 44.6 億美元。這聽(tīng)起來(lái)似乎很多，直到你意識(shí)到這是數(shù)據(jù)中心和 GPU 系統(tǒng)的成本，而這些數(shù)據(jù)中心和 GPU 系統(tǒng)總共擁有約 47,600 個(gè) GPU。這聽(tīng)起來(lái)似乎很多。
但有趣的是。如果將這個(gè) GPU 數(shù)量與我們上面的對(duì)比進(jìn)行計(jì)算，四年的租金收入將達(dá)到 156.8 億美元。也就是說(shuō)，44.6 億美元的投入，換回了 156.8 億美元的收入。
假設(shè) CoreWeave 能夠從其基礎(chǔ)設(shè)施中獲得 65% 至 70% 的營(yíng)業(yè)收入，就像我們認(rèn)為 AWS 多年來(lái)能夠從其 GPU 實(shí)例中獲得的收入一樣，然后再支付銷(xiāo)售、營(yíng)銷(xiāo)和其他費(fèi)用，那么這可能是一項(xiàng)相當(dāng)不錯(cuò)的投資業(yè)務(wù)。顯而易見(jiàn)的是，在 GPU 分配方面，組織的規(guī)模和速度對(duì) Nvidia 來(lái)說(shuō)非常重要，因?yàn)?Nvidia 希望盡快將 GPU 周期交到人們手中，以便將 Jensen Way 傳播得更遠(yuǎn)更廣。
CoreWeave 發(fā)現(xiàn)自己可以成為一個(gè)利基市場(chǎng)的參與者，但要與超大規(guī)模企業(yè)和最大的云計(jì)算建設(shè)者競(jìng)爭(zhēng)，就必須做大。CoreWeave 的估值從上一輪融資到本輪融資的 190 億美元增加了兩倍，你必須自己判斷 CoreWeave 的估值是否合理。還有一個(gè)等式：44.6 億美元進(jìn)賬，190 億美元或更多 IPO 出賬。CoreWeave 創(chuàng)始人發(fā)財(cái)了，每個(gè)人都有不同的方式趕上 Nvidia 浪潮。
在這里，Lambda 不得不迎頭趕上。去年 12 月，Lambda 獲得了 3.2 億美元的注資，在 2017 年到 2023 年期間，Lambda 在種子前、種子輪、風(fēng)險(xiǎn)輪和債務(wù)融資方面共獲得了 9.322 億美元的融資。Lambda 以服務(wù) AI 工作負(fù)載的云起家，轉(zhuǎn)型成為 AI 系統(tǒng)制造商，現(xiàn)在更專(zhuān)注于做 GPU 云。
再說(shuō)一遍：CoreWeave 和 Lambda 都在說(shuō)，它們能以比大型云更低的成本提供 GPU 訪問(wèn)，但仔細(xì)想想，這只會(huì)損害它們的事業(yè)。在 GPU 容量稀缺的情況下，他們應(yīng)該嘗試收取和 AWS 一樣高的價(jià)格，直到無(wú)法收取為止，或者是 AWS 的價(jià)格減去 SageMaker 和 Bedrock 帶來(lái)的所有價(jià)值。畢竟，你不會(huì)看到 AMD 贈(zèng)送其 MI300 GPU；它對(duì)每單位計(jì)算和每單位內(nèi)存的收費(fèi)與 Nvidia 對(duì) H100 和 H200 的收費(fèi)差不多。云計(jì)算公司沒(méi)有理由以低于 AWS 的價(jià)格出售 GPU 容量，至少現(xiàn)在還沒(méi)有。當(dāng) GPU 容量過(guò)剩時(shí)，情況就會(huì)不同了--屆時(shí)，世界上的高性能計(jì)算中心就能一擁而上，以低廉的價(jià)格完成大量科學(xué)工作。也許吧。

來(lái)源：半導(dǎo)體行業(yè)觀察

*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。