對(duì)話傳奇架構(gòu)師吉姆·凱勒：CPU 和 AI 領(lǐng)域的開源潮流

當(dāng)開源的力量和傳奇芯片架構(gòu)師吉姆·凱勒（Jim Keller）資深的半導(dǎo)體經(jīng)驗(yàn)結(jié)合起來時(shí)，一定會(huì)發(fā)生一些有趣的事情。這正是 AI 初創(chuàng)公司和現(xiàn)在的 CPU 制造商 Tenstorrent 的計(jì)劃。

Tenstorrent 由 Ljubisa Bajic、Milos Trajkovic 和 Ivan Hamer 于 2016 年創(chuàng)立，總部位于多倫多。凱勒從一開始就是天使投資人和公司的顧問，在英特爾的服務(wù)器業(yè)務(wù)工作一段時(shí)間后，他于 2021 年 1 月被任命為首席技術(shù)官，在那里他清理了一些架構(gòu)和流程混亂，就像他在 AMD 之前的工作一樣。

今年 1 月，凱勒被任命接替 Bajic 擔(dān)任首席執(zhí)行官，該公司今天宣布將在 D 輪融資中籌集 1.2 億至 1.5 億美元，現(xiàn)代汽車集團(tuán)和三星 Catalyst 基金領(lǐng)投本輪融資由之前的投資者 Fidelity Ventures、Eclipse Ventures、Epiq Capital、Maverick Capital 和其他投資者參與。迄今為止，這將是超過 3.845 億美元的投資資金，并可能將其估值提升到 14 億美元以上。

這些投資將讓 Tenstorrent 團(tuán)隊(duì)創(chuàng)建一系列商業(yè)級(jí) RISC-V 服務(wù)器處理器和 AI 加速器。如果想挑戰(zhàn)英偉達(dá) GPU 在 AI 訓(xùn)練中的霸主地位，或許需要更多資金。凱勒認(rèn)為他擁有合適的團(tuán)隊(duì)來完成這項(xiàng)任務(wù)，以下這位傳奇架構(gòu)師對(duì)于 CPU 和 AI 的一些看法。

為什么世界需要另一個(gè)人工智能加速器？GPU 市場(chǎng)已經(jīng)有很多不同的公司參與其中。Tenstorrent 正在做的事情有哪些不同、更好的地方？是什么在推動(dòng)您，為什么？

吉姆·凱勒：世界憎惡壟斷。首先，每當(dāng)出現(xiàn)大的炒作周期時(shí)，獲得投資的人都會(huì)超出該行業(yè)適當(dāng)支持的范圍。Tenstorrent 的聯(lián)合創(chuàng)始人之一 Ljubisa Bajic 和我聊了很長時(shí)間，因?yàn)楫?dāng)時(shí) SambaNova 和 Cerebras 的估值非常高。所以他們籌集了很多錢，他們開始花很多錢，而我們卻做了相反的事情。上次融資后我們的估值為 10 億美元，并且我們以更高的估值獲得了更多資金。然后我們想：然后呢？像其他人一樣陷入困境？這對(duì)你們公司來說真的很困難。就像這會(huì)讓你的員工和投資者都陷入困境。因此，我們以較低的估值籌集了較少的資金，因?yàn)槲覀兪情L期投資的。

我不認(rèn)為 GPU 是運(yùn)行人工智能程序的全部。每個(gè)描述人工智能程序的人都會(huì)描述一個(gè)圖表，并且需要通過有趣的軟件轉(zhuǎn)換來降低該圖表并將其映射到硬件。由于多種原因，事實(shí)證明這個(gè)過程比想象的要困難得多。但我覺得我們確實(shí)在這方面取得了真正的進(jìn)展。因此，我們可以制造出高性能、運(yùn)行良好且可擴(kuò)展的人工智能計(jì)算機(jī)。

另一件事是我們開始構(gòu)建 RISC-V——Tenstorrernt 對(duì)此進(jìn)行了長時(shí)間的討論——我們認(rèn)為未來市場(chǎng)將主要是人工智能。通用 CPU 和 AI 處理器以及程序和軟件堆棧之間將會(huì)進(jìn)行交互，并且它們將位于同一芯片上。然后這個(gè)領(lǐng)域?qū)?huì)有很多創(chuàng)新。我與 Arm 溝通，說我們想要獲得它的許可，但它太貴了。因此我們決定打造自己的 RISC-V 處理器。

當(dāng)我們告訴客戶這件事時(shí)，我們有點(diǎn)驚訝人們確實(shí)想要獨(dú)立許可 RISC-V 處理器。然后我們還發(fā)現(xiàn)，一些對(duì) RISC-V 感興趣的人也對(duì)我們的 AI 知識(shí)產(chǎn)權(quán)感興趣。英偉達(dá)、AMD、Habana 等公司并沒有將他們的 IP 授權(quán)給任何人。所以人們來找我們，他們告訴我們，如果我們能證明我們的 CPU 或 AI 加速器工作，證明是可以運(yùn)行的芯片，那么他們有興趣授權(quán) IP，包括 CPU 和 AI 加速器，去構(gòu)建自己的產(chǎn)品。

構(gòu)建自己的產(chǎn)品的一個(gè)很酷的事情是，您可以擁有并控制它，而不用向其他人支付 60% 或 80% 的毛利率。因此，當(dāng)人們告訴我們英偉達(dá)已經(jīng)贏得了市場(chǎng)，為什么 Tenstorrent 會(huì)參與競(jìng)爭(zhēng)時(shí)，我回答只要存在利潤率極高的壟斷，就會(huì)創(chuàng)造商機(jī)。

但是這種利潤不僅吸引了競(jìng)爭(zhēng)，還會(huì)助長競(jìng)爭(zhēng)。

吉姆·凱勒：在現(xiàn)實(shí)世界中，實(shí)際毛利率總是介于兩者之間。如果你的比例遠(yuǎn)低于 10%，你將很難賺到錢；如果你的比例超過 50%，你就會(huì)面臨競(jìng)爭(zhēng)。

然后是所有這一切的開源角度。開源的一個(gè)優(yōu)勢(shì)是人們可以做出貢獻(xiàn)。然后他們也有機(jī)會(huì)擁有它，或者復(fù)制它并做有趣的事情。硬件的生產(chǎn)成本很高，流片也很困難。但有相當(dāng)多的人構(gòu)建自己的芯片，他們想要去做一些事情。

我認(rèn)為，未來我們將用人工智能生成越來越多的代碼，然后人工智能程序是通用計(jì)算和人工智能計(jì)算之間的交互，這將創(chuàng)造一個(gè)全新的創(chuàng)新浪潮。人工智能相當(dāng)獨(dú)特，因?yàn)樗哪Ｐ秃涂蚣苁珠_放——然后它在非常專有的硬件上運(yùn)行。

當(dāng)創(chuàng)建 RISC-V 處理器時(shí)，它的許可模式是什么？

吉姆·凱勒：RISC-V 是一種開源架構(gòu)，我們有人為該架構(gòu)定義作出貢獻(xiàn)。參考模型是開源的，編寫 Whisper 指令集模擬器的人為我們工作。我們創(chuàng)建了一個(gè)向量單元并做出了貢獻(xiàn)。我們構(gòu)建了向量單元的 RTL 版本，然后將其開源。我們與一群學(xué)生交談，他們說基礎(chǔ)設(shè)施很好，但我們需要更多的測(cè)試基礎(chǔ)設(shè)施。因此，我們正在致力于開源 RTL 驗(yàn)證基礎(chǔ)設(shè)施。

RISC-V 現(xiàn)在擁有大學(xué)計(jì)算機(jī)體系結(jié)構(gòu)研究中心。這是事實(shí)，默認(rèn)的東西。我們的 AI 處理器內(nèi)部有一個(gè) RISC-V 引擎，我們一直在嘗試弄清楚如何開源 RISC-V AI 處理器。學(xué)生希望能夠做實(shí)驗(yàn)；他們希望能夠下載一些東西，模擬它，進(jìn)行修改，嘗試并改變它。因此，我們的引擎上有一個(gè)軟件堆棧，我們正在整理它，以便我們可以在今年將它開源。

開源的一個(gè)很大的特點(diǎn)是，一旦人們開始做它并為它做出貢獻(xiàn)，它就會(huì)成長。

我和很多人工智能公司談過，當(dāng)我在特斯拉時(shí)，我看到了很多引擎。二十家公司將有 50 名員工工作兩年，打造與其他 19 家公司完全相同的產(chǎn)品。如果這是開源開發(fā)，那么進(jìn)展會(huì)快得多。

一些開源的東西，比如 PyTorch，已經(jīng)開放了一段時(shí)間了，但是項(xiàng)目運(yùn)行的方式并不好，但是 PyTorch 2.0 修復(fù)了這個(gè)問題。TVM 是開源的——我們使用它，它實(shí)際上非常好。我們將看看 Chris Lattner 的公司 Modular AI 和 Mojo 編程語言會(huì)發(fā)生什么。他說他將開源 Mojo，它可以進(jìn)行額外的軟件編譯器轉(zhuǎn)換。但我們并沒有一個(gè)明確的目標(biāo)來驅(qū)動(dòng)某些東西。所以我今天只是和我的同事們討論如何清理我們的參考模型，并使之成為人們可以為其增加價(jià)值的良好開源人工智能引擎參考模型？

再一次，我認(rèn)為我們正處于人工智能硬件構(gòu)建的早期階段。

Tenstorrent 的收入模式是什么？

吉姆·凱勒：我們制造硬件。最初的想法是我們要構(gòu)建這個(gè)出色的硬件。去年，我們的前十個(gè)模型開始工作。我們?cè)詾槲覀冇锌赡荛_發(fā)出 30 到 50 個(gè)模型，但我們有點(diǎn)陷入停滯。因此，我們決定重構(gòu)代碼——我們對(duì)軟件堆棧進(jìn)行了兩次主要重寫。我們現(xiàn)在正在讓一些客戶使用我們構(gòu)建的硬件。我們與 LG 一起發(fā)布了公告，我們還有更多的人工智能公司正在籌備中。然后我們做了這個(gè) RISC-V CPU，這是非常高端的。SiFive 是一家不錯(cuò)的公司，但他們的項(xiàng)目處于中間位置，Ventana 比這稍高一些。人們不斷告訴我們：我們想要一個(gè)非常高端的 CPU。因此，我們正在構(gòu)建一個(gè)非常高端的 CPU，并且我們正在與十個(gè)組織討論以獲得許可。

我們是一家設(shè)計(jì)公司。我們?cè)O(shè)計(jì) CPU，我們?cè)O(shè)計(jì)人工智能引擎，我們?cè)O(shè)計(jì)人工智能軟件堆棧。因此，無論是軟 IP、硬 IP 小芯片還是完整芯片，這些都是產(chǎn)品。我們?cè)谶@方面很靈活。例如，在 CPU 上，我們將在我們自己的小芯片流片之前對(duì)其進(jìn)行多次許可。我們正在與六家想要從事定制內(nèi)存芯片或 NPU 加速器等業(yè)務(wù)的公司進(jìn)行交談。我認(rèn)為對(duì)于我們的下一代，無論是 CPU 還是 AI，我們將構(gòu)建 CPU 和 AI 小芯片。但隨后其他人會(huì)做其他的小芯片。然后我們會(huì)將它們整合到系統(tǒng)中。

我們建立了一個(gè)小型云，我們?cè)谠浦袚碛?1000 個(gè) AI 芯片。當(dāng)我們剛開始時(shí)，我們只是將芯片放入服務(wù)器中并為人們提供訪問權(quán)限。這真的很容易?？梢赃\(yùn)行 Linux，也可以使用裸機(jī)。

像 Cerebras 和 SambaNova 這樣的公司，他們確實(shí)正在成為云供應(yīng)商或特定云供應(yīng)商的供應(yīng)商，尋找利基市場(chǎng)，同時(shí)也是一種比英偉達(dá)的 GPU 更便宜、更容易完成 AI 的方法。根計(jì)算，訓(xùn)練下一代人工智能模型似乎需要大約 10 億美元，而這筆錢必須來自某個(gè)地方，或者必須找到一種更便宜的方法。

吉姆·凱勒：我們與人工智能軟件初創(chuàng)公司交談，問他們是否可以在云上嘗試一下。隨著公司規(guī)模的擴(kuò)大，這些公司開始意識(shí)到，在云上運(yùn)行人工智能的費(fèi)用是自己的數(shù)據(jù)中心的 3 倍或更多——這取決于你買什么以及你的攤銷時(shí)間是多少。這是一個(gè)很高的費(fèi)用。

如果我們?cè)O(shè)計(jì)出一款引人注目的 CPU 和 AI 加速器，那么就有多種進(jìn)入市場(chǎng)的渠道：IP、小芯片、芯片、系統(tǒng)和云。關(guān)鍵點(diǎn)是，能否建立一個(gè)業(yè)務(wù)，建立一個(gè)工程團(tuán)隊(duì)，籌集資金并產(chǎn)生收入。我們的投資者說，不需要我們賺十億美元，而是需要出售價(jià)值數(shù)千萬美元的東西，以表明客戶愿意為此付費(fèi)。這就是我們現(xiàn)在的使命。

使用 Tenstorrent 芯片可以將 AI 訓(xùn)練成本降低多少？

吉姆·凱勒：我們的目標(biāo)是比類似性能的 GPU 系統(tǒng)便宜 5 到 10 倍。這有一些技術(shù)原因。我們使用的內(nèi)存帶寬要少得多，因?yàn)槲覀冇幸粋€(gè)圖形編譯器，而且我們的架構(gòu)比 GPU 更像是一臺(tái)數(shù)據(jù)流機(jī)器，因此我們可以將數(shù)據(jù)從一個(gè)處理元素發(fā)送到另一個(gè)處理元素。一旦使用 HBM 硅中介層，它就會(huì)變得非常昂貴。

我們的芯片上有網(wǎng)絡(luò)端口，因此我們可以將它們以大型陣列的形式連接在一起，而無需通過其他人的交換機(jī)。從技術(shù)上講，這就是我們的方法比英偉達(dá)的方法更便宜的原因之一。

如果有人來找我，他們想要獲得我們技術(shù)的許可，以便他們可以修改它并構(gòu)建自己的產(chǎn)品，我認(rèn)為這是一個(gè)好主意，因?yàn)槲艺J(rèn)為當(dāng)更多的人能夠接受可靠的東西時(shí)，創(chuàng)新就會(huì)加速，然后繼續(xù)努力。我相信我們會(huì)向任何合作伙伴學(xué)習(xí)。