一文看懂特斯拉Dojo的江湖地位及獨(dú)門(mén)秘籍

近日特斯拉亮相的D1 芯片宣稱(chēng)擁有500億個(gè)晶體管，超過(guò)了AMD擁有395.4億個(gè)晶體管的Epyc Rome，落后于NVIDIA的GA100 Ampere SoC的540億個(gè)晶體管的記錄。

現(xiàn)在，特斯拉不僅是個(gè)汽車(chē)公司、AI公司，還是個(gè)芯片公司。在AI訓(xùn)練芯片界，用于訓(xùn)練AI模型的芯片供應(yīng)商，除了英特爾、英偉達(dá)和Graphcore，現(xiàn)在還有特斯拉。

近日特斯拉亮相的D1 芯片宣稱(chēng)擁有500億個(gè)晶體管，超過(guò)了AMD擁有395.4億個(gè)晶體管的Epyc Rome，落后于NVIDIA的GA100 Ampere SoC的540億個(gè)晶體管的記錄。

D1 芯片總共有645mm2，每mm2上集成7750萬(wàn)個(gè)晶體管的有效晶體管密度，僅次于移動(dòng)芯片蘋(píng)果M1，功率密度高于Nvidia A100 GPU。

D1使用 7nm工藝，推測(cè)是由三星或臺(tái)積電代工，考慮到三星也制造了特斯拉的HW3芯片，所以前者代工D1的可能性更大一些。

25個(gè)D1芯片組成一個(gè)Training Tile（訓(xùn)練片，EDN沒(méi)有看到官方翻譯，根據(jù)Tile的原意”瓦片”和它的外觀暫且譯為”訓(xùn)練片”吧）；然后12個(gè)訓(xùn)練片可以組成一個(gè)服務(wù)器機(jī)柜，共108 PFlops；幾個(gè)機(jī)柜再組成Dojo超級(jí)計(jì)算機(jī)。

圖：每個(gè)服務(wù)器機(jī)柜超過(guò) 100,000 個(gè)功能單元、400,000 個(gè)定制內(nèi)核和132GB SRAM。

Dojo的江湖地位

特斯拉曾經(jīng)采用NVIDIA GPU構(gòu)建的超級(jí)計(jì)算機(jī)上過(guò)Top10榜單，性能僅略低于中國(guó)的太湖之光：

從排名上看起來(lái)Dojo并不是計(jì)算能力最強(qiáng)的超級(jí)計(jì)算機(jī)，這是Dojo的設(shè)計(jì)目的只是針對(duì)一項(xiàng)非常具體的任務(wù)，即：基于大量360度視頻訓(xùn)練神經(jīng)網(wǎng)絡(luò)。所有代碼都是專(zhuān)門(mén)為在此硬件上理想工作而編寫(xiě)的。

相比之下，其他超級(jí)計(jì)算機(jī)的構(gòu)建都考慮到了靈活性，以便能夠適應(yīng)大量不同的任務(wù)。當(dāng)然，如果真的要在視頻訓(xùn)練上一決高下，即使是最強(qiáng)大的 Fugaku (富岳)，也很可能是比Dojo慢的。

何況巨大的Fugaku是由256 個(gè)機(jī)柜組成，Dojo僅由10個(gè)機(jī)柜組成，因此在尺寸方面Dojo也是最小的超級(jí)計(jì)算機(jī)。

如果特斯拉在Dojo中增加54個(gè)機(jī)柜，Dojo就能超過(guò)Fugaku。

智能手機(jī)和特斯拉的HW3都是有SoC之外的RAM 芯片的。即使是最快的最厲害的硬盤(pán)驅(qū)動(dòng)器也做不到和RAM一樣的隨機(jī)存取，無(wú)法取代RAM。

理論上，最新的PCIe 4技術(shù)只能達(dá)到0.5~3GB/s，比消費(fèi)類(lèi)計(jì)算機(jī)標(biāo)準(zhǔn)DDR4 RAM的20~25GB/s差太多，更別提高達(dá)50GB/s的下一代 DDR5 RAM。

智能手機(jī)和消費(fèi)電腦通常使用 4-32GB的RAM，專(zhuān)業(yè)工作站的RAM甚至可以達(dá)到512GB。

那么，如果特斯拉的訓(xùn)練芯片沒(méi)用RAM，那用的是啥？

它內(nèi)部是有一個(gè)更快的隨機(jī)內(nèi)存層，稱(chēng)為緩存。當(dāng) SoC/CPU 調(diào)用DRAM時(shí)，響應(yīng)時(shí)間約為 60納秒；而L3緩存或片上 SRAM 的響應(yīng)時(shí)間可低至10納秒。

英特爾目前最大的L3緩存是57MB，IBM的記錄是120MB，AMD最強(qiáng)大的處理器有256MB的L3緩存，而特斯拉在 2019 年宣布的 HW3 芯片有 64 MB 的 SRAM。

特斯拉的訓(xùn)練節(jié)點(diǎn)帶有1.25MB的SRAM，354個(gè)節(jié)點(diǎn)組成的計(jì)算陣列，也就是這個(gè)SoC算下來(lái)就是424.8 MB的緩存，這超過(guò)了所有其他處理器?！@有可能都不是L3緩存，而是更快的 L2了。

通常SoC是通過(guò)引腳把信號(hào)發(fā)送到主板上再進(jìn)行傳輸，但特斯拉并沒(méi)有把SoC從晶圓上割下來(lái)，而是把留在一片晶圓上的所有SoC連接起來(lái)。

新 PCI-e Gen 4 連接的最新 SSD 的理論限制為 64 GB/s，特斯拉的每個(gè)連接器能達(dá)到900 GB/s的速度，推測(cè)是他們定制了自己的連接方式

Dojo采用液體冷卻訓(xùn)練片 

每個(gè) D1 芯片的功耗僅400 W，25個(gè)芯片組成的MCM訓(xùn)練片的功耗為15千瓦。訓(xùn)練片是液體冷卻的，據(jù)說(shuō)用了10公斤液體，但特斯拉沒(méi)說(shuō)是水冷。

在Tesla的訓(xùn)練片中，有SoC的一側(cè)與常規(guī)處理器一樣是暴露著的，可以直接冷卻。另一側(cè)被穩(wěn)壓器蓋住了，如上圖所示。

那么穩(wěn)壓器直接蓋在處理器有啥好處？

常見(jiàn)的處理器的電源都是裝在處理器旁邊的主板上，電流需要通過(guò)主板、插座、引腳和SoC；而Dojo訓(xùn)練片的電源可以直接傳輸?shù)絊oC，減少了散發(fā)的熱量。

最后，看起來(lái)特斯拉現(xiàn)在已經(jīng)掌握著摩爾定律的衣缽，馬斯克表示，“We should have Dojo operational next year”。明年值得期待。

來(lái)源：EDN電子技術(shù)設(shè)計(jì)