新聞中心

EEPW首頁(yè) > 網(wǎng)絡(luò)與存儲(chǔ) > 市場(chǎng)分析 > 要打破內(nèi)存墻,可以將HBM與DDR5融合

要打破內(nèi)存墻,可以將HBM與DDR5融合

作者:nextplatfor 時(shí)間:2024-04-08 來(lái)源:半導(dǎo)體產(chǎn)業(yè)縱橫 收藏

在 2024 年,如果需要將數(shù)十個(gè)、數(shù)百個(gè)、數(shù)千個(gè)甚至數(shù)萬(wàn)個(gè)加速器拼接在一起,那么互連就是個(gè)大課題了。

本文引用地址:http://m.butianyuan.cn/article/202404/457233.htm

英偉達(dá)(Nvidia) 擁有 NVLink 和 InfiniBand。Google 的 TPU 吊艙使用光電路開(kāi)關(guān)(OCS)相互通信。AMD 擁有 Infinity Fabric,用于芯片到芯片、芯片到芯片以及即將推出的節(jié)點(diǎn)到節(jié)點(diǎn)流量。當(dāng)然,還有好的老式以太網(wǎng)。

這里的訣竅不是構(gòu)建足夠大的網(wǎng)格,而是抵御與離包相關(guān)的大量性能損失和帶寬瓶頸。它也沒(méi)有做任何事情來(lái)解決這樣一個(gè)事實(shí),即所有這些 AI 處理所依賴的 HBM 內(nèi)存都以固定的比例與計(jì)算相關(guān)聯(lián)。

「這個(gè)行業(yè)正在使用 Nvidia GPU 作為世界上最昂貴的內(nèi)存控制器,」Dave Lazovsky 說(shuō),他的公司 Celestial AI 剛剛在 USIT 和許多其他風(fēng)險(xiǎn)投資巨頭支持的 C 輪融資中獲得了 1.75 億美元,以將其光子織物商業(yè)化。

去年夏天,我們研究了 Celestial 的光子結(jié)構(gòu),其中包括一系列硅光子學(xué)互連器、中介層和,旨在將 AI 計(jì)算從內(nèi)存中分解出來(lái)。不到一年后,他們正在與幾家超大規(guī)??蛻艉鸵患掖笮吞幚砥髦圃焐毯献鳎瑢⑵浼夹g(shù)集成到他們的產(chǎn)品中。Lazovsky 沒(méi)有指名道姓。

但事實(shí)上,Celestial 將 AMD Ventures 視為其支持者之一,其高級(jí)副總裁兼產(chǎn)品技術(shù)架構(gòu)師 Sam Naffziger 在公告發(fā)布的同一天討論了共同封裝硅光子的可能性,這無(wú)疑引起了一些人的注意。話雖如此,AMD 為光子學(xué)初創(chuàng)公司提供資金并不意味著我們將永遠(yuǎn)在 Epyc CPU 或 Instinct GPU 加速器中看到 Celestial 的

雖然 Lazovsky 無(wú)法透露 Celestial 與誰(shuí)合作,但他確實(shí)提供了一些關(guān)于該技術(shù)如何集成的線索,以及即將推出的 HBM 內(nèi)存設(shè)備的先睹為快。

正如我們?cè)谧畛跎孀?Celestial 的產(chǎn)品戰(zhàn)略時(shí)所討論的那樣,該公司的零件分為三大類(lèi):小芯片、中介層和英特爾 EMIB 或臺(tái)積電 CoWoS 的光學(xué)旋轉(zhuǎn),稱為 OMIB。

不出所料,Celestial 的大部分吸引力都集中在小芯片上?!肝覀儧](méi)有做的是試圖強(qiáng)迫我們的客戶采用任何一種特定的產(chǎn)品實(shí)施。目前,為光子結(jié)構(gòu)提供接口的風(fēng)險(xiǎn)最低、最快、最不復(fù)雜的方法是通過(guò)小芯片,「Lazovsky 告訴 The Next Platform。

從廣義上講,這些小芯片可以以兩種方式使用:要么增加額外的 HBM 內(nèi)存容量,要么作為芯片到芯片的互連,分類(lèi)或類(lèi)似于光學(xué) NVLink 或 Infinity Fabric。

這些小芯片比 HBM 堆棧小一點(diǎn),提供光電互連,片外總帶寬為 14.4 Tb/s 或 1.8 GB/s。

話雖如此,我們被告知可以制造一個(gè)小芯片來(lái)支持更高的帶寬。第一代技術(shù)可以支持每平方毫米約 1.8 Tb/s 的速度。與此同時(shí),Celestial 的第二代 Photonic 結(jié)構(gòu)將從 56 Gb/s 提高到 112 Gb/s 的 PAM4 SerDes,并將通道數(shù)量從 4 個(gè)增加到 8 個(gè),從而有效地將帶寬翻兩番。

因此,14.4 Tb/s 不是上限,而是現(xiàn)有芯片架構(gòu)能夠處理的結(jié)果。這是有道理的,否則任何額外的容量都會(huì)被浪費(fèi)。

這種連接性意味著 Celestial 可以實(shí)現(xiàn)類(lèi)似于 NVLink 的互連速度,只是沿途的步驟更少。

雖然芯片到芯片的連接相對(duì)不言自明——在每個(gè)封裝上放一個(gè)光子織物小芯片并對(duì)齊光纖連接——但內(nèi)存擴(kuò)展完全是另一種動(dòng)物。雖然 14.4 Tb/s 的速度并不慢,但對(duì)于多個(gè) HBM3 或 HBM3e 堆棧來(lái)說(shuō),它仍然是一個(gè)瓶頸。這意味著添加更多的 HBM 只會(huì)讓您的容量超過(guò)某個(gè)點(diǎn)。盡管如此,用兩個(gè) HBM3e 堆棧代替一個(gè)堆棧并不算什么。

Celestial 有一個(gè)有趣的解決方法,即它的內(nèi)存擴(kuò)展模塊。由于帶寬的上限為 1.8 GB/s,因此該模塊將僅包含兩個(gè)總計(jì) 72 GB 的 HBM 堆棧。此外,還將配備一組 4 個(gè) DDR5 DIMM,支持高達(dá) 2 TB 的額外容量。

Lazovsky 不愿將所有豆子都灑在產(chǎn)品上,但確實(shí)告訴我們,它將使用 Celestial 的硅光子學(xué)中介層技術(shù)作為 HBM,互連和控制器邏輯之間的接口。

說(shuō)到模塊的控制器,我們被告知 5nm 開(kāi)關(guān) ASIC 有效地將 HBM 變成 DDR5 的直寫(xiě)緩存?!杆鼮槟峁┝?DDR 的容量和成本以及帶寬和 HBM 互連的 32 個(gè)偽通道的所有優(yōu)勢(shì),從而隱藏了延遲,」Lazovsky 解釋道。

他補(bǔ)充說(shuō),這與英特爾對(duì)至強(qiáng) Max 所做的或英偉達(dá)對(duì)其 GH200 超級(jí)芯片所做的事情相去不遠(yuǎn)。「它基本上是一個(gè)增壓的 Grace-Hopper,沒(méi)有所有的成本開(kāi)銷(xiāo),而且效率更高?!?/p>

效率提高多少?「我們的內(nèi)存事務(wù)能量開(kāi)銷(xiāo)約為每比特 6.2 皮焦耳,而通過(guò) NVLink、NVSwitch 進(jìn)行遠(yuǎn)程內(nèi)存事務(wù)的開(kāi)銷(xiāo)約為 62.5 皮焦耳,」Lazovsky 稱,并補(bǔ)充說(shuō)延遲也不高。

「這些遠(yuǎn)程內(nèi)存事務(wù)的總往返延遲,包括通過(guò)光子結(jié)構(gòu)的兩次旅行和內(nèi)存讀取時(shí)間,為 120 納秒,」他補(bǔ)充道:「因此,它將比大約 80 納秒的本地內(nèi)存多一點(diǎn),但它比去 Grace 并讀取參數(shù)并將其拉到 Hopper 要快?!?/p>

據(jù)我們了解,這些內(nèi)存模塊中的 16 個(gè)可以嚙合并為一個(gè)內(nèi)存交換機(jī),并且可以使用光纖隨機(jī)播放連接多個(gè)這些設(shè)備。

這意味著,除了計(jì)算、存儲(chǔ)和管理網(wǎng)絡(luò)之外,使用 Celestial 互連構(gòu)建的芯片不僅能夠相互連接,而且能夠共享內(nèi)存池。

「這允許你以一種非常非常有效的方式進(jìn)行機(jī)器學(xué)習(xí)操作,例如廣播和減少,而無(wú)需切換,」Lazovsky 說(shuō)。

Celestial 面臨的挑戰(zhàn)是時(shí)機(jī)。Lazovsky 告訴我們,他預(yù)計(jì)將在 2025 年下半年的某個(gè)時(shí)候開(kāi)始向客戶提供光子織物小芯片的樣品。然后,他預(yù)計(jì)至少還需要一年時(shí)間,我們才能看到使用該設(shè)計(jì)的產(chǎn)品投放市場(chǎng),并在 2027 年實(shí)現(xiàn)銷(xiāo)量增長(zhǎng)。

然而,Celestial 并不是唯一一家追求硅光子學(xué)的初創(chuàng)公司。另一家獲得英特爾投資支持的光子學(xué)初創(chuàng)公司 Ayar Labs 已經(jīng)將其光子學(xué)互連集成到原型加速器中。

然后是 Lightmatter,它在去年 12 月獲得了 1.55 億美元的 C 輪融資,并試圖通過(guò)其 Passage 中介層做一些與 Celestial 非常相似的事情。當(dāng)時(shí),Lightmatter 首席執(zhí)行官尼克·哈里斯(Nick Harris)聲稱,它有客戶使用 Passage 來(lái)「擴(kuò)展到 300,000 臺(tái)節(jié)點(diǎn)的超級(jí)計(jì)算機(jī)」。當(dāng)然,和拉佐夫斯基一樣,哈里斯也不會(huì)告訴我們它的客戶是誰(shuí)。

還有 Eliyan,它正試圖通過(guò)其 NuLink PHY 完全擺脫中介層——或者如果你必須擁有它們,可以提高中介層的性能和規(guī)模。

無(wú)論誰(shuí)在這場(chǎng)競(jìng)賽中脫穎而出,向共封裝光學(xué)器件和硅光子中介層的轉(zhuǎn)變似乎只是時(shí)間問(wèn)題。



關(guān)鍵詞: 小芯片

評(píng)論


技術(shù)專(zhuān)區(qū)

關(guān)閉