你所需要知道的HBM技術(shù)

在2024年即將到來(lái)之際，多家機(jī)構(gòu)給出預(yù)測(cè)，認(rèn)定生成式AI將成為2024年的增長(zhǎng)重點(diǎn)之一?；仡?023年，年初的ChatGPT引爆了今年的生成式AI熱潮，不僅僅是下游市場(chǎng)的AI應(yīng)用，這股大火一直燒到了上游芯片領(lǐng)域，根據(jù)權(quán)威機(jī)構(gòu)預(yù)測(cè)，2023年和2024年，AI服務(wù)器將有38%左右的增長(zhǎng)空間。隨著GPU等AI芯片走向高峰的同時(shí)，也極大帶動(dòng)了市場(chǎng)對(duì)新一代內(nèi)存芯片HBM（高帶寬內(nèi)存）的需求。

HBM是何方神圣？

首先，我們先來(lái)了解一下什么是HBM。HBM全稱為High Bandwich Memory，直接翻譯即是高帶寬內(nèi)存，是一款新型的CPU/GPU內(nèi)存芯片。其實(shí)就是將很多個(gè)DDR芯片堆疊在一起后和GPU封裝在一起，實(shí)現(xiàn)大容量、高位寬的DDR組合陣列。這么說(shuō)可能有一些不明所以，簡(jiǎn)單來(lái)講，如果說(shuō)傳統(tǒng)的DDR內(nèi)存芯片是一層的平房結(jié)構(gòu)，那么采用了HBM結(jié)構(gòu)的內(nèi)存就是現(xiàn)代化的摩天大樓，占地面積不變的基礎(chǔ)上，向3維高度發(fā)展，從而可實(shí)現(xiàn)了更高的性能和帶寬。

我們以上圖中AMD專(zhuān)為AI訓(xùn)練打造的旗艦GPU MI300X為例，彩色部分是GPU單元，而兩側(cè)就是AMD為其配備的8個(gè)HBM 3堆棧，每個(gè)堆棧為 12-Hi，同時(shí)集成了 16 Gb IC，每個(gè) IC 為 2 GB 容量或每個(gè)堆棧 24 GB。

我們不難發(fā)現(xiàn)，隨著AI應(yīng)用的越來(lái)越廣泛，HBM的相關(guān)應(yīng)用也是越來(lái)越多，需求水漲船高，這篇文章就帶各位讀者介紹一下HBM相關(guān)知識(shí)，讓各位大致了解一下，為什么我們的AI需要HBM。

在文章開(kāi)頭筆者就說(shuō)明了簡(jiǎn)單來(lái)講，HBM技術(shù)就是把傳統(tǒng)的DDR內(nèi)存從“平房”改成了“樓房”。從土木工程的角度來(lái)看，建一個(gè)樓房可要比建一個(gè)平房要困難很多，從底層地基到布線都需要重新設(shè)計(jì)。而同樣地，作為微觀結(jié)構(gòu)上的“樓房”，想要實(shí)現(xiàn)將DDR蓋成樓房的HBM技術(shù)也是困難重重。

使得HBM技術(shù)得以實(shí)現(xiàn)的是基于TVS技術(shù)的3D封裝技術(shù)的成熟，對(duì)于封裝技術(shù)的闡述，各位讀者感興趣可以移步筆者之前寫(xiě)過(guò)的另一篇文章：

從2D到3D：半導(dǎo)體封裝工藝與DTCO

本篇就不再過(guò)多贅述，在這篇文章中，筆者來(lái)簡(jiǎn)單說(shuō)明一下HBM中的TVS技術(shù)的應(yīng)用。

首先，在這個(gè)由DRAM組成的微觀“大樓”中，DRAM被堆疊在一起，并且每個(gè)DRAM芯片之間使用TVS（Transient Voltage Suppressor）連接方式進(jìn)行連接。在DRAM下方是DRAM邏輯控制單元，該單元負(fù)責(zé)對(duì)DRAM進(jìn)行控制。GPU與DRAM之間通過(guò)uBump和Interposer（一種具有互聯(lián)功能的硅片）進(jìn)行連接。Interposer再通過(guò)Bump與Substrate（封裝基板）連接，最終連接到BGA（球柵陣列）BALL上。最后，BGA BALL連接到PCB（印刷電路板）上。就如下圖所示：

得益于這種堆棧結(jié)構(gòu)，HBM通過(guò)中介層實(shí)現(xiàn)緊湊而快速的連接，節(jié)省了94%的表面積，其具備的特性幾乎與芯片集成的RAM相同，可實(shí)現(xiàn)更多的IO數(shù)量。此外，HBM重新調(diào)整了內(nèi)存的功耗效率，使每瓦帶寬比GDDR5高出3倍以上，這意味著功耗降低了3倍以上。

為什么AI需要HBM？

為了回答這個(gè)問(wèn)題，我們需要先認(rèn)識(shí)到另一個(gè)現(xiàn)實(shí)：為什么GPU相比CPU更加適合AI訓(xùn)練？

我們可以舉一個(gè)有趣的例子：

CPU是一個(gè)多才多藝的博士，但通常都是獨(dú)自工作或最多與幾個(gè)博士伙伴一起（多核心多線程）。有一天，操作系統(tǒng)帶來(lái)一個(gè)新任務(wù)，列出了一系列的簡(jiǎn)單的百以內(nèi)加減乘除運(yùn)算。CPU看到這個(gè)任務(wù)感到雖然簡(jiǎn)單，但是自己一個(gè)人一道一道算，有些吃力。這時(shí)，顯卡找上門(mén)來(lái)，告訴CPU說(shuō)：“CPU，我這里有幾百個(gè)只會(huì)做加減乘除的小學(xué)生（GPU核心），他們做得又快又準(zhǔn)。你可以指揮他們來(lái)做，這樣會(huì)輕松很多?！?CPU覺(jué)得這個(gè)主意不錯(cuò)，于是顯卡就把那本冊(cè)子拿走了，并讓那幾百個(gè)孩子開(kāi)始工作，任務(wù)很快就完成了。沒(méi)過(guò)多久，操作系統(tǒng)又來(lái)了，手里拿著一本新冊(cè)子。CPU一看，封面寫(xiě)著“AI訓(xùn)練”。他心里有些不安，不知道這次又是什么新挑戰(zhàn)。他打開(kāi)冊(cè)子一看，還是那些加減乘除的運(yùn)算。

從上述的這個(gè)小故事中，我們可以簡(jiǎn)單總結(jié)一下GPU更適合訓(xùn)練AI的主要原因，主要有這兩點(diǎn)：首先，GPU具備強(qiáng)大的并行計(jì)算能力，使其能夠同時(shí)處理多個(gè)任務(wù)，從而加速AI模型的訓(xùn)練過(guò)程；其次，GPU的顯存相較于CPU的系統(tǒng)內(nèi)存在處理大規(guī)模數(shù)據(jù)時(shí)更為高效，這使得GPU能夠更有效地處理AI訓(xùn)練所需的大量數(shù)據(jù)。

回答本節(jié)之中所提出的問(wèn)題，為什么AI需要HBM技術(shù)呢？HBM可以為顯卡帶來(lái)更大的顯存容量和顯存?zhèn)鬏攷?，而一旦GPU擁有更高的內(nèi)存帶寬和更大的顯存容量，這就會(huì)使得它能夠更快地讀取和寫(xiě)入數(shù)據(jù)，提高數(shù)據(jù)吞吐量。對(duì)于處理大規(guī)模數(shù)據(jù)的AI任務(wù)來(lái)說(shuō)，這是非常重要的。因此HBM技術(shù)所帶來(lái)的顯存性能的顯著提升，對(duì)于顯卡完成AI任務(wù)來(lái)說(shuō)十分重要。

不僅如此，在深度學(xué)習(xí)中，需要頻繁地訪問(wèn)內(nèi)存進(jìn)行數(shù)據(jù)傳輸。GPU通過(guò)HBM技術(shù)獲得得更高的內(nèi)存帶寬和更快的內(nèi)存訪問(wèn)速度，就能夠更快地進(jìn)行數(shù)據(jù)傳輸，提高計(jì)算效率。此外，HBM帶來(lái)的更大容量顯存也可以使得GPU在AI任務(wù)中能夠處理更大規(guī)模的數(shù)據(jù)集和模型，在如今生成式AI向著越來(lái)越大數(shù)據(jù)規(guī)模的方向發(fā)展之中，起到了重要的支持作用。

HBM技術(shù)的演進(jìn)

在HBM技術(shù)的開(kāi)發(fā)過(guò)程中，有兩個(gè)廠商功不可沒(méi)，它們就是AMD和海力士。一些信息表明，AMD在2009年就意識(shí)到DDR的局限性并產(chǎn)生開(kāi)發(fā)堆疊內(nèi)存的想法，后來(lái)其與SK海力士聯(lián)手研發(fā)HBM。并于2013年，推出了首款HBM1技術(shù)的顯卡，即Radeon R9 290X。這款GPU采用了4顆HBM芯片，總?cè)萘繛?GB，可以提供更高的顯存帶寬和更高的內(nèi)存容量，從而提高了GPU的性能和效率。不僅如此，這項(xiàng)全新技術(shù)，還被定為JESD235行業(yè)標(biāo)準(zhǔn)：HBM1的工作頻率約為1600 Mbps，漏極電源電壓為1.2V，芯片密度為2Gb（4-hi），具有4096bit的帶寬，遠(yuǎn)超過(guò)了GDDR5的512bit。

可以說(shuō)在當(dāng)時(shí)，海力士認(rèn)定了這才是未來(lái)的顯存，但是AMD卻在2016年發(fā)布完產(chǎn)品后完全轉(zhuǎn)向，近乎放棄了HBM。唯一仍然保留HBM技術(shù)的是用于AI計(jì)算的加速卡。因此，在第二代HBM技術(shù)問(wèn)世的2016年，這個(gè)賽道中變成了海力士和新加入的三星之間的對(duì)決。

2016年1月，三星宣布開(kāi)始量產(chǎn)4GB HBM2 DRAM，并在同一年內(nèi)生產(chǎn)8GB HBM2 DRAM；2017年下半年，被三星趕超的SK海力士開(kāi)始量產(chǎn)HBM2；2018年1月，三星宣布開(kāi)始量產(chǎn)第二代8GB HBM2"Aquabolt"；2019年8月，SK海力士宣布成功研發(fā)出新一代"HBM2E"；2020年2月，三星也正式宣布推出其16GB HBM2E產(chǎn)品"Flashbolt"，于2020年上半年開(kāi)始量產(chǎn)；到了2022年，JEDEC組織正式發(fā)布了新一代高帶寬內(nèi)存HBM3的標(biāo)準(zhǔn)規(guī)范，這一新標(biāo)準(zhǔn)在存儲(chǔ)密度、帶寬、通道、可靠性、能效等各個(gè)層面都進(jìn)行了擴(kuò)充和升級(jí)。JEDEC表示，HBM3是一種創(chuàng)新的方法，是更高帶寬、更低功耗和單位面積容量的解決方案。對(duì)于那些需要處理大量數(shù)據(jù)和高數(shù)據(jù)速率的應(yīng)用場(chǎng)景來(lái)說(shuō)，HBM3十分重要，比如圖形處理和高性能計(jì)算的服務(wù)器。

從HBM1到HBM3，SK海力士和三星一直是HBM行業(yè)的領(lǐng)軍企業(yè)。而對(duì)于AMD來(lái)說(shuō)，可謂是起了個(gè)大早，趕了個(gè)晚集。AMD既沒(méi)有憑借HBM在游戲顯卡市場(chǎng)中反殺英偉達(dá)，反而被英偉達(dá)利用HBM鞏固了AI計(jì)算領(lǐng)域的地位，煞是可惜。

HBM領(lǐng)域市場(chǎng)分析

    在本文開(kāi)頭筆者就已經(jīng)提到，生成式AI的火熱同時(shí)也帶動(dòng)了HBM領(lǐng)域的熱度，那就有必要在年末之時(shí)粗略向各位讀者分析一下目前以及未來(lái)HBM市場(chǎng)的競(jìng)爭(zhēng)格局。

調(diào)研機(jī)構(gòu)TrendForce集邦咨詢也指出，預(yù)估2023年全球HBM需求量將年增近六成，來(lái)到2.9億GB，2024年將再增長(zhǎng)三成。2023年HBM將處于供不應(yīng)求態(tài)勢(shì)，到2024年供需比有望改善。據(jù)其他權(quán)威機(jī)構(gòu)預(yù)測(cè)，預(yù)計(jì) 2024 年隨著各原廠 積極擴(kuò)產(chǎn)的效果顯現(xiàn)，HBM 供需比有望獲改善，預(yù)估將從 2023 年的-2.4%，轉(zhuǎn)為 0.6%。而從各產(chǎn)品的占比來(lái)看，2023 年主流 HBM 需求從 HBM2E 升級(jí)為 HBM3 甚至 HBM3E，HBM3 需求比重預(yù)估約為 39%，較 2022 年提升超 30%，并在 2024 年達(dá)到 60%，屆時(shí)份額比重也將超過(guò) HBM2E。

目前，HBM的平均售價(jià)至少是DRAM的三倍，而由于ChatGPT的拉動(dòng)和產(chǎn)能不足的限制，HBM的價(jià)格一路上漲，與性能最高的DRAM相比，HBM3的價(jià)格上漲了五倍。而在即將到來(lái)的2024年，可以預(yù)見(jiàn)的是高端AI服務(wù)器GPU搭載HBM芯片將成為主流，這進(jìn)一步推動(dòng)了HBM市場(chǎng)的增長(zhǎng)。根據(jù)TrendForce的數(shù)據(jù)，2022年全球HBM容量約為1.8億GB，2023年增長(zhǎng)約60%達(dá)到2.9億GB，2024年將再增長(zhǎng)30%。如果以HBM每GB售價(jià)20美元進(jìn)行測(cè)算，2022年全球HBM市場(chǎng)規(guī)模約為36.3億美元。預(yù)計(jì)到2026年，市場(chǎng)規(guī)模將達(dá)到127.4億美元，對(duì)應(yīng)年復(fù)合增長(zhǎng)率（CAGR）約為37%。

而其市場(chǎng)格局也將形成三足鼎力的形勢(shì)。海力士作為將HBM技術(shù)最早商業(yè)化的廠商將繼續(xù)領(lǐng)先，而三星將緊隨其后，2023年海力士和三 星的 HBM 份額占比約為 46-49%，而美光的份額將下降至 4%-6%，并在 2024 年進(jìn) 一步壓縮至 3%-5%。

在這三家爭(zhēng)霸的局勢(shì)之中，美光科技由于起步較晚，在2022年僅僅占據(jù)了HBM市場(chǎng)份額的10%，而未來(lái)還有繼續(xù)下降的趨勢(shì)。最近的美光科技財(cái)報(bào)電話會(huì)議數(shù)據(jù)顯示，美光的DRAM業(yè)績(jī)明顯不如SK海力士和三星。美光2024財(cái)年的資本支出預(yù)計(jì)將比2023財(cái)年略有增長(zhǎng)，不過(guò)WFE支出將再次同比下降。

在美光2023年第四季度的DRAM收入顯示，美光的DRAM收入增長(zhǎng)率僅為3%，明顯低于競(jìng)爭(zhēng)對(duì)手。而考慮到采用了HBM技術(shù)的DRAM價(jià)格約為普通DRAM的7倍，而美光的DRAM業(yè)務(wù)僅僅微漲了3%。在業(yè)內(nèi)，美光是首家拿出HBM3e樣品的公司，其性能和能效在業(yè)內(nèi)均處于行業(yè)領(lǐng)先地位。其技術(shù)能力于其他在HBM領(lǐng)域的競(jìng)爭(zhēng)對(duì)手相比并不落下風(fēng)。因此筆者認(rèn)為，美光的HBM產(chǎn)品在客戶接受度上，還有很高的提升空間。

未來(lái)進(jìn)入2024年，有權(quán)威機(jī)構(gòu)分析表示：美光科技在HBM方面將繼續(xù)面臨逆風(fēng)。SK海力士是全球唯一一家大規(guī)模生產(chǎn)HBM3的公司，并為英偉達(dá)獨(dú)家供應(yīng)H100 Tensor Core GPU。美光公司也表示自己將要推出的HBM3 Gen2產(chǎn)品將有更好的性能，其預(yù)計(jì)引腳速度將超過(guò)9.2GB/s。但是隨著海力士與英偉達(dá)強(qiáng)強(qiáng)聯(lián)合之下，這對(duì)于美光來(lái)說(shuō)，2024年的HBM領(lǐng)域也是面臨嚴(yán)峻挑戰(zhàn)的一年。

但是面對(duì)逆境挑戰(zhàn)，美光CEO Mehrotra樂(lè)觀表示：“這就是創(chuàng)建人工智能軟件的計(jì)算機(jī)所需要的超快訪問(wèn)芯片類(lèi)型。AI給我們所帶來(lái)的高營(yíng)收、高利潤(rùn)機(jī)會(huì)才剛剛開(kāi)始。”

而HBM技術(shù)在國(guó)內(nèi)發(fā)展，整體上并不樂(lè)觀，目前HBM相關(guān)產(chǎn)業(yè)鏈布局相對(duì)較小，只有一些企業(yè)涉及封測(cè)領(lǐng)域。在國(guó)內(nèi)涉及HBM產(chǎn)業(yè)鏈的公司主要包括雅克科技、中微公司、和拓荊科技等公司。其中，雅克的子公司UP Chemical是SK海力士的核心供應(yīng)商，為其提供HBM前驅(qū)體。

在更遠(yuǎn)的未來(lái)，預(yù)計(jì)AI的浪潮還將繼續(xù)愈演愈烈，而HBM今后的存在感或許會(huì)越來(lái)越強(qiáng)。據(jù)semiconductor-digest預(yù)測(cè)，到2031年，全球高帶寬存儲(chǔ)器市場(chǎng)預(yù)計(jì)將從2022年的2.93億美元增長(zhǎng)到34.34億美元，在2023-2031年的預(yù)測(cè)期內(nèi)復(fù)合年增長(zhǎng)率為31.3%。筆者相信，HBM技術(shù)將在很長(zhǎng)一段時(shí)間中都會(huì)是AI硬件領(lǐng)域的重要技術(shù)，隨著越來(lái)越多的廠商入局HBM，HBM一定會(huì)受到持續(xù)的關(guān)注和更快的發(fā)展。