全球HBM戰(zhàn)局打響！

AI服務(wù)器浪潮席卷全球，帶動(dòng)AI加速芯片需求。DRAM關(guān)鍵性產(chǎn)品HBM異軍突起，成為了半導(dǎo)體下行周期中逆勢(shì)增長(zhǎng)的風(fēng)景線。業(yè)界認(rèn)為，HBM是加速未來AI技術(shù)發(fā)展的關(guān)鍵科技之一。

近期，HBM市場(chǎng)動(dòng)靜不斷。先是SK海力士、美光科技存儲(chǔ)兩大廠釋出2024年HBM產(chǎn)能售罄。與此同時(shí)，HBM技術(shù)再突破、大客戶發(fā)生變動(dòng)、被劃進(jìn)國(guó)家戰(zhàn)略技術(shù)之一...一時(shí)間全球目光再度聚焦于HBM。

1
HBM：三分天下

HBM（全稱為High Bandwidth Memory），是高帶寬存儲(chǔ)器，是屬于圖形DDR內(nèi)存的一種。從技術(shù)原理上講，HBM是將很多個(gè)DDR芯片堆疊在一起后，再和GPU封裝合成，通過增加帶寬，擴(kuò)展內(nèi)存容量，組成DDR組合陣列，以此實(shí)現(xiàn)讓更大的模型、更多的參數(shù)留在離核心計(jì)算更近的地方，從而減少內(nèi)存和存儲(chǔ)解決方案所帶來的延遲。

圖片來源：SK海力士官網(wǎng)

通俗來講，傳統(tǒng)DDR內(nèi)存芯片是一層平房結(jié)構(gòu)，具備HBM結(jié)構(gòu)的內(nèi)存是現(xiàn)代化的摩天大樓，在占地面積不變的基礎(chǔ)上，向三維高度發(fā)展。

與傳統(tǒng)DRAM芯片相比，HBM具有高帶寬、高容量、低延時(shí)與低功耗等優(yōu)勢(shì)，可以加快AI數(shù)據(jù)處理速度。業(yè)界指出，HBM可以將專用數(shù)據(jù)處理器直接集成在DRAM中，將部分?jǐn)?shù)據(jù)計(jì)算工作從主機(jī)處理器轉(zhuǎn)移到存儲(chǔ)器當(dāng)中，從而滿足AI芯片訓(xùn)練的高寬帶要求，也因此更適用于ChatGPT等高性能計(jì)算場(chǎng)景。

目前，HBM市場(chǎng)高度集中，呈現(xiàn)三足鼎立的態(tài)勢(shì)。此前據(jù)TrendForce集邦咨詢研究顯示，2022年三大原廠HBM市占率分別為SK海力士（SK hynix）50%、三星（Samsung）約40%、美光（Micron）約10%。

圖片來源：拍信網(wǎng)

從技術(shù)迭代上看，自2014年全球首款硅通孔（TSV, Through Silicon Via）HBM產(chǎn)品問世以來，HBM已經(jīng)從HBM、HBM2、HBM2E，發(fā)展至被業(yè)界認(rèn)為即將成為市場(chǎng)主流的HBM3、HBM3E。未來或?qū)⒌竭_(dá)HBM4，甚至HBM4E。

圖表來源：全球半導(dǎo)體觀察制表

2
大廠沖鋒，HBM3E扛技術(shù)大旗

從存儲(chǔ)大廠HBM布局路線來看，率先走在起跑線上的是SK海力士。2013年，SK海力士與AMD合作開發(fā)了全球首款HBM。作為領(lǐng)跑者，SK海力士不負(fù)眾望陸續(xù)成功研發(fā)出HBM迭代產(chǎn)品HBM2、HBM2E、HBM3、HBM3E。該公司計(jì)劃在2024年上半年將HBM3E投入量產(chǎn)。

三星則從HBM2起跑，雖是后起之軍，卻也不堪落后。三星于2016年推出HBM2，2020年2月HBM2E，2021年2月推出了HBM-PIM（存算一體），實(shí)現(xiàn)內(nèi)存半導(dǎo)體和AI處理器合二為一，其HBM3也于2020年量產(chǎn)。今年2月27日三星發(fā)布了首款36GB HBM3E 12H DRAM，這是三星目前為止容量最大的HBM產(chǎn)品。目前，三星已開始向客戶提供HBM3E 12H樣品，預(yù)計(jì)于今年下半年開始大規(guī)模量產(chǎn)。

另一大廠美光科技開始出擊，該公司選擇跳過第四代HBM3，直接布局第五代HBM3E。美光于2023年9月推出HBM3E，并于今年2月26日宣布已開始批量生產(chǎn)HBM3E解決方案。其中24GB 8-High HBM3E將成為NVIDIA H200 Tensor Core GPU的一部分，該GPU將于 2024 年第二季度開始發(fā)貨；而36GB 12-High HBM3E樣品擴(kuò)大了其領(lǐng)先地位，與競(jìng)爭(zhēng)解決方案相比，該產(chǎn)品預(yù)計(jì)將提供超過1.2 TB/s的性能。

圖表來源：全球半導(dǎo)體觀察制表

從規(guī)格上看，目前HBM市場(chǎng)主流為HBM2E，包含NVIDIA A100/A800、AMD MI200以及多數(shù)CSPs自研加速芯片皆以此規(guī)格設(shè)計(jì)。不過隨著各大原廠不斷加速突破技術(shù)堡壘，業(yè)界稱未來HBM3與HBM3E將挑起大梁。

TrendForce集邦咨詢預(yù)估，2024年HBM供給情況可望大幅改善。以規(guī)格而言，伴隨AI芯片需要更高的效能，HBM主流也將在2024年移轉(zhuǎn)至HBM3與HBM3E。整體而言，在需求位元提高以及HBM3與HBM3E平均銷售價(jià)格高于前代產(chǎn)品的情形下，2024年HBM營(yíng)收可望有顯著的成長(zhǎng)。

此外，關(guān)于業(yè)界十分關(guān)心的HBM4問題，據(jù)TrendForce集邦咨詢預(yù)計(jì)，HBM4有望于2026年推出。目前包含NVIDIA以及其他CSP（云端業(yè)者）在未來的產(chǎn)品應(yīng)用上，規(guī)格和效能將更優(yōu)化。例如，隨著客戶對(duì)運(yùn)算效能要求的提升，HBM4在堆棧的層數(shù)上，除了現(xiàn)有的12hi (12層)外，也將再往16hi (16層)發(fā)展，更高層數(shù)也預(yù)估帶動(dòng)新堆棧方式hybrid bonding的需求。HBM4 12hi產(chǎn)品將于2026年推出；而16hi產(chǎn)品則預(yù)計(jì)于2027年問世。

3
大頭客戶策略有變，或牽動(dòng)HBM

AI模型復(fù)雜化正推動(dòng)HBM發(fā)展。從應(yīng)用領(lǐng)域看，HBM主要應(yīng)用領(lǐng)域AI服務(wù)器在單條模組上則多采用64~128GB，平均容量可達(dá)1.2~1.7TB之間。TrendForce集邦咨詢認(rèn)為，相較于一般服務(wù)器而言，AI服務(wù)器多增加GPGPU的使用，因此以NVIDIA A100 80GB配置4或8張計(jì)算，HBM用量約為320~640GB。未來在AI模型逐漸復(fù)雜化的趨勢(shì)下，將刺激更多的存儲(chǔ)器用量，并同步帶動(dòng)Server DRAM、SSD以及HBM的需求成長(zhǎng)。并預(yù)期AI服務(wù)器2023~2027年出貨量年復(fù)合成長(zhǎng)率約12.2%。

從大頭客戶產(chǎn)品規(guī)格來看，AI服務(wù)器GPU市場(chǎng)中配備了HBM的主要以NVIDIA H100、A100、A800以及AMD MI250、MI250X系列為主。展望2024年，英偉達(dá)的產(chǎn)品所采用的HBM將升級(jí)至HBM3E，此外新一代B100產(chǎn)品將進(jìn)一步拉升市場(chǎng)對(duì)HBM的容量需求；AMD產(chǎn)品仍采用HBM3，預(yù)計(jì)下一代MI350將升級(jí)為HBM3E；而英特爾產(chǎn)品仍將使用HBM2E。

具體來看，自去年發(fā)酵至今，HBM市場(chǎng)仍舊火熱，而上游關(guān)鍵客戶英偉達(dá)的H100與200依舊是市面上最搶手的GPU產(chǎn)品。據(jù)TrendForce集邦咨詢最新預(yù)估，以2024年全球主要云端服務(wù)業(yè)者（CSP）對(duì)高端AI服務(wù)器（包含搭載NVIDIA（英偉達(dá)）、AMD或其他高端ASIC芯片等）需求量觀察，搭載NVIDIA GPU的AI服務(wù)器機(jī)種占大宗。

根據(jù)去年11月底TrendForce集邦咨詢的研究數(shù)據(jù)顯示，2023年，NVIDIA高端AI芯片（采用HBM）既有產(chǎn)品包括A100/A800以及H100/H800，2024年該公司將再推出使用6顆HBM3E的H200以及8顆HBM3E的B100，并同步整合NVIDIA自家基于Arm架構(gòu)的 CPU與GPU，推出GH200以及GB200。

TrendForce集邦咨詢最新研究指出，NVIDIA 2024年起將正式替換A100產(chǎn)品，而以價(jià)格更高的H100系列為主軸。除H100，預(yù)估自今年第二季末開始小量出貨搭載更高HBM3E規(guī)格的H200產(chǎn)品。另預(yù)估NVIDIA未來在價(jià)格上將更積極采差別訂價(jià)，H100采部分折價(jià)策略，H200應(yīng)維持約H100原價(jià)格水位，以提供更高性價(jià)比方式，穩(wěn)固云端CSP客戶。除此之外，NVIDIA將采用NRE（一次性工程費(fèi)用；Non-recurring engineering Expense）模式，與Meta、Google、AWS及OpenAI等廠商展開洽談，并將目標(biāo)擴(kuò)及電信、車用及電競(jìng)客戶。

TrendForce集邦咨詢預(yù)期，NVIDIA自2024年下半年將推出新一代B100產(chǎn)品，相較H系列可望在效能上又有所提升，在HBM存儲(chǔ)器容量將高出H200約35~40%，以應(yīng)對(duì)更高效能HPC或加速LLM AI訓(xùn)練需求。而在中低端產(chǎn)品上，除L40S針對(duì)企業(yè)客戶做邊緣端較小型AI模型訓(xùn)練或AI推理外，另亦規(guī)劃以L4取代既有T4，作為云端或邊緣AI推理應(yīng)用。

值得注意的是，為避免2023年GPU供應(yīng)不足問題，NVIDIA亦積極參與CoWoS及HBM等擴(kuò)建產(chǎn)能需求，預(yù)期今年第二季在相關(guān)原廠產(chǎn)能逐步開出后，原交付Lead Time平均約40周也將減半，逐步去除下游供應(yīng)鏈因GPU短缺而使AI服務(wù)器供應(yīng)進(jìn)度受阻問題。

在AMD和Intel方面，TrendForce集邦咨詢此前指出，AMD 2024年出貨主流為MI300系列，采用HBM3，下一代MI350將采用HBM3E，預(yù)計(jì)2024下半年開始進(jìn)行HBM驗(yàn)證，實(shí)際看到較明顯的產(chǎn)品放量（Ramp Up）時(shí)間預(yù)估應(yīng)為2025年第一季。Intel Habana 2022下半年推出的Gaudi 2采用6顆HBM2E，2024年中預(yù)期在新型號(hào)Gaudi 3持續(xù)采取HBM2E，但將用量升級(jí)至8顆。

4
列為國(guó)家戰(zhàn)略，韓國(guó)重點(diǎn)發(fā)力

存儲(chǔ)器是韓國(guó)的支柱型產(chǎn)業(yè)之一，2024年AI浪潮更順勢(shì)拉動(dòng)了HBM的市場(chǎng)比重，在此背景下，韓國(guó)將HBM指定為國(guó)家戰(zhàn)略技術(shù)，并列出多項(xiàng)措施鼓勵(lì)相關(guān)企業(yè)。

2月27日，韓國(guó)企劃財(cái)政部公布了《2023年稅法修正案后續(xù)執(zhí)行規(guī)則修正案草案》，旨在對(duì)被納入韓國(guó)國(guó)家戰(zhàn)略技術(shù)的高帶寬存儲(chǔ)器（HBM）、有機(jī)發(fā)光二極管（OLED）和氫相關(guān)設(shè)施，進(jìn)一步擴(kuò)大稅收支持。

其中，韓國(guó)國(guó)家戰(zhàn)略性技術(shù)產(chǎn)業(yè)研發(fā)投資稅收抵免，中小企業(yè)為40%至50%，大中型企業(yè)為30%至40%。據(jù)悉大中型企業(yè)包括三星、SK海力士等。

5
結(jié)語

值得一提的是，大廠財(cái)報(bào)透露，營(yíng)收虧損幅度均有所收窄，其中HBM已成為拉動(dòng)大廠們業(yè)績(jī)回升的主力。目前消費(fèi)電子已出現(xiàn)復(fù)蘇信號(hào)，行業(yè)新的轉(zhuǎn)機(jī)正在孕育生成，AI催生存力新需求，2024年存儲(chǔ)市場(chǎng)有望迎來新的轉(zhuǎn)機(jī)。

總體而言，受生成式AI大模型等領(lǐng)域的驅(qū)動(dòng)，HBM逐漸發(fā)展成為新興熱門產(chǎn)業(yè)之一，隨著上游客戶不斷發(fā)出新的需求，目前HBM市場(chǎng)正釋放出供不應(yīng)求的信號(hào)。對(duì)此，上述各方瞄準(zhǔn)HBM積極布局，大廠們繼續(xù)埋頭攻破技術(shù)壁壘，以迅速抓住市場(chǎng)新機(jī)遇，屬于HBM市場(chǎng)的一場(chǎng)爭(zhēng)奪戰(zhàn)正式開啟。