價(jià)格暴漲500%,HBM市場(chǎng)徹底被引爆
內(nèi)存技術(shù)作為計(jì)算機(jī)系統(tǒng)的核心組成部分,其性能的提升對(duì)于整體計(jì)算能力的提升至關(guān)重要。在這個(gè)背景下,高帶寬內(nèi)存(HBM)以其卓越的性能表現(xiàn),正逐漸在內(nèi)存技術(shù)領(lǐng)域嶄露頭角,成為推動(dòng)計(jì)算領(lǐng)域進(jìn)入全新時(shí)代的關(guān)鍵力量。
本文引用地址:http://m.butianyuan.cn/article/202402/455655.htm相較于傳統(tǒng)的動(dòng)態(tài)隨機(jī)存取內(nèi)存(DRAM),HBM 的性能優(yōu)勢(shì)顯而易見(jiàn)。
遠(yuǎn)遠(yuǎn)超越 DDR
DDR 是一種常見(jiàn)的計(jì)算機(jī)內(nèi)存類型,最早是為了提高內(nèi)存?zhèn)鬏斔俾识O(shè)計(jì)的。它采用了雙倍數(shù)據(jù)傳輸技術(shù),即在每個(gè)時(shí)鐘周期內(nèi)可以傳輸兩次數(shù)據(jù),從而提高了數(shù)據(jù)傳輸速率。
目前最常見(jiàn)的 DDR 版本是 DDR4、DDR5,但在過(guò)去還有 DDR3、DDR2、DDR 等版本。每一代 DDR 版本都有不同的數(shù)據(jù)傳輸速率和性能。
DDR 內(nèi)存通常用于計(jì)算機(jī)的系統(tǒng)內(nèi)存,用于存儲(chǔ)操作系統(tǒng)和正在運(yùn)行的應(yīng)用程序等數(shù)據(jù)。
HBM 是一種高帶寬內(nèi)存技術(shù),專注于提供更高的內(nèi)存帶寬,尤其適用于高性能計(jì)算和圖形處理領(lǐng)域。HBM 的一個(gè)顯著特點(diǎn)是,它使用了堆疊技術(shù),將多個(gè) DRAM 芯片垂直堆疊在一起,從而大大增加了數(shù)據(jù)通路,提高了內(nèi)存的帶寬。
因此 HBM 具有可擴(kuò)展更大容量的特性。不僅 HBM 的單層 DRAM 芯片容量可擴(kuò)展,HBM 還可以通過(guò) 4 層、8 層以至 12 層堆疊的 DRAM 芯片,此外 HBM 可以通過(guò) SiP 集成多個(gè) HBM 疊層 DRAM 芯片等方法,實(shí)現(xiàn)更大的內(nèi)存容量。
HBM 內(nèi)存通常用于高性能顯卡、GPU 加速器以及需要大量數(shù)據(jù)傳輸?shù)母咝阅苡?jì)算應(yīng)用中。
從功耗角度來(lái)看,由于采用了 TSV 和微凸塊技術(shù),DRAM 裸片與處理器間實(shí)現(xiàn)了較短的信號(hào)傳輸路徑以及較低的單引腳 I/O 速度和 I/O 電壓,使 HBM 具備更好的內(nèi)存功耗能效特性。以 DDR3 存儲(chǔ)器歸一化單引腳 I/O 帶寬功耗比為基準(zhǔn),HBM2 的 I/O 功耗比明顯低于 DDR3、DDR4 和 GDDR5 存儲(chǔ)器,相對(duì)于 GDDR5 存儲(chǔ)器,HBM2 的單引腳 I/O 帶寬功耗比數(shù)值降低 42%。
在系統(tǒng)集成方面,HBM 將原本在 PCB 板上的 DDR 內(nèi)存顆粒和 CPU 芯片全部集成到 SiP 里,因此 HBM 在節(jié)省產(chǎn)品空間方面也更具優(yōu)勢(shì)。相對(duì)于 GDDR5 存儲(chǔ)器,HBM2 節(jié)省了 94% 的芯片面積。
三大原廠的研發(fā)歷程
目前的 HBM 市場(chǎng)主要以 SK 海力士、三星和美光三家公司為主。
2014 年,SK 海力士與 AMD 聯(lián)合開(kāi)發(fā)了全球首款硅通孔 HBM,至今已經(jīng)迭代升級(jí)了 4 代 HBM 產(chǎn)品,性能和容量持續(xù)提升。2020 年 SK 海力士宣布成功研發(fā)新一代 HBM2E;2021 年開(kāi)發(fā)出全球第一款 HBM3;2022 年 HBM3 芯片供貨英偉達(dá)。2023 年 8 月,SK 海力士推出 HBM3E,11 月英偉達(dá)宣布 H200 將搭載 HBM3E。
可以說(shuō)從 HBM1、HBM2E、HBM3、HBM3E,SK 海力士持續(xù)領(lǐng)先。2022 年 SK 海力士占據(jù) HBM 市場(chǎng)約 50% 的份額,三星占比 40%,美光占比 10%。
在很長(zhǎng)一段時(shí)間內(nèi),SK 海力士都是英偉達(dá) HBM 的獨(dú)家供應(yīng)商。2023 年 SK 海力士基本壟斷了 HBM3 供應(yīng),今年其 HBM3 與 HBM3E 的訂單也已售罄。
三星是在 2016 年,開(kāi)始宣布量產(chǎn) 4GB/8GB HBM2 DRAM;2018 年,宣布量產(chǎn)第二代 8GB HBM2;2020 年,推出 16GB HBM2E 產(chǎn)品;2021 年,三星開(kāi)發(fā)出具有 AI 處理能力的 HBM-PIM;雖然三星的路線圖顯示 2022 年 HBM3 技術(shù)已經(jīng)量產(chǎn),但實(shí)際上三星的 HBM3 在 2023 年底才正式完成驗(yàn)證,這意味著在大量生產(chǎn)之前,市場(chǎng)還是由 SK 海力士壟斷。
再看美光,2020 年,美光宣布將開(kāi)始提供 HBM2 內(nèi)存/顯存;2021 年,HBM2E 產(chǎn)品上市。為了改善自己在 HBM 市場(chǎng)中的被動(dòng)地位,美光選擇了直接跳過(guò)第四代 HBM 即 HBM3,直接升級(jí)到了第五代,即 HBM3E。隨后在 2023 年 9 月,美光宣布推出 HBM3 Gen2(即 HBM3E),后續(xù)表示計(jì)劃于 2024 年初開(kāi)始大批量發(fā)貨 HBM3 Gen2 內(nèi)存,同時(shí)透露英偉達(dá)是主要客戶之一。
HBM2e 過(guò)渡到 HBM3e
HBM 的概念的起飛與 AIGC 的火爆有直接關(guān)系。
AI 大模型的興起催生了海量算力需求,而數(shù)據(jù)處理量和傳輸速率大幅提升使得 AI 服務(wù)器對(duì)芯片內(nèi)存容量和傳輸帶寬提出更高要求。HBM 具備高帶寬、高容量、低延時(shí)和低功耗優(yōu)勢(shì),目前已逐步成為 AI 服務(wù)器中 GPU 的搭載標(biāo)配。
目前,HBM 產(chǎn)品以 HBM(第一代)、HBM2(第二代)、HBM2E(第三代)、HBM3(第四代)、HBM3E(第五代)的順序開(kāi)發(fā),最新的 HBM3E 是 HBM3 的擴(kuò)展版本。
來(lái)源:山西證券
HBM 每一次更新迭代都會(huì)伴隨著處理速度的提高。引腳(Pin)數(shù)據(jù)傳輸速率為 1Gbps 的第一代 HBM,發(fā)展到其第五代產(chǎn)品 HBM3E,速率提高到了 8Gbps,即每秒可以處理 1.225TB 的數(shù)據(jù)。也就是說(shuō),下載一部長(zhǎng)達(dá) 163 分鐘的全高清(Full-HD)電影(1TB)只需不到 1 秒鐘的時(shí)間。
當(dāng)然,存儲(chǔ)器的容量也在不斷加大。HBM2E 的最大容量為 16GB,目前,三星正在利用 EUV 光刻機(jī)來(lái)制造 24GB 容量的 HBM3 芯片,此外 8 層、12 層堆疊可在 HBM3E 上實(shí)現(xiàn) 36GB(業(yè)界最大)的容量,比 HBM3 高出 50%。
此前 SK 海力士、美光均已宣布推出 HBM3E 芯片,皆可實(shí)現(xiàn)超過(guò) 1TB/s 的帶寬。
根據(jù) TrendForce 集邦咨詢調(diào)查顯示,2023 年 HBM 市場(chǎng)主流為 HBM2e,包含 NVIDIA A100/A800、AMD MI200 以及多數(shù) CSPs 自研加速芯片皆以此規(guī)格設(shè)計(jì)。同時(shí),為順應(yīng) AI 加速器芯片需求演進(jìn),各原廠計(jì)劃于 2024 年推出新產(chǎn)品 HBM3e,預(yù)期 HBM3 與 HBM3e 將成為明年市場(chǎng)主流。
HBM3e 市場(chǎng)徹底被引爆
SK 海力士無(wú)疑是這波內(nèi)存熱潮中的最大受益者,截至 2023 年 12 月 31 日,SK 海力士在 2023 財(cái)年和第四季度的營(yíng)收取得了顯著增長(zhǎng)。特別是其主力產(chǎn)品 DDR5 DRAM 和 HBM3,在這一年的收入較去年上漲了 4 倍以上。
英偉達(dá)和 AMD 的下一代人工智能 GPU 預(yù)計(jì)將主要搭載 HBM3 內(nèi)存。例如,H100 是第一款支持 PCIe 5.0 標(biāo)準(zhǔn)的 GPU,也是第一款采用 HBM3 的 GPU,最多支持六顆 HBM3,帶寬為 3TB/s,是 A100 采用 HBM2E 的 1.5 倍,默認(rèn)顯存容量為 80GB。
2023 年 11 月英偉達(dá)發(fā)布了新一代 AI GPU 芯片 H200,以及搭載這款 GPU 的 AI 服務(wù)器平臺(tái) HGX H200 等產(chǎn)品。這款 GPU 是 H100 的升級(jí)款,依舊采用 Hopper 架構(gòu)、臺(tái)積電 4nm 制程工藝,根據(jù)英偉達(dá)官網(wǎng),H200 的 GPU 芯片沒(méi)有升級(jí),核心數(shù)、頻率沒(méi)有變化,主要的升級(jí)便是首次搭載 HBM3e 顯存,并且容量從 80GB 提升至 141GB。
得益于新升級(jí)的 HBM3e 芯片,H200 的顯存帶寬可達(dá) 4.8TB/s,比 H100 的 3.35TB/s 提升了 43%。不過(guò)這遠(yuǎn)沒(méi)有達(dá)到 HBM3e 的上限,海外分析人士稱英偉達(dá)有意降低 HBM3e 的速度,以追求穩(wěn)定。如果與傳統(tǒng) x86 服務(wù)器相比,H200 的內(nèi)存性能最高可達(dá) 110 倍。
由于美光、SK 海力士等公司的 HBM3e 芯片需等到 2024 年才會(huì)發(fā)貨,因此英偉達(dá)表示 H200 產(chǎn)品預(yù)計(jì)將在 2024 年第二季度正式開(kāi)售。
AMD 的 MI300 也搭配 HBM3,其中,MI300A 容量與前一代相同為 128GB,更高端 MI300X 則達(dá) 192GB,提升了 50%。AMD 稱,MI300X 提供的 HBM 密度最高是英偉達(dá) AI 芯片 H100 的 2.4 倍,其 HBM 帶寬最高是 H100 的 1.6 倍。這意味著,AMD 的芯片可以運(yùn)行比英偉達(dá)芯片更大的模型。
與此同時(shí),在 2023 年隨著 AI GPU 以及與 AI 相關(guān)的各類需求激增,HBM 價(jià)格也持續(xù)上漲。市場(chǎng)研究機(jī)構(gòu) Yolo Group 報(bào)告顯示,2023 年期間 HBM 內(nèi)存供需鏈發(fā)生了重大變化,生產(chǎn)水平和采用率同時(shí)大幅提高,使得 HBM 成為比人工智能熱潮之前更有價(jià)值的資源,2023 年 HBM 芯片的平均售價(jià)是傳統(tǒng) DRAM 內(nèi)存芯片的五倍。
在 HBM 盛行的當(dāng)下,沒(méi)有一家存儲(chǔ)廠商能夠忍住不分一杯羹。
三大原廠為之「瘋狂」
技術(shù)升級(jí)
三大原廠的研究進(jìn)展
SK 海力士在 SEMICON Korea 2024 上發(fā)布了一項(xiàng)重要公告,公布了其雄心勃勃的高帶寬存儲(chǔ)器路線圖。該公司副總裁 Kim Chun-hwan 透露,計(jì)劃在 2024 上半年開(kāi)始量產(chǎn)先進(jìn)的 HBM3E,并強(qiáng)調(diào)向客戶交付 8 層堆疊樣品。
HBM3E 是 SK 海力士產(chǎn)品線的最新產(chǎn)品,可滿足日益增長(zhǎng)的數(shù)據(jù)帶寬需求,在 6 堆棧配置中,每堆棧可提供 1.2 TB/s 和驚人的 7.2 TB/s 通信帶寬。Kim Chun-hwan 將這種進(jìn)步的緊迫性歸因于生成式人工智能的迅速崛起,預(yù)計(jì)將見(jiàn)證驚人的 35% 的復(fù)合年增長(zhǎng)率(CAGR)。然而,他警告說(shuō),在不斷升級(jí)的客戶期望的推動(dòng)下,半導(dǎo)體行業(yè)正在面臨「激烈的生存競(jìng)爭(zhēng)」。
隨著制程工藝節(jié)點(diǎn)的縮小并接近其極限,半導(dǎo)體行業(yè)越來(lái)越關(guān)注下一代存儲(chǔ)器架構(gòu)和工藝,以釋放更高的性能。SK 海力士已經(jīng)啟動(dòng)了 HBM4 的開(kāi)發(fā),計(jì)劃于 2025 年提供樣品,并于次年量產(chǎn)。
根據(jù)美光的信息,與前幾代 HBM 相比,HBM4 將采用更廣泛的 2048 位接口。導(dǎo)致每個(gè)堆棧的理論峰值內(nèi)存帶寬超過(guò) 1.5 TB/s。為了實(shí)現(xiàn)這些非凡的帶寬,在保持合理功耗的同時(shí),HBM4 的目標(biāo)是大約 6GT/s 的數(shù)據(jù)傳輸速率。這種更寬的接口和更快的速度將使 HBM4 能夠突破內(nèi)存帶寬的界限,滿足日益增長(zhǎng)的高性能計(jì)算和 AI 工作負(fù)載需求。
三星是半導(dǎo)體行業(yè)的主要參與者,該公司也有 HBM4 的發(fā)布時(shí)間表,計(jì)劃于 2025 年提供樣品,并于 2026 年量產(chǎn)。三星高管 Jaejune Kim 透露,該公司的 HBM 產(chǎn)量的一半以上已經(jīng)由專業(yè)產(chǎn)品組成。定制 HBM 解決方案的趨勢(shì)預(yù)計(jì)將加劇。通過(guò)邏輯集成,量身定制的選項(xiàng)對(duì)于滿足個(gè)性化客戶需求至關(guān)重要,從而鞏固了市場(chǎng)地位。
隨著 HBM3E 的發(fā)布和 HBM4 的準(zhǔn)備,SK 海力士和三星正在為未來(lái)的挑戰(zhàn)做準(zhǔn)備,旨在保持其在 HBM 技術(shù)前沿的地位。不僅如此,全球前三大存儲(chǔ)芯片制造商正將更多產(chǎn)能轉(zhuǎn)移至生產(chǎn) HBM,但由于調(diào)整產(chǎn)能需要時(shí)間,很難迅速增加 HBM 產(chǎn)量,預(yù)計(jì)未來(lái)兩年 HBM 供應(yīng)仍將緊張。
擴(kuò)產(chǎn)情況
再看三大原廠的擴(kuò)產(chǎn)情況。據(jù)悉,SK 海力士將擴(kuò)大其高帶寬內(nèi)存生產(chǎn)設(shè)施投資,以應(yīng)對(duì)高性能 AI 產(chǎn)品需求的增加。
去年 6 月有媒體報(bào)道稱,SK 海力士正在準(zhǔn)備投資后段工藝設(shè)備,將擴(kuò)建封裝 HBM3 的利川工廠,預(yù)計(jì)到今年年末,該廠后段工藝設(shè)備規(guī)模將增加近一倍。
此外,SK 海力士還將在美國(guó)印第安納州建造一座最先進(jìn)的制造工廠,據(jù)兩位接受英國(guó)《金融時(shí)報(bào)》采訪的消息人士透露,SK 海力士將在這家工廠生產(chǎn) HBM 堆棧,這些堆棧將用于臺(tái)積電生產(chǎn)的 Nvidia GPU,SK 集團(tuán)董事長(zhǎng)表示,該工廠預(yù)計(jì)耗資 220 億美元。
三星電子和 SK 海力士之間的競(jìng)爭(zhēng)正在升溫。三星電子從去年第四季度開(kāi)始擴(kuò)大第四代 HBM 即 HBM3 的供應(yīng),目前正進(jìn)入一個(gè)過(guò)渡期。負(fù)責(zé)三星美國(guó)半導(dǎo)體業(yè)務(wù)的執(zhí)行副總裁 Han Jin-man 在今年 1 月表示,公司對(duì)包括 HBM 系列在內(nèi)的大容量存儲(chǔ)芯片寄予厚望,希望它能引領(lǐng)快速增長(zhǎng)的人工智能芯片領(lǐng)域。他在 CES 2024 的媒體見(jiàn)面會(huì)上對(duì)記者說(shuō),「我們今年的 HBM 芯片產(chǎn)量將比去年提高 2.5 倍,明年還將繼續(xù)提高 2 倍?!?/span>
三星官方還透露,公司計(jì)劃在今年第四季度之前,將 HBM 的最高產(chǎn)量提高到每月 15 萬(wàn)至 17 萬(wàn)件,以此來(lái)爭(zhēng)奪 2024 年的 HBM 市場(chǎng)。此前三星電子斥資 105 億韓元收購(gòu)了三星顯示位于韓國(guó)天安市的工廠和設(shè)備,以擴(kuò)大 HBM 產(chǎn)能,同時(shí)還計(jì)劃投資 7000 億至 1 萬(wàn)億韓元新建封裝線。
為了縮小差距,美光對(duì)其下一代產(chǎn)品 HBM3E 下了很大的賭注,美光首席執(zhí)行官 Sanjay Mehrotra 表示:「我們正處于為英偉達(dá)下一代 AI 加速器提供 HBM3E 的驗(yàn)證的最后階段?!蛊溆?jì)劃于 2024 年初開(kāi)始大批量發(fā)貨 HBM3E 內(nèi)存,同時(shí)強(qiáng)調(diào)其新產(chǎn)品受到了整個(gè)行業(yè)的極大興趣。據(jù)悉,美光科技位于中國(guó)臺(tái)灣地區(qū)的臺(tái)中四廠已于 2023 年 11 月初正式啟用。美光表示,臺(tái)中四廠將整合先進(jìn)探測(cè)與封裝測(cè)試功能,量產(chǎn) HBM3E 及其他產(chǎn)品,從而滿足人工智能、數(shù)據(jù)中心、邊緣計(jì)算及云端等各類應(yīng)用日益增長(zhǎng)的需求。該公司計(jì)劃于 2024 年初開(kāi)始大量出貨 HBM3E。
值得注意的是高階 HBM 的競(jìng)爭(zhēng)才剛剛開(kāi)始,雖然目前 HBM 產(chǎn)品占整體存儲(chǔ)的出貨量仍然非常小,長(zhǎng)期來(lái)看,隨著消費(fèi)電子產(chǎn)品向 AI 化發(fā)展,對(duì)于高算力、高存儲(chǔ)、低能耗將是主要訴求方向,鑒于此預(yù)計(jì) HBM 也將成為未來(lái)存儲(chǔ)廠商的技術(shù)發(fā)展方向。
評(píng)論