HBM4持續(xù)加速：AI時代競爭新焦點

近日，標準組織JEDEC固態(tài)技術協(xié)會公布了新一代的高帶寬內(nèi)存HBM4的標準制定即將完成。HBM4是目前發(fā)布的HBM3標準的進化版，旨在進一步提高數(shù)據(jù)處理速率，同時保持基本特性，例如更高的帶寬、更低功耗和更大的每個芯片和/或堆棧容量 —— 這些對于需要高效處理大數(shù)據(jù)集和復雜計算的應用至關重要，包括生成人工智能（AI）、高性能計算、高端顯卡和服務器。

算力性能發(fā)揮的關鍵

隨著人工智能領域的蓬勃發(fā)展，大模型參數(shù)量呈現(xiàn)指數(shù)級增長。算力越強每秒處理數(shù)據(jù)的速度越快，帶寬越大每秒可訪問的數(shù)據(jù)越多，算力強弱主要由AI芯片決定，而帶寬由存儲器決定，存力是限制AI芯片性能的瓶頸之一。AI芯片引發(fā)了對與之匹配的內(nèi)存系統(tǒng)進行升級的迫切需求，需要高帶寬、低能耗，同時在不占用面積的情況下可以擴展容量的存儲器。

內(nèi)存系統(tǒng)從微觀到宏觀可劃分為存儲單元、陣列、die、封裝、系統(tǒng)等五個層級。不同DRAM標準如DDR、LPDDR、GDDR、HBM等采用不同的封裝形式，如LPDDR和GDDR常將1至多個die直接安裝于主板PCB上，而DDR則多采用DIMM模塊插入主板插槽。HBM則獨樹一幟采用垂直堆疊封裝，意味著在同一物理空間內(nèi)可以容納更多的內(nèi)存單元，通過TSV技術實現(xiàn)die間互連，借助CoWoS技術與處理器高效通信，擁有遠超其他DRAM的帶寬。

HBM憑借堆疊結(jié)構和垂直TSV互連技術，具備高帶寬、高存儲密度、低功耗和緊湊尺寸等優(yōu)勢，尤其在AI和HPC應用中，其高帶寬對大模型訓練和推理效率的提升至關重要。但高于普通DRAM數(shù)倍的價格，使得對HBM一直都是“名氣沒輸過、銷售沒贏過”的獨特存在，AI大模型的出現(xiàn)讓HBM找到完美的應用場景。

HBM（HighBandwidth Memory，高帶寬內(nèi)存）其實就是將很多個DDR芯片堆疊在一起后和GPU封裝在一起，實現(xiàn)大容量、高位寬的DDR組合陣列，被視為新一代DRAM解決方案。當前HBM遵循相當標準的設計：內(nèi)存堆棧通過微凸塊連接到位于基礎封裝層上的中介層，微凸塊連接到堆棧中的硅通孔（TSV或連接孔）；中介層上還安裝了一個處理器，并提供到處理器的連接。

HBM4持續(xù)加速

高帶寬內(nèi)存已存在約十年，從HBM1目前最新到HBM3E，迭代方向是提高容量和帶寬，容量可以通過堆疊層數(shù)或增加單層容量獲得提升，帶寬提升主要是通過提升I/O速度。但隨著內(nèi)存?zhèn)鬏斔俾实奶岣?，尤其是在DRAM單元的基本物理特性沒有改變的情況下，這種速度也越來越難以維持。因此，對于HBM4計劃進行更實質(zhì)性的改變，把內(nèi)存堆棧接口從1024位擴展至2048位，這將是自八年前推出這種內(nèi)存類型以來HBM規(guī)范最重要的變化之一。

現(xiàn)有的HBM采用了TC（熱壓）鍵合技術，該技術在DRAM中創(chuàng)建TSV通道，并通過小突起形式的微凸塊進行電連接。使用現(xiàn)有的接合實際上不可能在720μm處實現(xiàn)16層DRAM堆疊HBM4，業(yè)界關注的替代方案是混合鍵合（Hybrid bonding）。

混合鍵合是一種在芯片和晶圓之間直接鍵合銅布線的技術，相較于傳統(tǒng)的鍵合工藝，摒棄了在DRAM內(nèi)存層間添加凸塊的繁瑣步驟，這不僅提高了信號傳輸速率，同時也降低了DRAM層間距，使得HBM模塊的整體高度得到縮減。

HBM4在堆棧的層數(shù)上也有所變化，除了首批的12層垂直堆疊，還會帶來16層垂直堆疊。此外，HBM還會往更為定制化的方向發(fā)展，不僅排列在SoC主芯片旁邊，部分還會轉(zhuǎn)向堆棧在SoC主芯片之上。

sk海力士

根據(jù)SK海力士最新公布的信息顯示，HBM4將比第五代HBM3E速度提升40%，而耗電量僅為后者的70%，并在5月舉行的記者招待會上表示，其HBM4內(nèi)存的量產(chǎn)時間已提前到2025年。具體來說，計劃2025年下半年推出采用12層DRAM堆疊的首批HBM4產(chǎn)品，而16層堆疊HBM稍晚于2026年推出。

同時，SK海力士將繼續(xù)采用批量回流模制底部填充（MR-MUF：Mass Reflow-Molded Underfill）先進封裝工藝作為核心技術。其中，批量回流焊（MR）是通過融化堆疊芯片之間的凸塊，讓芯片互相連接；模塑底部填充（MUF）是在堆疊的芯片之間填充保護材料從而提高耐久性和散熱效果。

但是MR-MUF有容易翹曲、導致晶圓末端彎曲、空洞現(xiàn)象（即保護材料在某些區(qū)域分布不均勻）等缺點。SK海力士表示，與HBM開發(fā)初期相比已經(jīng)成功地減少了翹曲現(xiàn)象，目前正在開發(fā)克服這一問題的技術。作為替代方案而出現(xiàn)的混合鍵合技術則預計由于HBM標準的放寬而緩慢引入。

SK海力士還計劃在HBM4基礎裸片上采用臺積電的N5和N12FFC+工藝，以便可以將附加功能封裝到有限的空間中，也有助于其生產(chǎn)定制HBM。SK海力士和臺積電還同意合作優(yōu)化SK海力士的HBM和臺積電的CoWoS（基板上晶圓芯片）技術的集成，響應常見客戶與HBM相關的要求。

三星

和SK海力士不一樣，三星采用的TC-NCF（thermal compression with non-conductive film），也就是非導電薄膜熱壓縮技術封裝HBM。該技術在每次堆疊芯片時，都會在各層之間放置一層不導電的粘合膜，用于使芯片彼此絕緣并保護連接點免受撞擊。這種方法的優(yōu)點是可以最大限度地減少隨著層數(shù)增加和芯片厚度減小而可能發(fā)生的翹曲，使其更適合構建更高的堆棧。

優(yōu)化熱量和壓力是TC-NCF成功的關鍵。在三星看來，HBM的熱阻主要受芯片間距的影響，減少芯片之間NCF材料的厚度，并利用熱壓縮技術使芯片更加緊密，實現(xiàn)了業(yè)界最小的7μm芯片間距。此外，在芯片鍵合過程中，三星策略性地設計了需要信號傳輸?shù)男⊥箟K和散熱至關重要的大凸塊，優(yōu)化增強了散熱和產(chǎn)量。

SK海力士在第二代HBM之前也使用NCF ，但從第三代（HBM2E）開始改用MUF（特別是MR-MUF），分析人士更是認為MUF是SK海力士能夠在HBM市場脫穎而出的原因。不過，三星副總裁Kim Dae-woo表示，在最多8個堆疊時，MR-MUF 的生產(chǎn)效率比TC-NCF更高，但一旦堆疊達到12個或以上，后者將具有更多優(yōu)勢。

據(jù)三星的規(guī)劃，HBM4將在2025年生產(chǎn)樣品，希望通過針對高溫環(huán)境優(yōu)化的NCF組裝技術以及混合鍵合技術等尖端工藝技術，利用邏輯代工+HBM內(nèi)存+先進封裝的全流程方案與SK海力士爭奪HBM訂單。此外，三星還公布了其HBM技術藍圖，預測到2026年，其HBM的出貨量將比2023年高出13.8倍。

美光

美光科技也加快了追趕兩家韓國存儲巨頭的步伐，披露了暫名為HBMnext的下一代HBM內(nèi)存，業(yè)界猜測這有可能便是其HBM4，預計將提供36GB和64GB容量，這意味著多種配置，例如12-Hi 24Gb堆棧（36GB）或16-Hi 32Gb堆棧（64GB）。至于性能，美光宣稱每個堆棧的帶寬為1.5TB/s～2+TB/s，這意味著數(shù)據(jù)傳輸速率超過11.5GT/s/pin。不過在技術細節(jié)上，美光并未公布太多信息。

三星和SK海力士不同，美光并不打算把HBM和邏輯芯片整合到一個芯片中，似乎想要通過HBM-GPU的組合芯片形式以獲得更快的內(nèi)存訪問速度。不過隨著機器學習訓練模型的增大和訓練時間的延長，通過加快內(nèi)存訪問速度和提高每個GPU內(nèi)存容量來縮短運行時間的壓力也將隨之增加，而為了獲得鎖定HBM-GPU組合芯片設計（盡管具有更好的速度和容量）而放棄標準化DRAM的競爭供應優(yōu)勢，可能不是正確的前進方式。

全球HBM銷售額預計將從2023年的16億美元，增長到2027年266億美元，年均增長率為59%。據(jù)路透社報道，HBM目前占通用內(nèi)存市場的15%，而去年這一比例為8%。SK海力士在HBM市場擁有最大的市場份額，是占據(jù)AI GPU市場80%份額的英偉達的HBM3內(nèi)存唯一供應商，并于今年三月開始量產(chǎn)最新一代HBM3E。

美光和三星等競爭供應商正在開發(fā)HBM產(chǎn)品，以阻止SK海力士主導市場。據(jù)媒體最近報道，三星已通過或即將通過英偉達HBM3E認證，并有望在下季度或第四季度開始向英偉達供貨，盡管三星取得了一定進展，但短期內(nèi)其HBM銷售額可能不會顯著增加，SK海力士憑借其市場主導地位和高利潤率，仍將在未來幾年內(nèi)保持強勁增長。