超越HBM：三星將內(nèi)存處理技術(shù)分解為人工智能應用

人工智能應用帶來了許多挑戰(zhàn)，包括數(shù)據(jù)處理和內(nèi)存。三星希望通過結(jié)合內(nèi)存處理和高帶寬內(nèi)存來解決這些問題。

今年的熱芯片33會議帶來了很多有趣的技術(shù)專注于人工智能（AI）和高帶寬存儲器（哈佛商學院）。其中一家公司，尤其是三星展示了整合在它的兩個設(shè)備中，一個是HBM，另一個是內(nèi)存處理（PIM），它將在AI算法和應用程序中處理大量數(shù)據(jù)。

內(nèi)存處理架構(gòu)超越了HBM，包括DRAM模塊和移動內(nèi)存。圖片使用由三星

在這篇文章中，讓我們深入了解三星在Hot Chips 33上的表現(xiàn)，以及這對HBM世界的意義。

自1998年以來，熱芯片一直是一個世界著名的會議領(lǐng)導半導體行業(yè)，展示先進的高性能微處理器和集成電路（IC）。

在今年的活動中，三星展示了人工智能技術(shù)內(nèi)存生態(tài)系統(tǒng)的最新集成解決方案 HBM-PIM公司系統(tǒng)。這個組合使用錫林克斯阿爾維奧人工智能加速器系統(tǒng)，聲稱可以將整個系統(tǒng)性能提高2.5倍的標準速率，能耗降低70%。

錫林克斯的阿爾維奧人工智能加速器。圖片使用由錫林克斯

更快的速率和更少的能量消耗對人工智能應用至關(guān)重要。人工智能算法和應用程序面臨的一些問題來自于大量的數(shù)據(jù)，而當前的存儲設(shè)備沒有足夠的容量和帶寬來滿足這些數(shù)據(jù)。

如果系統(tǒng)不能處理所有輸入的數(shù)據(jù)，內(nèi)存系統(tǒng)的計算性能就會受到影響。三星集成PIM的計劃應該允許一些數(shù)據(jù)在內(nèi)存設(shè)備中本地保存和處理，從而減少流量。

數(shù)據(jù)處理在人工智能應用中是必不可少的，需要一個重新設(shè)計的存儲設(shè)備。

如HBM-PIM，以實現(xiàn)AI加速器引擎支持的計算邏輯。

PIM的功能從集成計算和內(nèi)存開始，使內(nèi)存設(shè)備能夠在本地執(zhí)行任何操作。

使用PIM，三星可以消除對工業(yè)標準邏輯設(shè)備和內(nèi)存解決方案的需求，這些設(shè)備通常執(zhí)行CPU、GPU和NPU等計算。這種內(nèi)存解決方案不僅節(jié)省了系統(tǒng)的占用空間，而且還最大限度地減少了延遲，提高了處理速度，并提高了整體能效。

三星電子（Samsung Electronics）負責DRAM產(chǎn)品和技術(shù)的高級副總裁金南成（Nam Sung Kim）認為，HBM的未來在于這項技術(shù)的標準化。一旦實現(xiàn)了這一點，應用程序的數(shù)量就可以增加，并擴展到下一代超級計算機和人工智能應用程序的HBM3中，包括用于設(shè)備人工智能的移動存儲器和用于數(shù)據(jù)中心的存儲模塊。

既然三星已經(jīng)制定了更多關(guān)于HBM和PIM的計劃，讓我們看看它的發(fā)布。

三星不僅介紹了HBM-PIM背后的理念和研究成果，還分享了新的設(shè)備，這些設(shè)備將結(jié)合基于人工智能的功能，以增強超級計算機和算法的高速數(shù)據(jù)處理能力。

Aquabolt XL是三星的預期產(chǎn)品之一，它的特點是在裝有保險絲的HBM設(shè)備內(nèi)安裝了一個名為可編程計算單元（PCU）的AI引擎。

對于大型數(shù)據(jù)集，計算和內(nèi)存受限的人工智能應用所需的容量和帶寬的增加就是為什么需要HBM-PIM，三星將該PIM并入其中，以增強HBM的功能。

Aquabolt XL采用PCU，可在內(nèi)存系統(tǒng)的核心內(nèi)實現(xiàn)并行處理。通過添加HBM設(shè)備，整個體系結(jié)構(gòu)是健壯的，并且為高數(shù)據(jù)流量做好了準備。

HBM的核心是PCU引擎，但總體架構(gòu)是什么？

HBM是通過堆疊構(gòu)建的德拉姆模具相互重疊，允許并行訪問每個DRAM模具。HBM高度的內(nèi)部并行性對整個過程至關(guān)重要。

與單純使用HBM相比，涉及語音識別的人工智能應用程序的性能提高了2倍。在DRAM芯片內(nèi)部發(fā)生相同數(shù)量的計算的情況下，與移動數(shù)據(jù)相關(guān)聯(lián)的IO流量被消除，從而導致功耗降低。

AXDIMM是一種CPU內(nèi)存數(shù)據(jù)移動，可以避免系統(tǒng)中出現(xiàn)瓶頸，使用PIM將有助于此平臺。

三星發(fā)布的第二款產(chǎn)品是它的加速DIMM（AXDIMM），支持對DRAM模塊的處理，最大限度地減少CPU和DRAM之間的大數(shù)據(jù)移動。

這種數(shù)據(jù)移動的最小化可以提高所有人工智能加速器系統(tǒng)的能源效率。本質(zhì)上，這個芯片作為一個緩沖區(qū)，里面有一個人工智能引擎。AXDIMM可以執(zhí)行多個內(nèi)存列組（DRAM芯片集）的并行處理，而不是一次訪問一個列組?？偟膩碚f，這個模塊聽起來很有前途，因為它可以保留傳統(tǒng)的DIMM形式，而AXDIMM則成為一個不需要修改系統(tǒng)的直接替代品。

為了保持雙倍統(tǒng)計的主題，三星的AXDIMM在基于人工智能的應用程序中提供了兩倍的性能，整體系統(tǒng)的能耗降低了40%。

同樣，盡管前景看好，但看到三星在HBM方面如何發(fā)展PIM將是一件很有趣的事情。

一旦三星開始融合PIM和HBM，就不需要額外的工作來將PIM與其他行業(yè)標準的存儲系統(tǒng)結(jié)合起來，比如低功耗雙數(shù)據(jù)速率（LPDDR）和圖形雙數(shù)據(jù)速率（GDDR）。集成的便利性可能會為PIM打開許多大門。

工程師、計算機架構(gòu)師和技術(shù)愛好者預計，三星將在2022年擴大其人工智能內(nèi)存產(chǎn)品組合，包括所有PIM技術(shù)。三星公司的領(lǐng)導者們需要繼續(xù)推出基于人工智能的自動語音識別系統(tǒng)，并計劃推出更大容量的智能語音識別系統(tǒng)。