NEO宣布推出3D X-AI芯片：神經(jīng)網(wǎng)絡性能提升100倍，功耗降低99%！

7月19日消息，在美國加利福尼亞州圣克拉拉舉行的 FMS 2024（內(nèi)存和存儲的未來）會議上，NEO Semiconductor 首席執(zhí)行官 Andy Hsu 宣布，將推出 一款改變游戲規(guī)則的 3D DRAM——3D X-AI，具有 AI 處理功能，將數(shù)據(jù)存儲和數(shù)據(jù)處理結合在單個芯片中，將神經(jīng)網(wǎng)絡（ANN）性能提高 100 倍，功耗降低 99%。

Andy Hsu表示，基于NEO 的3D X-DRAM技術，3D X-AI模擬人工神經(jīng)網(wǎng)絡，包括用于權重數(shù)據(jù)存儲的突觸和用于數(shù)據(jù)處理的神經(jīng)元，使其非常適合加速下一代AI芯片和應用。3D X-AI 可替代高帶寬內(nèi)存 （HBM），有望顯著推動 AI 芯片設計和 AI 工作負載優(yōu)化。

據(jù)介紹，單個 3D X-AI 芯片包括 300 層 3D DRAM，容量為 128 Gb，以及 1 層神經(jīng)網(wǎng)絡電路，具有 8,000 個神經(jīng)元，每個芯片支持高達 10 TB/s的 AI 處理吞吐量。使用 12 個堆疊 HBM 封裝的 3D X-AI 芯片，只需一個 3D X-AI 芯片，即可將 3D X-AI 芯片的容量和性能提升 12 倍，達到 1,536 Gb （192 GB） 容量和 120 TB/s 的處理吞吐量。

“典型的人工智能芯片使用基于處理器的神經(jīng)網(wǎng)絡。這涉及結合高帶寬內(nèi)存來模擬用于存儲權重數(shù)據(jù)的突觸和圖形處理單元 （GPU） 來模擬用于執(zhí)行數(shù)學計算的神經(jīng)元。性能受到HBM和GPU之間數(shù)據(jù)傳輸?shù)南拗?，來回?shù)據(jù)傳輸會降低AI芯片性能并增加功耗，“NEO創(chuàng)始人兼首席執(zhí)行官Andy Hsu說：“具有 3D X-AI 的 AI 芯片使用基于內(nèi)存的神經(jīng)網(wǎng)絡。這些芯片具有神經(jīng)網(wǎng)絡功能，每個 3D X-AI 芯片中都有突觸和神經(jīng)元。在執(zhí)行 AI 操作時，它們用于大幅減少 GPU 和 HBM 之間數(shù)據(jù)傳輸數(shù)據(jù)的繁重工作負載。我們的 3D DRAM極大地提高了 AI 芯片的性能和可持續(xù)性。”

編輯：芯智訊-浪客劍