Arm Neoverse 新動(dòng)態(tài)助推基礎(chǔ)設(shè)施AI應(yīng)用表現(xiàn)

隨著人工智能 (AI) 滲透到教育、就業(yè)、制造、醫(yī)療和交通等領(lǐng)域，AI 正在改變經(jīng)濟(jì)發(fā)展和Arm的日常生活，Arm 構(gòu)建了全球應(yīng)用最為普及的 CPU 架構(gòu)，在多個(gè)領(lǐng)域的技術(shù)革新中發(fā)揮主導(dǎo)作用，影響了世界各地人們的日常生活。AI技術(shù)的光明前景讓算力資源開(kāi)始逐漸向AI應(yīng)用需求傾斜，甚至在最近一兩年新配置的算力基礎(chǔ)設(shè)施中如果沒(méi)有更好的AI應(yīng)用支持，可能會(huì)很快被市場(chǎng)所淘汰。Arm 高級(jí)副總裁兼基礎(chǔ)設(shè)施事業(yè)部總經(jīng)理 Mohamed Awad直言，Arm 是這一切變革的基石。

眾多國(guó)際知名的大型科技企業(yè)正基于 Arm 平臺(tái)構(gòu)建新一代系統(tǒng)和基礎(chǔ)設(shè)施。談到Arm 為何能在基礎(chǔ)設(shè)施領(lǐng)域收獲累累碩果？Mohamed Awad總結(jié)了三大原因：首先是卓越性能，Arm的工程團(tuán)隊(duì)堅(jiān)持不懈地實(shí)現(xiàn)迭代提升；其次是靈活性，Arm賦能技術(shù)合作伙伴定制芯片，以支持其專用的工作負(fù)載和系統(tǒng)，而非采用一體適用的方案；最后是生態(tài)系統(tǒng)，Arm在軟件、 IP 和芯片生態(tài)系統(tǒng)中提供出色性能和靈活性，從而降低配置的總成本并加速產(chǎn)品上市。Arm獨(dú)特的定位，皆因結(jié)合這些優(yōu)勢(shì)，幫助合作伙伴隨時(shí)隨地以任何方式進(jìn)行部署。Arm Neoverse 計(jì)算子系統(tǒng) (CSS) 將這些優(yōu)勢(shì)演繹得淋漓盡致。而Arm 全面設(shè)計(jì) (Arm Total Design) 生態(tài)項(xiàng)目便是以此為基礎(chǔ)，提供了一個(gè)生態(tài)系統(tǒng)，參與其中的合作伙伴均致力于無(wú)縫交付基于 CSS 的定制芯片。

針對(duì)這樣的市場(chǎng)需求，Arm近期推出的兩款全新 Neoverse CSS 產(chǎn)品均基于全新的第三代 Neoverse IP 構(gòu)建，通過(guò)全新的平臺(tái)和計(jì)算子系統(tǒng)，Arm擴(kuò)展了 N 系列的CSS產(chǎn)品路線圖，推出Neoverse CSS N3，使每瓦性能更上一層樓。與此同時(shí)，Arm也針對(duì)性能優(yōu)先的 V 系列平臺(tái)推出新一代產(chǎn)品，并首次將計(jì)算子系統(tǒng)引入該產(chǎn)品線，推出Neoverse CSS V3。憑借新的 CSS N3 和 CSS V3，Arm專注于釋放芯粒（Chiplet）等新技術(shù)的潛力，并更大限度地優(yōu)化實(shí)際工作負(fù)載的總體擁有成本 (TCO)，這對(duì)于整個(gè)生態(tài)系統(tǒng)至關(guān)重要，其中包括 AI、數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)等。

談到新推出的Neoverse CSS N3，Arm 基礎(chǔ)設(shè)施事業(yè)部產(chǎn)品解決方案副總裁 Dermot O’Driscoll突出強(qiáng)調(diào)的就是能效。CSS N3 與 CSS N2 相比，其每核心的每瓦性能提升 20%。Arm對(duì) CSS N3 進(jìn)行了調(diào)優(yōu)，以填補(bǔ)Arm發(fā)現(xiàn)的市場(chǎng)空缺，提供滿足基礎(chǔ)設(shè)施性能要求的高效計(jì)算。

CSS N3 的首個(gè)實(shí)例可提供 32 核，熱設(shè)計(jì)功耗 (TDP) 低至 40W。其可擴(kuò)展性非常強(qiáng)，可覆蓋電信、網(wǎng)絡(luò)和 DPU 等一系列應(yīng)用。Arm也同時(shí)考慮橫向擴(kuò)展云配置。CSS N3 基于新的 Neoverse N3 IP 平臺(tái)打造，為新的 N 系列產(chǎn)品引入了 Armv9.2 功能，能為每個(gè)核心提供 2MB 的專用 L2 緩存，并支持最新的 PCIe 和 CXL I/O 標(biāo)準(zhǔn)以及 UCIe 芯粒標(biāo)準(zhǔn)。

有些客戶希望在保有 CSS 所有優(yōu)勢(shì)的同時(shí)，實(shí)現(xiàn)更高的性能。因此，Arm還將 CSS 項(xiàng)目擴(kuò)展到V 系列核心，推出了 Neoverse CSS V3。與 CSS N2 產(chǎn)品相比，CSS V3 的單芯片性能提高了 50%。CSS V3 在單芯片上最多可擴(kuò)展至 128 核，并支持最新的高速內(nèi)存和 I/O 標(biāo)準(zhǔn)。CSS V3 基于Arm新的 Neoverse V3 核心打造，是 Arm 目前單線程性能最高的 Neoverse 核心。V3 為 Arm 機(jī)密計(jì)算架構(gòu) (CCA) 提供硬件支持。V3 和 N3 核心均可提供業(yè)界領(lǐng)先的專用 L2 緩存大小，顯著改善性能表現(xiàn)。

談到新 CPU 核心的性能提升，Dermot O’Driscoll展示了新產(chǎn)品全方位的表現(xiàn)提升，從視頻處理到 SQL 數(shù)據(jù)庫(kù)的性能均有所躍進(jìn)。如今，人們常常忽視的一點(diǎn)是，有多少計(jì)算周期最終被用于壓縮和協(xié)議轉(zhuǎn)換等后臺(tái)任務(wù)。N 系列在壓縮方面取得了性能優(yōu)勢(shì)，可降低云服務(wù)運(yùn)營(yíng)商的成本，并最終降低云服務(wù)客戶的成本。同樣地，V 系列顯著提高了協(xié)議緩沖區(qū)的性能，這是在數(shù)據(jù)中心內(nèi)傳輸數(shù)據(jù)的一項(xiàng)關(guān)鍵功能。

AI是基礎(chǔ)設(shè)施不可避免的話題，Dermot O’Driscoll認(rèn)為，2023年有關(guān) AI 的討論焦點(diǎn)主要集中在生成式 AI 和大語(yǔ)言模型 (LLM) 上。目前行業(yè)重點(diǎn)更多放在訓(xùn)練 LLM 上，但隨著生成式 AI 廣泛應(yīng)用于實(shí)際業(yè)務(wù)場(chǎng)景，其工作重點(diǎn)將轉(zhuǎn)向推理。有些分析師估計(jì)，已部署的 AI 服務(wù)器中有高達(dá) 80% 專用于推理，且這一數(shù)字還將持續(xù)攀升。這一轉(zhuǎn)變意味著要找到合適的模型和模型配置，并加以訓(xùn)練，然后將其部署到更具成本效益的計(jì)算基礎(chǔ)設(shè)施上。吞吐量是其中一部分考慮因素，而在當(dāng)今廣泛部署的基于 Arm 架構(gòu)的芯片上，Token 生成吞吐量表現(xiàn)相當(dāng)優(yōu)異。但還有許多其他因素需要納入考量。CPU 廣泛可用，并可靈活用于 ML 或其他工作負(fù)載，此外，CPU 還易于部署，并可支持各種軟件框架，具備低成本和高能效等優(yōu)勢(shì)。因此，CPU 推理將是生成式 AI 計(jì)算應(yīng)用的關(guān)鍵組成。Arm可以看到，這些工作負(fù)載已從 ML 專用的 Neoverse 功能（如 Bfloat16、MatMul、SVE 和 SVE2），以及Arm的微架構(gòu)優(yōu)化中受益，而且這一趨勢(shì)還將繼續(xù)。

但顯然，并非所有 AI 處理都將在 CPU 上進(jìn)行。打造 AI 加速器的公司非常多。據(jù)最近統(tǒng)計(jì)，這一領(lǐng)域的公司已接近 80 家。每家公司都想取得 NVIDIA 那樣的成績(jī)，而 NVIDIA 不僅利用其領(lǐng)先的 Hopper GPU，同時(shí)也使用了基于 Neoverse V2 平臺(tái)的緊耦合計(jì)算芯粒 Grace。NVIDIA Grace Hopper 的一大關(guān)鍵創(chuàng)新在于內(nèi)存容量和共享內(nèi)存模式。這種緊耦合的 CPU 加上加速器配置，對(duì)大參數(shù) LLM 非常有益，對(duì)檢索-增強(qiáng)-生成 (RAG) 等新興方法也很有幫助。Neoverse CSS 是專為幫助客戶在基于Arm領(lǐng)先的 CPU 平臺(tái)上，快速打造通用計(jì)算芯粒而推出的產(chǎn)品。它能提供客戶所需的所有接口，以便選擇耦合自身的加速器。這種方法既可以在需要 CPU 時(shí)提供 CPU，又可以在需要 AI 加速器時(shí)提供 AI 加速器，做到兩全其美。

越來(lái)越多的 AI 工作負(fù)載被采用，并貫穿于整個(gè)計(jì)算流程，涵蓋從大型數(shù)據(jù)中心到網(wǎng)絡(luò)、服務(wù)器以及計(jì)算基礎(chǔ)設(shè)施的方方面面。Arm 此次推出的Neoverse V3 和 N3 可以提供支撐這一轉(zhuǎn)型所需的計(jì)算性能和效率，而在 Arm 全面設(shè)計(jì)生態(tài)項(xiàng)目的支持下，Arm的計(jì)算子系統(tǒng)能夠加速產(chǎn)品上市時(shí)間，并加大對(duì)創(chuàng)新的投資力度。Neoverse 只是 Arm 為各個(gè)行業(yè)市場(chǎng)提供經(jīng) AI 優(yōu)化的計(jì)算平臺(tái)的一個(gè)例子。Arm 的獨(dú)特之處在于其背靠龐大的生態(tài)系統(tǒng)，始終堅(jiān)定不移地推動(dòng)技術(shù)創(chuàng)新，為合作伙伴賦予了靈活的創(chuàng)新空間，為未來(lái)計(jì)算及 AI 起到基石作用。