生成式AI就緒 英特爾發(fā)布第五代至強(qiáng)可擴(kuò)展處理器

(導(dǎo)語(yǔ))實(shí)用化 AI 算力又升上了一個(gè)新臺(tái)階。

隨著AI大模型加速迭代,智能算力已成為稀缺資源。算力是AI發(fā)展的底層土壤,大語(yǔ)言模型的訓(xùn)練和推理都需要消耗大量的計(jì)算資源。傳統(tǒng)的通用算力往往難以滿足大模型對(duì)算力的高需求,因此,強(qiáng)大可靠的AI算力底座顯得尤為重要。

一些讓人始料未及的趨勢(shì)在人工智能的應(yīng)用領(lǐng)域出現(xiàn)了:很多傳統(tǒng)企業(yè)開始選擇在CPU平臺(tái)上落地和優(yōu)化AI應(yīng)用。

例如制造領(lǐng)域在高度精細(xì)且較為耗時(shí)的瑕疵檢測(cè)環(huán)節(jié),就導(dǎo)入了CPU及其他產(chǎn)品組合,來(lái)構(gòu)建橫跨“云-邊-端”的AI?缺陷檢測(cè)方案,代替?zhèn)鹘y(tǒng)的人工瑕疵檢測(cè)方式。

再比如亞信科技就在自家OCR-AIRPA方案中采用了CPU作為硬件平臺(tái),實(shí)現(xiàn)了從FP32到INT8/BF16的量化,從而在可接受的精度損失下,增加吞吐量并加速推理。將人工成本降至原來(lái)的1/5到1/9,效率還提升了約5-10倍。

在處理AI制藥領(lǐng)域最重要的算法——AlphaFold2這類大型模型上,CPU同樣也“加入群聊”。從去年開始,CPU便使AlphaFold2端到端的通量提升到了原來(lái)的23.11倍;而現(xiàn)如今,CPU讓這個(gè)數(shù)值再次提升3.02倍。

上述這些CPU,都有個(gè)共同的名字——至強(qiáng),即英特爾?? 至強(qiáng)?? 可擴(kuò)展處理器。

為什么這些AI任務(wù)的推理能用CPU,而不是只考慮由GPU或AI加速器來(lái)處理?

這里歷來(lái)存在很多爭(zhēng)論。

很多人認(rèn)為,真正落地的AI應(yīng)用往往與企業(yè)的核心業(yè)務(wù)緊密關(guān)聯(lián),在要求推理性能的同時(shí),也需要關(guān)聯(lián)到它的核心數(shù)據(jù),因此對(duì)數(shù)據(jù)安全和隱私的要求也很高,因此也更偏向本地化部署。

而結(jié)合這個(gè)需求,再考慮到真正用AI的傳統(tǒng)行業(yè)更熟悉、更了解也更容易獲取和使用CPU,那么使用服務(wù)器CPU混合精度實(shí)現(xiàn)的推理吞吐量,就是他們能夠更快和以更低成本解決自身需求的方法了。

面對(duì)越來(lái)越多傳統(tǒng)AI應(yīng)用和大模型在CPU上的落地優(yōu)化,“用CPU加速AI”這條道路被不斷驗(yàn)證。這就是在數(shù)據(jù)中心中,有70%的推理運(yùn)行在英特爾? 至強(qiáng)? 可擴(kuò)展處理器上的原因。

最近,英特爾的服務(wù)器CPU完成了又一次進(jìn)化。12月15日,第五代英特爾? 至強(qiáng)? 可擴(kuò)展處理器正式發(fā)布。英特爾表示,一款為AI加速而生,而且表現(xiàn)更強(qiáng)的處理器誕生了。

人工智能正在推動(dòng)人類與技術(shù)交互方式的根本性轉(zhuǎn)變,這場(chǎng)轉(zhuǎn)變的中心就是算力。

英特爾CEO帕特·基辛格(Pat Gelsinger)在2023英特爾ON技術(shù)創(chuàng)新大會(huì)表示:“在這個(gè)人工智能技術(shù)與產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型飛速發(fā)展的時(shí)代,英特爾保持高度的責(zé)任心,助力開發(fā)者,讓AI技術(shù)無(wú)處不在,讓AI更易觸達(dá)、更可見(jiàn)、透明并且值得信任?！?/p>

第五代至強(qiáng) 為AI加速

第五代英特爾? 至強(qiáng)? 可擴(kuò)展處理器的核心數(shù)量增加至64個(gè),配備了高達(dá)320MB的L3緩存和128MB的L2緩存。不論單核性能還是核心數(shù)量,它相比以往的至強(qiáng)都有了明顯提升。在最終性能指標(biāo)上,與上代產(chǎn)品相比,在相同功耗下平均性能提升21%,內(nèi)存帶寬提升高達(dá)16%,三級(jí)緩存容量提升到了原來(lái)的近3倍。

更為重要的是,第五代至強(qiáng)? 可擴(kuò)展處理器的每個(gè)內(nèi)核均具備AI加速功能,完全有能力處理要求嚴(yán)苛的AI工作負(fù)載。與上代相比,其訓(xùn)練性能提升多達(dá)29%,推理能力提升高達(dá)42%。

在重要的AI負(fù)載處理能力上,第五代英特爾? 至強(qiáng)? 可擴(kuò)展處理器也交出了令人滿意的答卷。

首先要讓CPU學(xué)會(huì)高效處理AI負(fù)載的方法:在第四代至強(qiáng)? 可擴(kuò)展處理器上,英特爾面向深度學(xué)習(xí)任務(wù)帶來(lái)了矩陣化的算力支持。

英特爾?? AMX就是至強(qiáng)CPU上的專用矩陣計(jì)算單元,可被視為CPU上的Tensor Core,從第四代至強(qiáng)? 可擴(kuò)展處理器開始成為內(nèi)置于CPU的AI加速引擎。

第五代至強(qiáng)?? 可擴(kuò)展處理器利用英特爾?? AMX與英特爾?? AVX-512指令集,配合更快的內(nèi)核,以及速度更快的內(nèi)存,可以讓生成式AI更快地在其上運(yùn)行,無(wú)需獨(dú)立的AI加速器就能執(zhí)行更多工作負(fù)載。

借助在自然語(yǔ)言處理 (NLP) 推理方面實(shí)現(xiàn)的性能飛躍,這款全新的至強(qiáng)? 可支持響應(yīng)更迅速的智能助手、聊天機(jī)器人、預(yù)測(cè)性文本、語(yǔ)言翻譯等工作負(fù)載,可以在運(yùn)行參數(shù)量200億的大語(yǔ)言模型時(shí),做到時(shí)延不超過(guò)100毫秒。

據(jù)了解,11.11期間,京東云便通過(guò)基于第五代英特爾? 至強(qiáng)? 可擴(kuò)展處理器的新一代服務(wù)器,成功應(yīng)對(duì)了業(yè)務(wù)量激增。與上一代服務(wù)器相比,新一代京東云服務(wù)器實(shí)現(xiàn)了23%的整機(jī)性能提升,AI計(jì)算機(jī)視覺(jué)推理性能提升了38%,Llama v2推理性能也提高了51%,輕松hold住用戶訪問(wèn)峰值同比提高170%、智能客服咨詢量超14億次的大促壓力。

除此之外,第五代英特爾? 至強(qiáng)? 可擴(kuò)展處理器也在能效、運(yùn)營(yíng)效率、安全及質(zhì)量等方面實(shí)現(xiàn)了全面提升,提供了向前代產(chǎn)品的軟件和引腳兼容性支持,以及硬件級(jí)安全功能和可信服務(wù)。

國(guó)內(nèi)云服務(wù)大廠阿里云也在發(fā)布會(huì)上披露了其實(shí)測(cè)體驗(yàn)數(shù)據(jù),基于第五代英特爾? 至強(qiáng)? 可擴(kuò)展處理器及英特爾? AMX、英特爾? TDX加速引擎,阿里云打造了 “生成式AI模型及數(shù)據(jù)保護(hù)”的創(chuàng)新實(shí)踐,使第八代ECS實(shí)例在實(shí)現(xiàn)了全場(chǎng)景加速和全能力提升情況下,更加固了安全性能,且保持實(shí)例價(jià)格不變,普惠客戶。

數(shù)據(jù)顯示,其在數(shù)據(jù)全流程保護(hù)的基礎(chǔ)上,AI推理性能提高25%、QAT加解密性能提升20%、數(shù)據(jù)庫(kù)性能提升25%,以及音視頻性能提升15%。

英特爾表示,第五代至強(qiáng)? 可擴(kuò)展處理器可為AI、數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)和科學(xué)計(jì)算工作負(fù)載帶來(lái)更強(qiáng)大的性能和更低的TCO,將目標(biāo)工作負(fù)載的每瓦性能提升高達(dá)10倍。

對(duì)先進(jìn)AI模型實(shí)現(xiàn)原生加速

為讓CPU能夠高效處理AI任務(wù),英特爾把AI加速的能力提升到了「開箱即用」的程度。

英特爾?? AMX除了可以加速深度學(xué)習(xí)的推理、訓(xùn)練以外,現(xiàn)在已經(jīng)支持了流行的深度學(xué)習(xí)框架。在深度學(xué)習(xí)開發(fā)者常用的TensorFlow、PyTorch上,英特爾? oneAPI深度神經(jīng)網(wǎng)絡(luò)庫(kù) (oneDNN) 提供了指令集層面的支持,使開發(fā)人員能夠在不同硬件架構(gòu)和供應(yīng)商之間自由遷移代碼,可以更輕松地利用芯片內(nèi)置的AI加速能力。

在保證了AI加速直接可用之后,英特爾利用高性能開源深度學(xué)習(xí)框架OpenVINO? 工具套件,幫助開發(fā)者實(shí)現(xiàn)了一次開發(fā)、多平臺(tái)部署。它可以轉(zhuǎn)換和優(yōu)化使用熱門框架訓(xùn)練好的模型,在多種英特爾硬件的環(huán)境中快速實(shí)現(xiàn),幫用戶最大程度地利用已有資源。

OpenVINO? 工具套件最新的版本也加入了對(duì)大型語(yǔ)言模型 (LLM) 性能的改進(jìn),可以支持生成式AI工作負(fù)載,包括聊天機(jī)器人、智能助手、代碼生成模型等。

OpenVINO? 工具套件2

通過(guò)這一系列技術(shù),英特爾讓開發(fā)者們能夠在幾分鐘內(nèi)調(diào)優(yōu)深度學(xué)習(xí)模型,或完成對(duì)中小型深度學(xué)習(xí)模型的訓(xùn)練,在不增加硬件和系統(tǒng)復(fù)雜性的前提下獲得媲美獨(dú)立AI加速器的性能。

比如在先進(jìn)的預(yù)訓(xùn)練大語(yǔ)言模型上,英特爾的技術(shù)就可以幫助用戶完成快速部署。

用戶可以從最熱門的機(jī)器學(xué)習(xí)代碼庫(kù)Hugging Face中下載預(yù)訓(xùn)練模型LLaMA2,然后使用英特爾?? PyTorch、英特爾?? Neural Compressor等將模型轉(zhuǎn)換為BF16或INT8精度版本以降低延遲,再使用PyTorch進(jìn)行部署。

英特爾表示,為了能夠緊跟AI領(lǐng)域的潮流,有數(shù)百名軟件開發(fā)人員正在不斷改進(jìn)常用的模型加速能力,讓用戶能夠在跟上最新軟件版本的同時(shí),獲得對(duì)于先進(jìn)AI模型的支持。

第五代至強(qiáng)? 可擴(kuò)展處理器的實(shí)力,目前已在部分大廠進(jìn)行了驗(yàn)證。火山引擎與英特爾合作升級(jí)了第三代彈性計(jì)算實(shí)例。

目前,火山引擎已通過(guò)獨(dú)有的潮汐資源并池能力,構(gòu)建百萬(wàn)核彈性資源池,能夠以近似包月的成本提供按量使用體驗(yàn),降低上云成本?；诘谖宕⑻貭? 至強(qiáng)? 可擴(kuò)展處理器,火山引擎第三代彈性計(jì)算實(shí)例整機(jī)算力再次提升了39%,應(yīng)用性能最高提升了43%。

這只是個(gè)開始?？梢灶A(yù)見(jiàn),很快會(huì)有更多科技公司的應(yīng)用能夠從第五代至強(qiáng)?? 可擴(kuò)展處理器的性能中獲益。

下一代至強(qiáng)已經(jīng)現(xiàn)身

未來(lái),人們對(duì)于生成式AI的需求還將不斷擴(kuò)大,更多的智能化應(yīng)用將會(huì)改變我們的生活。以計(jì)算能力為基礎(chǔ),萬(wàn)物感知、萬(wàn)物互聯(lián)、萬(wàn)物智能的時(shí)代正在加速到來(lái)。

面對(duì)這樣的趨勢(shì),英特爾正在加緊打造再下一代的至強(qiáng)CPU,它們面向AI的「專業(yè)化」程度還會(huì)更高。

在最近披露的英特爾數(shù)據(jù)中心路線圖上,下一代至強(qiáng)? 處理器將對(duì)不同工作負(fù)載、場(chǎng)景配備不同的核心,其中主打計(jì)算密集型與AI任務(wù)的型號(hào)會(huì)使用側(cè)重性能輸出的核「P-core」,面向高密度與橫向擴(kuò)展負(fù)載的型號(hào)則會(huì)使用有更高能效的核「E-core」,這兩種不同的核心架構(gòu)并存的設(shè)計(jì),既滿足部分用戶對(duì)極致性能的追求,也能兼顧到可持續(xù)發(fā)展綠色節(jié)能的需求。

未來(lái),英特爾還將如何實(shí)現(xiàn)晶體管和芯片性能的飛躍,在AI算力上還能有什么樣的躍升?

讓我們拭目以待。