新聞中心

EEPW首頁 > 業(yè)界動態(tài) > 生成式AI賽道風起云涌,英特爾Gaudi2 AI加速器強勢出戰(zhàn)

生成式AI賽道風起云涌,英特爾Gaudi2 AI加速器強勢出戰(zhàn)

作者: 時間:2023-07-13 來源:電子產(chǎn)品世界 收藏

7月11日,英特爾AI產(chǎn)品戰(zhàn)略暨Gaudi2新品發(fā)布會在京舉行。會上,英特爾正式于中國市場推出第二代Gaudi深度學習加速器——Habana? Gaudi?2。作為英特爾從云到端產(chǎn)品組合的重要組成,Gaudi2致力于以領先的性價比優(yōu)勢,加速AI訓練及推理,為中國用戶提供更高的深度學習性能和效率,從而成為大規(guī)模部署AI的更優(yōu)解。

本文引用地址:http://m.butianyuan.cn/article/202307/448567.htm

image.png

英特爾于中國市場推出Gaudi2深度學習加速器

英特爾執(zhí)行副總裁兼數(shù)據(jù)中心與人工智能事業(yè)部總經(jīng)理Sandra Rivera指出,英特爾致力于通過為客戶提供廣泛的硬件選擇,并支持開放的軟件環(huán)境,加速人工智能技術的發(fā)展。憑借包括至強可擴展處理器和Gaudi2深度學習加速器在內(nèi)的產(chǎn)品組合,英特爾正在降低人工智能的準入門檻,并強化客戶在云端通過網(wǎng)絡和智能邊緣部署這一關鍵業(yè)務技術的能力,從而幫助構建中國人工智能的未來。

 

為深度學習而生的全新Gaudi2訓練加速器

 

Gaudi2深度學習加速器暨Gaudi2夾層卡HL-225B,以第一代Gaudi高性能架構為基礎,以多方位性能與能效比提升,加速高性能大語言模型運行。該加速器具備:

· 24個可編程Tensor處理器核心(TPCs)

· 21個100Gbps(RoCEv2)以太網(wǎng)接口

· 96GB HBM2E內(nèi)存容量

· 2.4TB/秒的總內(nèi)存帶寬

· 48MB片上SRAM

· 集成多媒體處理引擎

image.png

HabanaGaudi?2深度學習加速器

Gaudi2加速器的出色性能在6月公布的MLCommons? MLPerf?基準測試中得到了充分認證,其在GPT-3模型、計算機視覺模型ResNet-50(使用8個加速器)、Unet3D(使用8個加速器),以及自然語言處理模型BERT(使用8個和64個加速器)上均取得了優(yōu)異的訓練結果。與市場上其他面向大規(guī)模生成式AI和大語言模型的產(chǎn)品相比,Gaudi2擁有卓越的性能與領先的性價比優(yōu)勢,能夠幫助用戶提升運營效率的同時,降低運營成本。

 

此外,Gaudi2可為大規(guī)模的多模態(tài)和語言模型提供出色的推理性能。最近Hugging Face評估,其在大規(guī)模推理方面的表現(xiàn),包括在運行Stable Diffusion(另一個用于從文本生成圖像的最先進生成式AI模型之一)、70億以及1760億參數(shù)BLOOMz模型時,在行業(yè)內(nèi)保持領先。

 

滿足大語言和多模態(tài)模型的需求

 

Gaudi2深度學習加速器的架構旨在高效擴展,以滿足大規(guī)模語言模型及生成式AI模型的需求。其每張芯片集成了21個專用于內(nèi)部互聯(lián)的100GbpsRoCEv2 RDMA)以太網(wǎng)接口,從而實現(xiàn)低延遲服務器內(nèi)擴展。

 

Stable Diffusion訓練上,Gaudi2展示了從1張卡至64張卡近線性99%的擴展性。此外,MLCommons剛剛公布的MLPerf訓練3.0結果,亦驗證了Gaudi2處理器在1750億參數(shù)的GPT-3模型上,從256加速器384個加速器可實現(xiàn)令人印象深刻的接近線性的95%擴展效果。

 

具備成熟的軟件支持,Gaudi2產(chǎn)品在中國市場正式上市

 

伴隨日益增長的生成式AI及大語言模型需求,英特爾亦致力于打造領先、成熟的軟件支持,充分釋放Gaudi2深度學習加速器性能。

 

為支持客戶輕松構建模型,或?qū)斍盎?/span>GPU的模型業(yè)務和系統(tǒng)遷移到基于全新Gaudi2服務器,并幫助保護軟件開發(fā)投入,SynapseAI?軟件套件針對Gaudi平臺深度學習業(yè)務進行了優(yōu)化,旨在與廣泛的軟件生態(tài)系統(tǒng)一起,幫助簡化模型的開發(fā)和遷移。SynapseAI集成了TensorFlow和PyTorch框架的支持,并提供眾多流行的計算機視覺和自然語言參考模型,能夠滿足深度學習開發(fā)者的多樣化需求。

 

目前,英特爾正與浪潮信息合作,打造并發(fā)售基于Gaudi2深度學習加速器的浪潮信息AI服務器NF5698G7。該服務器集成了8顆Gaudi2加速卡HL-225B,還包含雙路第四代英特爾至強可擴展處理器。

image.png

基于Gaudi2加速器的浪潮NF5698G7服務器

攜手中國產(chǎn)業(yè)生態(tài),共啟人工智能新篇

 

多年來,借助強大的AI軟硬件基礎,英特爾一直致力于為AI領域的各類工作負載提供業(yè)界領先的卓越性能,并通過開放的生態(tài)、豐富多樣的產(chǎn)品選擇不斷降低AI部署的門檻,并為中國的AI發(fā)展提供堅定支持。

 

本次發(fā)布會上,美團、百度與浪潮信息等生態(tài)伙伴分別分享了其基于英特爾軟硬件產(chǎn)品組合的多樣化智能業(yè)務進展。百度智能云服務器高級經(jīng)理何永占表示,集成英特爾?AMX加速引擎的第四代英特爾?至強?可擴展處理器為ERNIE-Tiny模型帶來了多倍的性能優(yōu)化,百度將持續(xù)構建領先的AI全棧能力和全面的開放生態(tài),并期待與英特爾在未來的AI領域展開更為廣泛、深入的合作。浪潮信息高級產(chǎn)品經(jīng)理王磊強調(diào),NF5698G7是專為面向生成式AI市場創(chuàng)新開發(fā)的新一代AI服務器,支持8顆OAM高速互聯(lián)的Gaudi2加速器,具備高性能、高擴展、高能效和開放生態(tài)等優(yōu)點,將為AI客戶提供強大的大模型訓練和推理能力。未來,浪潮信息將繼續(xù)攜手英特爾,為行業(yè)打造創(chuàng)新、領先的產(chǎn)品方案。

 

此外,多家本土生態(tài)伙伴亦表明了與英特爾在當下及未來產(chǎn)品合作上的堅定立場與長遠展望新華三集團計算存儲產(chǎn)品線副總裁劉宏程指出,新華三智慧計算秉持內(nèi)生智能的技術理念,基于硬件使能、前瞻技術、綠色低碳等全方位能力,助力AI產(chǎn)業(yè)的高速發(fā)展?;谟⑻貭?/span>Gaudi2 AI加速器,新華三正與英特爾緊密合作,開發(fā)適合大模型訓練和推理的高性能AI服務器,推動智能算力的普惠創(chuàng)新。與此同時,超聚變數(shù)字技術有限公司算力基礎設施領域總裁唐啟明表示,非常榮幸見證英特爾Gaudi2的發(fā)布。作為英特爾的長期戰(zhàn)略合作伙伴,超聚變將一如既往攜手英特爾,共同推出基于Gaudi2的全新產(chǎn)品與解決方案,助力企業(yè)的AI場景成熟商用和規(guī)模落地。

 

未來,英特爾將持續(xù)引領產(chǎn)品技術發(fā)展,進一步加速大規(guī)模深度學習部署,助力中國本地AI市場發(fā)展。



關鍵詞:

評論


相關推薦

技術專區(qū)

關閉