英特爾Gaudi2的AI推理性能達(dá)到英偉達(dá)A100的2倍以上

9月12日，MLCommons公布針對(duì) 60 億參數(shù)大語(yǔ)言模型及計(jì)算機(jī)視覺與自然語(yǔ)言處理模型GPT-J的 MLPerf推理v3.1 性能基準(zhǔn)測(cè)試結(jié)果，其中包括英特爾所提交的基于Habana? Gaudi?2 加速器、第四代英特爾?至強(qiáng)?可擴(kuò)展處理器，以及英特爾?至強(qiáng)? CPU Max 系列的測(cè)試結(jié)果。該結(jié)果顯示了英特爾在AI推理方面極具競(jìng)爭(zhēng)力的表現(xiàn)，并進(jìn)一步加強(qiáng)了其對(duì)加速?gòu)脑频骄W(wǎng)絡(luò)到邊緣再到端的工作負(fù)載中大規(guī)模部署AI的承諾。

英特爾執(zhí)行副總裁兼數(shù)據(jù)中心與人工智能事業(yè)部總經(jīng)理Sandra Rivera表示：“正如最新的 MLCommons結(jié)果顯示，我們擁有強(qiáng)大的、具有競(jìng)爭(zhēng)力的人工智能產(chǎn)品組合以滿足客戶對(duì)高性能、高效率的深度學(xué)習(xí)推理及訓(xùn)練的需求，同時(shí)，針對(duì)各種規(guī)模的人工智能模型，英特爾產(chǎn)品組合均具有領(lǐng)先的性價(jià)比優(yōu)勢(shì)?！?/p>

根據(jù)6月披露的MLCommons AI訓(xùn)練結(jié)果和Hugging Face性能基準(zhǔn)測(cè)試驗(yàn)證，Gaudi2 在先進(jìn)的視覺語(yǔ)言模型上擁有卓越的性能，而今天的結(jié)果進(jìn)一步證明了英特爾能夠提供滿足AI計(jì)算需求的絕佳解決方案。

考慮到客戶的個(gè)性化需求，英特爾正在通過(guò)能夠幫助解決AI工作負(fù)載中推理與訓(xùn)練問(wèn)題的產(chǎn)品，讓AI無(wú)處不在。英特爾的AI產(chǎn)品為客戶提供了可根據(jù)各自性能、效率及目標(biāo)成本進(jìn)行靈活匹配以獲取最佳AI解決方案的理想選擇，同時(shí)亦幫助客戶開放生態(tài)系統(tǒng)。

關(guān)于Habana Gaudi2的測(cè)試結(jié)果：

Habana Gaudi2 在GPT-J模型上的推理結(jié)果強(qiáng)有力地驗(yàn)證了其具有競(jìng)爭(zhēng)力的性能。

? Gaudi2 在GPT-J-99 和GPT-J-99.9 上的服務(wù)器查詢和離線樣本的推理性能分別為78.58 次/秒和84.08 次/秒。

對(duì)比競(jìng)品，H100相較于Gaudi2只有1.09 倍（服務(wù)器）、1.28 倍（離線）的性能領(lǐng)先優(yōu)勢(shì)，Gaudi2對(duì)比A100的優(yōu)勢(shì)則可達(dá)2.4倍（服務(wù)器）、2倍（離線）的性能。

? Gaudi2 提交的結(jié)果采用 FP8數(shù)據(jù)類型，并在這種新數(shù)據(jù)類型上達(dá)到了 99.9% 的準(zhǔn)確率。

△Habana Gaudi 2

隨著每6-8周公布的 Gaudi2 軟件更新，英特爾將繼續(xù)在 MLPerf 基準(zhǔn)測(cè)試中展現(xiàn)其產(chǎn)品的性能提升，以及持續(xù)擴(kuò)大的模型覆蓋范圍。

關(guān)于第四代至強(qiáng)可擴(kuò)展處理器的測(cè)試結(jié)果：

英特爾提交了基于第四代英特爾至強(qiáng)可擴(kuò)展處理器的7個(gè)推理基準(zhǔn)測(cè)試，其中包括GPT-J模型。結(jié)果顯示，包括視覺、語(yǔ)言處理、語(yǔ)音和音頻翻譯模型，以及更大的 DLRM v2 深度學(xué)習(xí)推薦模型及ChatGPT-J 模型在內(nèi)，第四代至強(qiáng)處理器對(duì)于通用 AI 工作負(fù)載擁有出色的性能。此外，截至目前，英特爾仍是唯一一家使用行業(yè)標(biāo)準(zhǔn)的深度學(xué)習(xí)生態(tài)系統(tǒng)軟件提交公開 CPU 結(jié)果的廠商。

? 第四代英特爾至強(qiáng)可擴(kuò)展處理器是通過(guò)流行的AI框架與庫(kù)構(gòu)建及部署通用AI工作負(fù)載的理想選擇。對(duì)于GPT-J對(duì)約 1000-1500 字新聞稿進(jìn)行100 字總結(jié)的任務(wù)，第四代至強(qiáng)可擴(kuò)展處理器可在離線模式下完成每秒兩段的總結(jié)提要，在實(shí)時(shí)服務(wù)器模式下完成每秒一段的總結(jié)提要。

? 英特爾首次提交了英特爾至強(qiáng)CPU Max 系列的MLPerf 結(jié)果，該系列可提供高達(dá)64 GB的高帶寬內(nèi)存。對(duì)于 GPT-J而言，它是僅有的能夠達(dá)到 99.9% 準(zhǔn)確度的 CPU，這對(duì)于對(duì)精度要求極高的應(yīng)用來(lái)說(shuō)至關(guān)重要。

? 英特爾與OEM廠商合作提交了測(cè)試結(jié)果，進(jìn)一步展示了其AI性能的可擴(kuò)展性，以及基于英特爾至強(qiáng)處理器的通用服務(wù)器的可獲取性，充分滿足客戶服務(wù)水平協(xié)議 (SLA)。

△第四代至強(qiáng)可擴(kuò)展處理器

MLPerf 是業(yè)內(nèi)享有盛名的 AI 性能基準(zhǔn)測(cè)試，旨在實(shí)現(xiàn)公平、可重復(fù)的產(chǎn)品性能比較。英特爾計(jì)劃為下一個(gè) MLPerf測(cè)試提交新的AI訓(xùn)練性能結(jié)果。持續(xù)的性能更新彰顯了英特爾致力于幫助客戶、助力AI技術(shù)演進(jìn)所邁出的每一步，無(wú)論是低成本的AI處理器，還是面向網(wǎng)絡(luò)、云和企業(yè)用戶的高性能AI硬件加速器或是 GPU。

編輯：芯智訊-林子