新聞中心

EEPW首頁(yè) > 智能計(jì)算 > 新品快遞 > 英特爾通過(guò)軟硬件為L(zhǎng)Iama 2大模型提供加速

英特爾通過(guò)軟硬件為L(zhǎng)Iama 2大模型提供加速

—— 持續(xù)發(fā)力推動(dòng)AI發(fā)展
作者: 時(shí)間:2023-07-20 來(lái)源:電子產(chǎn)品世界 收藏

廣泛的AI硬件組合及開(kāi)放的軟件環(huán)境,為Meta發(fā)布的Llama 2模型提供了極具競(jìng)爭(zhēng)力的選擇,進(jìn)一步助力大語(yǔ)言模型的普及,推動(dòng)AI發(fā)展惠及各行各業(yè)。

本文引用地址:http://m.butianyuan.cn/article/202307/448837.htm

 

大語(yǔ)言模型(LLM)在生成文本、總結(jié)和翻譯內(nèi)容、回答問(wèn)題、參與對(duì)話以及執(zhí)行復(fù)雜任務(wù)(如解決數(shù)學(xué)問(wèn)題或推理)方面表現(xiàn)出的卓越能力,使其成為最有希望規(guī)?;旄I鐣?huì)的AI技術(shù)之一。大語(yǔ)言模型有望解鎖更豐富的創(chuàng)意和洞察,并激發(fā)AI社區(qū)推進(jìn)技術(shù)發(fā)展的熱情。

 

Llama 2旨在幫助開(kāi)發(fā)者、研究人員和組織構(gòu)建基于生成式AI的工具和體驗(yàn)。Meta發(fā)布了多個(gè)Llama 2的預(yù)訓(xùn)練和微調(diào)版本,擁有70億、130億和700億三種參數(shù)。通過(guò)Llama 2,Meta在公司的各個(gè)微調(diào)模型中采用了三項(xiàng)以安全為導(dǎo)向的核心技術(shù):安全的有監(jiān)督微調(diào)、安全的目標(biāo)文本提取以及安全的人類反饋強(qiáng)化學(xué)習(xí)(RLHF)。這些技術(shù)相結(jié)合,使Meta得以提高安全性能。隨著越來(lái)越廣泛的使用,人們將能夠以透明、公開(kāi)的方式不斷識(shí)別并降低生成有害內(nèi)容的風(fēng)險(xiǎn)。

 

致力于通過(guò)提供廣泛的硬件選擇和開(kāi)放的軟件環(huán)境,推動(dòng)AI的發(fā)展與普及。提供了一系列AI解決方案,為AI社區(qū)開(kāi)發(fā)和運(yùn)行Llama 2等模型提供了極具競(jìng)爭(zhēng)力和極具吸引力的選擇。英特爾豐富的AI硬件產(chǎn)品組合與優(yōu)化開(kāi)放的軟件相結(jié)合,為應(yīng)對(duì)算力挑戰(zhàn)提供了可行的方案。

 

英特爾提供了滿足模型的開(kāi)發(fā)和部署的AI優(yōu)化軟件。開(kāi)放生態(tài)系統(tǒng)是英特爾得天獨(dú)厚的戰(zhàn)略優(yōu)勢(shì),在AI領(lǐng)域亦是如此。我們致力于培育一個(gè)充滿活力的開(kāi)放生態(tài)系統(tǒng)來(lái)推動(dòng)AI創(chuàng)新,其安全、可追溯、負(fù)責(zé)任以及遵循道德,這對(duì)整個(gè)行業(yè)至關(guān)重要。此次發(fā)布的進(jìn)一步彰顯了我們的核心價(jià)值觀——開(kāi)放,為開(kāi)發(fā)人員提供了一個(gè)值得信賴的選擇。Llama 2模型的發(fā)布是我們行業(yè)向開(kāi)放式AI發(fā)展轉(zhuǎn)型邁出的重要一步,即以公開(kāi)透明的方式推動(dòng)創(chuàng)新并助力其蓬勃發(fā)展。

 

英特爾軟件與先進(jìn)技術(shù)副總裁兼人工智能和分析部門總經(jīng)理,李煒

英特爾軟件與先進(jìn)技術(shù)副總裁兼執(zhí)行戰(zhàn)略部總經(jīng)理,Melissa Evers

 

Llama 2發(fā)布之際,我們很高興地分享70億和130億參數(shù)模型的初始推理性能測(cè)試結(jié)果。這些模型在英特爾AI產(chǎn)品組合上運(yùn)行,包括Habana? Gaudi?2深度學(xué)習(xí)加速器、第四代英特爾?至強(qiáng)?可擴(kuò)展處理器、英特爾?至強(qiáng)?CPU Max系列和英特爾?數(shù)據(jù)中心GPU Max系列。我們?cè)诒疚闹蟹窒淼男阅苤笜?biāo)是我們當(dāng)前軟件提供的開(kāi)箱即用的性能,并有望在未來(lái)的軟件中進(jìn)一步提升。我們還支持700億參數(shù)模型,并將很快分享最新相關(guān)信息。

 

Habana? Gaudi?2 深度學(xué)習(xí)加速器

 

Habana Gaudi2旨在為用戶提供高性能、高能效的訓(xùn)練推理,尤其適用于諸如LlamaLlama 2大語(yǔ)言模型。Gaudi2加速器具備96GB HBM2E的內(nèi)存容量,可滿足大語(yǔ)言模型的內(nèi)存需求并提高推理性能。Gaudi2配備Habana? SynapseAI?軟件套件,該套件集成了對(duì)PyTorchDeepSpeed的支持,以用于大語(yǔ)言模型的訓(xùn)練和推理。此外,SynapseAI近期開(kāi)始支持HPU GraphsDeepSpeed推理,專門針對(duì)時(shí)延敏感度高的推理應(yīng)用。Gaudi2還將進(jìn)行進(jìn)一步的軟件優(yōu)化,包括計(jì)劃在2023年第三季度支持FP8數(shù)據(jù)類型。此優(yōu)化預(yù)計(jì)將在執(zhí)行大語(yǔ)言模型時(shí)大幅提高性能、吞吐量,并有效降低延遲。

 

大語(yǔ)言模型的性能需要靈活敏捷的可擴(kuò)展性,來(lái)突破服務(wù)器內(nèi)以及跨節(jié)點(diǎn)間的網(wǎng)絡(luò)瓶頸。每張Gaudi2芯片集成了21個(gè)100Gbps以太網(wǎng)接口,21個(gè)接口專用于連接服務(wù)器內(nèi)的8Gaudi2,該網(wǎng)絡(luò)配置有助于提升服務(wù)器內(nèi)外的擴(kuò)展性能。

 

在近期發(fā)布的MLPerf基準(zhǔn)測(cè)試中,Gaudi2在大語(yǔ)言模型上展現(xiàn)了出色的訓(xùn)練性能,包括在384個(gè)Gaudi2加速器上訓(xùn)練1750億參數(shù)的GPT-3模型所展現(xiàn)的結(jié)果。Gaudi2經(jīng)過(guò)驗(yàn)證的高性能使其成為LlamaLlama 2模型訓(xùn)練和推理的高能效解決方案。

 

1顯示了70億參數(shù)和130億參數(shù)Llama 2模型的推理性能。模型分別在一臺(tái)Habana Gaudi2設(shè)備上運(yùn)行,batch size=1,輸出token長(zhǎng)度256,輸入token長(zhǎng)度不定,使用BF16精度。報(bào)告的性能指標(biāo)為每個(gè)token的延遲(不含第一個(gè))。該測(cè)試使用optimum-habana文本生成腳本Llama模型上運(yùn)行推理。optimum-habana庫(kù)能夠幫助簡(jiǎn)化在Gaudi加速器上部署此類模型的流程,僅需極少的代碼更改即可實(shí)現(xiàn)。如圖1所示,對(duì)于1282000輸入token,在70億參數(shù)模型上Gaudi2的推理延遲范圍為每token 9.0-12.2毫秒,而對(duì)于130億參數(shù)模型,范圍為每token 15.5-20.4毫秒1。

 

image.png 

1 基于Habana Gaudi2,70億和130億參數(shù)Llama 2模型的推理性能

  

英特爾?至強(qiáng)?可擴(kuò)展處理器

 

第四代英特爾至強(qiáng)可擴(kuò)展處理器是一款通用計(jì)算處理器,具有英特爾?高級(jí)矩陣擴(kuò)展(英特爾?AMX)的AI加速功能。具體而言,該處理器的每個(gè)核心內(nèi)置了BF16INT8通用矩陣乘(GEMM)加速器,以加速深度學(xué)習(xí)訓(xùn)練和推理工作負(fù)載。此外,英特爾?至強(qiáng)? CPU Max系列, 每顆CPU 提供64GB的高帶寬內(nèi)存(HBM2E), 兩顆共128GB,由于大語(yǔ)言模型的工作負(fù)載通常受到內(nèi)存帶寬的限制,因此,該性能對(duì)于來(lái)說(shuō)極為重要。

 

目前,針對(duì)英特爾至強(qiáng)處理器的軟件優(yōu)化已升級(jí)到深度學(xué)習(xí)框架中,并可用于PyTorch*、TensorFlow*DeepSpeed*和其它AI庫(kù)的默認(rèn)發(fā)行版。英特爾主導(dǎo)了torch.compile CPU后端的開(kāi)發(fā)和優(yōu)化,這是PyTorch 2.0的旗艦功能。與此同時(shí),英特爾還提供英特爾?PyTorch擴(kuò)展包*Intel? Extension for PyTorch*),旨在PyTorch官方發(fā)行版之前,盡早、及時(shí)地為客戶提供英特爾CPU的優(yōu)化。

 

第四代英特爾至強(qiáng)可擴(kuò)展處理器擁有更高的內(nèi)存容量,支持在單個(gè)插槽內(nèi)實(shí)現(xiàn)適用于對(duì)話式AI和文本摘要應(yīng)用的、低延遲的大語(yǔ)言模型執(zhí)行。對(duì)于BF16INT8,該結(jié)果展示了單個(gè)插槽內(nèi)執(zhí)行1個(gè)模型時(shí)的延遲。英特爾?PyTorch擴(kuò)展包*支持SmoothQuant,以確保INT8精度模型具有良好的準(zhǔn)確度。

 

考慮到大語(yǔ)言模型應(yīng)用需要以足夠快的速度生成token,以滿足讀者較快的閱讀速度,我們選擇token延遲,即生成每個(gè)token所需的時(shí)間作為主要的性能指標(biāo),并以快速人類讀者的閱讀速度(約為每個(gè)token 100毫秒)作為參考。如圖2、3所示,對(duì)于70億參數(shù)的Llama2 BF16模型和130億參數(shù)的Llama 2 INT8模型,第四代英特爾至強(qiáng)單插槽的延遲均低于100毫秒2

 

得益于更高的HBM2E帶寬,英特爾至強(qiáng)CPU Max系列為以上兩個(gè)模型提供了更低的延遲。而憑借英特爾AMX加速器,用戶可以通過(guò)更高的批量尺寸(batch size)來(lái)提高吞吐量。

 

image.png 

2 基于英特爾至強(qiáng)可擴(kuò)展處理器,70億參數(shù)和130億參數(shù)Llama 2模型(BFloat16)的推理性能

 

image.png 

3 基于英特爾至強(qiáng)可擴(kuò)展處理器,70億參數(shù)和130億參數(shù)Llama 2模型(INT8)的推理性能

 

對(duì)于70億和130億參數(shù)的模型,每個(gè)第四代至強(qiáng)插槽可提供低于100毫秒的延遲。用戶可以分別在兩個(gè)插槽上同時(shí)運(yùn)行兩個(gè)并行實(shí)例,從而獲得更高的吞吐量,并獨(dú)立地服務(wù)客戶端。亦或者,用戶可以通過(guò)英特爾?PyTorch擴(kuò)展包*DeepSpeed* CPU,使用張量并行的方式在兩個(gè)第四代至強(qiáng)插槽上運(yùn)行推理,從而進(jìn)一步降低延遲或支持更大的模型。

 

關(guān)于在至強(qiáng)平臺(tái)上運(yùn)行大語(yǔ)言模型和Llama 2,開(kāi)發(fā)者可以點(diǎn)擊此處了解更多詳細(xì)信息。第四代英特爾至強(qiáng)可擴(kuò)展處理器的云實(shí)例可在AWSMicrosoft Azure上預(yù)覽,目前已在谷歌云平臺(tái)和阿里云全面上線。英特爾將持續(xù)在PyTorch*DeepSpeed*進(jìn)行軟件優(yōu)化,以進(jìn)一步加速Llama 2和其它大語(yǔ)言模型。

 

英特爾? 數(shù)據(jù)中心GPU Max系列

 

英特爾數(shù)據(jù)中心GPU Max系列提供并行計(jì)算、科學(xué)計(jì)算和適用于科學(xué)計(jì)算的AI加速。作為英特爾性能最為出色、密度最高的獨(dú)立顯卡,英特爾數(shù)據(jù)中心GPU Max系列產(chǎn)品中封裝超過(guò)1000億個(gè)晶體管,并包含多達(dá)128個(gè)Xe內(nèi)核,Xe是英特爾GPU的計(jì)算構(gòu)建模塊。

 

英特爾數(shù)據(jù)中心GPU Max系列旨在為AI和科學(xué)計(jì)算中使用的數(shù)據(jù)密集型計(jì)算模型提供突破性的性能,包括:

· 408 MB基于獨(dú)立SRAM技術(shù)的L2緩存、64MB L1緩存以及高達(dá)128GB的高帶寬內(nèi)存(HBM2E)。

· AI增強(qiáng)型的Xe英特爾?矩陣擴(kuò)展(英特爾? XMX)搭載脈動(dòng)陣列,在單臺(tái)設(shè)備中可實(shí)現(xiàn)矢量和矩陣功能。

 

英特爾Max系列產(chǎn)品統(tǒng)一支持oneAPI,并基于此實(shí)現(xiàn)通用、開(kāi)放、基于標(biāo)準(zhǔn)的編程模型,釋放生產(chǎn)力和性能。英特爾oneAPI工具包括高級(jí)編譯器、庫(kù)、分析工具和代碼遷移工具,可使用SYCL輕松將CUDA代碼遷移到開(kāi)放的C++

 

英特爾數(shù)據(jù)中心Max系列GPU通過(guò)當(dāng)今框架的開(kāi)源擴(kuò)展來(lái)實(shí)現(xiàn)軟件支持和優(yōu)化,例如面向PyTorch*的英特爾擴(kuò)展、面向TensorFlow*的英特爾?擴(kuò)展和面向DeepSpeed*的英特爾?擴(kuò)展。通過(guò)將這些擴(kuò)展與上游框架版本一起使用,用戶將能夠在機(jī)器學(xué)習(xí)工作流中實(shí)現(xiàn)快速整合。

 

我們?cè)谝粋€(gè)600OAM形態(tài)的GPU上評(píng)估了Llama 270億參數(shù)模型和Llama 2130億參數(shù)模型推理性能,這個(gè)GPU上封裝了兩個(gè)tile,而我們只使用其中一個(gè)tile來(lái)運(yùn)行推理。圖4顯示,對(duì)于輸入長(zhǎng)度為322000token,英特爾數(shù)據(jù)中心GPU Max系列的一個(gè)tile可以為70億參數(shù)模型的推理提供低于20毫秒的單token延遲,130億參數(shù)模型的單token延遲為29.2-33.8毫秒3。因?yàn)樵?/span>GPU上封裝了兩個(gè)tile,用戶可以同時(shí)并行運(yùn)行兩個(gè)獨(dú)立的實(shí)例,每個(gè)tile上運(yùn)行一個(gè),以獲得更高的吞吐量并獨(dú)立地服務(wù)客戶端。

 

image.png 

4英特爾數(shù)據(jù)中心GPU Max 1550上的Llama 270億和130億參數(shù)模型的推理性能

 

目前英特爾開(kāi)發(fā)者云平臺(tái)上已發(fā)布英特爾GPU Max云實(shí)例測(cè)試版。

 

英特爾平臺(tái)上的大語(yǔ)言模型微調(diào)

 

除了推理之外,英特爾一直在積極地推進(jìn)微調(diào)加速,通過(guò)向Hugging Face TransformersPEFT、AccelerateOptimum 庫(kù)提供優(yōu)化,并在面向Transformers的英特爾?擴(kuò)展中提供參考工作流。這些工作流支持在相關(guān)英特爾平臺(tái)上高效地部署典型的大語(yǔ)言模型任務(wù),如文本生成、代碼生成、完成和摘要。

 

總結(jié)

 

上述內(nèi)容介紹了在英特爾AI硬件產(chǎn)品組合上運(yùn)行Llama 270億和130億參數(shù)模型推理性能的初始評(píng)估,包括Habana Gaudi2深度學(xué)習(xí)加速器、第四代英特爾至強(qiáng)可擴(kuò)展處理器、英特爾?至強(qiáng)? CPU Max系列和英特爾數(shù)據(jù)中心GPU Max系列。我們將繼續(xù)通過(guò)軟件發(fā)布提供優(yōu)化,后續(xù)會(huì)再分享更多關(guān)于大語(yǔ)言模型和更大的Llama 2模型的評(píng)估。

 

參考資料

 

Intel / intel-extension-for-pytorch:一個(gè)用于擴(kuò)展官方PyTorchPyTorch軟件包,可以輕松地獲取英特爾平臺(tái)的性能(github.com

使用英特爾?神經(jīng)壓縮器進(jìn)行模型壓縮:huggingface/optimum-habana:在Habana Gaudi 處理器(HPU)上輕松地極速訓(xùn)練??? Transformersgithub.com

面向英特爾? 數(shù)據(jù)中心GPU Max系列的開(kāi)發(fā)工具

Meta Llama2論文:https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/

Meta Llama2博客:https://ai.meta.com/llama/

 

產(chǎn)品和性能信息

 

1 Habana? Gaudi?2深度學(xué)習(xí)加速器:所有測(cè)量使用了一臺(tái)HLS2 Gaudi2服務(wù)器上的Habana SynapseAI 1.10版和optimum-habana 1.6版,該服務(wù)器具有八個(gè)Habana Gaudi2 HL-225H Mezzanine卡和兩個(gè)英特爾?至強(qiáng)?白金8380 CPU@2.30GHz以及1TB系統(tǒng)內(nèi)存。20237月進(jìn)行測(cè)量。

2 第四代英特爾?至強(qiáng)?可擴(kuò)展處理器

· 第四代英特爾?至強(qiáng)? 8480:第四代英特爾至強(qiáng)白金8480+ 2 插槽系統(tǒng),112/224線程,啟用睿頻,啟用超線程,內(nèi)存:16x32GB DDR5 4800MT/s,存儲(chǔ):953.9GB;操作系統(tǒng):CentOS Stream 8;內(nèi)核:5.15.0-spr.bkc.pc.16.4.24.x86_64;批處理大?。?/span>1;在1個(gè)插槽上測(cè)量:1;PyTorch nightly build0711;Intel? Extensions for PyTorch* tag v2.1.0.dev+cpu.llm;模型:Llama 2 70億和Llama 2 130億參數(shù);數(shù)據(jù)集LAMBADA;令牌長(zhǎng)度:32/128/1024/2016in),32out);Beam Width 4;精度:BF16INT8;英特爾在2023712日測(cè)試。

· 英特爾?至強(qiáng)? Max 9480:英特爾?至強(qiáng)? Max 9480 2 插槽系統(tǒng),112/224線程,啟用睿頻,啟用超線程,內(nèi)存:16x64GB DDR5 4800MT/s;8x16GB HBM2 3200 MT/s,存儲(chǔ):1.8TB;操作系統(tǒng):CentOS Stream 8;內(nèi)核:5.19.0-0812.intel_next.1.x86_64+server;批處理大?。?/span>1;在1個(gè)插槽上測(cè)量;PyTorch nightly build0711;Intel? Extensions for PyTorch* llm_feature_branch;模型:Llama 2 70億和Llama 2 130億參數(shù),數(shù)據(jù)集LAMBADA;令牌長(zhǎng)度:32/128/1024/2016in),32out);Beam Width 4;精度:BF16INT8;英特爾在2023712日測(cè)試。

3 英特爾?數(shù)據(jù)中心GPU Max系列:1節(jié)點(diǎn),2個(gè)英特爾?至強(qiáng)?白金8480+,56核,啟用超線程,啟用睿頻,NUMA 2,總內(nèi)存1024GB16x64GB DDR5 4800 MT/s [4800 MT/s]),BIOSSE5C7411.86B.9525.D19.2303151347,微代碼0x2b0001b0,1個(gè)用于10GBASE-T的以太網(wǎng)控制器X7101個(gè)1.8T WDC WDS200T2B0B,1個(gè)931.5G英特爾SSDPELKX010T8Ubuntu 22.04.2 LTS,5.15.0-76-generic,4個(gè)英特爾?數(shù)據(jù)中心GPU Max 1550(僅使用單個(gè)OAM GPU卡的一個(gè)區(qū)塊測(cè)量),IFWI PVC 2_1.23166agama驅(qū)動(dòng)程序:agama-ci-devel-627.7,英特爾?oneAPI基礎(chǔ)工具包2023.1,PyTorch* 2.0.1 + Intel? Extension for PyTorch* v2.0.110+xpudev/LLM分支),AMC固件版本:6.5.0.0,模型:Meta AI Llama 2 70億和Llama 2 130億參數(shù),數(shù)據(jù)集LAMBADA;令牌長(zhǎng)度:32/128/1024/2016in),32out);Greedy搜索;精度FP16;英特爾在202377日測(cè)試。

4 性能因用途、配置和其它因素而異。更多信息請(qǐng)見(jiàn)www.Intel.com/PerformanceIndex。




關(guān)鍵詞: 英特爾 軟硬件 LIama 2 大模型

評(píng)論


相關(guān)推薦

技術(shù)專區(qū)

關(guān)閉