酷睿輕薄本也能運(yùn)行大語言模型，英特爾推動(dòng) PC 生成式 AI 落地

IT之家 8 月 24 日消息，2023 年 8 月 18 日上午，英特爾在大灣區(qū)舉辦了一場(chǎng)技術(shù)分享會(huì)，主題是英特爾在 AIGC（人工智能生成式計(jì)算）領(lǐng)域的最新進(jìn)展。會(huì)上，英特爾的技術(shù)專家向與會(huì)者展示了他們?cè)?AIGC 上的技術(shù)方向，并進(jìn)行了多個(gè)應(yīng)用的演示。

首先，英特爾介紹了他們?cè)诖笳Z言模型方面的優(yōu)化和支持。在我們傳統(tǒng)的認(rèn)知里，運(yùn)行類似 ChatGPT 這種大語言模型必須要有大顯存的顯卡支持。但這場(chǎng)交流會(huì)卻顛覆了我們的認(rèn)知。英特爾為了讓 12、13代酷睿平臺(tái)也能夠順利運(yùn)行各種大語言模型并提供流暢的使用體驗(yàn)，構(gòu)建了 BigDL-LLM 庫。通過這個(gè)庫，可以對(duì)各種大語言模型進(jìn)行優(yōu)化和支持，包括一些開源的、可以在本地運(yùn)行的大語言模型。這個(gè)庫甚至可以在一臺(tái)搭載 16GB 內(nèi)存的英特爾輕薄本的機(jī)器上運(yùn)行參數(shù)量高達(dá) 16B 的大語言模型。此外還支持 LLaMA / LLaMA2、ChatGLM / ChatGLM2 等多個(gè)大語言模型。

接下來，英特爾展示了他們?cè)诖笳Z言模型應(yīng)用方面的表現(xiàn)。通過集成了 ChatGLM2、LLaMA2 和 StarCoder 這三個(gè)大語言模型的 Demo，他們演示了這些模型在中文和英文應(yīng)用上的表現(xiàn)。通過優(yōu)化和量化操作，這些大語言模型在生成回答時(shí)能夠以非常快的速度生成，并且不影響閱讀體驗(yàn)。英特爾已經(jīng)發(fā)布了這套 Demo，任何搭載 12、13代酷睿的電腦都可以直接安裝并體驗(yàn)。

我們這里選擇了一臺(tái)通過英特爾Evo平臺(tái)認(rèn)證的輕薄本：華為 MateBook 16s 來進(jìn)行測(cè)試。處理器為酷睿 i9-13900H + 32G 內(nèi)存，看看在核顯輕薄本上究竟能不能跑 AIGC。

英特爾大語言模型的 Demo 安裝過程非常傻瓜，英特爾已經(jīng)打包成了 EXE 文件，安裝并導(dǎo)入.Bin 格式的大語言模型就可以運(yùn)行了。打開界面我們可以看到左側(cè)可以選擇聊天內(nèi)容、調(diào)整模型參數(shù)和查看運(yùn)算延遲，右側(cè)則是聊天框。

筆者先嘗試問了他一些人情世故方面的問題，沒想到回答非常出色，響應(yīng)速度也很快。這樣一個(gè)問題只花了 658.87ms 就完成了響應(yīng)。

在運(yùn)算過程中我們可以看到，i9-13900H 占用率達(dá)到了 100%，內(nèi)存占用達(dá)到了 16G，Xe 核顯也有一定占用?？磥磉@個(gè)運(yùn)算過程確實(shí)是在本地進(jìn)行的。經(jīng)過英特爾不斷的優(yōu)化和 13代酷睿處理器算力的提升，我們真的在輕薄本上實(shí)現(xiàn)了 AIGC 的落地。

在情感分析功能中，我們讓大語言模型分析了一段經(jīng)典散文?？梢钥吹诫m然分析的角度比較淺顯，但沒有邏輯錯(cuò)誤，還是可以自洽的。

而在這個(gè)中文翻譯功能中，英特爾大語言，模型的表現(xiàn)就更加令我意外了，它的翻譯質(zhì)量相當(dāng)高，速度也很快。哪怕是有如此多專有名詞的稿件，也能準(zhǔn)確無誤地翻譯。

在故事創(chuàng)作方面，這套大語言模型也展現(xiàn)出了令我驚訝的邏輯能力和創(chuàng)造能力。我這邊讓它寫一篇關(guān)羽大戰(zhàn)林黛玉，最后林黛玉取勝的故事。但 AI 居然認(rèn)識(shí)到了這兩人根本不是一個(gè)時(shí)代的，最后寫了一個(gè)穿越時(shí)空的戲碼，雖然漏洞百出，但大體上沒有問題。

生成大綱功能則是一個(gè)非常有用的功能，我們只要輸入想要撰寫的稿件，就能幫我們列出一套邏輯清晰的稿件大綱了。這對(duì)于經(jīng)常需要寫文章的群體來說能起到很好的輔助作用。

信息提取功能對(duì)于經(jīng)常需要閱讀報(bào)告的群體來說很有幫助?？梢钥焖購拈L篇文章中提取核心信息。我這邊嘗試讓 AI 從英文文章中提取中文信息，效果卻依然非常好。

最后，筆者讓 AI 給出一份青島美食建議和青島旅游建議。由于這個(gè)大語言模型是完全離線運(yùn)行的，所以給到的信息也會(huì)比較陳舊，但單從撰寫水平來看還是不錯(cuò)的。

除了大語言模型應(yīng)用外，英特爾還展示了在 AI 文生圖算法 Stable Diffusion 上的支持。他們啟用了 OpenVINO 的加速，開發(fā)了一套 AI 框架，通過一行代碼的安裝，就可以加速 PyTorch 模型的運(yùn)行。通過 Stable Diffusion 的 WebUI，可以在集成顯卡和 Arc 獨(dú)立顯卡上運(yùn)行 Stable Diffusion Automatic1111。通過演示，可以看到在 Evo 輕薄本和搭載 i7-13700H 處理器的機(jī)器上，Stable Diffusion 在集成顯卡上的表現(xiàn)效果。96EU 版本的英特爾銳炬 Xe 顯卡強(qiáng)大的算力，可以支持 Stable Diffusion 軟件上運(yùn)行 FP16 精度的模型，快速生成高質(zhì)量圖片。

同時(shí)，他們還展示了在搭載 i7-13700K CPU + Arc A770 獨(dú)顯的機(jī)器上運(yùn)行 Stable Diffusion 的效果，速度非常快。

此外，英特爾還展示了基于 Arc 顯卡的人物動(dòng)作的三維數(shù)字重建技術(shù)。通過 Arc 強(qiáng)大的算力和 OpenVINO 框架對(duì) AI 算法的優(yōu)化推理，可以實(shí)時(shí)探測(cè)和重建人物動(dòng)作，并進(jìn)行后期渲染。這項(xiàng)技術(shù)不需要智能穿戴設(shè)備，只需連接家用攝像頭，即可實(shí)現(xiàn)實(shí)時(shí)探測(cè)和重建人物動(dòng)作，并通過數(shù)字人的形象進(jìn)行動(dòng)畫渲染。通過實(shí)時(shí)的骨骼點(diǎn)信息和 3D 重建，數(shù)字人可以展現(xiàn)出靈活多樣的肢體動(dòng)作，實(shí)現(xiàn)真實(shí)的三維動(dòng)效。同時(shí)，根據(jù)用戶的需求，可以自定義渲染器的畫風(fēng)，快速打造各種元宇宙應(yīng)用。

在最后的渦輪卡展示環(huán)節(jié)，英特爾展示了他們新的渦輪 GPU 卡，Arc A770 16G。這張卡具有雙槽全長全高的設(shè)計(jì)，適應(yīng)各種邊緣側(cè)服務(wù)器機(jī)箱或設(shè)備機(jī)箱。它采用渦輪風(fēng)扇設(shè)計(jì)，減少對(duì)機(jī)箱內(nèi)流場(chǎng)的干擾，更適合多卡混合計(jì)算的服務(wù)器、煉丹爐場(chǎng)景。

從本次分享會(huì)看來，英特爾一直著力于發(fā)展 AI 技術(shù)，特別是當(dāng)下火熱的 AIGC 領(lǐng)域，英特爾也沒有缺席。憑借 13代酷睿強(qiáng)勁的算力和不斷的算法優(yōu)化，現(xiàn)在即便是輕薄本也可支持大語言模型的本地運(yùn)行。而在 Arc 顯卡的加持下，Stable Diffusion 文生圖的支持也在不斷開展。同時(shí)，英特爾也在探索 AI 的下一代應(yīng)用場(chǎng)景，并為企業(yè)級(jí)用戶提供算力更強(qiáng)的解決方案。

通過這些技術(shù)的展示，英特爾向大家展示了他們?cè)?AIGC 領(lǐng)域的領(lǐng)先地位和不斷創(chuàng)新的能力。他們致力于為用戶提供更智能、高效的計(jì)算體驗(yàn)，推動(dòng)人工智能技術(shù)的發(fā)展和應(yīng)用。隨著技術(shù)的不斷進(jìn)步和完善，我們可以期待在未來看到更多來自英特爾的 AIGC 應(yīng)用和解決方案。