英特爾高宇：英特爾助力AI端側(cè)運(yùn)行，擁抱AIGC時(shí)代！

很多人都在歡呼AI時(shí)代的到來(lái)，但其實(shí)AI這個(gè)概念早在20世紀(jì)50年代就誕生了，而且一直都在高速發(fā)展和演化，并不是什么新鮮事物。

只不過(guò)，幾十年來(lái)，AI一直都基本停留在專業(yè)領(lǐng)域或者特定行業(yè)，距離普通用戶比較遙遠(yuǎn)，一般人很難真切感受到AI的力量。

ChatGPT最大的功勞，恰恰是將AI——確切地說(shuō)是生成式 AI(AIGC)——帶到了普通人的生活中。

有了ChatGPT和類(lèi)似的應(yīng)用，任何人只需一部普通的電腦或者手機(jī)，就能感受到AI給我們工作生活、娛樂(lè)休閑所帶來(lái)的種種便利——一問(wèn)一答就能獲得自己想要的問(wèn)題答案、幾分鐘就能完成一份漂亮的PPT……

另一方面，雖然這個(gè)時(shí)候幾乎人人都在談?wù)揂I，從跨國(guó)大企業(yè)到初創(chuàng)小公司似乎一夜之間都在完全圍著AI做事，但是正如巴菲特的那句名言：“只有退潮了，才知道誰(shuí)在裸泳?！币仓挥薪?jīng)歷最初的喧囂，才能看出誰(shuí)才是認(rèn)真做AI，誰(shuí)才真正有實(shí)力做好AI。

近日，Intel舉辦了一場(chǎng)年度技術(shù)創(chuàng)新大會(huì)，AI自然是關(guān)鍵詞中的關(guān)鍵詞，“AI Everywhere”不僅體現(xiàn)在整個(gè)大會(huì)上，也體現(xiàn)在Intel的全線產(chǎn)品和解決方案中，這個(gè)話題我們之前也從不同角度探討過(guò)很多次。

當(dāng)然，作為軟硬件實(shí)力都在這個(gè)星球上屬于頂級(jí)行列的Intel，自然也是最有資格談?wù)揂I的巨頭之一。

正如剛才所說(shuō)，AI無(wú)處不在，從產(chǎn)品到技術(shù)再到應(yīng)用都有截然不同的豐富場(chǎng)景，普通用戶能夠最直接感受到的當(dāng)屬AIGC，包括文生文、文生圖、圖生圖、文生視頻、圖生視頻等等。

而要想實(shí)現(xiàn)足夠?qū)嵱玫腁IGC，從算力強(qiáng)大的硬件到參數(shù)豐富的大模型，從精確合理的算法到高效便捷的應(yīng)用，缺一不可。

我們知道，在過(guò)去，AIGC更多在云側(cè)服務(wù)器上，雖然性能、模型、算法都不是問(wèn)題，但一則需要大量的資金投入，二則存在延遲、隱私等方面的不足。

因此，AIGC正越來(lái)越多地下沉到終端側(cè)，讓普通的PC電腦、智能手機(jī)也能跑AIGC，甚至可以離線執(zhí)行。

Intel中國(guó)技術(shù)部總經(jīng)理高宇先生在接受采訪時(shí)就表示，關(guān)于終端側(cè)運(yùn)行AIGC的研究已經(jīng)取得了豐碩的成果，比如最新的13代酷睿電腦，經(jīng)國(guó)有化已經(jīng)可以流暢運(yùn)行70億到180億參數(shù)的大模型，尤其是70億到130億參數(shù)的運(yùn)行效果相當(dāng)好。

當(dāng)然這些現(xiàn)在還處于起步階段，目前的優(yōu)化主要針對(duì)CPU處理器，下一步會(huì)充分發(fā)揮GPU核顯的性能潛力，而代號(hào)Meteor Lake的下一代酷睿Ultra除了有更強(qiáng)的CPU、GPU算力，還會(huì)首次集成NPU單元，一個(gè)專用的AI加速器，峰值算力超過(guò)11TOPS，三者結(jié)合可以達(dá)到更好的效果。

對(duì)于PC端側(cè)運(yùn)行AIGC應(yīng)用的具體落地實(shí)現(xiàn)，高宇舉了個(gè)例子，Intel正在打造的一個(gè)開(kāi)源框架BigDL-LLM，專門(mén)針對(duì)Intel硬件的低比特量化設(shè)計(jì)，支持INT3、INT4、INT5、INT8等各種低比特?cái)?shù)據(jù)精度，性能更好，內(nèi)存占用更少。

基于這個(gè)框架，使用i9-12900K處理器，只開(kāi)啟4個(gè)核心來(lái)運(yùn)行ChatGLM2 60億參數(shù)模型，生成效果就是相當(dāng)迅速的，而打開(kāi)全部8個(gè)P核、8個(gè)E核，效果更是堪稱飛快，輸出性能達(dá)到了每個(gè)Token 47毫秒左右，已經(jīng)不弱于很多云側(cè)計(jì)算。

之所以對(duì)比兩種情況，因?yàn)橛袝r(shí)候需要將全部算力投入AI模型的運(yùn)算，而有時(shí)候可能還得兼顧其他任務(wù)。

可以看出，無(wú)論哪種情況，Intel PC側(cè)都已經(jīng)可以很好地完成相應(yīng)的AI工作，提供令人滿意的算力和效率。

此外，在LLaMA2 130億參數(shù)大語(yǔ)言模型、StarCoder 155億參數(shù)代碼大模型上，Intel酷睿處理器也都能獲得良好的運(yùn)行速度。

換到Arc GPU顯卡上，Intel硬件跑端側(cè)AI同樣神速，甚至更快，無(wú)論是ChatGLM2 60億參數(shù)，還是LLaMA2 130億參數(shù)、StarCoder 155億參數(shù)，都是如此，ChatGLM2模型中甚至可以縮短到20毫秒以下。

當(dāng)然，以上說(shuō)的大模型可能距離普通人還有些遠(yuǎn)，而任何一項(xiàng)技術(shù)要想大范圍普及，關(guān)鍵還是顛覆用戶的切身工作、生活、娛樂(lè)體驗(yàn)，AI當(dāng)然也不例外。

在高宇看來(lái)，基于以上大模型，AI在端側(cè)的典型應(yīng)用還是相當(dāng)豐富的，而且會(huì)越來(lái)越多，有時(shí)候效果會(huì)更勝于運(yùn)行在云側(cè)。

比如超級(jí)個(gè)人助手，通過(guò)低比特量化，在PC側(cè)可以獲得更好的效果。

比如文檔處理，包括中心思想提煉、語(yǔ)法錯(cuò)誤糾正等等，PC側(cè)不僅可以很好地運(yùn)行，還有利于保護(hù)個(gè)人隱私和數(shù)據(jù)安全。

再比如如今大火的Stable Diffusion和衍生模型的文生圖、文生視頻應(yīng)用，PC側(cè)的算力也是足夠的。

使用Arc A730M這樣的筆記本獨(dú)立顯卡，就可以在幾秒鐘內(nèi)完成高質(zhì)量的文生圖、圖生圖、圖像風(fēng)格轉(zhuǎn)換等，從而極大地節(jié)省工作量，將更多精力放在創(chuàng)意上。

這足以證明，一臺(tái)普通的筆記本在端側(cè)運(yùn)行大模型，使用普通獨(dú)顯甚至集顯，依然可以獲得足夠快的響應(yīng)速度和良好的體驗(yàn)，當(dāng)然這也得益于Intel的專項(xiàng)優(yōu)化。

當(dāng)然，歸根到底，AIGC應(yīng)用在PC端側(cè)的普及，離不開(kāi)足夠多、足夠好用的生態(tài)軟件。

這樣的軟件，一方面可以來(lái)自各種商業(yè)軟件，他們本身就可以集成中小尺寸大語(yǔ)言模型，提供各種AIGC內(nèi)容，一些創(chuàng)作軟件甚至可以集成Stable Diffusion。

另一方面可以來(lái)自各家PC OEM品牌廠商，在自己的電腦中集成專門(mén)開(kāi)發(fā)、優(yōu)化的AIGC軟件，預(yù)裝提供給用戶，讓AIGC真正可用。

當(dāng)然，端側(cè)運(yùn)行AIGC也不是萬(wàn)能的，一是算力不像云端那么強(qiáng)大，二是內(nèi)存有限。

目前主流內(nèi)存容量還是16GB，哪怕明后年普及32GB，可以承受的模型參數(shù)量也是有限的(130億以下)，這就需要進(jìn)行低比特處理，比如FP16轉(zhuǎn)成INT4，還好在大語(yǔ)言模型中的問(wèn)題回答質(zhì)量只會(huì)有個(gè)位數(shù)的稍許下降，而在Diffusion模型中參數(shù)又不是很大，可以繼續(xù)跑FP16精度。

事實(shí)上，AI研究雖然已經(jīng)取得相當(dāng)豐富的成果，未來(lái)必然影響每個(gè)行業(yè)、每個(gè)人，但AI依然處在早期階段，廣泛的AI工作負(fù)載涉及到不同的模型規(guī)模、模型類(lèi)型、整體基礎(chǔ)架構(gòu)的復(fù)雜性，還要面臨云側(cè)、端側(cè)、混合等不同環(huán)境的適應(yīng)性，這些都要持續(xù)探索和優(yōu)化。

相信隨著像Intel這樣有實(shí)力的大企業(yè)不但在AI應(yīng)用上取得突破，尤其是將越來(lái)越多的AIGC應(yīng)用帶到端側(cè)，讓越來(lái)越多的人感受到AI的魅力，它必然會(huì)更加廣泛、細(xì)致地深入我們的工作和生活，成為人們?nèi)粘２豢苫蛉钡囊徊糠郑踔猎诓恢挥X(jué)中享受AI帶來(lái)的便利。

這，才是技術(shù)造福人類(lèi)的本源。