大模型走向終端，芯片怎么辦？

來(lái)源：半導(dǎo)體行業(yè)觀察

人工智能已經(jīng)成為半導(dǎo)體行業(yè)過(guò)去幾年最重要的新推動(dòng)力。而去年以ChatGPT為代表的大模型更是進(jìn)一步點(diǎn)燃了人工智能以及相關(guān)的芯片市場(chǎng)，ChatGPT背后的大模型正在成為下一代人工智能的代表并可望進(jìn)一步推進(jìn)新的應(yīng)用誕生。

說(shuō)起大模型，一般我們想到的往往是在云端服務(wù)器上運(yùn)行模型。然而，事實(shí)上大模型已經(jīng)在走入終端設(shè)備。一方面，目前已經(jīng)有相當(dāng)多的工作證明了大模型經(jīng)過(guò)適當(dāng)處理事實(shí)上可以運(yùn)行在終端設(shè)備上（而不局限于運(yùn)行在云端服務(wù)器）；另一方面，大模型運(yùn)行在終端設(shè)備上也會(huì)給用戶帶來(lái)很大的價(jià)值。因此，我們認(rèn)為在未來(lái)幾年內(nèi)，大模型將會(huì)越來(lái)越多地運(yùn)行在終端設(shè)備上，而這也會(huì)推動(dòng)相關(guān)芯片技術(shù)和行業(yè)的進(jìn)一步發(fā)展。

智能汽車是大模型運(yùn)行在終端的第一個(gè)重要市場(chǎng)。從應(yīng)用角度來(lái)看，大模型運(yùn)行在智能汽車的首要推動(dòng)力就是大模型確實(shí)能給智能駕駛相關(guān)的任務(wù)帶來(lái)客觀的性能提升。去年，以BEVformer為代表的端到端鳥瞰攝像頭大模型可以說(shuō)是大模型在智能汽車領(lǐng)域的第一個(gè)里程碑，它把多個(gè)攝像頭的視頻流直接輸入使用transformer模塊的大模型做計(jì)算，最后的性能比之前使用傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型的結(jié)果好了接近10個(gè)點(diǎn)，這個(gè)可謂是革命性的變化。而在上個(gè)月召開(kāi)的CVPR上，商湯科技發(fā)布的UniAD大模型更是使用單個(gè)視覺(jué)大模型在經(jīng)過(guò)統(tǒng)一訓(xùn)練后去適配多個(gè)不同的下游任務(wù)，最后在多個(gè)任務(wù)中都大大超越了現(xiàn)有最好的模型：例如，多目標(biāo)跟蹤準(zhǔn)確率超越了20%，車道線預(yù)測(cè)準(zhǔn)確率提升 30%，預(yù)測(cè)運(yùn)動(dòng)位移和規(guī)劃的誤差則分別降低了 38% 和 28%。

目前，汽車企業(yè)（尤其是造車新勢(shì)力）已經(jīng)在積極擁抱這些智能汽車的大模型，BEVformer（以及相關(guān)的模型）已經(jīng)被不少車企使用，我們預(yù)計(jì)下一代大模型也將會(huì)在未來(lái)幾年逐漸進(jìn)入智能駕駛。如果從應(yīng)用角度考慮，智能汽車上的大模型必須要在終端設(shè)備上運(yùn)行，因?yàn)橹悄芷噷?duì)于模型運(yùn)行的可靠性和延遲要求非常高，在云端運(yùn)行大模型并且使用網(wǎng)絡(luò)把結(jié)果傳送到終端無(wú)法滿足智能汽車的需求。

商湯科技提出的UniAD大模型架構(gòu)，使用統(tǒng)一模型去適配多個(gè)任務(wù)

除了智能汽車之外，手機(jī)也是大模型進(jìn)入終端的另一個(gè)重要市場(chǎng)。以ChatGPT為代表的語(yǔ)言類大模型事實(shí)上已經(jīng)成為了下一代用戶交互的重要組成部分，因此在手機(jī)上使用大語(yǔ)言模型將會(huì)能把這樣的新用戶交互體驗(yàn)帶入手機(jī)操作系統(tǒng)中。而在手機(jī)設(shè)備終端直接運(yùn)行大語(yǔ)言模型的主要好處在于能夠在保護(hù)用戶隱私的情況下給用戶帶來(lái)個(gè)性化的體驗(yàn)（例如歸納和某個(gè)用戶的聊天記錄等等）。目前，開(kāi)源社區(qū)已經(jīng)可以把Llama大語(yǔ)言模型能夠運(yùn)行在安卓手機(jī)上CPU，回答一個(gè)問(wèn)題大約需要5-10秒的時(shí)間，我們認(rèn)為未來(lái)的潛力巨大。

智能汽車芯片加速大模型：算力與功耗成為關(guān)鍵

目前，人工智能已經(jīng)在智能汽車的輔助駕駛應(yīng)用中得到了廣泛應(yīng)用，因此大多數(shù)智能汽車上使用的芯片也有對(duì)于人工智能的支持，例如加入人工智能加速器等。然而，這些人工智能加速器主要考慮的加速對(duì)象模型仍然是上一代以卷積神經(jīng)網(wǎng)絡(luò)為代表的模型，這些模型往往參數(shù)量比較小，對(duì)于算力的需求也比較低。

為了適配下一代大模型，智能汽車芯片會(huì)有相應(yīng)的改動(dòng)。下一代大模型對(duì)于智能汽車芯片的要求主要包括：

我們可以從目前最成功的大模型加速芯片（即GPU）出發(fā)去推測(cè)支持大模型智能汽車芯片的具體架構(gòu)，考慮GPU上有哪些設(shè)計(jì)思路需要進(jìn)一步發(fā)揚(yáng)光大，另外有哪些應(yīng)該考慮重新設(shè)計(jì)。

首先，GPU上有海量的矩陣計(jì)算單元，這些計(jì)算單元是GPU算力的核心支撐（與之相對(duì)的，CPU上缺乏這些海量的矩陣計(jì)算單元因此算力無(wú)論如何不可能高上去），這些計(jì)算單元在智能汽車芯片上同樣也是必須的；但是由于智能汽車芯片上的計(jì)算不用考慮GPU上對(duì)于數(shù)據(jù)流和算子通用性的支持，因此智能汽車芯片上無(wú)需做GPU上這樣的大量stream core，因此從控制邏輯的角度可以做簡(jiǎn)化以減少芯片面積成本。

第二，GPU能成功運(yùn)行大模型的另一個(gè)關(guān)鍵在于有超高速的內(nèi)存接口和海量的內(nèi)存，因?yàn)槟壳按竽Ｐ偷膮?shù)量動(dòng)輒千億級(jí)，這些模型必須有相應(yīng)的內(nèi)存支持。這一點(diǎn)在智能車芯片上同樣需要，只是智能汽車芯片未必能使用GPU上的HBM這樣的超高端（同時(shí)也是高成本）內(nèi)存，而是會(huì)考慮和架構(gòu)協(xié)同設(shè)計(jì)來(lái)盡可能地利用LPDDR這樣的接口的帶寬。

第三，GPU有很好的規(guī)模化和分布式計(jì)算能力，當(dāng)模型無(wú)法在一個(gè)GPU上裝下時(shí)，GPU可以方便地把模型分割成多個(gè)子模型在多個(gè)GPU上做計(jì)算。智能車芯片也可以考慮這樣的架構(gòu)，從而確保汽車可以在使用周期內(nèi)滿足日新月異的模型的需求。

綜合上述考慮，我們推測(cè)針對(duì)大模型的智能車芯片架構(gòu)中，可能會(huì)有多個(gè)人工智能加速器同時(shí)運(yùn)行，每個(gè)加速器都有簡(jiǎn)單的設(shè)計(jì)（例如一個(gè)簡(jiǎn)單的控制核配合大量計(jì)算單元），搭配大內(nèi)存和高速內(nèi)存接口，并且加速器之間通過(guò)高速互聯(lián)互相通信從而可以以本地分布計(jì)算的方法來(lái)加速大模型。從這個(gè)角度，我們認(rèn)為智能駕駛芯片中的內(nèi)存和內(nèi)存接口將會(huì)扮演決定性的角色，而另一方面，這樣的架構(gòu)也非常適合使用chiplet的方式來(lái)實(shí)現(xiàn)每個(gè)加速器并且使用高級(jí)封裝技術(shù)（包括2.5D和3D封裝）來(lái)完成多個(gè)加速器的整合，換句話說(shuō)大模型在智能汽車的應(yīng)用將會(huì)進(jìn)一步推動(dòng)下一代內(nèi)存接口和高級(jí)封裝技術(shù)的普及和演進(jìn)。

大模型將會(huì)推動(dòng)手機(jī)內(nèi)存和AI加速器革新

如前所述，大模型進(jìn)入手機(jī)將會(huì)把下一代用戶交互范式帶入手機(jī)。我們認(rèn)為，大模型進(jìn)入手機(jī)將會(huì)是一個(gè)漸進(jìn)的過(guò)程：例如，目前的大語(yǔ)言模型，即使是小版本的Llama 70億參數(shù)的模型，也沒(méi)法完全裝入手機(jī)的內(nèi)存中，而必須部分放在手機(jī)的閃存中運(yùn)行，這就導(dǎo)致了運(yùn)行速度比較慢。在未來(lái)的幾年中，我們認(rèn)為手機(jī)上面的大語(yǔ)言模型會(huì)首先從更小的版本（例如10億參數(shù)以下的模型）開(kāi)始進(jìn)入應(yīng)用，然后再逐漸增大參數(shù)量。

華為在春季發(fā)布會(huì)上宣布大模型技術(shù)已經(jīng)落地手機(jī)端

從這個(gè)角度來(lái)看，手機(jī)上運(yùn)行大模型仍然會(huì)加速推動(dòng)手機(jī)芯片在相關(guān)領(lǐng)域的發(fā)展，尤其是內(nèi)存和AI加速器領(lǐng)域——畢竟目前主流運(yùn)行在手機(jī)上的模型參數(shù)量都小于10M，大語(yǔ)言模型的參數(shù)量大了兩個(gè)數(shù)量級(jí)，而且未來(lái)模型參數(shù)量會(huì)快速增大。這一方面將會(huì)推動(dòng)手機(jī)內(nèi)存以及接口技術(shù)以更快的速度進(jìn)化——為了滿足大模型的需求，未來(lái)我們可望會(huì)看到手機(jī)內(nèi)存芯片容量增長(zhǎng)更快，而且手機(jī)內(nèi)存接口帶寬也會(huì)加快發(fā)展速度，因?yàn)槟壳皝?lái)看內(nèi)存實(shí)際上是大模型的瓶頸。

除了內(nèi)存之外，手機(jī)芯片上的人工智能加速器也會(huì)為了大模型而做出相關(guān)的改變。目前手機(jī)芯片上的人工智能加速器（例如各種NPU IP）幾乎已經(jīng)是標(biāo)配，但是這些加速器的設(shè)計(jì)基本上是針對(duì)上一代卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)，因此在設(shè)計(jì)上并不完全針對(duì)大模型。為了適配大模型，人工智能加速器首先必須能有更大的內(nèi)存訪問(wèn)帶寬并減少內(nèi)存訪問(wèn)延遲，這一方面需要人工智能加速器的接口上做出一些改變（例如分配更多的pin給內(nèi)存接口），另一方面需要片上數(shù)據(jù)互聯(lián)做出相應(yīng)的改變來(lái)滿足人工智能加速器訪存的需求。

除此之外，在加速器內(nèi)部邏輯設(shè)計(jì)上，我們認(rèn)為可能會(huì)更加激進(jìn)地推進(jìn)低精度量化計(jì)算（例如4bit甚至2bit）和稀疏計(jì)算，目前的學(xué)術(shù)界研究表明大語(yǔ)言模型有較大的機(jī)會(huì)可以做這樣的低精度量化/稀疏化，而如果能量化到例如4bit的話，就會(huì)大大減小相關(guān)計(jì)算單元需要的芯片面積，同時(shí)也能減小模型在內(nèi)存中需要的空間（例如4bit量化精度相對(duì)于之前的標(biāo)準(zhǔn)8bit精度就會(huì)內(nèi)存需求減半），這預(yù)計(jì)也會(huì)是未來(lái)針對(duì)手機(jī)端人工智能加速器的設(shè)計(jì)方向。

根據(jù)上述分析，我們預(yù)計(jì)從市場(chǎng)角度手機(jī)內(nèi)存芯片將會(huì)借著手機(jī)大模型的東風(fēng)變得更重要，預(yù)計(jì)會(huì)在未來(lái)看到相比之前更快的發(fā)展，包括大容量?jī)?nèi)存以及高速內(nèi)存接口。另一方面，手機(jī)端人工智能加速器IP也會(huì)迎來(lái)新的需求和發(fā)展，我們預(yù)計(jì)相關(guān)市場(chǎng)會(huì)變得更加熱鬧一些。

-End-