AI視覺市場(chǎng)潛力大，愛芯元智用自研IP打造芯片平臺(tái)

近年來，本土涌現(xiàn)了一批AI芯片的初創(chuàng)企業(yè)。其中有這樣一家公司，成立只有2年多，已經(jīng)完成三輪融資，發(fā)布兩顆自研芯片。這家公司就是愛芯元智。該公司有何獨(dú)特能力？AI視覺市場(chǎng)的前景如何？近日，該公司宣布進(jìn)行一輪品牌升級(jí)。值此機(jī)會(huì)，電子產(chǎn)品世界等媒體采訪了公司創(chuàng)始人兼CEO仇肖莘女士以及研發(fā)副總裁劉建偉先生。

圖 愛芯元智 創(chuàng)始人兼CEO 仇肖莘

1   更名為“愛芯元智”

2021年9月，愛芯科技正式更名為愛芯元智半導(dǎo)體（上海）有限公司（簡(jiǎn)稱為“愛芯元智”），并宣布完成品牌升級(jí)。品牌升級(jí)后，愛芯元智將向行業(yè)及合作伙伴傳遞全新的品牌理念、品牌元素、技術(shù)產(chǎn)品方向和落地情況等一系列內(nèi)容。

愛芯元智成立于2019年5月，專注于打造高性能、低功耗的AI視覺處理器芯片。核心技術(shù)產(chǎn)品支持多種AI視覺任務(wù)，廣泛適用于智慧城市、智能社區(qū)、智能駕駛、智慧零售、智能家居、智能穿戴等多個(gè)領(lǐng)域。愛芯元智自主研發(fā)的第1顆AI視覺處理芯片AX630A已在2020年12月實(shí)現(xiàn)量產(chǎn)，第2顆芯片AX620A也已經(jīng)于2021年7月成功點(diǎn)亮，即將開始正式的客戶推廣。

愛芯元智品牌名稱變更靈感來自其英文名AXERA——意為愛芯的時(shí)代，同時(shí)詮釋了愛芯元智的技術(shù)獨(dú)創(chuàng)性和保持初心、堅(jiān)持原創(chuàng)的企業(yè)理念。這不僅體現(xiàn)了愛芯元智作為創(chuàng)業(yè)公司的朝氣和活力，更是代表了其品牌愿景——成為AI視覺芯片行業(yè)的領(lǐng)導(dǎo)企業(yè)。

2   AI視覺：賽道廣闊待開創(chuàng)

邊緣側(cè)、端側(cè)的AI視覺處理領(lǐng)域的賽道非常廣闊。過去幾年，AI已開始落地，且對(duì)于環(huán)境的“感知”變得越來越重要。因此，相關(guān)的AI芯片的發(fā)展空間非常巨大，而且能夠真正影響到每個(gè)人的日常生活。以下是兩個(gè)案例。

●   傳統(tǒng)攝像頭的升級(jí)改造。

現(xiàn)在很多攝像頭是不帶算力的，有智能化升級(jí)改造的需求。通常有兩種方法：①全部替換；②增加中間節(jié)點(diǎn)，即增加智能處理的盒子。愛芯元智的方案就可用于第2種應(yīng)用，例如有20路的1080P視頻流，可以用單芯片去把這些視頻流做解碼，同時(shí)做車輛/車牌的檢測(cè)，運(yùn)行這套方案的功耗小于3.5 W。

●   計(jì)算攝影：超越人眼所見。

在愛芯的實(shí)驗(yàn)室里有這樣一個(gè)展示，暗室里的燈全關(guān)了，人眼看不到任何展示，但是相機(jī)能夠把暗室里的圖像獲取出來。關(guān)鍵在于信噪比（SNR），人眼在SNR小到一定程度的時(shí)候就區(qū)分不出來了。芯片處理能夠把噪聲抑制下去，這樣藏在噪聲里的信號(hào)就能被恢復(fù)出來。這主要靠計(jì)算攝影，通過計(jì)算來恢復(fù)出來“消失”的信息。

雖然AI視覺市場(chǎng)很大，但作為一家初創(chuàng)公司，愛芯的策略是準(zhǔn)確定位自己產(chǎn)品的銷售方向，在眾多碎片化的應(yīng)用里選出應(yīng)該瞄準(zhǔn)的目標(biāo)。因此，匹配的市場(chǎng)一定是能夠把愛芯的芯片能力發(fā)揮到極致的市場(chǎng)，而且這種市場(chǎng)起碼現(xiàn)在友商還是做不到的。

在產(chǎn)品定位上，愛芯現(xiàn)在的大部分客戶都是視覺+計(jì)算，例如暗光、夜視能力強(qiáng)的場(chǎng)景（如下圖）。

圖 夜間視頻效果對(duì)比（已做人物隱私保護(hù)）

但是也有很多純Pre-ISP（圖像信號(hào)處理）的視覺小芯片客戶，例如翻譯筆市場(chǎng)，它的前端有一個(gè)小攝像頭，一掃就相當(dāng)于連續(xù)拍了幾張圖片，把這些圖片拼接成一句話，然后再用AI掃描這句話進(jìn)行翻譯，所以說到底就是通過攝像頭感知，后面加了小計(jì)算。此外，掃地機(jī)器人也是一種，原來沒有什么AI能力，主要靠激光雷達(dá)等感測(cè)，現(xiàn)在有了軌跡規(guī)劃能力。

3   相比同類產(chǎn)品的三大特色

很多設(shè)計(jì)公司和工程師有自己的長(zhǎng)期合作伙伴，且它們也在開發(fā)AI芯片。作為后來者，愛芯元智如何爭(zhēng)取到這些客戶？其優(yōu)勢(shì)如下。

1） 核心IP自研。這一點(diǎn)非常重要。因?yàn)楹芏嗉倚酒髽I(yè)關(guān)鍵的IP是外購(gòu)的，例如買ISP或NPU把它加進(jìn)去。但是這樣的芯片性能取決于IP供應(yīng)商，缺乏發(fā)展后力。

2） 注重技術(shù)上的創(chuàng)新。愛芯元智不希望做Me too（我也有）的產(chǎn)品，所以愛芯的ISP設(shè)計(jì)沒有沿用傳統(tǒng)ISP設(shè)計(jì)的pipeline，而是采取彎道超車——用AI的方式取代了ISP里至少4個(gè)模塊。愛芯的秘密武器在于，傳統(tǒng)ISP都是硬件pipeline，因此每次想升級(jí)都要重新流片。例如一些龍頭企業(yè)做了十幾年的，已有十幾代流片的經(jīng)驗(yàn)，經(jīng)過十幾代不斷優(yōu)化才做到了今天這個(gè)水平。因此若想在一兩年之內(nèi)趕上，一定要采取不同的方式。愛芯的方式就在于把ISP里很多關(guān)鍵模塊軟件化，好處是只需迭代模型，性能就可提升。所以從2020年旗艦款芯片AX630A推出到現(xiàn)在，愛芯ISP每2周就有新模型推出，畫質(zhì)一直在不斷提升。  

3）能夠給客戶提供差異化的性能。例如畫質(zhì)做得很好。客戶第一個(gè)認(rèn)可的就是愛芯AI ISP的性能，尤其是做智能交通，愛芯的AI ISP在暗光下表現(xiàn)出色，這剛好是該客戶的一個(gè)痛點(diǎn)。

算力方面，如果將芯片比作智能手機(jī)，大算力相當(dāng)于把一個(gè)“專家系統(tǒng)”裝到愛芯的芯片里，這個(gè)裝的過程其實(shí)就類似于開發(fā)APP的過程。以前結(jié)婚等活動(dòng)需要找一個(gè)專職的攝影團(tuán)隊(duì)來跟拍、剪輯，有了大算力之后，就相當(dāng)于把這個(gè)攝影師裝到愛芯的芯片里，就可以實(shí)時(shí)分析拍到的素材，按照攝影師的角度提供一些視頻剪輯的操作，省去了多角度跟拍、剪輯等環(huán)節(jié)。

4   兩大硬核IP

愛芯有兩大核心IP：①業(yè)內(nèi)領(lǐng)先的混合精度的NPU，即AI的運(yùn)算單元；②AI ISP。二者的關(guān)系是：混合精度NPU是計(jì)算平臺(tái)，AI ISP（圖像信號(hào)處理器）是基于該平臺(tái)實(shí)現(xiàn)的一個(gè)核心應(yīng)用。

1） 混合精度的NPU

愛芯的優(yōu)勢(shì)：①整個(gè)NPU效率的提高，因?yàn)闇p少了數(shù)據(jù)搬運(yùn)，從一定程度上減小了數(shù)據(jù)墻和功耗墻的阻礙。②愛芯的整個(gè)算法和NPU的混合設(shè)計(jì)，能夠突破硬件的一些限制，達(dá)到更優(yōu)的水平。

●   提升有效算力

在AI算法方面，現(xiàn)在都在談NPU的算力，諸如10T、100T、200T等，但是這種標(biāo)稱算力著重于NPU核里有多少計(jì)算單元，然后根據(jù)計(jì)算單元每秒能做多少操作來計(jì)算出TOPS。但是真正跑任務(wù)時(shí)，計(jì)算單元大部分時(shí)間跑不到標(biāo)稱的算力。可見NPU的效率比標(biāo)稱算力更重要。

阻礙NPU計(jì)算單元發(fā)揮作用的一個(gè)重要原因是數(shù)據(jù)搬運(yùn)。業(yè)內(nèi)有一個(gè)共性問題——數(shù)據(jù)墻，意味著盡管有計(jì)算單元，但是如果數(shù)據(jù)搬運(yùn)不過來，那么這些計(jì)算單元大部分時(shí)間是閑置的。所以宣稱10T算力沒用，因?yàn)樾嗜绻挥?5%、20%，有效算力也就是1.5T、2T。

現(xiàn)在業(yè)內(nèi)有很多存算一體的架構(gòu)試圖解決這個(gè)問題，但是離量產(chǎn)還有一定的距離。愛芯元智從另一個(gè)角度來解決數(shù)據(jù)搬運(yùn)的問題：把需要搬運(yùn)的數(shù)據(jù)量減下來。愛芯的混合精度NPU減少了數(shù)據(jù)搬運(yùn)。因?yàn)閭鹘y(tǒng)NPU的數(shù)據(jù)表示格式一般是8比特、16比特，才能最后得到AI算法的精度；但是愛芯研究發(fā)現(xiàn)，AI網(wǎng)絡(luò)中有很多層不需要如此高的表示精度，有的2比特、4比特就足夠了。在此情況下，整個(gè)網(wǎng)絡(luò)數(shù)據(jù)表示或所需要的數(shù)據(jù)量，平均4比特就足夠了。這樣，相比原來的8比特網(wǎng)絡(luò)，數(shù)據(jù)搬運(yùn)量可能就變成原來的1/4。從這個(gè)角度來看，愛芯能夠提升現(xiàn)在NPU的使用率和效率，能在單位面積內(nèi)提供數(shù)倍于傳統(tǒng)NPU的等效算力，同時(shí)還能把成本和功耗降下來。

●   NPU設(shè)計(jì)理念的革新：算法和芯片協(xié)同設(shè)計(jì) 

傳統(tǒng)的方法是算法是算法，硬件是硬件。而愛芯元智的方案是協(xié)同設(shè)計(jì)、相互迭代，能不斷讓算法設(shè)計(jì)和硬件設(shè)計(jì)得到優(yōu)化。

具體地，愛芯的算法團(tuán)隊(duì)可以提供算法網(wǎng)絡(luò)的結(jié)構(gòu)、量化需求/算子需求、內(nèi)存訪問的需求等很多詳細(xì)信息給NPU設(shè)計(jì)的架構(gòu)師。愛芯的硬件架構(gòu)師根據(jù)這些算法的需求來調(diào)整或優(yōu)化整個(gè)NPU的設(shè)計(jì)。這樣能使算法跑起來的效率達(dá)到優(yōu)化的水平。

同時(shí)硬件工程師會(huì)把算子硬件加速，例如數(shù)據(jù)流優(yōu)化、存儲(chǔ)優(yōu)化、量化限制、硬件限制等硬件限制提供給算法工程師，這樣算法工程師在設(shè)計(jì)算法時(shí)，可以考慮到硬件限制，從算法的角度來規(guī)避一些硬件上的短板。

經(jīng)過上述改進(jìn)，AX630A與一家競(jìng)品進(jìn)行了實(shí)際效果對(duì)比，如表1，可以看到在公開數(shù)據(jù)集上，即Imagenet上跑Resnet50開源網(wǎng)絡(luò)。在Resnet50的精度基本不變、相似的情況下，競(jìng)品1秒只能處理約90幾幀的圖片流、視頻流，愛芯630A能夠處理1 300多幀的圖片流、視頻流?？梢夾X630A有非常大的性能提升。

表1 網(wǎng)絡(luò)運(yùn)行速度對(duì)比

另一家客戶在運(yùn)行一些私有數(shù)據(jù)集上的實(shí)際應(yīng)用結(jié)果顯示，在檢測(cè)方面，競(jìng)品在720P圖片上檢測(cè)1幀圖片大概需要33 ms，愛芯在分辨率更高的1080P大圖上運(yùn)行只需4 ms?？梢娦阅芟嗖盍藥妆丁?/p>

2）AI ISP

ISP主要指圖像信號(hào)處理的流水線（pipeline），愛芯的設(shè)計(jì)方法顛覆了傳統(tǒng)的ISP純硬件的思路，把ISP里的關(guān)鍵模塊AI化，所以叫AI ISP，優(yōu)勢(shì)是打破了傳統(tǒng)ISP算法的天花板，并且通過持續(xù)的AI算法迭代可在最短的時(shí)間內(nèi)把圖像處理的效果達(dá)到行業(yè)新高度。

愛芯元智AI ISP能夠用AI的方式完成ISP里的幾個(gè)關(guān)鍵模塊，例如高動(dòng)態(tài)、3D降噪、銳化色彩還原等成像的關(guān)鍵功能，這得益于愛芯的ISP設(shè)計(jì)，ISP與NPU也有一個(gè)聯(lián)合設(shè)計(jì)，這樣就能把整個(gè)NPU的能力在ISP的pipeline上使用起來。

從一款手機(jī)的實(shí)驗(yàn)演示上看，用了愛芯AI ISP之后，除了能做降噪、高動(dòng)態(tài)，另外一個(gè)非常關(guān)鍵的作用是能夠提升圖像的分辨率。分辨率為什么重要？例如手機(jī)、電視上有很多小視頻，絕大部分的分辨率是720P，最好的是1080P，如果把這些視頻在4K、8K的電視上去顯示的時(shí)候，就會(huì)發(fā)現(xiàn)分辨率非常差。所以愛芯正在研發(fā)的另一個(gè)技術(shù)是怎樣把一個(gè)較低端的視頻源用AI的方式去變成4K、8K的質(zhì)量。

5   兩款芯片覆蓋高端和大眾領(lǐng)域

愛芯目前已發(fā)布兩款芯片，AX630A是高端旗艦產(chǎn)品，AX620A面向主流市場(chǎng)。它們都強(qiáng)調(diào)高算力，低功耗，高算力利用率。

1）AX630A是愛芯元智正式量產(chǎn)的第一顆芯片，等效算力在int4的情況下是約是28.8T。該芯片的另一特點(diǎn)是在如此高算力的情況下，功耗可控，約為3 W。低功耗對(duì)于很多邊緣測(cè)產(chǎn)品是很重要的，因?yàn)樗鼈兺窃趹敉獾?，夏天的環(huán)境溫度有時(shí)可達(dá)40、50 ℃，因此功耗對(duì)于這類產(chǎn)品的穩(wěn)定性有非常大的影響。

2）AX620A是愛芯元智研發(fā)的第二顆芯片，目前已經(jīng)開始客戶推廣，計(jì)劃在2021年年底量產(chǎn)。愛芯希望用這顆芯片面對(duì)主流的產(chǎn)品市場(chǎng)，大概是4K 30幀以下，500萬或400萬像素的市場(chǎng)需求。

AX620A的另一個(gè)特點(diǎn)也是低功耗：在分辨率較小的1080P情況下，功耗可小于1 W，可用于電池供電的邊緣側(cè)產(chǎn)品。

（本文源于《電子產(chǎn)品世界》2021年11期）