為快速增長的網(wǎng)絡(luò)邊緣人工智能應(yīng)用提供更高性能的解決方案

萊迪思半導(dǎo)體白皮書

2019年8月

存在檢測和對象計數(shù)等網(wǎng)絡(luò)邊緣人工智能應(yīng)用越來越受歡迎，但設(shè)計人員越來越多地要求在不影響性能的情況下實(shí)現(xiàn)低功耗和小尺寸的網(wǎng)絡(luò)邊緣人工智能解決方案。萊迪思的sensAI技術(shù)集合的最新版本， 適用于ECP5和iCE40 UltraPlus FPGA，為設(shè)計人員提供了在網(wǎng)絡(luò)邊緣實(shí)現(xiàn)低功耗、高性能AI所需的硬件平臺、IP、軟件工具、參考設(shè)計和設(shè)計服務(wù)。

目錄

第一章  摘要

第二章  利用FPGA的優(yōu)勢

第三章  主要更新

第四章  sensAI設(shè)計案例

第五章  結(jié)論

摘要

低成本、高性能的網(wǎng)絡(luò)邊緣解決方案的市場競爭日益激烈。領(lǐng)先的市場研究公司預(yù)測，在未來六年內(nèi)，網(wǎng)絡(luò)邊緣解決方案市場將迎來大爆發(fā)。IHS預(yù)計到2025年，將有超過400億臺設(shè)備在網(wǎng)絡(luò)邊緣運(yùn)行，而市場情報機(jī)構(gòu)Tractica預(yù)測，屆時每年將出貨超過25億臺網(wǎng)絡(luò)邊緣設(shè)備。

隨著新一代網(wǎng)絡(luò)邊緣應(yīng)用的出現(xiàn)，設(shè)計人員越來越傾向于開發(fā)結(jié)合低功耗和小尺寸而不降低性能的解決方案。推動這些新的AI解決方案的是越來越多的網(wǎng)絡(luò)邊緣應(yīng)用，例如家庭控制中智能門鈴和安全攝像頭的存在檢測，零售應(yīng)用中用于庫存的對象計數(shù)，以及工業(yè)應(yīng)用中的物體和存在檢測。一方面，市場要求設(shè)計人員開發(fā)出性能比以往更高的解決方案。另一方面，延遲、帶寬、隱私、功耗和成本問題限制了他們依賴云的計算資源來執(zhí)行分析。

同時，性能、功耗和成本限制因應(yīng)用而異。隨著實(shí)時在線網(wǎng)絡(luò)邊緣應(yīng)用的數(shù)據(jù)需求不斷推動對基于云的服務(wù)的需求，設(shè)計人員必須解決傳統(tǒng)的功耗、電路板面積和成本問題。開發(fā)人員如何解決系統(tǒng)對于日益嚴(yán)格的功耗（毫瓦級）和小尺寸（5 mm2到100 mm2）要求。單論各種性能要求就已經(jīng)很難滿足。

利用FPGA的優(yōu)勢

萊迪思的FPGA具有獨(dú)特的優(yōu)勢，可以滿足網(wǎng)絡(luò)邊緣設(shè)備快速變化的市場需求。設(shè)計人員可以在不依賴云端的情況下，快速為網(wǎng)絡(luò)邊緣設(shè)備提供更多計算資源的其中一個方法是使用FPGA中本身的并行處理能力來加速神經(jīng)網(wǎng)絡(luò)性能。此外，通過使用針對低功耗運(yùn)行而優(yōu)化的低密度、小尺寸封裝FPGA，設(shè)計人員可以滿足新的消費(fèi)和工業(yè)應(yīng)用對功耗和尺寸的嚴(yán)格限制。例如，萊迪思的iCE40  UltraPlus?和ECP5?產(chǎn)品系列支持網(wǎng)絡(luò)邊緣解決方案的開發(fā)，功耗低至1 mW到1 W，硬件平臺尺寸小至5.5 mm2到100  mm2。通過將超低功耗、高性能和高精度與全面的傳統(tǒng)接口支持相結(jié)合，這些FPGA為網(wǎng)絡(luò)邊緣設(shè)備開發(fā)人員提供了滿足不斷變化的設(shè)計要求所需的靈活性。

圖1：萊迪思半導(dǎo)體的低功耗、小尺寸FPGA提供適當(dāng)?shù)男阅芎凸δ芙M合，支持網(wǎng)絡(luò)邊緣人工智能應(yīng)用

為了滿足這一需求并加速開發(fā)，萊迪思推出了業(yè)界第一款技術(shù)集合sensAI?，為設(shè)計人員提供了開發(fā)智能家居、智能工廠、智能城市和智能汽車中低功耗、高性能網(wǎng)絡(luò)邊緣設(shè)備所需的所有工具。sensAI旨在滿足支持AI的網(wǎng)絡(luò)邊緣設(shè)備不斷增長的需求，提供全面的硬件和軟件解決方案，用于在網(wǎng)絡(luò)邊緣運(yùn)行的智能設(shè)備中實(shí)現(xiàn)低功耗、實(shí)時在線的AI功能。它于2018年推出，旨在無縫創(chuàng)建新設(shè)計或更新現(xiàn)有設(shè)計，其低功耗AI推理針對這些新應(yīng)用要求進(jìn)行了優(yōu)化。

這個綜合設(shè)計生態(tài)系統(tǒng)中有什么？首先，萊迪思的模塊化硬件平臺，如帶有HM01B0      Shield開發(fā)板的iCE40 UPduino 2.0和基于ECP5的嵌入式視覺開發(fā)套件（EVDK），為應(yīng)用開發(fā)提供了堅實(shí)的基礎(chǔ)。UPduino可用于僅需幾毫瓦的AI設(shè)計，而EVDK支持需要更高功耗但通常工作在1W以下的應(yīng)用。

軟IP可以很容易地實(shí)例化到FPGA中，以加速神經(jīng)網(wǎng)絡(luò)的開發(fā)。因此，sensAI開發(fā)包包括CNN加速器IP， 能讓設(shè)計人員在iCE40 UltraPlus FPGA中實(shí)現(xiàn)深度學(xué)習(xí)應(yīng)用。sensAI還提供完整的CNN可設(shè)置參數(shù)的加速器IP核，可以在萊迪思的ECP5 FPGA中實(shí)現(xiàn)。這些IP支持可變量化。這反過來又使設(shè)計人員能夠在數(shù)據(jù)準(zhǔn)確性和功耗之間進(jìn)行權(quán)衡。

Lattice的sensAI技術(shù)集合允許設(shè)計人員通過易于使用的工具流程探索設(shè)計選項和權(quán)衡。設(shè)計人員可以使用Caffe、TensorFlow和Keras等行業(yè)標(biāo)準(zhǔn)框架進(jìn)行網(wǎng)絡(luò)訓(xùn)練。開發(fā)環(huán)境還提供神經(jīng)網(wǎng)絡(luò)編譯器，將訓(xùn)練的網(wǎng)絡(luò)模型映射為固定點(diǎn)表示，支持權(quán)重和激活的可變量化。設(shè)計人員可以使用編譯器來幫助分析、仿真和編譯不同類型的網(wǎng)絡(luò)，以便在沒有RTL經(jīng)驗(yàn)的情況下在萊迪思的加速器IP核上實(shí)現(xiàn)。然后，設(shè)計人員可以使用傳統(tǒng)的FPGA設(shè)計工具，如Lattice Radiant和Diamond來實(shí)現(xiàn)整個FPGA設(shè)計。

為加快設(shè)計實(shí)現(xiàn)，sensAI提供了越來越多的參考設(shè)計和演示。包括面部識別、手勢檢測、關(guān)鍵詞檢測、人員存在檢測、面部跟蹤、對象計數(shù)和速度標(biāo)志檢測。最后，設(shè)計團(tuán)隊通常需要一定的專業(yè)知識才能完成設(shè)計。為滿足這一需求，萊迪思與全球各地的眾多設(shè)計服務(wù)合作伙伴建立了合作關(guān)系，以便為AI / ML專業(yè)知識不足的客戶提供支持。

圖

圖2：Lattice senseAI是一整套硬件和軟件解決方案，適用于網(wǎng)絡(luò)邊緣人工智能應(yīng)用的開發(fā)

主要更新

為了滿足網(wǎng)絡(luò)邊緣AI快速增長的性能要求，萊迪思在2019年發(fā)布sensAI更新，增強(qiáng)了其性能并優(yōu)化了設(shè)計流程。更新后的sensAI比上一版本的性能提升了10倍，這是由多個優(yōu)化促成的，包括通過更新CNN IP 和神經(jīng)網(wǎng)絡(luò)編譯器，新增8位激活量化、智能層合并以及雙DSP引擎等特性，優(yōu)化了存儲器的訪問。

在最新版本中，由于更新了神經(jīng)網(wǎng)絡(luò)編譯器，支持8位輸入數(shù)據(jù)，存儲器訪問序列得到大幅優(yōu)化。因此不僅外部存儲器的訪問減少了一半，還支持使用更高分辨率的圖像作為數(shù)據(jù)輸入。使用更高分辨率的圖像， 解決方案自然更為精確。

為進(jìn)一步加速性能，萊迪思優(yōu)化了sensAI神經(jīng)網(wǎng)絡(luò)中的卷積層，減少了卷積計算耗費(fèi)的時間。萊迪思將器件中的卷積引擎數(shù)量翻倍，減少了約50%的卷積時間。

萊迪思在不增加功耗的情況下提升了sensAI的性能，設(shè)計人員因此可以選擇ECP5 FPGA產(chǎn)品系列中門數(shù)較少的器件。經(jīng)優(yōu)化的演示示例可以幫助實(shí)現(xiàn)性能提升。例如，針對低功耗運(yùn)行進(jìn)行優(yōu)化、采用CMOS圖像傳感器的人員偵測演示，通過VGG8網(wǎng)絡(luò)提供64 x 64 x 3的分辨率。該系統(tǒng)以每秒5幀的速率運(yùn)行，使用iCE40 UltraPlus FPGA功耗僅為7 mW。第二個性能經(jīng)優(yōu)化的演示，針對人員計數(shù)應(yīng)用，同樣也使用CMOS圖像傳感器，通過VGG8網(wǎng)絡(luò)提供128 x 128 x 3的分辨率。該演示以每秒30幀的速率運(yùn)行，使用ECP5-85K FPGA功耗為850 mW。

圖3：這些參考設(shè)計展示了sensAI提供的功耗與性能可選方案

與此同時，sensAI給用戶帶來無縫的設(shè)計體驗(yàn)，它支持更多神經(jīng)網(wǎng)絡(luò)模型和機(jī)器學(xué)習(xí)框架，從而縮短設(shè) 計周期。全新可定制化的參考設(shè)計可簡化對象計數(shù)和存在檢測等常見的網(wǎng)絡(luò)邊緣解決方案的開發(fā)，同時設(shè)計合作伙伴生態(tài)也在不斷拓展，為用戶提供重要的設(shè)計服務(wù)。有了這些，萊迪思能為開發(fā)人員提供他們復(fù)制或調(diào)整其設(shè)計所需的全部關(guān)鍵工具。例如，下列框圖展示了萊迪思提供的一系列全面的組件，包括訓(xùn)練模型、訓(xùn)練數(shù)據(jù)集、訓(xùn)練腳本、經(jīng)過更新的神經(jīng)網(wǎng)絡(luò)IP和神經(jīng)網(wǎng)絡(luò)編譯器。

圖4: sensAI的設(shè)計流程包括了行業(yè)領(lǐng)先的機(jī)器學(xué)習(xí)框架、訓(xùn)練數(shù)據(jù)和腳本、

神經(jīng)網(wǎng)絡(luò)IP等設(shè)計和訓(xùn)練網(wǎng)絡(luò)邊緣AI設(shè)備必需的資源

萊迪思還拓展了對機(jī)器學(xué)習(xí)框架的支持，致力于提供無縫的用戶體驗(yàn)。最初版本的sensAI支持Caffe和TensorFlow，最新版本新增支持Keras，這是用Python編寫的開源神經(jīng)網(wǎng)絡(luò)，可在TensorFlow、Microsoft Cognition Toolkit或Theano上運(yùn)行。Keras旨在幫助工程師快速實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)，它可以提供用戶友

好、模塊化和可拓展的環(huán)境，加速原型設(shè)計。Keras最初被當(dāng)做一種接口而非獨(dú)立的機(jī)器學(xué)習(xí)框架，它的高度抽象性能讓開發(fā)人員加速開發(fā)深度學(xué)習(xí)模型。

為進(jìn)一步簡化使用，萊迪思更新了sensAI神經(jīng)網(wǎng)絡(luò)編譯器工具，它可以在機(jī)器學(xué)習(xí)模型轉(zhuǎn)換為固件文件時自動選擇最精確的分?jǐn)?shù)位數(shù)。sensAI更新還新增了一個硬件調(diào)試工具，讓用戶可以在神經(jīng)網(wǎng)絡(luò)每個層進(jìn)行讀取和寫入。進(jìn)行軟件仿真之后，工程師也需要知道他們的網(wǎng)絡(luò)在實(shí)際硬件上的表現(xiàn)。使用此工具，工程師可以在短短幾分鐘內(nèi)看到硬件運(yùn)行的結(jié)果。

此外，最新版本的sensAI得到了越來越多公司的支持，他們?yōu)槿R迪思提供專為低功耗、實(shí)時在線的網(wǎng)絡(luò)邊緣設(shè)備而優(yōu)化的設(shè)計服務(wù)和產(chǎn)品開發(fā)技能。這些公司通過無縫更新現(xiàn)有設(shè)計或針對特定應(yīng)用開發(fā)完整的解決方案來幫助客戶構(gòu)建網(wǎng)絡(luò)邊緣AI設(shè)備。

sensAI設(shè)計案例

萊迪思這一更高性能的全新解決方案可用于下列四種不同的加速器設(shè)計案例。在第一個設(shè)計案例中（圖5）,設(shè)計工程師使用sensAI來構(gòu)建獨(dú)立運(yùn)行模式的解決方案。這種系統(tǒng)架構(gòu)能讓設(shè)計工程師在萊迪思iCE40 UltraPlus或ECP5 FPGA上開發(fā)出實(shí)時在線的集成解決方案，具有延遲低、安全性高的特點(diǎn)，其中FPGA資源可用于系統(tǒng)控制。典型的一種應(yīng)用就是使用獨(dú)立運(yùn)行的傳感器實(shí)現(xiàn)人員偵測和計數(shù)。

圖5：將sensAI作為獨(dú)立運(yùn)行的網(wǎng)絡(luò)邊緣AI處理解決方案

設(shè)計人員還使用sensAI開發(fā)兩種不同類型的預(yù)處理解決方案。第一種情況下（圖6），設(shè)計人員采用了萊迪思sensAI以及一片低功耗的iCE40 UltraPlus FPGA對傳感器數(shù)據(jù)進(jìn)行預(yù)處理，從而最大程度地降低了向SoC或云端傳輸數(shù)據(jù)進(jìn)行分析的成本。例如，如果是用在智能門鈴上，sensAI會初步讀取來自圖像傳感器的數(shù)據(jù)。如果判斷為不是人，比如說是一只貓，那么系統(tǒng)就不會喚醒SoC或連接到云端作進(jìn)一步處理。因此，這種方法可以最大程度降低數(shù)據(jù)傳輸成本和功耗。如果預(yù)處理系統(tǒng)判斷門口的對象是人，則喚醒SoC 作進(jìn)一步處理。這能極大減少系統(tǒng)需要處理的數(shù)據(jù)量，同時降低功耗要求，這對于實(shí)時在線的網(wǎng)絡(luò)邊緣應(yīng)用來說至關(guān)重要。

圖6：在此案例中，sensAI會預(yù)處理傳感器數(shù)據(jù)來判斷該數(shù)據(jù)是否需要發(fā)送到SoC作進(jìn)一步處理

在第二個預(yù)處理應(yīng)用中，設(shè)計人員可以使用ECP5 FPGA實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)加速（圖7）。在此案例中，設(shè)計人員利用ECP5 IO的靈活性將各類現(xiàn)有的板載器件（如傳感器）連接到低端MCU，實(shí)現(xiàn)高度靈活的系統(tǒng)控制。

圖7：第二個系統(tǒng)架構(gòu)也采用了預(yù)處理，

設(shè)計人員可以使用ECP5和sensAI預(yù)處理傳感器數(shù)據(jù)，加強(qiáng)神經(jīng)網(wǎng)絡(luò)的綜合性能

設(shè)計人員還可以在后處理系統(tǒng)中使用sensAI加速器（圖8）。越來越多的設(shè)計案例表明，很多公司雖然已經(jīng)開發(fā)出經(jīng)過驗(yàn)證、基于MCU的解決方案，但是他們希望在不更換組件或重新設(shè)計的情況下新增某種AI功能。但是在某些情況下，他們的MCU性能相對不足。典型的例子就是智能工業(yè)或智能家庭應(yīng)用，在進(jìn)行分析之前需要圖像濾波。設(shè)計人員可以在這里添加另一個MCU，然后經(jīng)歷耗時的設(shè)計驗(yàn)證過程，或者也可以在MCU和數(shù)據(jù)中心之間添加加速器進(jìn)行后處理，最大限度地減少發(fā)送到云端的數(shù)據(jù)量。這種方法對想要添加AI功能的物聯(lián)網(wǎng)設(shè)備開發(fā)人員尤其有吸引力。

圖8：通過sensAI增強(qiáng)該基于MCU的設(shè)計，讓現(xiàn)有的設(shè)計支持網(wǎng)絡(luò)邊緣AI功能

結(jié)論

顯然，未來幾年將是實(shí)時在線的網(wǎng)絡(luò)邊緣智能設(shè)備這一市場發(fā)展的關(guān)鍵時期。由于應(yīng)用變得越來越復(fù)

雜，設(shè)計人員將急需能夠以低功耗支持更高性能的工具。萊迪思最新版本的sensAI技術(shù)配合ECP5和iCE40 UltraPlus FPGA，將為設(shè)計人員提供硬件平臺、IP、軟件工具、參考設(shè)計和設(shè)計服務(wù)，幫助他們戰(zhàn)勝競爭對手，快速開發(fā)出成功的解決方案。