面向輕型機(jī)器學(xué)習(xí)，恩智浦發(fā)布eIQ開發(fā)環(huán)境及芯片

　　近日，恩智浦半導(dǎo)體在京舉辦了新聞發(fā)布會(huì)，公司微控制器事業(yè)部全球產(chǎn)品總監(jiān)曾勁濤先生和系統(tǒng)工程總監(jiān)王朋朋女士介紹了邊緣AI、機(jī)器學(xué)習(xí)的戰(zhàn)略，及恩智浦剛剛發(fā)布的eIQ環(huán)境、i.MX RT600跨界處理器和LPC5500 MCU(微控制器)。

　機(jī)器學(xué)習(xí)將推動(dòng)MCU下一波動(dòng)快速增長

　　IoT推動(dòng)了這幾年MCU的更新?lián)Q代，而下一波MCU的助推器是終端的機(jī)器學(xué)習(xí)，包括家庭環(huán)境、聲音處理、手勢控制、智能感測&控制、多攝像頭觀察、個(gè)人資產(chǎn)、主動(dòng)目標(biāo)識(shí)別、AR(增強(qiáng)現(xiàn)實(shí))等。

　　典型的案例之一是目前發(fā)展火熱的人機(jī)界面的聲音處理，會(huì)推動(dòng)下一波白電等家電應(yīng)用的需求。例如在2018年10月的ArmTechCon2018大會(huì)上，恩智浦展示了聲控洗衣機(jī)，可以對洗衣機(jī)說：“打開洗衣機(jī)”。洗衣機(jī)會(huì)問：“你要怎么樣洗?”可以回答：“我要標(biāo)準(zhǔn)洗”或“強(qiáng)力洗”。也可以告訴洗衣機(jī)洗什么樣的衣物，例如“洗被子”，或用什么方式洗，例如“熱水洗”、“冷水洗”等，洗衣機(jī)就自動(dòng)設(shè)置好了。

　　再例如圖形的識(shí)別，恩智浦在美國的一個(gè)DEMO(演示)是交通指示標(biāo)識(shí)識(shí)別，機(jī)器能夠識(shí)別紅綠燈、是路還是人，假設(shè)指示標(biāo)識(shí)斜著、模糊一點(diǎn)，機(jī)器都可以辨認(rèn)出來。

　　邊緣AI的芯片布局

　　恩智浦有全套的MCU、MPU產(chǎn)品線，從低端的MCU一直到高端的四核、八核高端處理器，所有這些芯片都可以用在機(jī)器學(xué)習(xí)、邊緣計(jì)算上。

　　客戶可以在云端進(jìn)行訓(xùn)練，通過軟件的推理，在終端的處理器上進(jìn)行應(yīng)用(如下圖)。

　　機(jī)器學(xué)習(xí)開發(fā)環(huán)境eIQ

　　恩智浦主推的AI開發(fā)環(huán)境是eIQ，是機(jī)器學(xué)習(xí)(ML)的開發(fā)環(huán)境。如下圖，底端的硬件平臺(tái)有傳統(tǒng)的MCU和MPU，諸如Kinetis、LPC等Cortex-M核的MCU產(chǎn)品，還有新的i.MX RT系列跨界處理器，高端的i.MX6、7、8等處理器，還有Layerscape處理器。

　　硬件平臺(tái)里，運(yùn)算的部分是核和硬件加速器，有Cortex-R、M和A核，GPU、DSP中放的是DSP核，未來一兩年內(nèi)，恩智浦還將開發(fā)ML(機(jī)器學(xué)習(xí))的加速硬件，這不同于大型的云端硬件加速，而是可以跨平臺(tái)、跨處理器和微控制器的用于終端計(jì)算的ML加速器。

　　在芯片之上是硬件抽象層，諸如OpenCL，OpenVX，Arm自己的計(jì)算庫/ CMSIS-NN，還有恩智浦自己的API。

　　再往上是推理機(jī)(Inference Engine)，有很多種，主推的有Google的TensorFlow、TF Lite等。實(shí)際上，恩智浦支持所有開發(fā)環(huán)境。現(xiàn)在還有新的NN Compiler(編譯器)，例如Facebook的GLOW等。

　　在基于所有的機(jī)器學(xué)習(xí)軟件硬件結(jié)合之后，恩智浦推出了全套的解決方案，包括視頻、音頻及機(jī)械傳感器的解決方案(例如壓力、加速度傳感器的解決方案)。同時(shí)針對各種應(yīng)用，推出了應(yīng)用上的解決方案，例如ISP(圖像信號(hào)處理)、圖像加速、傳感器融合、全景環(huán)視(注：過去通常是車上用，現(xiàn)在家居方面也有很多應(yīng)用)，還有前端的聲音的控制，諸如多揚(yáng)聲器。

　　在揚(yáng)聲器方面，如果是兩個(gè)揚(yáng)聲器，用比較簡單便宜的MCU就足夠了，例如LPC和Kinetis系列;如果更多揚(yáng)聲器，由于數(shù)據(jù)處理量大，適合用i.MX RT跨界處理器平臺(tái)，或i.MX 7、8、8M等高端處理器。

　　可見根據(jù)不同的應(yīng)用，恩智浦有不同的處理器配合，這是eIQ的概念。恩智浦的目標(biāo)是讓外界主流的推理機(jī)都能運(yùn)行在恩智浦的硬件上。

　　為此，恩智浦也有全套的芯片。如下圖，越往右，處理器的性能越高，推理時(shí)間越短，例如最右端的i.MX用的是GPU、DSP，未來一兩年內(nèi)，恩智浦還會(huì)推出ML加速硬件，是真正的專用加速器。

　　新發(fā)布的RT600和LPC5500有何特點(diǎn)?

　　傳統(tǒng)意義上，處理器/MCU性能越好成本越高。恩智浦這幾年力圖把高性能低端化。為此，2018年10月推出了兩款與機(jī)器學(xué)習(xí)相關(guān)的產(chǎn)品——RT600和LPC5500。

　　*RT600。據(jù)悉，i.MX RT600跨界平臺(tái)是面向?qū)崟r(shí)機(jī)器學(xué)習(xí)/人工智能應(yīng)用的能效優(yōu)化Cortex-M33/DSP MCU，采用最高300MHz的Cortex-M33和600MHz的Cadence Tensilica HiFi 4 DSP，采用28nm FD-SOI技術(shù)，提供最多4.5MB的共享片上SRAM，可在超低功耗的邊緣處理應(yīng)用中提供高性能語音和音頻，為DSP提供4個(gè)32位MAC、矢量浮點(diǎn)功能單元、256位寬訪問數(shù)據(jù)總線，以及特殊激活函數(shù)(例如Sigmoid等傳遞函數(shù))的DSP擴(kuò)展。

　　因此，RT600的亮點(diǎn)是業(yè)界第一次把高性能DSP放到微控制器的環(huán)境里，而且這不是一個(gè)簡單的小DSP，是真正全功能的HiFi 4的DSP(如下圖)。

　　為何RT600中能加入強(qiáng)大的DSP功能?因?yàn)镽T600中采用了M33。Arm在推出M33核時(shí)，做了一個(gè)特殊的地方，增加了一個(gè)多核接口，專門幫助MCU設(shè)計(jì)者和最終的用戶能夠利用協(xié)處理器來處理。

照片：RT600演示，可以同時(shí)實(shí)現(xiàn)5個(gè)人臉檢測，每秒7幀

　　*LPC5500。是恩智浦推出的第一款40納米的內(nèi)置閃存的MCU，里面沒有加高性能DSP，而是加了一個(gè)PowerQuad DSP加速器，可以做機(jī)器學(xué)習(xí)的濾波、疊加等。里面還有加密引擎。功耗非常低。

　　三大特點(diǎn)，第一是內(nèi)置閃存的;第二，是第一款40nm帶內(nèi)置閃存的MCU;第三，是全球第一款雙核M33產(chǎn)品，這樣，可以用一個(gè)M33來做普通的界面接口，用于網(wǎng)絡(luò)傳輸、數(shù)據(jù)傳輸?shù)韧ㄓ?用另外一個(gè)M33來做各種各樣的算法。

　　確保安全的措施

　　IoT(物聯(lián)網(wǎng))或機(jī)器學(xué)習(xí)都離不開安全。RT600和LPC5500把跨界處理器、MCU的安全性能再次提高，增加了很多新功能(如下圖)。

　　首先，硬件存儲(chǔ)方面(注：這也是最基礎(chǔ)的部分)，恩智浦第一次推出PUF概念。具體地，安全就像家中最基本的保護(hù)——鑰匙一樣，攝像頭、防火墻等最基本的安全保障就是鑰匙。對于MCU也一樣，所有的功能，諸如加密、信息傳輸、軟件等的加密都需要鑰匙把它鎖住。相對于傳統(tǒng)鑰匙需要寫在芯片里，恩智浦第一次推出PUF概念。

　　PUF的原理是有一個(gè)RAM，當(dāng)它上電之后，是有很多不確定性的，有一個(gè)算法，把這個(gè)不確定性作為其鑰匙，每一個(gè)芯片有自己獨(dú)特的不確定性，好處是當(dāng)這個(gè)任務(wù)關(guān)掉以后，這個(gè)鑰匙就不存在了;當(dāng)再次上電時(shí)，這個(gè)鑰匙才產(chǎn)生出來。

　　PUF是恩智浦現(xiàn)在主推的產(chǎn)生鑰匙的一種方式。有了鑰匙，才有真正的加密的根、信任根，有這個(gè)鑰匙才能打開里面所有的東西。因此，先把鑰匙管好很重要。

　　其次，上面有各種各樣的加密，硬件加密，AES，OTFAD，是給外面Flash加密和解密的技術(shù)。

　　再有，M33核方面，Arm推M33的最大的理由是可提供一個(gè)TrustZone加密環(huán)境。TrustZone的概念是在一個(gè)加密環(huán)境里執(zhí)行指令。此外，M33在性能上比以前的M4提高了，可以簡單地認(rèn)為M33是M4的提高版，性能提高了20%、30%。鑒于M33的諸多優(yōu)勢，恩智浦今后的MCU里不會(huì)再嵌入M4核，取而代之的是M33核。

　　最后，最上層是Firmware(固件)的加密，保障安全啟動(dòng)，有安全調(diào)試。以往調(diào)試是安全當(dāng)中的一個(gè)弱項(xiàng)，以前都有一個(gè)“后門”，很多都是從調(diào)試的門進(jìn)去，現(xiàn)在可以用加密調(diào)試。

　　小結(jié)

　　物聯(lián)網(wǎng)終端產(chǎn)品正具備更多的AI，為此，恩智浦推出了eIQ開發(fā)環(huán)境，并在新產(chǎn)品中賦予了更多機(jī)器學(xué)習(xí)和安全性，例如i.MX RT600和LPC5500都增加了DSP語音識(shí)別能力，分別面向中端和低端邊緣AI應(yīng)用。

照片：RT600和LPC5500的演示