降低MCU運行AI算法的門檻！恩智浦Nano.AI工具鏈解讀

編譯 |  心緣
編輯 |  漠影
5月25日，覆蓋輕量級神經(jīng)網(wǎng)絡(luò)模型設(shè)計、模型壓縮、AI推理引擎、AI芯片架構(gòu)創(chuàng)新等主題的GTIC 2021嵌入式AI創(chuàng)新峰會將在北京舉行。屆時，嵌入式AI產(chǎn)業(yè)鏈10+位技術(shù)大牛及業(yè)界專家齊聚，探討物聯(lián)網(wǎng)與AI融合賽道的核心議題。峰會前夕，我們與多位嘉賓進(jìn)行系列深度訪談，提前一睹他們對產(chǎn)業(yè)的真知灼見。本期訪談嘉賓為恩智浦半導(dǎo)體IoT解決方案高級經(jīng)理秦建峰，他將帶來主題為《如何設(shè)計高效率MCU AI工具鏈》的演講。秦建峰擁有中國科學(xué)技術(shù)大學(xué)碩士學(xué)位，負(fù)責(zé)AI/ML技術(shù)在恩智浦的MCU及MPU上的應(yīng)用開發(fā)，曾帶領(lǐng)團(tuán)隊獨立研發(fā)并發(fā)布了全球第一款基于MCU RT106F的低功耗、低成本的人臉識別方案，基于雙目活體算法的方案廣泛應(yīng)用于門鎖及門禁等產(chǎn)品。他帶領(lǐng)團(tuán)隊獨立研發(fā)的Nano.AI工具鏈，能快速準(zhǔn)確地將客戶的算法模型從MPU平臺部署到MCU平臺，達(dá)到降功耗和降成本的目的。就MCU部署AI應(yīng)用的痛點、現(xiàn)有AI開源工具鏈的局限性、恩智浦打磨軟件工具的經(jīng)驗與解法等話題，我們與秦建峰進(jìn)行了深入交流。

AI跑在MCU上，存在哪些技術(shù)挑戰(zhàn)和痛點？

在物聯(lián)網(wǎng)與AI交匯之處，技術(shù)創(chuàng)新的火苗正逾燃逾旺，從芯片大廠到創(chuàng)業(yè)公司都在積極涌入嵌入式AI新浪潮，恩智浦正是其中的代表玩家之一。在理解物聯(lián)網(wǎng)客戶需求方面，很少有公司能有像恩智浦這樣的深度和廣度。一方面，它是MCU（微控制單元）、應(yīng)用處理器領(lǐng)域的資深玩家；另一方面，它的物聯(lián)網(wǎng)布局還覆蓋到各種無線連接產(chǎn)品、安全功能芯片、超寬帶（UWB）芯片及相應(yīng)軟件和方案。從與客戶的交流中，秦建鋒發(fā)現(xiàn)恩智浦的物聯(lián)網(wǎng)客戶有一些共性需求，除了關(guān)注成本外，也越來越看重MCU的算力、豐富的AI功能，以及尋求產(chǎn)品的差異化。MCU在低功耗、低成本的物聯(lián)網(wǎng)應(yīng)用中落地廣泛，比如智能門鎖、基于電池的手持端設(shè)備，它們不像安防監(jiān)控設(shè)備需要高分辨率、快響應(yīng)速度，更在乎是否足夠便宜、耐用性好。相比初創(chuàng)公司，恩智浦手中握著沉甸甸的數(shù)十年MCU產(chǎn)品經(jīng)驗，這是它獨有的技術(shù)財富。除了持續(xù)加固自身技術(shù)壁壘外，恩智浦也在思考著怎么解決客戶最棘手的問題。不過，當(dāng)AI應(yīng)用逐漸遍及MCU領(lǐng)域，新的挑戰(zhàn)開始出現(xiàn)。第一道難關(guān)即是硬件算力的受限和運行內(nèi)存空間大小的挑戰(zhàn)。囿于低功耗、低成本，有些中低端MCU不支持外擴(kuò)SDRAM，僅支持內(nèi)部幾百KB的SRAM和受限到幾十兆空間的Flash。大部分廠商的AP處理器采用基于Arm Cortex-A系列的多核、高主頻CPU，對于浮點數(shù)跟定點數(shù)的處理能力都非常強(qiáng)，功耗和成本也相對偏高。功耗和成本較低的MCU則往往是單核的，主頻幾百MHz，恩智浦目前主流的是600MHz，1GHz剛剛推出，即便這樣，Arm Cortex-M MCU處理器面向低功耗設(shè)計，對于浮點數(shù)的處理能力較弱。這些MCU需要設(shè)計輕量化的模型，并進(jìn)行一些量化、裁剪、融合等優(yōu)化操作。這就帶來第二個難關(guān)——目前MCU轉(zhuǎn)化及量化缺乏成熟且統(tǒng)一的標(biāo)準(zhǔn)。如果廠商可以針對MCU的特點開發(fā)一些好工具鏈，就能在MCU上得到相應(yīng)非常好的性能。而關(guān)鍵的難題在于，盡管各開源大廠對自身的訓(xùn)練框架、引擎級模型支持較好，但對于一些相對復(fù)雜或特殊的模型，大概率無法成功地轉(zhuǎn)化，或者是看似成功，實際上精度丟失比較嚴(yán)重。有些推理引擎為了實現(xiàn)跨平臺和兼容性，一定程度上犧牲了性能；有些開源推理引擎因追求大而全，致使體量過于龐大，內(nèi)存空間浪費嚴(yán)重。如果客戶并未深度掌握AI機(jī)器學(xué)習(xí)技術(shù)，一旦工具鏈出問題，就無法繼續(xù)在MCU上部署AI模型。因此，開源工具鏈?zhǔn)且环N選擇，但存在很大的技術(shù)風(fēng)險和不確定性。這也是恩智浦嗅到機(jī)會的地方——針對AI在MCU上的部署，客戶需要依賴一些商用工具的支持。
AI工具鏈已打磨三年降低MCU部署AI門檻

從2018年底啟動研發(fā)至今，恩智浦的Nano.AI工具鏈已經(jīng)打磨了將近三年，目前已到試用階段。傳統(tǒng)AI機(jī)器學(xué)習(xí)模型如果直接在MCU上運行，運行效率非常低，可能與優(yōu)化后的性能大概相差10倍以上。因此這些模型需要通過開源工具鏈或是廠商自己開發(fā)的工具鏈來做轉(zhuǎn)換。借助AI工具鏈，客戶無需在原始AI模型轉(zhuǎn)換方面做過多投入，即便缺乏應(yīng)用經(jīng)驗，也能比較省力地將其原始算法模型轉(zhuǎn)換成在MCU上能直接使用的算法庫。在MPU領(lǐng)域，開源標(biāo)準(zhǔn)已經(jīng)發(fā)展的相對成熟，支持范圍較廣，出現(xiàn)問題的可能性較低。但在MCU領(lǐng)域，還沒出現(xiàn)一款足夠成熟好用的AI工具鏈。發(fā)現(xiàn)這一空白后，恩智浦決定綜合各類方案的優(yōu)缺點，打造一個適用于MCU的AI工具鏈，起名為Nano.AI工具鏈，并基于自研工具開發(fā)出一些完整解決方案，交予客戶商用。

恩智浦的AI工具鏈主要包含兩部分，一部分是將原始算法模型轉(zhuǎn)換成MCU上能夠快速運行的數(shù)據(jù)和庫，另一部分包含一個輕量級推理引擎，能做出一個能跑在MCU上、只需幾兆Flash甚至幾兆SDRAM的方案。同時，恩智浦也可以將具體的優(yōu)化措施反饋給客戶，包括從算法、算法、模型本身和源頭上如何做優(yōu)化從而實現(xiàn)一個更適合在MCU上跑的算法模型。這需要一個相互支持的合作模式。要做出這樣一套AI工具鏈，首先MCU技術(shù)團(tuán)隊需對自家產(chǎn)品的架構(gòu)優(yōu)勢等各方面有深入了解。比如，恩智浦之所以能在MCU上實現(xiàn)很多視覺與語音AI應(yīng)用，是因為恩智浦對自身在總線架構(gòu)設(shè)計上的優(yōu)勢有信心，像大尺寸cache、大TCM內(nèi)存，天然就能在MCU上得到很好的AI性能。另外，一些終端方案的大廠會推出自家的工具鏈、算法，但它們主要是服務(wù)于自身，同時在對MCU的理解深度方面通常不如芯片廠商。相對而言，恩智浦不是AI軟件公司，而是一家芯片供應(yīng)商，天然就有幫助客戶解決技術(shù)壁壘的意愿，會通過合作幫助客戶解決基于MCU的AI方案的種種技術(shù)壁壘。
恩智浦IoT半導(dǎo)體的競爭力：深入客戶、車規(guī)標(biāo)準(zhǔn)、供貨穩(wěn)定、交鑰匙方案

AI工具鏈只是恩智浦強(qiáng)化其IoT半導(dǎo)體業(yè)務(wù)實力的一個能力分支。在交流過程中，秦建峰總結(jié)了恩智浦IoT半導(dǎo)體方案的4項競爭力。第一，恩智浦有幾十年的微控制器和應(yīng)用處理器的產(chǎn)品經(jīng)驗，在芯片架構(gòu)積累了一些獨到的能力，并對客戶應(yīng)用有深入理解，能從廣泛的客戶群中挖掘出很多共性的需求。第二，作為一個領(lǐng)先的汽車芯片供應(yīng)商，恩智浦在非汽車芯片的很多設(shè)計也遵循車規(guī)的要求，因此產(chǎn)品質(zhì)量本身過硬。第三，恩智浦堅持長期供貨，在芯片設(shè)計界有優(yōu)良口碑，能幫客戶降低很多風(fēng)險。第四，恩智浦長期大量投入軟件和方案，像秦建峰所在的解決方案部門一直幫助客戶基于恩智浦的芯片、算法及工具鏈做交鑰匙方案，進(jìn)而降低方案開發(fā)門檻、減少研發(fā)投入，并能及時支持一些定制化需求，使客戶的方案快速投入到市場。例如，恩智浦近兩年已成功推出基于MCU的亞馬遜Alexa方案，其中包含多類算法。如果沒有像恩智浦這樣廠商去牽頭去做，普通客戶很難得到亞馬遜的認(rèn)證。恩智浦把整個交鑰匙方案做好之后，客戶就能快速出產(chǎn)品。
下一代MCU將集成更豐富的AI特性

在秦建峰看來，要衡量一個IoT芯片產(chǎn)品的優(yōu)劣，首先要找到整體成本和性能表現(xiàn)的一個最佳平衡點，除此以外，還有幾點還需要綜合考慮：一是整體的功耗和方案的可擴(kuò)展性，二是否引入了太多的第三方，導(dǎo)致開發(fā)進(jìn)度、靈活度受到限制，三是有沒有一個長期路線圖，能確保方案設(shè)計存在延續(xù)性，可以持續(xù)地迭代更新。目前，恩智浦正在規(guī)劃的下一代MCU和AP平臺，將集成更豐富的AI功能和無線連接特性，并基于這些芯片路線圖推出更多交鑰匙解決方案，進(jìn)一步覆蓋語音和視覺AI的一些高性價比應(yīng)用方案。談及后續(xù)計劃，他透露說，恩智浦會在邊緣設(shè)備的AI方面持續(xù)投入，包括帶有神經(jīng)網(wǎng)絡(luò)加速器的全系列微控制器和應(yīng)用處理器、完整的機(jī)器學(xué)習(xí)工具鏈，以及基于機(jī)器的視覺、聽覺和健康運動數(shù)據(jù)分析處理等各種AI解決方案。在MCU上運行視覺AI方面，恩智浦已推出基于MCU的語音及人臉識別的一系列完整方案，后續(xù)還將推出更多的姿態(tài)識別、手勢識別等方案。
結(jié)語：AIoT的核心挑戰(zhàn)：找到AI殺手級應(yīng)用

長期來看，如果谷歌、Arm等各大軟硬件廠商持續(xù)合作，應(yīng)該能慢慢形成一些基于MCU的標(biāo)準(zhǔn)，并隨著時間的積淀而做得越來越完備。“很多客戶仍需依賴最終的芯片廠商，來得到一個最優(yōu)化的MCU部署AI的工具鏈支持?！鼻亟ǚ逭f。在他看來，AIoT芯片領(lǐng)域仍將面臨的挑戰(zhàn)是真正找到AI機(jī)器學(xué)習(xí)的殺手級應(yīng)用，光有技術(shù)是不夠的，最終要跟客戶需求相匹配，找到一些共性的應(yīng)用來持續(xù)推動技術(shù)前進(jìn)。在5月25日（下周二）舉辦的GTIC 2021嵌入式AI創(chuàng)新峰會上，秦建峰將帶來圍繞MCU部署AI應(yīng)用的主要痛點、如何提升MCU邊緣端AI運算性能和精度等方面的分享，并對恩智浦Nano.AI工具鏈系統(tǒng)框架設(shè)計做更詳細(xì)地解讀。