賽靈思AI產(chǎn)品方向及市場(chǎng)應(yīng)用

1   嵌入式開(kāi)發(fā)挑戰(zhàn)及賽靈思的解決方案

在嵌入式AI 產(chǎn)品落地的過(guò)程中，開(kāi)發(fā)者遇到最多的問(wèn)題或者說(shuō)挑戰(zhàn)主要有三個(gè)：①該方案是否靈活可擴(kuò)展，能夠適配不同規(guī)模的產(chǎn)品？②是否有簡(jiǎn)單易用的AI 開(kāi)發(fā)工具以降低FPGA 開(kāi)發(fā)門(mén)檻？③如何突破瓶頸，在算力有限的邊緣端實(shí)現(xiàn)最大性能？ 

賽靈思在2020 年初正式推出了Vitis^TM AI 解決方案，它是一套面向賽靈思自適應(yīng)  Zynq? SoC，Zynq? MPSoC，Alveo?及Versal? ACAP 的AI開(kāi)發(fā)平臺(tái)，它能夠?yàn)橛脩魩?lái)最強(qiáng)大的機(jī)器學(xué)習(xí)加速性能，這主要通過(guò)方案中的神經(jīng)網(wǎng)絡(luò)加速引擎DPU、一系列自動(dòng)化軟件工具（定點(diǎn)器、編譯器、優(yōu)化器）和AI運(yùn)行時(shí)來(lái)實(shí)現(xiàn)。 

與傳統(tǒng)的基于RTL語(yǔ)言開(kāi)發(fā)AI加速I(mǎi)P方案的最大不同在于，VitisTMAI 向用戶提供一個(gè)通用的且可配置的神經(jīng)網(wǎng)絡(luò)加速引擎DPU，同時(shí)，所配套的軟件工具也都完全一致，這就保證了開(kāi)發(fā)者在不同大小的器件、甚至不同工藝制程的器件上靈活切換的可能。其次，VitisTM AI支持主流的機(jī)器學(xué)習(xí)框架，如Pytorch，Tensorflow 和Caffe；在開(kāi)放模型庫(kù)AI model zoo中涵蓋了上百個(gè)經(jīng)過(guò)充分優(yōu)化、驗(yàn)證及部署的模型文件，其中不乏業(yè)界最先進(jìn)的3D目標(biāo)檢測(cè)算法、多任務(wù)學(xué)習(xí)算法、超分辨率增強(qiáng)算法，或時(shí)下最流行的Yolo、Mobilenet、RefineDet、ResNet 系列，用戶可以免費(fèi)下載或重新訓(xùn)練；此外，對(duì)賽靈思AI部署環(huán)節(jié)的軟件庫(kù)AI Library 也做了專門(mén)的優(yōu)化，除了用自動(dòng)化的定點(diǎn)器和編譯器將模型轉(zhuǎn)化為可部署形式外，用戶還可以直接調(diào)用相應(yīng)的軟件API，無(wú)需額外開(kāi)發(fā)，從而實(shí)現(xiàn)快速部署。最后，為了幫助客戶實(shí)現(xiàn)邊緣端的性能突破，賽靈思在基于VitisTM 統(tǒng)一軟件開(kāi)發(fā)平臺(tái)環(huán)境中，集成了大量經(jīng)過(guò)底層優(yōu)化的加速庫(kù)，通過(guò)C++、OpenCL library 的方式提供給用戶，所以除了DPU 對(duì)AI 部分的加速以外，我們對(duì)包括前處理、后處理的整體應(yīng)用（全流程）都可以加速，從而可實(shí)現(xiàn)邊緣端應(yīng)用的性能最大化。 

2   關(guān)注汽車(chē)、智慧城市、工業(yè)等領(lǐng)域

 賽靈思（Xilinx）在嵌入式人工智能領(lǐng)域主要關(guān)注ADAS 及自動(dòng)駕駛，智慧城市，醫(yī)療，工業(yè)視覺(jué)這幾個(gè)領(lǐng)域。

 1）賽靈思在汽車(chē)領(lǐng)域已深耕多年，隨著汽車(chē)產(chǎn)業(yè)向高度自動(dòng)化和全自動(dòng)駕駛方向發(fā)展，賽靈思也不斷在探索提供符合汽車(chē)質(zhì)量要求的自適應(yīng)系列芯片及AI 解決方案。具體來(lái)說(shuō)，賽靈思主要關(guān)注前視、后視、環(huán)視、盲區(qū)檢測(cè)、自動(dòng)泊車(chē)、智能座艙及多傳感器融合等，覆蓋從L2 到L5 級(jí)別的ADAS 及自動(dòng)駕駛領(lǐng)域的應(yīng)用。 

2）我們知道，汽車(chē)是一個(gè)特殊的場(chǎng)景，它對(duì)整個(gè)ADAS 或自動(dòng)駕駛系統(tǒng)的實(shí)時(shí)性和正確性有極高的要求，這就需要嵌入式芯片具備卓越的AI加速能力，以實(shí)現(xiàn)低時(shí)延、靈活應(yīng)變的芯片架構(gòu)，以適配不同的軟硬件工作負(fù)載，此外還需要滿足行業(yè)最高的可靠性測(cè)試標(biāo)準(zhǔn)，而賽靈思恰恰具備了這些能力。賽靈思在2021年6 月推出7 nm VersalTM AI Edge  系列，和當(dāng)前Zynq UltraScale+? MPSoC 系列，都涵蓋了汽車(chē)等級(jí)，并提供行業(yè)領(lǐng)先的算力及靈活性。 

其實(shí)，賽靈思在目前基于Zynq UltraScale+ MPSoC 的16nm 器件上，已經(jīng)取得了許多量產(chǎn)成績(jī)，例如斯巴魯?shù)腅yeSight選擇了賽靈思產(chǎn)品實(shí)現(xiàn)其ADAS系統(tǒng)中自適應(yīng)巡航控制、車(chē)道保持輔助和預(yù)碰撞制動(dòng)等功能；在低速駕駛方案中，自動(dòng)泊車(chē)輔助（AVA）和代客自動(dòng)泊車(chē)（AVP）也有多家客戶選擇XA 系列芯片及VitisTM AI 來(lái)實(shí)現(xiàn)環(huán)視系統(tǒng)的AI加速。 

對(duì)于ADAS和自動(dòng)駕駛而言，為了保證車(chē)輛行駛中決策和控制的快速性及正確性，多傳感器融合是一個(gè)必然的趨勢(shì)。如今，汽車(chē)搭載了越來(lái)越多的傳感器，如攝像頭、雷達(dá)、激光雷達(dá)、毫米波雷達(dá)、超聲波等，賽靈思也為這種多傳感器架構(gòu)帶來(lái)了巨大價(jià)值。賽靈思產(chǎn)品一方面能夠增強(qiáng)高級(jí)信號(hào)處理、點(diǎn)云預(yù)處理，另一方面，通過(guò)Vitis AI還可以實(shí)現(xiàn)點(diǎn)云機(jī)器學(xué)習(xí)加速、Image-Lidar  融合算法加速、4D 雷達(dá)機(jī)器學(xué)習(xí)加速等；這些在汽車(chē)多傳感器方案，甚至5G結(jié)合AI的車(chē)路協(xié)同中都扮演重要的角色。

3）賽靈思產(chǎn)品在智慧城市領(lǐng)域已有廣泛的應(yīng)用，如智慧交通、智慧零售、智慧樓宇等。賽靈思產(chǎn)品除了本身具備靈活的I/O，支持MIPI、LVDS和多種傳感器接口、靈活的ISP 支持策略、H264/H265 視頻編解碼處理單元等能力以外，還具備強(qiáng)大的實(shí)時(shí)AI處理能力。2021年4 月，賽靈思面向邊緣計(jì)算推出了基于Zynq UltraScale+ MPSoC的Kria K26 SOM卡和KV260 視覺(jué)開(kāi)發(fā)套件。同樣得益于VitisTM AI 所帶來(lái)的AI性能加速，用戶能夠在相關(guān)的邊緣設(shè)備上實(shí)現(xiàn)多路、最高分辨率達(dá)4k、60幀的實(shí)時(shí)人臉檢測(cè)、ID跟蹤等功能；此外，Kria SoM 也完全兼容賽靈思開(kāi)放式AI 模型庫(kù)，用戶可以從中選取模型任意切換或重新訓(xùn)練部署，總之，Kria SoM 非常適合智能相機(jī)、嵌入式視覺(jué)及其它安全、零售分析、智慧城市和機(jī)器視覺(jué)應(yīng)用的生產(chǎn)和原型開(kāi)發(fā)。 

4）醫(yī)療及工業(yè)視覺(jué)也是賽靈思嵌入式AI 落地的重要場(chǎng)景。在醫(yī)療領(lǐng)域，我們可以提供基于深度學(xué)習(xí)的醫(yī)療影像分析或超分辨率增強(qiáng)，用AI為醫(yī)護(hù)人員在內(nèi)窺鏡、超聲、核磁、X光檢測(cè)等場(chǎng)景提供更準(zhǔn)確的判斷。自2019 年新冠病毒蔓延以來(lái)，賽靈思及業(yè)內(nèi)合作伙伴Spline.ai 利用VitisTMAI，將集成了深度學(xué)習(xí)處理單元DPU 的MPSoC 邊緣器件和AWS物聯(lián)網(wǎng)服務(wù)結(jié)合，針對(duì)肺部感染及新冠病毒預(yù)測(cè)系統(tǒng)開(kāi)發(fā)了可擴(kuò)展的智能解決方案。在工業(yè)視覺(jué)領(lǐng)域，賽靈思產(chǎn)品也在智慧工廠、智能工業(yè)相機(jī)、視覺(jué)控制等方面發(fā)揮重要的影響力，AI的作用主要體現(xiàn)在如缺陷檢測(cè)、文字識(shí)別、實(shí)時(shí)分析等機(jī)器學(xué)習(xí)支持的預(yù)測(cè)性維護(hù)控制、遠(yuǎn)程診斷等端上智能化。 

(注：本文部分內(nèi)容來(lái)源于《電子產(chǎn)品世界》2021年9月期)