高可靠芯片搭配視覺演算法，影像式ADAS滿足車規(guī)要求

搭載鏡頭的汽車系統(tǒng)日漸流行。各種中級轎車和入門級轎車紛紛加入該行列，以實現(xiàn)車道偏離報警和交通標(biāo)志識別系統(tǒng)。事實上，據(jù)IHS汽車半導(dǎo)體研究報告分析，至2020年，車載鏡頭感測器市場將以每年超過一億顆的數(shù)量增長。

歐盟新車安全評鑒協(xié)會(Euro NCAP)在其中起著重要作用。自2016年起，汽車制造商將有望搭載新型系統(tǒng)，用以偵測和避免與行人的碰撞(圖1)。這就是所謂的半自動功能，基于鏡頭和雷達(dá)的技術(shù)，因其可識別行人并實施煞車功能，甚至操縱汽車轉(zhuǎn)向，以避免碰撞事故發(fā)生，因此歐盟新車評鑒協(xié)會的五星安全認(rèn)證將是觸手可及(圖2)。

圖1　汽車搭載新型系統(tǒng)，將可偵測與避免和行人碰撞。

半自動駕駛軟體須強(qiáng)健/可靠/安全

圖2　搭載鏡頭、雷達(dá)技術(shù)的車輛，可辨識行人并控制車輛煞車或轉(zhuǎn)向。

然而，真正的挑戰(zhàn)是如何滿足汽車級應(yīng)用的高品質(zhì)以及安全性需求。對于保護(hù)人身安全的系統(tǒng)而言，如果在這些重要方面有所妥協(xié)，將是無法容忍的致命缺陷。具體來講，這也就意味著基于鏡頭的安全系統(tǒng)須能滿足AEC-Q100的長期可靠性需求；也必須滿足ISO26262汽車功能安全標(biāo)準(zhǔn)要求；此外，還須保證適當(dāng)?shù)挠搀w安全等級，以防止惡意軟體攻擊和IP盜取情況發(fā)生。

目前，業(yè)界共同面臨的一個嚴(yán)峻挑戰(zhàn)是，如何開發(fā)出一款既能滿足上述三個基本要求，又能提供卓越應(yīng)用效能的解決方案。事實上，如果無法安全、穩(wěn)固地部署高度復(fù)雜的進(jìn)階駕駛員輔助系統(tǒng)(ADAS)應(yīng)用，就無法看到自動駕駛汽車的廣泛普及。

基于鏡頭的ADAS應(yīng)用包括嵌入式硬體和軟體解決方案，飛思卡爾(Freescale)與東軟汽車電子(Neusoft Automotive)攜手合作，結(jié)合高品質(zhì)汽車微控制器與尖端汽車視覺軟體提供強(qiáng)健、可靠、安全的半自動功能。

為打造一款開放、靈活的解決方案，飛思卡爾S32V234系列產(chǎn)品采用多個特定程式設(shè)計應(yīng)用加速器，每個加速器都面向ADAS應(yīng)用所需處理管道的一個特定領(lǐng)域。為執(zhí)行典型鏡頭資料預(yù)處理，該平臺采用一個可程式設(shè)計影像訊號處理(ISP)模組，用以執(zhí)行電腦視覺處理任務(wù)，如梯度方向長條圖(HOG)的整個或部分影像處理。

因采用IP提供商CogniVue的APEX2引擎中的兩個實例，傳統(tǒng)電腦視覺演算法得以加速提升。APEX2引擎是一個大規(guī)模的平行系統(tǒng)，包含六十四個針對視覺處理優(yōu)化的計算引擎。此外，APEX2引擎由名為APEX核心框架(ACF)的軟體層支援，使應(yīng)用開發(fā)人員可以遠(yuǎn)離大部分底層復(fù)雜工作。

視覺處理要求非線性程式流或浮點數(shù)運算。S32V234系列方案提供四個ARM Cortex-A53內(nèi)核，支援9200DhrystoneMIPS的通用精簡指令集(RISC)效能需求。全部四核都包括單指令多資料擴(kuò)展NEON，以進(jìn)一步提升特定演算法效能。

為呈現(xiàn)一款令人矚目且主要針對環(huán)視應(yīng)用的圖形化人機(jī)介面(HMI)，該系列方案還支援高效能圖形處理單元，以滿足OpenGL ES3.0、OpenVG 1.1和OpenCL 1.2等Khronos標(biāo)準(zhǔn)。

來自Vivante的產(chǎn)生實體GC3000圖形處理器(GPU)可達(dá)到1.2GPixels/sec的圖元速率和200M Triangles/sec的幾何速率。其GPU著色器可提供高達(dá)39GFLOP/sec的效能。

為了提供將輸入資料填入不同加速器所需的記憶體頻寬，飛思卡爾采用層級記憶體結(jié)構(gòu)，旨在保證晶片系統(tǒng)上最多數(shù)量的資料傳輸。采用這一結(jié)構(gòu)有兩個目的：減少外部記憶體元件的數(shù)量；減少晶片間訊號傳輸?shù)?strong>功耗，這同時也是ADAS考慮的兩個主要成本因素。采用這一技術(shù)毋須增加成本，即可實現(xiàn)50GB/sec左右的記憶體頻寬。

這組高度程式設(shè)計化的特定應(yīng)用處理器和相應(yīng)的記憶體子系統(tǒng)可通過各種手段達(dá)到ISO26262標(biāo)準(zhǔn)的要求。為以最有效的方式使用現(xiàn)有可用硬體，設(shè)計目標(biāo)必須避免重要資源的重置，且不影響安全性。因此，須引入額外掛鉤(Hook)以實現(xiàn)所需的故障覆蓋率，某些情況下要通過軟硬體的智慧組合來實現(xiàn)，從而使晶片系統(tǒng)滿足ASILB應(yīng)用的需求，而不影響RISC平臺上9.2K DMIPS的計算能力。

為保證ECU以及S32V234系列產(chǎn)品上運行軟體的安全性，ECU采用一款經(jīng)過現(xiàn)場驗證的安全模組，以確保運行軟體的可靠性并保護(hù)軟體IP。加密服務(wù)引擎(CSE)安全模組符合HIS SHEAPI規(guī)格的要求。

S32V234系列產(chǎn)品的技術(shù)細(xì)節(jié)充分驗證，要實現(xiàn)此類精密且功能強(qiáng)大的ADAS，須事前做很多工作。為更加高效利用平臺系統(tǒng)，飛思卡爾的合作夥伴--Greenhills，提供一款經(jīng)過安全認(rèn)證的INTEGRITY即時操作系統(tǒng)(RTOS)，以滿足平臺需求。在應(yīng)用方面，飛思卡爾的另一合作夥伴東軟集團(tuán)，已開始將其經(jīng)過現(xiàn)場驗證的演算法移植到平臺系統(tǒng)，一旦就緒，這個平臺系統(tǒng)即可快速上市。

東軟研發(fā)基于視覺的ADAS演算法。目前，已有超過七十位軟體工程師致力于ADAS的開發(fā)，為復(fù)雜交通環(huán)境中視覺目標(biāo)檢測和環(huán)境感知提供高精度、穩(wěn)定可靠的軟體解決方案。全套軟體演算法將支援所有視覺ADAS功能，如行人檢測、車道偏離報警(LDW)、交通標(biāo)志識別(TSR)、運動目標(biāo)檢測(MOD)和盲點檢測(BSD)。在亞洲，LDW、TSR和MOD已被OEM和一級市場廣泛采納和應(yīng)用。

加強(qiáng)視覺/提高靈活度　ADAS更趨完善

軟體發(fā)展面臨的三大挑戰(zhàn)：可靠性、靈活性和可行性。ADAS功能設(shè)計日趨安全，如今，功能和連接的安全需求已眾所周知，而滿足這些需要則是必備條件。功能性軟體不僅要提供穩(wěn)健、精確的目標(biāo)和環(huán)境識別能力(在各種不同交通環(huán)境和燈光條件下)，同時必須滿足即時性需求。

軟體設(shè)計人員經(jīng)常會面臨兩難境地，一方面必須采用更加先進(jìn)的分類方法(如機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)路等)，以實現(xiàn)不同的識別方式，最終提升應(yīng)用的效能；另一方面，這樣卻不可避免地會給即時實作帶來額外負(fù)擔(dān)。因此，設(shè)計人員必須綜合考慮各方面因素，巧妙地設(shè)計出最佳的軟體解決方案。

開發(fā)或提供ADAS的所有OEM和一級市場均采用類似的名稱來命名相同的功能(表1)。然而，沒有任何兩個解決方案是完全相同的，每個客戶都會根據(jù)自身的特定需求提出不同的規(guī)格要求；此外，也沒有完全相同的專案環(huán)境，其應(yīng)用必須考慮不同的硬體環(huán)境和安裝位置。

軟體設(shè)計必須具有足夠的靈活性，以支援不同類型和解析度的鏡頭設(shè)備，并能夠識別多類型目標(biāo)。軟體解決方案必須易于配置，且能夠執(zhí)行功能定制、當(dāng)?shù)卣Z系化和自訂服務(wù)，同時不會降低軟體品質(zhì)。

最后，ADAS軟體還必須滿足可行性要求。軟體采用的演算法必須易于實作且穩(wěn)定執(zhí)行，至少可保證幾百小時連續(xù)工作。同時，設(shè)計人員還必須考慮低功耗、異常情況容忍度和錯誤檢測等功能特性，因此，ADAS功能的開發(fā)成為了一項高度復(fù)雜、富有挑戰(zhàn)性的任務(wù)。

應(yīng)對ADAS開發(fā)挑戰(zhàn)的關(guān)鍵因素，不僅在于采用尖端的硬體設(shè)備和使用先進(jìn)的電腦視覺演算法，二者的完美結(jié)合才是最佳的解決方案。在S32V產(chǎn)品設(shè)計的早期階段，飛思卡爾和東軟曾密切進(jìn)行技術(shù)交流。

為提供最佳的硬體設(shè)備支援以加速ADAS演算法的潛在并行性，兩家公司研究了ADAS演算法的不同類型(任務(wù)并行、資料并行、管道并行)和并行等級(任務(wù)級并行、回圈級并行、指令級并行)。

最終總結(jié)出超過十種重要的計算模式，其中六種最為耗時?；谏鲜龅难芯砍晒?，S32V產(chǎn)品最終提供并整合了不同種類的計算單元。ADAS軟體解決方案的總體輪廓架構(gòu)已經(jīng)形成：多層軟體管道、適用于低階影像處理的ISP、適用于中級特征提取的APEX2，以及用于進(jìn)階協(xié)調(diào)和資訊融合的CPU。

隨著飛思卡爾在2013年推出FPGA模擬技術(shù)，各種重要演算法，包括積分影像計算、目標(biāo)特征提取和分類，均得到優(yōu)化。預(yù)期至S32V產(chǎn)品上市，關(guān)鍵演算法的速度將是目前的20倍。

在ADAS軟體研究和開發(fā)過程中，選用資深開發(fā)團(tuán)隊，以及高品質(zhì)開發(fā)流程至為重要。演算法必須明確地聲明其所需的資源、驗證條件，以及異常和故障行為。自研究階段初始，演算法就要確?；拒涹w模組的自完整性、獨立性和靈活性。 完整的軟體架構(gòu)包括了硬體隱藏層、感知層、決策層和HMI層。感知層是其中的關(guān)鍵部分。

基于ISP或APEX2的關(guān)鍵優(yōu)化演算法有序寄存于感知層。以上所有因素均為ADAS解決方案的最終成型奠定了堅實基礎(chǔ)，使該解決方案能夠滿足汽車級高可靠性標(biāo)準(zhǔn)，如ISO26262。

東軟的目標(biāo)是與合作夥伴緊密合作，最終提供具有ADAS功能的開放式解決方案。OEM和一級市場能夠選擇不同類型和數(shù)量的鏡頭感測器，并選擇不同的ADAS功能特性組合。

這種方式不僅保證ADAS解決方案的安全性和可靠性，價格也極具競爭力。目前東軟已成功將重要演算法移植到S32V的FPGA模擬器中，包括車道偏離報警、行人檢測和交通標(biāo)志識別。下一步，該公司將推出基于S32V的視覺解決方案，支援車輛行駛的前視、后視和環(huán)視ADAS功能，包括盲點檢測、交通燈識別、行動目標(biāo)檢測以及環(huán)視輔助系統(tǒng)。未來也將不斷致力于打造一個更加安全、便捷及舒適的交通環(huán)境。