基于SoC的雙目視覺(jué)ADAS解決方案
相比于單目視覺(jué),雙目視覺(jué)(Stereo Vision)的關(guān)鍵區(qū)別在于可以利用雙攝像頭從不同角度對(duì)同一目標(biāo)成像,從而獲取視差信息,推算目標(biāo)距離。未來(lái)十年,為了完成從感知+預(yù)警到?jīng)Q策+執(zhí)行的進(jìn)化之路,高級(jí)輔助駕駛系統(tǒng)(ADAS)將接入更多的傳感器,實(shí)現(xiàn)更為復(fù)雜的計(jì)算,同時(shí)具備更高的安全性。
本文引用地址:http://m.butianyuan.cn/article/201710/366091.htm
圖1:S32V234結(jié)構(gòu)圖
S32V234采用了4顆ARM Cortex A53作為核心CPU,以獲得更高的性能功耗比。另外,S32V234包含了一顆ARM Cortex M4來(lái)作為片上MCU,主要用于關(guān)鍵IO(如CAN-FD)的實(shí)時(shí)控制,并支持AutoSAR操作系統(tǒng)。
芯片集成了兩路MIPI-CSI2和兩路16bit并行相機(jī)接口,以及Gbit以太網(wǎng)控制器,為圖像傳感器的輸入提供了多種選擇。同時(shí)芯片內(nèi)部包含了可編程的圖像信號(hào)處理(ISP)硬件模塊。利用嵌入式ISP,外部配搭的圖像傳感器可以輸出raw data,從而降低物料成本,節(jié)省空間尺寸。另外,芯片還包含了兩個(gè)名為APEX2CL的視覺(jué)加速引擎。每個(gè)APEX2CL擁有64個(gè)本地計(jì)算單元(CU),并配有本地內(nèi)存,通過(guò)SIMD/MIMD(單指令多數(shù)據(jù)/多指令多數(shù)據(jù))的處理方式對(duì)圖像識(shí)別過(guò)程進(jìn)行加速。 另外值得指出的是,考慮到ADAS系統(tǒng)對(duì)安全性和可靠性的嚴(yán)苛需求,S32V234在設(shè)計(jì)時(shí)加入了諸如ECC(錯(cuò)誤檢查與糾正),F(xiàn)CCU(故障收集與控制單元),M/L BIST(內(nèi)存/邏輯內(nèi)置自測(cè))等多種安全機(jī)制,能夠滿足ISO26262 ASIL B~C的需求。
雙目視覺(jué)簡(jiǎn)介
相比于單目視覺(jué),雙目視覺(jué)(Stereo Vision)的關(guān)鍵區(qū)別在于可以利用雙攝像頭從不同角度對(duì)同一目標(biāo)成像,從而獲取視差信息,推算目標(biāo)距離。具體到視覺(jué)ADAS應(yīng)用來(lái)說(shuō),如果采用單目攝像頭,為了識(shí)別行人和車輛等目標(biāo),通常需要大規(guī)模的數(shù)據(jù)采集和訓(xùn)練來(lái)完成機(jī)器學(xué)習(xí)算法,并且難以識(shí)別不規(guī)則物體;而利用毫米波雷達(dá)和激光雷達(dá)進(jìn)行測(cè)距的精度雖然較高,但是成本和難度亦較高。所以,雙目視覺(jué)的最大優(yōu)勢(shì)在于維持開(kāi)發(fā)成本較低的前提下,實(shí)現(xiàn)一定精度的目標(biāo)識(shí)別和測(cè)距,完成FCW(前方碰撞預(yù)警)等ADAS功能。
雙目視覺(jué)測(cè)距的基本原理并不復(fù)雜,如圖2所示,P為目標(biāo)點(diǎn),它在左右兩個(gè)相機(jī)(鏡頭中心分別為A和B)上的成像點(diǎn)分別為E和F,則P點(diǎn)在兩個(gè)相機(jī)中的視差為d=EC+DF。根據(jù)三角形ACE與POA以及三角形BDF與POB的相似性,推導(dǎo)可得d=(fq)/z,其中f為相機(jī)焦距,q為兩相機(jī)光軸的距離,z為目標(biāo)到相機(jī)平面的距離。則距離z=(fq)/d,而f和q可認(rèn)為是固定參數(shù),所以求出視差信號(hào)d即可求得距離z。
圖2:雙目視覺(jué)測(cè)距原理
根據(jù)雙目視覺(jué)的測(cè)距原理,通常將其實(shí)現(xiàn)過(guò)程分為五個(gè)步驟:相機(jī)標(biāo)定,圖像獲取,圖像預(yù)處理,特征提取與立體匹配,三維重構(gòu)。其中,相機(jī)標(biāo)定是為了得到相機(jī)的內(nèi)外參數(shù)和畸變系數(shù)等,可以離線進(jìn)行;而左右相機(jī)圖像獲取的同步性,圖像預(yù)處理的質(zhì)量和一致性,以及立體匹配(獲取視差信息)和三維重構(gòu)(獲取距離信息)算法的實(shí)時(shí)性要求帶來(lái)的巨大運(yùn)算量,對(duì)在嵌入式平臺(tái)上實(shí)現(xiàn)雙目視覺(jué)ADAS提出了挑戰(zhàn)。
基于S32V234的雙目視覺(jué)ADAS解決方案
S32V234片上具有兩路MIPI-CSI2相機(jī)接口,每一路最大可提供6Gbps的傳輸速率,可用于左右兩路相機(jī)的視頻輸入。由于兩路相機(jī)分別輸入兩個(gè)MIPI通道,需要考慮二者之間的同步問(wèn)題。在外部圖像傳感器的配合下,S23V324能夠支持不同的同步方式。如圖3所示,圖像傳感器通常具有場(chǎng)同步信號(hào)(VSYNC)和行同步信號(hào)(HSYNC)來(lái)進(jìn)行信號(hào)同步:當(dāng)兩路相機(jī)工作在主從模式時(shí),由Master向Slave發(fā)送同步信號(hào);當(dāng)兩路相機(jī)都工作在從模式時(shí),可以由S32V234內(nèi)部定時(shí)器產(chǎn)生同步信號(hào),同時(shí)發(fā)送給兩路相機(jī)。
圖3:雙目相機(jī)同步方案
在S32V234獲取外部相機(jī)的圖像信號(hào)后,可以由內(nèi)部的ISP進(jìn)行預(yù)處理。ISP模塊包含多個(gè)針對(duì)ISP功能進(jìn)行優(yōu)化的處理單元,利用片上SRAM對(duì)輸入信號(hào)和中間處理結(jié)果進(jìn)行緩存,并采用一個(gè)基于ARM Cortex M0+的專用協(xié)處理器來(lái)管理ISP處理單元的時(shí)序,從而實(shí)現(xiàn)圖像信號(hào)的像素級(jí)處理。由于ISP位于芯片內(nèi)部并且可以靈活編程,所以不僅能夠節(jié)省雙目相機(jī)外置ISP的成本,而且其運(yùn)算資源和帶寬能夠支持對(duì)雙路高達(dá)1080p@30fps圖像信號(hào)的實(shí)時(shí)處理,保證了雙路圖像信號(hào)的質(zhì)量和一致性。
在雙目視覺(jué)ADAS應(yīng)用中,最大的挑戰(zhàn)來(lái)自于對(duì)兩路圖像進(jìn)行立體匹配和三維重構(gòu)所需要的巨大運(yùn)算量。以FCW應(yīng)用為例,既要求視差信號(hào)的提取具有足夠的精度以保證測(cè)距精度,又要求處理幀頻維持一定水平以保證預(yù)警的響應(yīng)速度,因此要求嵌入式平臺(tái)具有足夠的處理能力。S32V234中集成的圖像加速引擎APEX2的結(jié)構(gòu)如圖4所示,其并行計(jì)算結(jié)構(gòu)和專用DMA等設(shè)計(jì)保證了對(duì)圖像信號(hào)具有極高的處理效率。具體來(lái)說(shuō),ISP對(duì)圖像信號(hào)預(yù)處理完畢后送入DDR,APEX2引擎將圖像分割后經(jīng)由專用DMA將其送入每個(gè)CU對(duì)應(yīng)的本地內(nèi)存CMEM中,而立體匹配所需要的塊匹配(Block Matching)等算法可以在不同的CU中并行處理,處理完畢后的數(shù)據(jù)經(jīng)由DMA送回DDR,由CPU進(jìn)行進(jìn)一步處理(如生成預(yù)警信號(hào)),或送至專門的DCU(Display Control Unit)模塊輸出顯示。
圖4:APEX2架構(gòu)及圖像處理示意圖
綜上所述,基于S32V234的雙目視覺(jué)應(yīng)用數(shù)據(jù)流如圖5所示。在該應(yīng)用中,數(shù)據(jù)流按照ISP-APEX2-DCU的方向流動(dòng),A53作為主控CPU完成邏輯控制和必要的數(shù)據(jù)處理。通過(guò)這種流水線式的處理方式,可以使各部分計(jì)算資源充分利用,提高計(jì)算效率。
圖5:基于S32V234的雙目視覺(jué)數(shù)據(jù)流
利用S32V234開(kāi)發(fā)板搭建雙目視覺(jué)平臺(tái),對(duì)雙路720p@30fps視頻信號(hào)進(jìn)行處理,其輸出結(jié)果如圖6所示。其中從左至右的三幅圖中目標(biāo)與相機(jī)的距離分別為1m,2m,3m,顯示結(jié)果以冷暖色調(diào)的變化表征目標(biāo)距離。結(jié)果表明,S32V234能夠?qū)﹄p目視覺(jué)信號(hào)進(jìn)行實(shí)時(shí)處理,正確得到三維測(cè)距結(jié)果,同時(shí)輔以芯片的各項(xiàng)安全性設(shè)計(jì),可以滿足雙目視覺(jué)ADAS系統(tǒng)的需求。
圖6:S32V234雙目視覺(jué)顯示結(jié)果
總結(jié)
恩智浦的視覺(jué)ADAS專用芯片S32V234集成了圖像信號(hào)處理器ISP,圖形加速引擎APEX2,3D GPU等專用計(jì)算單元,通過(guò)流水線式的處理架構(gòu)使各個(gè)異構(gòu)計(jì)算資源充分利用;不同計(jì)算模塊對(duì)OpenCV ,OpenCL和OpenVG等多種API的支持增強(qiáng)了算法的可移植性;而符合ISO26262標(biāo)準(zhǔn)的功能安全設(shè)計(jì)使得芯片能夠滿足ADAS系統(tǒng)對(duì)安全性的嚴(yán)苛需求。S32V234支持包括雙目視覺(jué)在內(nèi)的多種視覺(jué)ADAS和傳感器數(shù)據(jù)融合解決方案,使得我們?cè)谕ㄍ鶡o(wú)人駕駛的道路上邁出堅(jiān)實(shí)的一步。
評(píng)論