R-Car如何帶來身臨其境之感
加入技術(shù)交流群
基于R-Car第二代產(chǎn)品的全景環(huán)視系統(tǒng)
全景環(huán)視的作用是實(shí)時(shí)顯示汽車周圍環(huán)境的全貌。這種以二維視角從空中360度成像的方式叫做鳥瞰圖或俯視圖。通過多個(gè)攝像頭的圖像矯正，可將采集圖像無縫銜接在一起。同時(shí)通過對(duì)不同攝像頭的亮度和色彩進(jìn)行調(diào)節(jié)，以使合成的全景視圖看上去更加協(xié)調(diào)。
不過僅僅顯示這一影像并不能在泊車過程中為駕駛?cè)藛T提供幫助。為了更好地進(jìn)行操控，在顯示二維視圖和車后方視圖時(shí)需要為駕駛?cè)藛T顯示更多的信息。而另外一種補(bǔ)充方法是通過車周圍環(huán)境的三維視圖來加強(qiáng)司機(jī)對(duì)距離的感知。通過安裝在汽車四周的二維相機(jī)來生成當(dāng)下汽車周邊的三維全景影像和三維的汽車影像，為駕駛?cè)藛T提供參考。影像必須真實(shí)反映出汽車與附近物體(行人、車輛和建筑)的距離。三維球面視圖應(yīng)隨著汽車的運(yùn)動(dòng)動(dòng)態(tài)地變化。汽車模型必須融合在周圍景象中，光照或反射光線都要在汽車模型上反映出來 。
此類應(yīng)用推動(dòng)了汽車嵌入式平臺(tái)中的三維圖形和計(jì)算機(jī)視覺的性能提升。瑞薩R-Car SoC系列產(chǎn)品可用于此類應(yīng)用。第二代R-Car于2013年3月首次發(fā)布，它支持多種應(yīng)用，如外部設(shè)備連接、娛樂擴(kuò)展和先進(jìn)駕駛輔助(ADAS)。該系列產(chǎn)品具有卓越的性能和優(yōu)化的功耗，通用的API可降低客戶開發(fā)工作量。該系列的兩款產(chǎn)品支持全景環(huán)視應(yīng)用：R-Car H2和R-Car V2H。
R-Car H2帶來全新三維體驗(yàn)
R-Car H2是2013年3月份發(fā)布的首款產(chǎn)品，是專為包含三維全景功能的集成式駕駛艙解決方案而定制的。在該應(yīng)用中，首先需要考慮三維圖形引擎的性能要求，特別要注意兩個(gè)方面：二維攝像頭圖像紋理在三維球面視圖的映射和汽車三維成像。成像場(chǎng)景中的多邊形計(jì)數(shù)取決于三維球面視圖的變換和汽車模型的渲染效果。圖形引擎必須能夠在短時(shí)間內(nèi)處理大量的多邊形運(yùn)算，從而使渲染效果更佳。
此外，由于此應(yīng)用可針對(duì)同一個(gè)場(chǎng)景使用不同的著色器程序，因此圖形引擎必須具有功能強(qiáng)大的著色器引擎。這些性能要求較高GPU頻率以實(shí)現(xiàn)高速數(shù)據(jù)處理。這些應(yīng)用方面的性能要求都推動(dòng)了瑞薩將高性能的三維圖形引擎集成在R-Car H2中。事實(shí)上，該產(chǎn)品的三維圖形引擎提供了與iPad Air 的三維圖形引擎相當(dāng)?shù)男阅堋?br />
通向增強(qiáng)真實(shí)感之路
感知三維場(chǎng)景是另外一個(gè)重要方面，有兩種實(shí)現(xiàn)技術(shù)。一種是人類立體視覺，不過它的缺點(diǎn)是使相機(jī)成本和集成工作量增加了一倍。另一種是創(chuàng)建車輛的“運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(SfM)”，從而提供一段時(shí)間內(nèi)的立體視覺。瑞薩的R-Car產(chǎn)品系列采用了視覺專用硬件加速器，支持四個(gè)攝像頭的實(shí)時(shí)運(yùn)行算法，從而同時(shí)滿足對(duì)高性能和低功耗的要求。
SfM算法生成代表車輛和周圍物體運(yùn)動(dòng)的流矢量列表。下一步關(guān)鍵是從流矢量中計(jì)算本體運(yùn)動(dòng)并作匹配以計(jì)算出車輛的自運(yùn)動(dòng)。從基礎(chǔ)矩陣中，可根據(jù)環(huán)境中的動(dòng)態(tài)和靜態(tài)物體將流矢量進(jìn)行分類。靜態(tài)物體流矢量可直接提供物體的距離(與移動(dòng)距離成反比）。
圖1：SfM算法在R-Car H2中的實(shí)現(xiàn)。SfM算法在R-Car H2一個(gè)的攝像頭視頻上的運(yùn)行結(jié)果(上圖)。基于SfM處理結(jié)果的環(huán)境三維模型(下圖)。
圖1(上)展示了R-Car H2的一個(gè)運(yùn)行實(shí)例。圓圈代表靜態(tài)特征點(diǎn)，是結(jié)構(gòu)計(jì)算的結(jié)果。一個(gè)顏色對(duì)應(yīng)一串物體，這些物體隨后反饋給模型變換。這些數(shù)據(jù)用來調(diào)整如圖1(下)所示環(huán)境的實(shí)時(shí)三維模型。最后，利用圖形引擎，生成三維球面的映射三維模型來創(chuàng)建出逼真的汽車環(huán)境影像。
以太網(wǎng)：基于R-car V2H的便捷之路
R-Car系列產(chǎn)品還包括R-Car V2H，它提供了一種利用以太網(wǎng)的視頻傳輸方法，從攝像頭視頻采集直到顯示接口。這種流水線方法不僅降低了對(duì)系統(tǒng)其余部分(如整體延遲、內(nèi)存帶寬和CPU干預(yù))的要求，而且大大降低了系統(tǒng)制造商軟件開發(fā)的復(fù)雜度。圖2展示了R-Car V2H的這種視頻路徑。從四個(gè)攝像頭數(shù)據(jù)的解復(fù)用到圖像矯正，不需要訪問外部存儲(chǔ)器，并且每一個(gè)攝像頭都對(duì)應(yīng)有專用的硬件加速器。
評(píng)論