【技術(shù)講座】用一個攝像頭使汽車不碰撞

※ 照片上的攝像頭配備位置是示意圖，不符合日本的安全標(biāo)準(zhǔn)。日本國土交通省安全標(biāo)準(zhǔn)“第29條第4款中的第195條第5款”對攝像頭安裝位置做了規(guī)定，要求攝像頭與前窗上下端的距離為窗高20％以內(nèi)，或者被后視鏡遮擋的位置。

說到使用攝像頭的汽車防碰撞系統(tǒng)，在日本最有名的是富士重工的“EyeSight”。但還有一家企業(yè)，在該市場掌握著全球70％的份額，那就是只用1個攝像頭就實現(xiàn)了防碰撞系統(tǒng)的Mobileye。該公司的總部雖然設(shè)在荷蘭，但在以色列開發(fā)基地?fù)碛卸噙_(dá)300名的技術(shù)人員。在本文中，該公司的研發(fā)負(fù)責(zé)人將為您介紹這家被全世界汽車廠商關(guān)注的公司的現(xiàn)狀，以及以圖像識別為中心的技術(shù)內(nèi)容。

我們開發(fā)的使用單眼攝像頭的汽車后裝防碰撞報警系統(tǒng)“MobileyeC2-270”已經(jīng)銷往了世界42個國家。在日本，2011年開始提供面向企業(yè)的銷售和安裝服務(wù)，面向個人的服務(wù)也已于2012年4月啟動（注1）。

（注1）在日本，Mobileye的汽配產(chǎn)品由i-mobile公司銷售。該公司成立于2011年7月，是日本進(jìn)口Mobileye產(chǎn)品的總代理。包括安裝費在內(nèi)，“Mobileye C2-270”的價格為13.5萬日元。

在使用攝像頭的防碰撞系統(tǒng)中，富士重工號稱“不撞的汽車”的“Eye-Sight”在日本最為著名。這項技術(shù)使用兩個攝像頭檢測車輛和行人，還具備發(fā)出報警后自動停車功能。

但縱觀全世界，在使用攝像頭的防碰撞系統(tǒng)市場上，Mobileye以70％以上的份額雄踞榜首。我們最早從事的是以歐洲汽車廠商為中心供應(yīng)單眼攝像頭圖像處理SoC的業(yè)務(wù)，之后，在2006年創(chuàng)立了自行組裝最終產(chǎn)品并在汽配市場上銷售的業(yè)務(wù)。

我們開發(fā)的圖像處理SoC“EyeQ2”已經(jīng)被應(yīng)用到了德國寶馬新款“1系”的防碰撞報警功能和瑞典沃爾沃的系統(tǒng)之中。此外還被美國通用汽車（GM）和美國福特汽車等世界主要汽車廠商采用（表1）。最近，我們還在與日本企業(yè)合作進(jìn)行開發(fā)。

5種警示功能

Mobileye C2-270的主要功能包括與前方車輛和行人碰撞警示、車道偏離警示、車距警示（圖1）。不僅能通過蜂鳴聲報警，還能通過顯示裝置向駕駛員報警。具體的報警功能包括以下5種：（1）前方車距監(jiān)測與警示（HMW）；（2）前方車輛碰撞警示（FCW）；（3）低速時前方車輛碰撞警示（UFCW）；（4）行人碰撞警示（PCW）；（5）車道偏離警示（LDW）。

圖1：警示5種危險
通過視覺信息發(fā)出警示的顯示裝置能夠通過秒數(shù)顯示車距（車距/秒速），以及前方車輛、行人和車道偏。

（1）前方車距監(jiān)測與警示，顯示的是本車與前車的車距除以本車秒速得到的數(shù)值。當(dāng)與前車的車距距小于2.5秒時，顯示器將顯示車距的秒數(shù)。當(dāng)車距小于事先設(shè)定的秒數(shù)時，代表車輛的圖標(biāo)將變成紅色，并鳴響“嗶”的警報蜂鳴聲。檢測距離最遠(yuǎn)為90m左右。

（2）前方車輛碰撞警示，在碰撞可能發(fā)生之前2.7秒，車輛圖標(biāo)將變成紅色，同時大聲發(fā)出“嗶嗶嗶嗶”的警報，提醒駕駛員踩剎車。

（3）低速時前方車輛碰撞警示，也叫做虛擬保險杠。事先在自車保險杠前方1～2m處設(shè)定虛擬保險杠，在時速低于30km以下的情況下，當(dāng)前方車輛接近到觸碰虛擬保險杠的距離時，鳴響“嗶、嗶”的警報聲。其作用是防止堵車和等紅綠燈時發(fā)生碰撞。

（4）行人碰撞警示，該功能在檢測到前方30m以內(nèi)有行人時，首先會靜默地點亮紅色的行人標(biāo)志，在行人進(jìn)入危險距離，可能發(fā)生碰撞的2秒前發(fā)出“嗶-嗶-”的蜂鳴聲。

（5）車道偏離警示，當(dāng)汽車時速達(dá)到55km/h以上，無意偏離車道時，顯示器將顯示偏離一側(cè)車道的標(biāo)志，同時發(fā)出“嘟嘟嘟嘟嘟嘟嘟”的警告聲。如果是打開轉(zhuǎn)向燈變更車道，則判斷為有意偏離車道，不會發(fā)出報警聲也不會顯示圖標(biāo)。

如上所述，由于每種警示的報警聲各不相同，因此在熟悉之后，駕駛員無需查看顯示裝置，根據(jù)聲音即可判斷出警示的種類。

事故預(yù)防率接近100％

我們的碰撞報警系統(tǒng)在減少交通事故數(shù)量上的效果已經(jīng)得到了驗證。調(diào)查由瑞士豐泰保險公司（AXA Winterthur）實施。保險公司也希望通過為汽車安裝防碰撞系統(tǒng)減少事故，削減事故賠償?shù)谋ｋU金數(shù)額。

此次調(diào)查揭示了發(fā)覺危險后踩剎車的時間與事故發(fā)生率之間的關(guān)系（圖2）。調(diào)查結(jié)果顯示，對于前方碰撞，如果能夠提前2.0秒察覺到危險并通知駕駛員，基本可以100％防止事故發(fā)生。鑒于這一情況，AXA等歐洲各大保險公司都推出了以配備本公司的防碰撞報警系統(tǒng)為條件的保費打折活動。

圖2：只要在2秒之前發(fā)出報警，事故發(fā)生率基本可以降到零
如果在發(fā)生事故的0.5秒之前發(fā)出報警，碰撞的概率為35％以上，如果提前2秒以上，絕大多數(shù)事故都可以得到預(yù)防。（圖：《日經(jīng)電子》根據(jù)豐泰保險的資料制作）

防碰撞報警系統(tǒng)其實也有助于提升駕駛技術(shù)（注2）。在剛安裝的時候，報警聲經(jīng)常響個不停，過上幾周，報警次數(shù)便會驟降到一半以下（圖3）。因為一旦駕駛出現(xiàn)差錯，系統(tǒng)馬上就會通過聲音和顯示通知駕駛員，使其自然而然地掌握正確的駕駛方式。這不僅有助于提高駕駛水平，對于提升燃效也貢獻(xiàn)頗大。（特約撰稿人：Gideon Stein，荷蘭Mobileye公司Chief Research Scientist；實川裕敏，i-mobile技術(shù)及售后負(fù)責(zé)人）

圖3：3周內(nèi)報警次數(shù)減半
可口可樂歐洲集團(tuán)的配送車自從安裝Mobileye的防碰撞報警系統(tǒng)后，駕駛員的駕駛水平顯著提高。

（注2）還有其他事例可以驗證防碰撞報警系統(tǒng)的有效性。例如，美國某運(yùn)輸公司驗證并比較了是否安裝Mobileye系統(tǒng)對于交通事故成本的影響。結(jié)果顯示，每行駛100英里（160km），未配備車的事故率比配備車高1.4倍。如果換算成事故造成的損失費，配備防碰撞系統(tǒng)大約可以削減130萬日元。

適合小型、低成本化

　　實現(xiàn)防碰撞報警系統(tǒng)的方法并非只有我們采用的單眼攝像頭方式（表2）。此前的防碰撞報警系統(tǒng)大多使用毫米波雷達(dá)和激光雷達(dá)，但這種系統(tǒng)需要與車輛一體化開發(fā)，而且安裝車型有限，在價格方面，毫米波雷達(dá)更是價格高昂。

　　利用攝像頭的方式還有富士重工為EyeSight采用的立體攝像頭方式。與毫米波雷達(dá)方式相比，這種方式的優(yōu)點在于能夠降低系統(tǒng)的成本，而且還能開發(fā)出汽車后裝產(chǎn)品。

　　我們公司從1999年創(chuàng)建之初開始，一直致力于開發(fā)單眼攝像頭方式，目的是為了實現(xiàn)小型化、低成本化及系統(tǒng)簡潔化。與采用立體攝像頭的方式相比，可檢測的距離雖然偏短，但我們認(rèn)為通過改進(jìn)圖像處理技術(shù)可以縮小差距。這是與其他公司形成差異最重要的項目，也是我們傾力開發(fā)的核心技術(shù)。

　　系統(tǒng)簡潔化是向汽配市場推出產(chǎn)品時必不可少的要素。為了提高檢測性能，使用攝像頭的防碰撞系統(tǒng)必須在安裝時對攝像頭位置進(jìn)行輸入和校正。立體攝像頭必須仔細(xì)調(diào)節(jié)2個攝像頭之間的距離和安裝角度。如果把攝像頭數(shù)量減少到1個，就能夠減少校正作業(yè)耗費的時間和勞力。

改進(jìn)硬件，采用黑白攝像元件

　　C2-270由攝像頭單元、顯示裝置和電纜盒構(gòu)成。電纜盒使用CAN總線等從車輛讀取速度、制動器、雨刷、方向指示器、遠(yuǎn)光燈的信號。

　　C2-270除了攝像頭單元和攝像元件之外，還內(nèi)置了核心部分——圖像處理SoC（圖4）。配備的CMOS圖象傳感器采用的是美國AptinaImaging公司生產(chǎn)的分辨率為VGA（640×480像素）的“MT9V024”。CMOS為1/3英寸，像素間距為6.0μm。視角為水平38度×垂直30度。鏡頭的焦距（f）為5.7mm，光圈為F=1.6。

圖4：簡單的部件構(gòu)成
“C2-270”的攝像頭單元部件數(shù)量少，圖像處理SoC“EyeQ2”占據(jù)了很大的安裝面積。

　　采用的CMOS圖象傳感器為黑白產(chǎn)品，能夠檢測到與月圓之夜相當(dāng)、亮度在0.1lx以下的光線。我們自主開發(fā)的曝光調(diào)整技術(shù)能夠優(yōu)化控制每個場景的曝光。這是因為識別車道線、車輛、標(biāo)識時的最佳曝光數(shù)值各不相同。

　　除此之外，C2-270還做了其他改進(jìn)，能夠把感光度分成3個階段，以3幀為1組進(jìn)行拍攝。在黑暗環(huán)境下，首先提高感光度捕捉遠(yuǎn)處的光線，然后逐漸降低感光度，捕捉極近距離的光線。攝像頭本身的拍攝速度雖然為每秒60幀，但在處理時，是按照每秒約15幀的速度進(jìn)行處理。

可以并行處理七個任務(wù)

圖像處理SoC——EyeQ2配備了2個美國美普思科技（MIPS Technologies）的32bit CPU內(nèi)核“MIPS 24Kf”（圖5）。該CPU的工作頻率為332MHz，還配備了8個用于圖像處理的64bit編解碼引擎（VCE：video codec engines），同時可以并行處理七個任務(wù)。

圖5：配備兩個CPU內(nèi)核
圖像處理SoC “EyeQ2”的結(jié)構(gòu)示意圖。CPU內(nèi)核采用了支持多線程功能的“MIPS 24Kf”。

　　在接通電源的狀態(tài)下，C2-270的攝像頭將一直監(jiān)控前方視野，同時持續(xù)地識別進(jìn)入視野的車輛、行人、車道線。因此，具備高速處理性能的圖像處理SoC必不可少。在開發(fā)之初，我們曾經(jīng)采用了某大型半導(dǎo)體廠商生產(chǎn)的通用圖像處理器，但處理性能不足很快就體現(xiàn)了出來。因此，我們一改過去只開發(fā)軟件的體制，開始開發(fā)硬件，也就是專用于預(yù)防碰撞系統(tǒng)的圖像處理器。

軟件是關(guān)鍵，根據(jù)三個特征判定車輛

　　EyeQ2實際上能夠同時處理汽車預(yù)防式安全系統(tǒng)和防撞輔助系統(tǒng)所必須的以下檢測（圖6）：（1）前方車輛、（2）車道線、（3）與前方車輛的距離、（4）與前方車輛的相對速度和相對加速度、（5）車道內(nèi)的前方車輛、（6）彎道、（7）行人。

圖6：檢測車輛和車道線
通過檢測車輛和車道線提高了報警精度，可區(qū)分同一車道內(nèi)的車輛及其他車道的車輛。

關(guān)于（1）車輛檢測，識別車輛依照的是對三個特征的檢測，分別是車輛后部的矩形檢測、后輪檢測、2個尾燈的檢測（圖7）。系統(tǒng)將通過比對預(yù)先保存的幾十種車輛形狀的圖案，判斷前方物體是否為汽車。如果是汽車，系統(tǒng)可以判斷出后輪輪胎的位置。而尾燈則是夜晚重要的檢測要素。

圖7：捕捉車輛后方的特征
通過檢測長方形或正方形的車輛后部以及2個輪胎、尾燈，判斷前方物體為車輛。

在識別車輛時，CMOS傳感器上的車寬需要達(dá)到13個像素以上，這相當(dāng)于與車寬為1.6m的車輛相距115m。從CMOS傳感器的性能來看，前方的識別限度約為90m。

單眼攝像頭也能測量距離

　?。?）車道線的檢測數(shù)據(jù)將用于車距監(jiān)測及警示、前方車輛碰撞警示。50m遠(yuǎn)的寬度為10cm的車道線在CMOS傳感器上相當(dāng)于2個像素。系統(tǒng)將從攝像頭圖像中識別出車道線，根據(jù)攝像頭的視野和在前窗上安裝的位置等信息計算出車道線的寬度及其與車輛的相對位置，利用卡爾曼濾波器推測車道線。

　　（3）與前方車輛的距離是利用“遠(yuǎn)近法原理”計算得出的（圖8）。其原理如下，因為攝像頭的地面高度（H）已知，所以，路面上前方車輛接觸地面的位置比水平面上無限遠(yuǎn)的一點（延伸焦點，F(xiàn)OE：focusof expansion）略低幾度。

圖8：車距檢測的原理
單眼攝像頭檢測車距利用“遠(yuǎn)近法原理”。事先測量出攝像頭的地面高度H，根據(jù)關(guān)系公式計算出距離Z。

映射到攝像頭內(nèi)部的CMOS傳感器上的圖像的高度（y）隨與前車（后輪輪胎與道路的接觸面）的距離而變化。攝像頭的焦距（f）同樣為已知條件。按照“H：Z＝y(tǒng)：f”計算，即可求出與前車的距離Z。而且，距離碰撞的時間也可以根據(jù)“Z/相對速度”的公式求出。

攻克檢測行人這一難題

與車輛的識別相比，（7）行人檢測的難度要大得多。行人不同于車輛，動作、服裝、身體各部分的變化要素很多，而且還需要與街上的建筑、汽車、電線桿、樹木等背景圖案區(qū)分開來。

　　為了在有人走向行駛車道時盡可能縮小檢測延遲，對于車道外行人的檢測必不可少。因此可以容許出現(xiàn)某種程度的誤判。

　　提高行人檢測的精度依靠的是“單幀分類”和“多幀認(rèn)證”兩個步驟。首先通過“單幀分類”判斷出“好像是行人”，然后再轉(zhuǎn)入“多幀認(rèn)證”，當(dāng)檢測到行人進(jìn)入車道內(nèi)時提高等級，采取立即發(fā)出報警等處理方式。

　　在行人識別中，系統(tǒng)將把推測為行人的圖像分成9個區(qū)域提取特征（圖9），結(jié)合多幀的動態(tài)變化提高精度。識別到的VGA分辨率的縱長長方形行人圖像將在調(diào)整到12×36像素后進(jìn)入“單幀分類”處理。根據(jù)匯總了3～25m范圍內(nèi)15萬個廣泛的行人事例（考慮到了動作和停頓、照明、背景圖案、氣象條件、天氣下的可視條件等）的測試數(shù)據(jù)集進(jìn)行分類（注3）。

圖9：提取行人特征
把拍攝的圖像分成9個區(qū)域提取特征，識別其是否為行人。

（注3）數(shù)字依照Mobileye發(fā)表的論文，與現(xiàn)在的產(chǎn)品參數(shù)可能存在差異。

　　測試數(shù)據(jù)集根據(jù)在日本、德國（慕尼黑）、美國（底特律）、以色列各國的市區(qū)行駛50個小時獲得的數(shù)據(jù)制成。這種方法在誤判率為5.5％的情況下，檢測率可達(dá)90％?？紤]到檢測率與誤判率的均衡，最終采用的檢測率為93.5％，此時誤判率約為8％。

　　對于“單幀分類”無法檢測出的情況，在“多幀認(rèn)證”這一步中，考慮到了動態(tài)步伐和移動檢測、再檢測、腳部位置檢測，目的是區(qū)分行人與背景中的靜止物體（電線桿、樹木、護(hù)欄）的辦法。借助以上改進(jìn)，系統(tǒng)在白天能夠識別出30m前方身高在1m以上的行人。

攝像頭方式特有的弱點

　　我們的防碰撞報警系統(tǒng)也存在弱點。因為是基于攝像頭進(jìn)行圖像識別，所以人眼看不到的東西無法識別。在識別車道線時，掉色的車道線、在雨雪覆蓋下難以辨識的車道線可能無法識別。

　　在隧道的入口和出口附近，前方車輛與隧道影像重疊也可能造成誤報；前方車輛映照在被雨水淋濕的道路上的倒影也有可能造成誤報；當(dāng)太陽位于靠近地平線的正前方時，攝像頭有時會無法正確識別前方車輛；而且，當(dāng)攝像頭正前方的前窗上有水滴時，系統(tǒng)有可能發(fā)生魚眼鏡頭效應(yīng)，對前方車輛的大小判斷錯誤（注4）。

（注4）以上是Mobileye技術(shù)部門列舉的可能發(fā)生誤判的場合和條件。

未來將把自動駕駛也納入視野

　　為了改善這些弱點，我們已經(jīng)著手開始改進(jìn)圖像處理SoC。目前正在與意法合資意法半導(dǎo)體合作開發(fā)名為“EyeQ3”的第3代產(chǎn)品。計劃在2014年開始供應(yīng)配備該SoC的產(chǎn)品。

　　EyeQ3內(nèi)嵌4個支持多線程的“MIPS32內(nèi)核”，每個CPU內(nèi)核都配備了我們的VMP（vector microcode processor）。我們計劃通過靈活分配控制與數(shù)據(jù)處理，使其性能達(dá)到EyeQ2的6倍。

　　而且，我們還計劃實現(xiàn)支持多攝像頭輸入等大容量影像數(shù)據(jù)處理。如果除了前方之外，攝像頭還能安裝在后方和側(cè)面用以獲取信息，應(yīng)該能實現(xiàn)更可靠的防碰撞報警系統(tǒng)。

　　隨著攝像頭與汽車的融合，自動駕駛也已經(jīng)進(jìn)入了我們的視野，現(xiàn)在已經(jīng)著手開發(fā)。需要解決的課題雖多，但我們每天都在積極地迎接挑戰(zhàn)。在今后，Mobileye依然將全力開發(fā)更加方便大眾的汽車技術(shù)。