關(guān)于車載視覺的優(yōu)點和不足

　　隨著汽車保有量的不斷增加，道路交通事故和因車禍傷亡的人數(shù)居高不下。為滿足人們對汽車安全性能要求的日益提高，越來越多的先進(jìn)技術(shù)被應(yīng)用到汽車主動安全領(lǐng)域。在道路交通事故中，主要的受害群體是參與交通系統(tǒng)中的行人和騎自行車的人等。據(jù)美國高速公路安全管理局（NHTSA）的資料顯示，2008年美國由于交通事故導(dǎo)致69 000個行人死亡或者受傷、4 378個行人死亡，行人死亡人數(shù)占全年交通事故死亡總?cè)藬?shù)的11.7%。2007年我國因交通事故導(dǎo)致行人死亡的人數(shù)為21 106人，占交通事故死亡總?cè)藬?shù)的25.9%,行人受傷人數(shù)為70 838人，占交通事故受傷總?cè)藬?shù)的18.6%.與一些發(fā)達(dá)國家相比，由于我國的交通模式主要是混合交通模式，導(dǎo)致交通事故死亡原因和傷害模式與發(fā)達(dá)國家不同。

　　近年來，為保障行人安全、提高汽車主動安全性能，國內(nèi)外一些科研院所對行人保護技術(shù)進(jìn)行了研究探討，在不斷完善汽車被動安全系統(tǒng)的同時，逐漸發(fā)展和應(yīng)用主動安全系統(tǒng)，結(jié)合行人保護概念和技術(shù)的引入，完善對行人的保護。如Bajracharya等建立了雙目視覺行人保護集成系統(tǒng)，實現(xiàn)道路交通場景下40 m距離范圍內(nèi)行人的檢測與跟蹤。

　　Munder等融合行人的點分布形狀模型和紋理特征建立了行人識別分類器，采用基于粒子濾波的貝葉斯方法實現(xiàn)行人的跟蹤。德國Enzweiler等分別針對統(tǒng)計學(xué)習(xí)中的小波特征、線性支持向量機以及神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行比較分析，通過設(shè)計不同尺度的分類器來檢測圖像中的行人。清華大學(xué)的江帆等提出一種基于模型融合的行人跟蹤算法，結(jié)合離線學(xué)習(xí)和在線互學(xué)習(xí)對模型進(jìn)行更新。中國科學(xué)技術(shù)大學(xué)程有龍等將行人檢測的先驗知識融入到跟蹤模型自學(xué)習(xí)過程中，對被跟蹤行人進(jìn)行動態(tài)建模，從而實現(xiàn)在真實監(jiān)控場合下跟蹤具有復(fù)雜運動的行人。多傳感器信息融合以及行人模型的建立要求較大的計算量和計算參數(shù)，很難滿足類似車輛主動安全預(yù)警等系統(tǒng)實時性要求。本文采用車載單目視覺傳感器，利用訓(xùn)練得到的行人識別級聯(lián)分類器實時獲取車輛前方的行人，并對其進(jìn)行跟蹤以記錄其運動軌跡，從而為駕駛員和行人的有效預(yù)警提供技術(shù)參考。

1基于Adaboost算法的行人檢測

　　1.1 Adaboost算法原理

　　Adaboost算法通過訓(xùn)練得到由分類能力一般的弱分類器疊加而成的強分類器，再將若干個強分類器串連成一個級聯(lián)分類器來遍歷圖像。為快速實現(xiàn)行人的檢測和防撞預(yù)警，鑒于Adaboost算法的特點，本文選擇離散Adaboost算法訓(xùn)練得到識別行人的級聯(lián)分類器，以快速排除圖像中大部分非行人窗口，其結(jié)構(gòu)如圖1所示。其中，各階段的強分類器訓(xùn)練過程如圖2所示。

關(guān)于車載視覺的優(yōu)點和不足

圖1 N階級聯(lián)分類器結(jié)構(gòu)示意

關(guān)于車載視覺的優(yōu)點和不足

圖2離散Adaboost訓(xùn)練算法

　　從其訓(xùn)練過程可知，該算法主要通過調(diào)整訓(xùn)練樣本的權(quán)重，強化對錯誤分類樣本的訓(xùn)練，最后通過權(quán)重組合級聯(lián)所有的弱分類器形成強分類器。

1.2樣本的離線訓(xùn)練與行人的在線檢測

　　本文采用Adaboost算法訓(xùn)練得到識別行人的級聯(lián)分類器，通過程序加載分類器實現(xiàn)行人的在線檢測，檢測流程如圖3所示。

　　樣本的離線訓(xùn)練模塊主要是為了獲得識別行人的級聯(lián)分類器，具體過程如下所示。

　?。?）樣本獲取及預(yù)處理：行人樣本通過離線手動分割的車輛前方不同距離、不同走向、不同衣著和尺寸的行人圖像，統(tǒng)一縮放為16×32像素的尺寸；非行人樣本是從不含行人的背景圖像中分割得到的。為減小訓(xùn)練樣本的類內(nèi)差異，降低光照不同對訓(xùn)練結(jié)果的影響，采用直方圖均衡化方法對樣本進(jìn)行預(yù)處理。本文選擇的訓(xùn)練樣本共3 060幅，其中行人樣本2 100幅，非行人樣本960幅；

　?。?）樣本特征提?。哼x用P.Viola等提出的類Haar特征作為行人檢測的特征，該特征主要描述圖像模式相鄰區(qū)域的特征差異，可用積分圖快速計算矩形區(qū)域的特征值；

　?。?）訓(xùn)練結(jié)果：訓(xùn)練得到的級聯(lián)分類器由20級強分類器組成，每個強分類器包含了不同個數(shù)的弱分類器，每個弱分類器由一個類Haar特征、閾值和指示不等號方向組成。隨著分類器級數(shù)的增大，強分類器中所包含弱分類器即類Haar特征數(shù)量也越多。訓(xùn)練得到的前6級強分類器中所包含的類Haar特征及其數(shù)量見表1所示。

關(guān)于車載視覺的優(yōu)點和不足

　　行人在線檢測模塊是根據(jù)訓(xùn)練得到的分類器對待檢圖像的各子窗口進(jìn)行判別，檢測結(jié)果是一系列的目標(biāo)矩形，顯示行人在圖像中的位置，本文通過縮放檢測子窗口來遍歷待檢圖像，以分割圖像中大小未知的行人目標(biāo)，具體檢測過程如下。

　　（1）獲取大小為320×240像素的待檢圖像，設(shè)置最小檢測窗口大小為32×64像素，從圖像的左下角開始逐行向右每隔一個像素移動檢測窗口，直至達(dá)到圖像邊緣為止；

　?。?）利用訓(xùn)練模塊得到的級聯(lián)分類器按圖1所示方法對各待檢子窗口進(jìn)行判決，完成該級檢測窗口大小的掃描：如果該待檢子窗口能通過所有級聯(lián)分類器則說明其為行人窗口；如果有任何一個強分類器不能通過就可以判定其為非行人窗口；

　?。?）按照試驗確定的比例系數(shù)放大檢測子窗口大小，并按上述步驟重新對待檢圖像進(jìn)行掃描，獲取較大尺寸的行人目標(biāo)。

2基于Kalman濾波的行人跟蹤

　　使用離散Kalman濾波預(yù)測行人在下一時刻可能出現(xiàn)的區(qū)域，縮短目標(biāo)搜索時間，實現(xiàn)行人的快速跟蹤定位。行人跟蹤結(jié)果不但能獲得行人的運動軌跡，也能為行人的運動分析提供可靠的數(shù)據(jù)來源。

2.1 Kalman濾波算法原理

　　Kalman濾波由動態(tài)過程模型和反饋修正環(huán)節(jié)組成。動態(tài)過程模型實現(xiàn)預(yù)測功能，反饋修正環(huán)節(jié)則把增益和殘差的乘積作為強制函數(shù)作用在模型上。設(shè)系統(tǒng)的狀態(tài)方程和觀測方程如下：

　　關(guān)于車載視覺的優(yōu)點和不足

　　式中：Xk是時刻k的n維狀態(tài)向量；Zk是時刻k的m維觀測向量；n階方陣Фk-1為狀態(tài)轉(zhuǎn)移矩陣；m×n階矩陣Hk為觀測矩陣；Wk-1、Vk是2個服從正態(tài)分布的零均值高斯白噪聲序列，方差陣分別為Qk、Rk。

　　Kalman濾波過程可由預(yù)測方程：

　　關(guān)于車載視覺的優(yōu)點和不足

　　和濾波遞推方程：

　　表示，其中：

　　為濾波器增益；

　　為預(yù)測誤差方差陣；

　　關(guān)于車載視覺的優(yōu)點和不足

　　為濾波誤差方差陣。

2.2行人跟蹤

　　根據(jù)Kalman濾波原理，本文對檢測得到的車輛前方行人質(zhì)心位置和行人外接矩形的高度與寬度進(jìn)行跟蹤。在每幀圖像中，行人的狀態(tài)可以用其質(zhì)心的位置、位置變化率和外界矩形框的大小來表示。假設(shè)（xt,yt）代表行人區(qū)域質(zhì)心點在第t幀圖像的像素位置；（Δxt,Δyt）分別代表質(zhì)心的變化；（ht,wt）是包圍行人外接矩形的高度和寬度；（Δht,Δwt）是高度和寬度的變化。因此，在第t幀圖像中行人的狀態(tài)向量可以表示為：

　　由于行人的運動速度較慢，相鄰2幀圖像之間的時間間隔較短，可假設(shè)行人在單位時間間隔內(nèi)做勻速運動，狀態(tài)轉(zhuǎn)移矩陣可以表示如下：

　　關(guān)于車載視覺的優(yōu)點和不足

　　為了觀測道路區(qū)域各個狀態(tài)變量，取觀測向量Zt=（xt,yt,ht,wt）T,選取系統(tǒng)測量矩陣為：

關(guān)于車載視覺的優(yōu)點和不足

　　為應(yīng)用Kalman濾波跟蹤車輛前方行人，必須確定狀態(tài)變量和誤差方差矩陣的初始值。本文在連續(xù)2幀圖像成功實現(xiàn)行人的識別定位后開始進(jìn)行基于Kalman濾波跟蹤。假設(shè)檢測到行人的圖像是第t幀和t+1幀，初始狀態(tài)向量X0可表示為：

關(guān)于車載視覺的優(yōu)點和不足

　　此外，還需要定義相應(yīng)的協(xié)方差矩陣P0.由于Pt隨著獲取更多的圖像反復(fù)更新，為此可以給它一個較大的初值。假設(shè)預(yù)測位置在x和y方向上離真實位置具有±10個像素誤差，在x和y方向上速度離真實速度有±5個像素誤差。由于行人腿部的運動，使得行人外界矩形的寬度要比高度有較大的變化，所以假設(shè)外接矩形窗口的高度與實際行人矩形窗口的高度誤差有±5個像素，高度的變化率有±3個像素誤差；寬度的誤差為±10個像素，寬度的變化率有±5個像素誤差。由此，誤差協(xié)方差矩陣P0可定義為：

關(guān)于車載視覺的優(yōu)點和不足

　　除了X0和P0,還需要估計系統(tǒng)狀態(tài)方程和測量方程的誤差協(xié)方差矩陣Q和R。通過觀察，可認(rèn)為系統(tǒng)狀態(tài)噪聲如下：在x和y方向上系統(tǒng)定位誤差的標(biāo)準(zhǔn)偏差是5個像素，由此進(jìn)一步認(rèn)為速度的標(biāo)準(zhǔn)偏差為每幀2個像素。而行人外界矩形窗口的高度標(biāo)準(zhǔn)偏差為3個像素，其變化率為1個像素，行人矩形窗口寬度的標(biāo)準(zhǔn)偏差為5個像素，其變化率為2個像素。因此，狀態(tài)變量噪聲協(xié)方差矩陣可以表示為：

關(guān)于車載視覺的優(yōu)點和不足

　　類似地，定義測量方程在x和y方向上的標(biāo)準(zhǔn)偏差為3個像素，高度標(biāo)準(zhǔn)偏差為2個像素，寬度的標(biāo)準(zhǔn)偏差為3個像素。因此：

關(guān)于車載視覺的優(yōu)點和不足

　　利用上述的狀態(tài)預(yù)測和更新方程以及初始條件，可估計每一幀圖像狀態(tài)向量X^k（-）和相應(yīng)的協(xié)方差矩陣Pk（+）。協(xié)方差矩陣Pk（+）表示預(yù)測下一幀檢測行人矩形窗口位置的不確定范圍，Pk（+）越大，估計值越不穩(wěn)定，搜索區(qū)域也就越大，此時，自動調(diào)整搜索區(qū)域[17].

3試驗及分析

行人檢測與跟蹤識別流程如下：

　　（1）按照圖3所示的在線檢測模塊分析CCD采集的序列圖像中是否存在行人，并記錄行人目標(biāo)矩形的相關(guān)信息；

　?。?）如果在序列圖像中連續(xù)2幀檢測到行人，則啟動行人跟蹤程序，并用檢測結(jié)果更新Kalman濾波器，使其能預(yù)測下一幀中行人可能存在的區(qū)域；

　?。?）對預(yù)測區(qū)域按照以下策略進(jìn)行修正：以行人質(zhì)心位置的估計值作為中心，將預(yù)測得出的行人矩形的高度和寬度各放大1.5倍，建立行人搜索的感興趣區(qū)域，在新的感興趣區(qū)域中用級聯(lián)分類器進(jìn)行目標(biāo)檢測，然后將檢測到的行人質(zhì)心和矩形寬度與高度作為下一步預(yù)測的初始值；

　　表2行人檢測與跟蹤試驗結(jié)果統(tǒng)計

圖4是車輛由靜止到運動狀態(tài)下對前方1個行人的跟蹤結(jié)果

　　行人在車輛靜止時背對著車輛向前方行走，行走到一定位置之后等候車輛起動，待車輛向前行駛一段距離后，行人繼續(xù)向前運動，并伴有橫穿道路等動作。從圖5的跟蹤曲線可以看出，識別行人的外接矩形寬度變化比較顯著，這符合實際情況，由于行人行走時腿部跨度造成封閉矩形寬度變化明顯；由于行人相對于本車的距離變化是連續(xù)的，使得行人外接矩形的高度變化比較連續(xù)。

　　試驗表明，光照條件不同會對行人的識別與跟蹤結(jié)果產(chǎn)生一定影響，尤其當(dāng)光照較強時，行人某些部位與地面或背景融為一體，灰度差值很小，造成行人定位不精確或者識別失效，如圖6所示。

4結(jié)束語

　　本文提出一種基于Adaboost算法的行人檢測方法，根據(jù)行人運動速度慢的特點，提出利用Kalman濾波對行人外接矩形的中心及其寬度和高度進(jìn)行預(yù)測，建立動態(tài)可變的行人搜索感興趣區(qū)域，使每幀圖像處理的平均耗時由80 ms左右降至55 ms,從而滿足實時性要求。試驗表明，本文方法能夠識別車輛前方靜止和運動的行人，檢測率達(dá)到約88%。

　　行人檢測技術(shù)是汽車安全輔助駕駛研究領(lǐng)域的重要組成部分，下一步需要在行人檢測的基礎(chǔ)上，分析其運動狀態(tài)以及本車對其構(gòu)成的危險程度。在車輛與行人可能發(fā)生碰撞時，及時向駕駛員發(fā)出警示信息，當(dāng)駕駛員沒有采取有效避碰措施時，系統(tǒng)啟動減速或緊急制動等操作，有效保障行人的安全。

　　試驗表明，本文研究工作還存在一定的不足，考慮因素還不全面，受光照條件的影響較。下一步擬采取CCD光圈自動調(diào)節(jié)裝置來改善白天強光照條件或者暗光照條件的成像質(zhì)量，并研究如何提取有效表征和區(qū)分行人目標(biāo)的特征、增加訓(xùn)練樣本或者改進(jìn)訓(xùn)練方法。同時，結(jié)合紅外傳感器研究傍晚或夜間等條件下的行人檢測。