智能交通之汽車車牌定位識別設(shè)計與實現(xiàn)，軟硬件協(xié)同

基于計算機(jī)圖象處理和字符識別技術(shù)的車牌自動識別技術(shù)，有著極其廣闊的推廣應(yīng)用前景。

1、車牌識別技術(shù)在地方上的應(yīng)用

基于計算機(jī)數(shù)字識別技術(shù)的車牌自動識別技術(shù)，在收費(fèi)站、停車場、加油站和居民小區(qū)、高級賓館、飯店出入口等場所，有著極其廣闊的推廣應(yīng)用前景，可以實現(xiàn)車輛的自動監(jiān)控、自動登記、自動查詢等功能，也可以用于集裝箱，貨運(yùn)列車的自動抄號等。

用于高速公路收費(fèi)管理：一旦車牌自動識別技術(shù)到了實用階段，它可以首先推廣應(yīng)用到高速公路收費(fèi)站管理。它可以使高速公路行駛的車輛不必停車而實現(xiàn)收費(fèi)管理。

用于城市交通車輛管理：車牌自動識別技術(shù)還可以與汽車的外形、顏色等參數(shù)結(jié)合起來使用，有其可以適用于城市機(jī)動車輛的檔案管理工作、特殊的交通管理工作，能有效地提高交通流量，加強(qiáng)安全保衛(wèi)工作，如幫助交管部門自動捕捉違章汽車牌照號碼，自動捕獲違章車輛;幫助公安部門自動監(jiān)測在逃車輛、尋找罪犯汽車，解決通緝車輛、套牌車輛和被盜汽車的自動稽查問題，可以自動告警，通知執(zhí)勤人員攔查，克服了人工攔查工作量大、漏報率高、工作危險性大等問題。

停車場管理：在停車場出、入口處，設(shè)有車牌自動識別系統(tǒng)，對進(jìn)出停車場的車輛自動識別，并根據(jù)數(shù)據(jù)庫中的車牌數(shù)據(jù)判斷是否是已買(或租)車位的車輛，對已買(或租)的車輛放行，并自動記錄其出入停車場時間，以便出現(xiàn)車輛被盜等情況時查詢，對進(jìn)入停車場的已買(或租)車位的車輛自動將其車位處的擋車器打開，以便車輛停放;對其它車輛，將自動記錄其出入停車場的時間，以便計時收費(fèi)，對進(jìn)入停車場的其他車輛自動分配車位并將其車位處的擋車器打開，以便車輛停放。

2、車牌識別技術(shù)在部隊的應(yīng)用

車牌自動識別技術(shù)作為車輛識別的先迸技術(shù)手段，在部隊可以用于以下幾個方面：

軍事禁區(qū)車輛出、入識別：對某部軍車進(jìn)行登記，其車牌及外貿(mào)、顏色等信息記錄在計算機(jī)數(shù)據(jù)庫中，在該軍事禁區(qū)大門處，設(shè)置車牌自動識別系統(tǒng)，對進(jìn)出車輛自動識別，并根據(jù)數(shù)據(jù)中的車牌數(shù)據(jù)和外貌、顏色等特征參數(shù)，判斷是否時該部軍車，對該部軍車自動放行，使其能夠不停車甚至不減速通過，這種快速通行能力會為軍事行動贏得寶貴的時間;同時，自動實施記錄軍車出入大門的時間，以便及時準(zhǔn)確地掌握出車情況，實現(xiàn)對車輛的精確管理，如有車輛未按時歸隊，該系統(tǒng)能自動報警;對該部對外車輛，自動識別并禁止通行，按有關(guān)規(guī)定要求登記、審批后，方可允許其進(jìn)入。

動車場(庫)車輛出、入管理：在車場(庫)出入口設(shè)置車牌自動識別系統(tǒng)，對進(jìn)出車輛自動進(jìn)行識別并實時記錄車輛出入大門的時間，以便及時準(zhǔn)確地掌握出車情況，實現(xiàn)對車輛的精確管理，如有車輛未按時返回，該系統(tǒng)能自動報警。

哨所(關(guān)卡)車輛通行管理：在哨所(關(guān)卡)設(shè)置車牌自動識別系統(tǒng)，準(zhǔn)許通行車輛的車牌信息輸入計算機(jī)數(shù)據(jù)庫中，可被自動識別并放行，往返一次后，數(shù)據(jù)庫中的車牌信息隨即刪除;其余車輛自動識別后一律禁止通行并自動報警，通知警衛(wèi)人員攔查、等級后移交保衛(wèi)部門處理。

三、車牌識別的技術(shù)難點

車牌識別系統(tǒng)發(fā)展迅速，各國公司都相繼推出是何本國車牌特征的LPR系統(tǒng)，LPR研究由于受到多方面的限制，其技術(shù)還存在著一些不足。目前車牌識別技術(shù)存在的最大的問題是不確定性引起的識別率的問題，特別是針對不同條件LPR系統(tǒng)的滿足適應(yīng)性條件下的識別率問題。

從采用車牌識別技術(shù)的高速公路管理部門反饋的信息來看，目前這種技術(shù)能夠達(dá)到的最大精度只有95%，還有5%的車輛系統(tǒng)識別不出車牌。影響識別率的原因較多，大致歸結(jié)于車牌本身的特征和外界特征兩大方面：

(1) 車牌的外形設(shè)計、制造等多方面因素使得車牌識別系統(tǒng)的復(fù)雜性提高， 不確定性增大。這些情況包括：

(a) 車牌缺乏統(tǒng)一的標(biāo)準(zhǔn)。根據(jù)中華人民和國公共安全行業(yè)標(biāo)準(zhǔn)對機(jī)動車輛牌的有關(guān)規(guī)定，車牌的規(guī)格、顏色和適用范圍各不相同。例如：小汽車牌用的是藍(lán)底白字;大型汽車所用的黃底黑字;軍用或警用的是白底黑字、紅字。缺乏統(tǒng)一的標(biāo)準(zhǔn)，使得車牌識別過程中字符分割難度較大，缺乏統(tǒng)一的模式規(guī)則的指 導(dǎo)作用。

(b) 車牌的質(zhì)量無法保證。有些車牌比較臟或已污損，有些車牌的字符模糊不清，對光線的散射性不好。這些不確定性都極大的影響車牌識別的準(zhǔn)確率。

(c) 車牌附近環(huán)境惡劣，有較復(fù)雜的外形或擋車器等，不利于車牌定位分割。

(2) 外界環(huán)境特征也是增加車牌識別系統(tǒng)不確定性，影響識別率的重要因素之一。這些情況包括：

(a) 外界光照條件各不相同，白天和晚上光照不同。光照對圖象質(zhì)量的影響較大。不同光照的角度，對車牌反光的不均勻度影響也較大。不同時間，不同的其后條件，以及背景光、車牌反光程度最終決定了車牌區(qū)域的亮度特征。從實驗過程可以看出這些外界條件對車牌的粗定位和精確定位影響較大。

(b) 外界背景的復(fù)雜度也影響著車牌的定位率。背景中也車牌區(qū)域特征相似區(qū)域的大小反映了背景的噪聲程度。如與車牌字符相似的背景遠(yuǎn)處的廣告牌易影響車牌的粗定位 。

四、車牌定位的FPGA硬件實現(xiàn)頂層電路結(jié)構(gòu)

本設(shè)計使用Atlys Spartan?-6 FPGA 開發(fā)套件硬件平臺，利用其上的Xilinx Spartan?-6 XC6LX16-CS324的大容量邏輯資源完成車牌定位的FPAG全硬件設(shè)計。車牌定位電路應(yīng)用的FPGA型號為XC6LX16-CS324，此FPGA具有 2278個slice，32個DSP48A1，Block RAM blocks最大是576kb，2個CMT(4個DCM,2個PLL)。

對于本設(shè)計的車牌定位電路是一個圖像處理的電路，因此對存儲器資源要求的比較大。在Atlys Spartan?-6 FPGA 開發(fā)套件硬件平臺上有48Mbytes 的外部存儲器資源可用。

系統(tǒng)整體框圖如下：

五、車牌定位的FPGA實現(xiàn)的各個子模塊

5.1車牌圖像的預(yù)處理

圖像預(yù)處理的作用是突出圖像中的有用信息，不同的圖像預(yù)處理對應(yīng)于不同的圖像分割以獲得最佳的車牌特征。車牌定位預(yù)處理目標(biāo)是突出車牌區(qū)域的特征，抑制其它無用的特征。圖像的預(yù)處理包括圖像灰度化、平滑濾波、銳化等內(nèi)容。

5.1.1 圖像的灰度化

灰度圖的特征是：只有亮度信息，沒有顏色信息。彩色位圖結(jié)構(gòu)復(fù)雜，難以處理，灰度圖較簡單，易于處理。灰度圖的亮度信息，已經(jīng)足以判斷對車牌進(jìn)行定位了，所以選擇較容易處理的灰度圖?；叶葓D是只含亮度信息不含色彩信息的圖像，其中亮度值量化為256級。灰度圖進(jìn)行算法處理比較方便，并且更為重要的是可以在FPGA處理時大大的節(jié)省存儲空間。

首先RGB值一樣，且圖像數(shù)據(jù)就是調(diào)色板索引值，也就是實際的RGB的亮度值，又因調(diào)色板是256色的，所以圖像數(shù)據(jù)中一個字節(jié)代表一個。如果是彩色的256色圖，則經(jīng)過圖像處理算法后，可能會產(chǎn)生不屬于這256種顏色的新顏色，而真彩色RGB圖像必須用三個與圖像尺寸相同的矩陣來存儲，這樣計算代價過大。所以，一般采用256級灰度圖來進(jìn)行處理。由于采集的圖像是彩色圖像，所以要把彩色圖像轉(zhuǎn)化為灰度圖像?；叶茸儞Q有時又被稱為圖像的對比度增強(qiáng)或?qū)Ρ榷壤臁＜俣ㄝ斎雸D像中的一個像素的灰度級為Z，經(jīng)過T(Z)函數(shù)變換后輸出圖像對應(yīng)的灰度級為Z，其中要求Z和Z都要在圖像的灰度范圍之內(nèi)。根據(jù)T()形式，可以將灰度變換分為線性變換和非線性變換。具體應(yīng)用中采用何種T()，需要根據(jù)變換的要求而定。灰度變換的具體方法是：首先將原始圖像從RGB空間轉(zhuǎn)化為YCbCr空間，Y分量包含亮度信息，Cb和Cr分量包含色度和飽和度信息，然后僅提取Y分量生成灰度圖。彩色圖像由RGB空間變換為YCbCr空間的轉(zhuǎn)換關(guān)系為: 彩色圖像由YCbCr空間變換為RGB空間的轉(zhuǎn)換關(guān)系為：

所以，最終我們得到RGB顏色和灰度值的轉(zhuǎn)換關(guān)系:

Gray=0.229R+0.587G+0.114B

在本設(shè)計中，我們將0.299用10位定點小數(shù)表示：

0.299=10’h132,

0.587=10’h259,

0.114=10’h074;

RGB轉(zhuǎn)灰度圖的系統(tǒng)框圖如下：

5.1.2 圖像平滑

圖像平滑主要是為了消除噪聲。噪聲并不限于人眼所能看的見的失真和變形，有些噪聲只有在進(jìn)行圖像處理時才可以發(fā)現(xiàn)。圖像的常見噪聲主要有加性噪聲、乘性噪聲和量化噪聲等。圖像中的噪聲往往和信號交織在一起，尤其是乘性噪聲，如果平滑不當(dāng)，就會使圖像本身的細(xì)節(jié)如邊界輪廓、線條等變的模糊不清，如何既平滑掉噪聲有盡量保持圖像細(xì)節(jié)，是圖像平滑主要研究的任務(wù)。一般來說，圖像的能量主要集中在其低頻部分，噪聲所在的頻段主要在高頻段，同時系統(tǒng)中所要提取的汽車邊緣信息也主要集中在其高頻部分，因此，如何去掉高頻干擾又同時保持邊緣信息，是我們研究的內(nèi)容。為了去除噪聲，有必要對圖像進(jìn)行平滑，可以采用低通濾波的方法去除高頻干擾。圖像平滑包括空域法和頻域法兩大類，在空域法中，圖像平滑的常用方法是采用均值濾波或中值濾波，對于均值濾波，它是用一個有奇數(shù)點的滑動窗口在圖像上滑動，將窗口中心點對應(yīng)的圖像像素點的灰度值用窗口內(nèi)的各個點的灰度值的平均值代替，如果滑動窗口規(guī)定了在取均值過程中窗口各個像素點所占的權(quán)重，也就是各個像素點的系數(shù)，這時候就稱為加權(quán)均值濾波;對于中值濾波，它對一個滑動窗口內(nèi)的諸像素灰度值排序，用其中間值代替窗口中心的像素的原來灰度值，它是一種非線性的圖像平滑法，它對脈沖干擾級椒鹽噪聲的抑制效果好，在抑制隨機(jī)噪聲的同時能有效保護(hù)圖像尖銳的邊緣，少受模糊。本設(shè)計采用的是中值濾波的方法。

中值濾波器的FPGA設(shè)計。中值濾波器主要由3部分組成：濾波窗口生成模塊，行列計數(shù)器模塊，濾波算法模塊。

5.1.2.1 濾波窗口生成模塊的FPGA設(shè)計

圖像預(yù)處理算法往往針對鄰域像素操作。以3×3的窗口為例，利用2個FIFO和6個寄存器對圖像的行、列數(shù)據(jù)進(jìn)行存儲，設(shè)計濾波窗口如圖1所示。

本方案將這些存儲器進(jìn)行級聯(lián)，按照流水線操作，在對第n行數(shù)據(jù)存入內(nèi)部存儲器的同時，由于存儲器之間的級聯(lián)，可將先進(jìn)入存儲器的第n-1行，第n-2行……第1行順次存儲到下一級存儲器，這樣在一個時鐘周期內(nèi)，雖然處理器只從外部存儲器中讀取一個數(shù)據(jù)，卻可以實現(xiàn)數(shù)據(jù)并行輸出，從而形成圖像窗口。

本設(shè)計方案中使用的FIFO(Fillst In Fillst out)稱為先進(jìn)先出存儲器， FlFO在xilinx提供的ISE可以通過IP核生成器定制，F(xiàn)IFO主要應(yīng)用參數(shù)有需要存儲的數(shù)據(jù)深度和數(shù)據(jù)寬度。數(shù)據(jù)深度表示 FIFO可以存儲的數(shù)據(jù)量的大小，數(shù)據(jù)寬度表示每一個數(shù)據(jù)的位數(shù)。因此在此圖像處理系統(tǒng)中FIFO的數(shù)據(jù)深度必須為一幀圖像中一行的像素數(shù)，使得FIFO內(nèi)正好儲存一行的數(shù)據(jù);數(shù)據(jù)寬度為像素亮度位數(shù)——8位。

FIFO1中的數(shù)據(jù)為圖像的第n行像素的亮度值，F(xiàn)lFO1的輸入是FIFO2的輸出， FIFO2中的數(shù)據(jù)為視頻圖像的第n+1行像素的亮度值，第n+2行視頻像素亮度值通過3個移位寄存器后輸入到FIFO2，q31、q32、q33與FlFO2的三個輸出值q21、q22、q23 以及FlF01的三個輸出值q11、q12、q13分別對應(yīng)了3x3窗口的第n+2行，第n+1行和 第n行的輸入。為了形成正確的濾波窗口，即要保證q11、q21、q31;q12、q22、q32; q13、q23、q33處在同列不同行的位置。由下圖可以看到，此時所形成的數(shù)據(jù)q11，q12，q13，q21，q22，q23，q31，q32，q33就是濾波所要求的3×3窗口。中心象素點 是q22。

5.1.2.2 行列計數(shù)器設(shè)計

當(dāng)窗口中心移動到圖像的邊緣時，此時，窗口是無效的。但是通常圖像的邊緣不包含重要的信息，所以當(dāng)窗口移動到邊緣時，可以直接將輸出置為0。

5.1.2.3 濾波算法設(shè)計

對于3×3窗口的中值濾波，采用圖3所示的5級比較電路輸出中值，其輸入數(shù)據(jù)為圖2所示的濾波掩膜所在的圖像數(shù)據(jù)。第一級比較電路由3個三輸入比較器C組成，每個比較器每個比較器的輸出數(shù)據(jù)依序排列(參見圖示)。將3組比較結(jié)果中最小的3個數(shù)放在一起、中間的3個數(shù)放在一起、最大的3個數(shù)放在一起，參加第二級比較。第二級比較電路的原理與第一級類似，輸出out1和out9，分別是輸入數(shù)據(jù)中的最大值和最小值， 這2個數(shù)據(jù)將被舍去不參加下一級比較。參加第三級比較的有 7個數(shù)據(jù)，其原理類似于前兩級比較電路，輸出out2和out8分別是該7個數(shù)據(jù)的最大值和最小值，并且被舍去，僅留下5個數(shù)據(jù)參加第四級比較。剩下的幾級比較電路以類似于先前的原理進(jìn)行比較。如此，經(jīng)過5級比較后即可得到9個數(shù)據(jù)的標(biāo)準(zhǔn)中值濾波輸出值mid9。此外，為了保證流水線操作過程中數(shù)據(jù)的同步性，在第三級和第四級比較電路中需要插入數(shù)據(jù)寄存器R緩存當(dāng)前該級中不參與比較的數(shù)據(jù)。

5.2灰度拉伸改善圖像質(zhì)量

為了增強(qiáng)車輛圖像和牌照圖像(提取自車輛圖像)的對比度，使其明暗鮮明，有利于車牌識別，需要對它們進(jìn)行灰度拉伸，來改善圖像質(zhì)量。

灰度拉伸是將灰度進(jìn)行分段線性變換，它將輸入圖像中某點(x,y)的灰度f(x,y)，通過映射函數(shù)T，映射成輸出圖像中的灰度g(x,y)，即：g(x,y)=T[f(x,y)]灰度拉伸變換原理圖如下圖所示，函數(shù)表達(dá)式為:

其中，對于256級圖像來說，Mg = 255。同時當(dāng)a = 25， b = 35時灰度拉伸可取得較好效果。

5.3 圖像的邊緣測試——求梯度

對車牌區(qū)域檢測需要運(yùn)用車牌區(qū)域所特有的屬性。按照模式識別原理，應(yīng)找到車牌區(qū)域圖像的固有的且與圖像其它區(qū)域不易混淆的屬性，并且所使用的屬性在各種環(huán)境下攝取的圖像具有穩(wěn)定性。通過分析可知，在各種條件下車牌所在的圖像區(qū)域穩(wěn)定可靠的信息是它具有豐富的邊緣，因此本文設(shè)計了以對邊緣信息分析為基礎(chǔ)的算法。車牌背景色和字符色之間的對比度比較明顯，而且在車牌中幾個字符連續(xù)出現(xiàn)，在水平方向上形成一系列明暗交替的模式，利用這一特征就可以在圖像中對車牌所在的區(qū)域進(jìn)行定位。為了提取這種特征，本文設(shè)計并改進(jìn)了一個水平方向的一維梯度算子：

其中式中R，d的選取與圖像中車牌的大小有關(guān)。R，d的選取可以根據(jù)輸入圖像的實際情況進(jìn)行調(diào)整，只要保證R/2+d大于車牌中字符筆畫的寬度既可起到加強(qiáng)車牌區(qū)域邊緣特征的作用。在本設(shè)計中R暫時取經(jīng)驗值4，d取經(jīng)驗值 2。這種方法是將圖像中每一行中R個連續(xù)的水平方向梯度值相加，而梯度值則是由水平方向相隔2d-1個點的象素點的灰度的差值。

求梯度的系統(tǒng)框圖如下：

5.4 梯度圖像的二值化

為了方便后續(xù)的工作，需要對灰度圖像進(jìn)行二值化。根據(jù)下式對經(jīng)過第4步求出的梯度圖像進(jìn)行二值化。根據(jù)下式獲得閾值。

其中，G(i，j)為梯度處理后的灰度圖像的像素值。 根據(jù)得到的閾值對灰度圖像進(jìn)行圖像的二值化。其二值化的電路框圖如下：

5.5 數(shù)學(xué)形態(tài)學(xué)處理

數(shù)學(xué)形態(tài)學(xué)(Mathematical Morphology)是分析幾何形狀和結(jié)構(gòu)的數(shù)學(xué)方法，是建立在集合代數(shù)基礎(chǔ)上，用集合論方法定量描述幾何結(jié)構(gòu)的科學(xué)吲。數(shù)學(xué)形態(tài)學(xué)是由一組形態(tài)學(xué)的代數(shù)算子組成的。最基本的形態(tài)學(xué)算子有：腐蝕、膨脹、開和閉。對于后兩個，開是先腐蝕后膨脹，閉是先膨脹后腐蝕。

腐蝕的作用是消除物體邊界點，使目標(biāo)縮小，可以消除小于結(jié)構(gòu)元素的噪聲點;膨脹的作用是將與物體接觸的所有背景點合并到物體中，使目標(biāo)增大，可添補(bǔ)目標(biāo)中的空洞。

開運(yùn)算是先腐蝕后膨脹的過程，可以消除圖像上細(xì)小的噪聲，并平滑物體邊界。

閉運(yùn)算時先膨脹后腐蝕的過程，可以填充物體內(nèi)細(xì)小的空洞，并平滑物體邊界。

本設(shè)計中，對于先前得到的二值化圖像，先用一次膨脹，使車牌區(qū)域合并到一起，然后再對其進(jìn)行一次閉運(yùn)算，即先膨脹后腐蝕。去掉一些細(xì)小的干擾和粘連。

因為本設(shè)計中，需要加強(qiáng)的水平和垂直方向的邊緣，所以選擇如下表所示的結(jié)構(gòu)元素。

數(shù)學(xué)形態(tài)學(xué)的FPGA設(shè)計，在本設(shè)計中，所用的3×3的結(jié)構(gòu)元素，需要一個3×3的窗口，此窗口的設(shè)計和中值濾波器中所設(shè)計的窗口完全相同。

結(jié)構(gòu)元素的運(yùn)算單元的設(shè)計：

腐蝕的具體操作是：用一個結(jié)構(gòu)元素(一般是3×3的大小)掃描圖像中的每一個像素，用結(jié)構(gòu)元素中的每一個非0像素與其覆蓋的像素做“與”操作，如果都為1，則該像素為1，否則為0。

膨脹的具體操作是：用一個結(jié)構(gòu)元素(一般是3×3的大小)掃描圖像中的每一個像素，用結(jié)構(gòu)元素中的每一個非0像素與其覆蓋的像素做“與”操作，如果都為0，則該像素為0，否則為1。

5.6 用“投影法”來實現(xiàn)車牌定位

對數(shù)學(xué)形態(tài)學(xué)處理后的二值化的車牌圖像沿水平方向進(jìn)行投影，以確定車牌所在區(qū)域。投影值為每一行的白色像素點的累加值。對投影值進(jìn)行分析，如果投影值大過閾值R時，認(rèn)為可能是車牌所在區(qū)域。如果從該行起連續(xù)10行的投影值都大于闡值R，則認(rèn)為是車牌的可能所在區(qū)域，并將其標(biāo)出。

定位出的車牌可能區(qū)域有幾個，需要對其進(jìn)行再次的定位，以確定出車牌所在區(qū)域條。本設(shè)計中從下往上，對每一個車牌可能區(qū)域進(jìn)行垂直方向的投影，投影值為白色像素點的累加值。然后從左往右查找累加值不為零的投影點。找到后從該點開始，找第一個為零的投影點。根據(jù)這兩點得到兩點間的距離，如果此距離大于預(yù)設(shè)的經(jīng)驗閾值P，則認(rèn)定此區(qū)域為車牌所在區(qū)域，然后將車牌的區(qū)域的4個頂點坐標(biāo)輸出。

投影法的FPGA設(shè)計框圖如下：