一種基于灰度投影的實時電子穩(wěn)像方法

1、引言

電子穩(wěn)像[1,2]（EIS, Electronic Image Stabilization）就是用數(shù)字圖像處理和電子技術(shù)直接從像面上來確定圖像序列的幀間偏移，并進(jìn)行運動補償從而獲取穩(wěn)定的圖像序列的技術(shù)。與傳統(tǒng)的光學(xué)穩(wěn)像和機(jī)械式穩(wěn)像技術(shù)相比，電子穩(wěn)像具有穩(wěn)像精度高、體積小、重量輕、功耗低及成本低等優(yōu)點。從穩(wěn)像技術(shù)研究的歷史來看，電子穩(wěn)像技術(shù)是研究的發(fā)展趨勢，在軍事和民用中都有廣泛的應(yīng)用前景。

電子穩(wěn)像中，全局運動估計[1]和變換參考幀策略是兩大難點，正確地估計圖像序列的幀間運動是關(guān)鍵。目前用于電子穩(wěn)像運動估計的算法有很多種，如塊匹配法[3]、位平面匹配法[4]、代表點匹配法[5]等等。其中灰度投影法[6]算法簡單，計算量小，同時還能保持較高的準(zhǔn)確度。驗證并應(yīng)用多區(qū)域灰度投影法來消除內(nèi)部運動物體對全局運動估計的影響，并設(shè)計了一種帶有校正的變換參考幀策略。

2、電子穩(wěn)像基本流程

如上圖[1]所示，電子穩(wěn)像過程由圖像預(yù)處理、局部運動估計、全局運動估計和運動補償?shù)葞讉€部分組成。預(yù)處理：圖像的采集與處理準(zhǔn)確度受到多種因素的影響，如CCD的空間分辨率、量化誤差、系統(tǒng)噪音、A／D轉(zhuǎn)換準(zhǔn)確度、攝像機(jī)振動等，這些噪音直接影響到圖像序列的處理和電子穩(wěn)像系統(tǒng)的性能。在運動估計與運動補償?shù)确€(wěn)像操作前，需要對圖像做濾波操作，實驗采用的是中值濾波。運動估計[7]：包括局部運動估計和全局運動估計，即求取相鄰兩幀圖像之間偏移，求得局部運動矢量和全局運動矢量。運動補償[8]：用運動估計得到的運動矢量把圖像校準(zhǔn)到同一基準(zhǔn)上，得到穩(wěn)定的圖像序列。

圖1 電子穩(wěn)像流程圖

3、灰度投影

灰度投影算法是基于標(biāo)準(zhǔn)的幀與幀之間的運算，算法分為圖像映射、投影濾波、相關(guān)計算三個步驟。

圖像映射是把每一幀輸入的圖像二維灰度信息映射成兩個獨立的一維投影序列，公式如下：， 式中 是第k幀圖像第i行的灰度值； 是第k幀圖像第j列的灰度值； 是第k幀圖像 位置處的像素的灰度值。

投影濾波就是要對圖像投影值進(jìn)行濾波，因為偏移量大時，邊緣信息在互相關(guān)運算時會對互相關(guān)的峰值產(chǎn)生不利的影響，這就要求把邊緣處的投影值去除。通常采用的是余弦濾波，此方法可以保留中間區(qū)域的投影值，降低邊緣區(qū)域的信息幅值，從而保證相關(guān)計算的正確性，提高校正精度。

相關(guān)計算是把第k幀圖像與參考幀圖像的行、列投影曲線做互相關(guān)計算，根據(jù)兩條相關(guān)曲線的峰值即可確定當(dāng)前幀圖像相對于參考幀圖像的行、列位移矢量。得到水平和垂直方向的位移矢量后就把當(dāng)前圖像向位移矢量的反方向移動相應(yīng)像素距離，實現(xiàn)圖像序列的穩(wěn)定。

4、分區(qū)域灰度投影

為消除局部運動物體對運動估計的影響，提高灰度投影的可靠性，采用分區(qū)域灰度投影法。

分塊的大小和多少應(yīng)該由圖像的大小、內(nèi)部運動物體的大小，還有灰度投影的有效性三個方面決定。若分得塊太多，每個塊包含的信息量太少，將會影響灰度投影的準(zhǔn)確度，若分的塊太少了，就不能準(zhǔn)確判斷局部運動矢量。

表1為將投影區(qū)域分成不同大小進(jìn)行運動估計的仿真實驗結(jié)果。由表1可知,若投影區(qū)域大小小于90×90能準(zhǔn)確估計的范圍太小，容易出現(xiàn)誤差，而大于100×100像素的能保證灰度投影的有效性，滿足運動估計的需要。塊的大小的確定還要兼顧內(nèi)部運動物體的大小，內(nèi)部運動物體越小，越容易應(yīng)用分塊的灰度投影法消除其對全局運動矢量造成的影響。應(yīng)用背景下目標(biāo)最小為幾個像素，最大時為180×120個像素。通常情況下，運動目標(biāo)位于視場中心，如果分成4個投影區(qū)域[9]，每個區(qū)域都可能包含運動目標(biāo)的一部分，也就難以得到實際的全局運動矢量，所以至少要把投影區(qū)域分成9個塊。假定圖像大小為720×576，目標(biāo)最大為180×120，選取中間投影區(qū)域分成9個大小為200×180像素的塊，目標(biāo)最多占有四個塊，不會影響全局運動估計的判決?？梢?，只要滿足內(nèi)部運動物體占有少數(shù)塊和保證灰度投影的有效性，就能保證得到正確的全局運動估計矢量。

表1 投影區(qū)域分塊大小對運動估計影響

圖2 圖像分塊示意圖
5、變換參考幀策略

實時電子穩(wěn)像中，攝像機(jī)處于不斷的運動中，背景不是一成不變的。如果一直以第一幀為參考幀，可能最后穩(wěn)像出來的圖像序列不能反映真實的運動，這就要求實時更新參考幀。如果每一幀都以前一幀為參考幀，又會大大增加計算量，影響電子穩(wěn)像的實時性。

為了兼顧穩(wěn)像的速度和準(zhǔn)確度，采用每n幀換一次參考幀,n的值要綜合考慮攝像頭的運動情況來確定。參考幀使用的是穩(wěn)定以后的圖像，這里存在的問題就是如果一直選取穩(wěn)定后的圖像為參考幀，如果某次運動補償出現(xiàn)錯誤，例如由于實際偏移超出最大偏移范圍而導(dǎo)致的運動估計錯誤，那么這種錯誤就會一直延續(xù)下去。所以采取視頻編碼中若干P幀后插入I幀的方法[10]，每隔k幀插入一幀原始圖像作為參考幀。如果換取參考幀時，本幀的運動矢量太大，偏離上一參考幀太多，則采取下一幀為參考幀。