多運(yùn)動(dòng)目標(biāo)實(shí)時(shí)提取系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

摘 要： 針對(duì)彈道測(cè)量環(huán)境中大視場(chǎng)、大數(shù)據(jù)量、高速傳輸復(fù)雜的圖像中多運(yùn)動(dòng)目標(biāo)提取算法，設(shè)計(jì)了基于雙DSP+FPGA的實(shí)時(shí)圖像處理系統(tǒng)。提出了一種結(jié)合背景自適應(yīng)更新與基于窗口的目標(biāo)提取算法，通過背景自適應(yīng)更新算法得到目標(biāo)運(yùn)動(dòng)區(qū)域，再運(yùn)用基于窗口的目標(biāo)提取算法實(shí)時(shí)提取多運(yùn)動(dòng)目標(biāo)的信息。實(shí)驗(yàn)證明，系統(tǒng)能準(zhǔn)確實(shí)時(shí)地提取目標(biāo)信息，滿足彈道測(cè)量系統(tǒng)要求。
關(guān)鍵詞： 數(shù)字信號(hào)處理器；實(shí)時(shí)圖像處理；多目標(biāo)提??；自適應(yīng)背景更新

彈道測(cè)量設(shè)備屬于常規(guī)武器實(shí)驗(yàn)靶場(chǎng)的重要光電測(cè)量試驗(yàn)設(shè)備，其特點(diǎn)是視場(chǎng)大、測(cè)試精度高，目標(biāo)為凸形目標(biāo)，但需要處理的數(shù)據(jù)量非常大，只能進(jìn)行事后處理。目標(biāo)實(shí)時(shí)提取的核心在于背景的實(shí)時(shí)更新及目標(biāo)的快速檢測(cè)。最簡(jiǎn)單的背景減法的實(shí)現(xiàn)是選取一個(gè)固定模型作為背景，這個(gè)模型用來從背景中區(qū)分運(yùn)動(dòng)區(qū)域。但這種方法對(duì)于光強(qiáng)度變化、物體從背景中闖入或消失、樹葉擺動(dòng)等動(dòng)態(tài)運(yùn)動(dòng)不能處理。因此需要更加智能的背景更新算法來防止假目標(biāo)的產(chǎn)生。在實(shí)際應(yīng)用中，通過背景更新提取目標(biāo)區(qū)域時(shí)，可能還會(huì)出現(xiàn)多個(gè)假目標(biāo)。實(shí)際中目標(biāo)的各種參數(shù)提取需要目標(biāo)所有的像素點(diǎn)坐標(biāo)、灰度值等信息[1]，若將這些信息全部存儲(chǔ)后再進(jìn)行計(jì)算則需要大量的存儲(chǔ)空間，而且由于運(yùn)算的復(fù)雜性，還會(huì)大大降低處理的實(shí)時(shí)性。本文提出了一種自適應(yīng)背景更新算法來初步提取目標(biāo)運(yùn)動(dòng)區(qū)域，而后用一種基于窗口的目標(biāo)提取算法來實(shí)現(xiàn)多目標(biāo)信息的提取。
1 雙DSP+FPGA實(shí)時(shí)數(shù)字圖像處理系統(tǒng)硬件構(gòu)成
采用美國(guó)TI公司的高速數(shù)字信號(hào)處理器TMS320-DM642為處理核心，采用現(xiàn)場(chǎng)可編程門陣列FPGA Virtex-II系列芯片VC2V2000進(jìn)行預(yù)處理，并輔以數(shù)字圖像存儲(chǔ)器單口RAM CY7C1061AV33_8ZC和雙口RAM IDT70V28L20PFG等器件構(gòu)成了實(shí)時(shí)高速數(shù)字圖像處理系統(tǒng)。主/從DSP外接SDRAM。FPGA擴(kuò)展了IO資源接口，系統(tǒng)原理框圖如圖1所示。

系統(tǒng)工作原理是將線陣CCD相機(jī)采集后的原始圖像數(shù)據(jù)輸入到FPGA。一方面原始圖像數(shù)據(jù)由FPGA乒乓緩存到FPGA外接圖像存儲(chǔ)器組SRAM1、SRAM2中，以供主DSP通過FPGA從中乒乓取出，由PCI接口來完成原始視頻數(shù)據(jù)的實(shí)時(shí)傳輸；另一方面，原始圖像數(shù)據(jù)通過FPGA從DSP采入到SDRAM2中，以便從DSP進(jìn)行背景抑制及背景更新處理。主DSP主要完成原始圖像數(shù)據(jù)的傳輸及根據(jù)目標(biāo)的運(yùn)動(dòng)區(qū)域?qū)Χ嗄繕?biāo)塊的連通性分析及目標(biāo)相關(guān)參數(shù)的提取。SDRAM1用來存儲(chǔ)中間圖像及運(yùn)算結(jié)果。命令交互雙口RAM用來實(shí)現(xiàn)主/從DSP間的命令及圖像數(shù)據(jù)交互。
2 背景處理算法
目前有多種背景更新算法，如基于卡爾曼濾波的背景更新算法[3]和基于分類的背景更新算法。鄒承明等人提出了一種改進(jìn)的自適應(yīng)背景更新算法[4]對(duì)背景進(jìn)行插值優(yōu)化來進(jìn)行目標(biāo)和噪聲的分類檢測(cè)，算法檢測(cè)效果較穩(wěn)定。這些算法的缺點(diǎn)是運(yùn)算復(fù)雜，不適宜實(shí)時(shí)處理，對(duì)背景更新速度也難以控制。本文提出了一種實(shí)時(shí)處理的背景自適應(yīng)更新算法。
2.1 基于統(tǒng)計(jì)的背景模型
常用的描述背景點(diǎn)灰度概率分布是高斯分布，有單模態(tài)和多模態(tài)兩種。固定光照情況下，在估計(jì)圖像捕獲噪聲時(shí)，單模態(tài)高斯模型一般足以表示背景圖像的特性，而多模態(tài)高斯模型實(shí)際上經(jīng)常出現(xiàn)多表面或光照的改變。由于背景變化相對(duì)緩慢，且主要為天空背景，光照變化相對(duì)較小，所以用一個(gè)自適應(yīng)單高斯模型來逼近這個(gè)過程。設(shè)在一段時(shí)間內(nèi)，同一個(gè)像素點(diǎn)像素值服從高斯分布，均值為u(i，j)，標(biāo)準(zhǔn)方差為?滓(i，j)，i和j為像素點(diǎn)在圖像中的橫坐標(biāo)和縱坐標(biāo)：

在開始建模時(shí)，每一個(gè)像素點(diǎn)的分布是未知的，初始化用第一幀的像素值作為u(i，j)，標(biāo)準(zhǔn)方差為0。由于背景信息是通過不斷學(xué)習(xí)更新得到的，兼顧了過去的背景信息，因此該方法對(duì)圖像中偶然出現(xiàn)的假目標(biāo)有一定的抑制作用。
2.2 背景抑制
目前背景抑制有兩種方法。
(1)固定背景差分法。它是一種有效的運(yùn)動(dòng)對(duì)象檢測(cè)算法,其特點(diǎn)是高效和簡(jiǎn)單。但是對(duì)于復(fù)雜場(chǎng)景的適應(yīng)性比較差。
(2)時(shí)間間隔圖像差分法。這種方法實(shí)時(shí)性好，適合背景的實(shí)時(shí)更新。將前后兩幀的圖像fk(i，j)，fk+1(i，j)進(jìn)行差分處理，背景抑制過程如下：

式中，α1、α2為學(xué)習(xí)因子，控制更新速度，x表示新幀中像素點(diǎn)的灰度值。此背景更新策略不僅可以將背景區(qū)域和拖影區(qū)域?qū)崟r(shí)更新，還可以控制其更新速度。
3 基于窗口多目標(biāo)提取算法
目前圖像的目標(biāo)提取絕大部分是將超過閾值的所有像素點(diǎn)進(jìn)行連通性分析，然后將同一連通塊的所有像素點(diǎn)存儲(chǔ)起來，在連通分析結(jié)束后對(duì)目標(biāo)進(jìn)行信息提取[4]。這種方法存在兩種缺點(diǎn)：(1)需要大量存儲(chǔ)空間來存儲(chǔ)超過閾值像素點(diǎn)信息；(2)由于事后進(jìn)行信息計(jì)算，所以對(duì)目標(biāo)提取的實(shí)時(shí)性有所影響。提出了一種基于窗口的多目標(biāo)檢測(cè)算法，原理見圖2。

圖像超過閾值的新增像素點(diǎn)按從左到右、從上到下的順序加入第i個(gè)目標(biāo)判定窗口進(jìn)行八連通判定。若屬于目標(biāo)i，則馬上進(jìn)行質(zhì)心、平均灰度等目標(biāo)信息提取，并且將目標(biāo)i的窗口按圖3所示進(jìn)行更新。目標(biāo)i只需存儲(chǔ)更新后的窗口坐標(biāo)范圍及與目標(biāo)相關(guān)的提取信息，而不需要存儲(chǔ)所有閾值像素點(diǎn)信息。若新增像素點(diǎn)坐標(biāo)范圍在目標(biāo)i的判定窗口外，則此目標(biāo)判定結(jié)束。詳細(xì)流程見圖3、圖4。

4 實(shí)驗(yàn)結(jié)果
為了驗(yàn)證系統(tǒng)的準(zhǔn)確性、實(shí)時(shí)性和穩(wěn)定性，在野外以同時(shí)打1，2…，15發(fā)信號(hào)彈模擬多運(yùn)動(dòng)目標(biāo)來進(jìn)行測(cè)試。相機(jī)幀頻為40 幀/s，分辨率為2 K×2 K。系統(tǒng)各部分計(jì)算時(shí)間通過PCI接口傳入PC機(jī)端進(jìn)行記錄。在背景更新中灰度閾值T為60，學(xué)習(xí)因子?琢1、?琢2分別為0.82、0.73的條件下，當(dāng)目標(biāo)數(shù)分別為1，2，…，14，15時(shí)測(cè)得背景更新消耗時(shí)間分別為8.047 ms，9.110 ms，9.341 ms，…，10.101 ms，12.623 ms；目標(biāo)提取消耗時(shí)間分別為9.089 ms，10.411 ms，11.345 ms，…，16.554 ms，18.344 ms。系統(tǒng)采用雙DSP二級(jí)流水性處理方式。單幀圖像背景更新和目標(biāo)提取最大處理時(shí)間為18.344 ms，滿足實(shí)時(shí)處理要求。
為說明此系統(tǒng)背景更新算法的優(yōu)越性，將卡爾曼濾波算法與本文方法進(jìn)行比較。當(dāng)實(shí)際目標(biāo)數(shù)為1，2，3，…，14，15時(shí)，前者出現(xiàn)假目標(biāo)數(shù)分別為7，8，7，…，9，10，需要的處理時(shí)間分別為12.001 ms，13.384 ms，13.799 ms，…，14.298 ms，14.793 ms；而采用本文方法出現(xiàn)的假目標(biāo)數(shù)分別為1，2，3，…，3，2，需要的處理時(shí)間分別是8.047 ms，9.110 ms，9.341 ms，…，10.101 ms，12.623 ms；在比較目標(biāo)提取方法優(yōu)越性時(shí)，將基于像素的多目標(biāo)提取方法與基于窗口方法進(jìn)行了比較。前者需要的處理時(shí)間分別為14.153 ms，16.321 ms，17.520 ms，…，19.621 ms，23.691 ms；而本文方法處理時(shí)間分別為9.089 ms，10.411 ms，11.345 ms，…，16.554 ms，18.344 ms。
基于大視場(chǎng)、大容量數(shù)據(jù)實(shí)時(shí)處理的要求，設(shè)計(jì)了基于雙DSP和FPGA的嵌入式大面陣多運(yùn)動(dòng)目標(biāo)實(shí)時(shí)硬件及軟件的采集處理系統(tǒng)。應(yīng)用基于高斯背景模型的自適應(yīng)背景更新算法，完成了對(duì)大面陣小運(yùn)動(dòng)目標(biāo)區(qū)域的提取?；诖翱诘亩嗄繕?biāo)提取算法解決了以往嵌入式多目標(biāo)提取空間需求大的問題，實(shí)時(shí)快速地提取了目標(biāo)信息。實(shí)驗(yàn)證明，該系統(tǒng)處理準(zhǔn)確、實(shí)時(shí)性高、滿足靶場(chǎng)彈道測(cè)試等大視場(chǎng)多運(yùn)動(dòng)小目標(biāo)的實(shí)時(shí)提取任務(wù)。