基于SOPC的視頻運(yùn)動(dòng)目標(biāo)檢測跟蹤系統(tǒng)

摘要：文章是以Nios II處理器為中心的視頻運(yùn)動(dòng)目標(biāo)檢測跟蹤系統(tǒng)，通過CMOS圖像傳感器采集視頻圖像信息，采用幀間差分法檢測運(yùn)動(dòng)目標(biāo)，形心跟蹤算法對(duì)目標(biāo)進(jìn)行跟蹤，最后在VGA顯示器上顯示視頻中運(yùn)動(dòng)物體。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)可達(dá)到運(yùn)動(dòng)目標(biāo)檢測跟蹤的理想結(jié)果。

0 引言

運(yùn)動(dòng)目標(biāo)檢測跟蹤就是將運(yùn)動(dòng)的目標(biāo)從視頻圖像序列中檢測出來，對(duì)其進(jìn)行跟蹤。在計(jì)算機(jī)視覺領(lǐng)域和智能視頻監(jiān)控系統(tǒng)中，目標(biāo)檢測與跟蹤系統(tǒng)是一個(gè)最要的研究內(nèi)容，該系統(tǒng)在很多領(lǐng)域中經(jīng)得到廣泛的應(yīng)用，例如在家庭住宅小區(qū)、智能交通、銀行、超市等場所都設(shè)有視頻監(jiān)控系統(tǒng)，起到了不需要人為的作用，就可以對(duì)采集來的視頻圖像信號(hào)進(jìn)行處理，并對(duì)監(jiān)控系統(tǒng)進(jìn)行控制。視頻監(jiān)控與監(jiān)視系統(tǒng)VSAM是由美國國防部研制出來的，其作用是對(duì)整個(gè)場景進(jìn)行監(jiān)控，該系統(tǒng)可以自動(dòng)地調(diào)多個(gè)圖像傳感器無縫接入，主要應(yīng)用在戰(zhàn)爭、危險(xiǎn)場合的監(jiān)控。馬里蘭大學(xué)研制出的W4實(shí)時(shí)監(jiān)控可以在夜晚或者光線較差的環(huán)境下對(duì)出現(xiàn)的人定位和分割，主要應(yīng)用在智能交通、家居服務(wù)等。視頻運(yùn)動(dòng)目標(biāo)檢測與跟蹤系統(tǒng)對(duì)檢測目標(biāo)的準(zhǔn)確性和實(shí)時(shí)性要求很高。SOPC是嵌入式微處理器可編程片上系統(tǒng)，可在FPGA芯片上實(shí)現(xiàn)。本文采用SOPC(在FPGA嵌入NiosII軟核)作為視頻處理核心器件的方案，與傳統(tǒng)的采用DSP和ARM芯片的方案相比，具有成本更低、設(shè)計(jì)更靈活，而且能達(dá)到軟硬件協(xié)同工作、處理速度更快、容易升級(jí)。系統(tǒng)采用Altera公司的CycloneII EP2C35F672C6作為核心處理芯片，NIOSII軟核處理器為核心對(duì)運(yùn)動(dòng)目標(biāo)實(shí)時(shí)準(zhǔn)確地檢測與跟蹤。

1 系統(tǒng)組成及框圖

本文是基于FPGA的視頻運(yùn)動(dòng)目標(biāo)檢測跟蹤系統(tǒng)，主要分為四個(gè)模塊：圖像采集模塊、存儲(chǔ)模塊、目標(biāo)檢測跟蹤模塊和VGA顯示模塊。

1.1 圖像采集模塊

圖像采集模塊的作用是接收CMOS圖像傳感器采集到的視頻圖像。本系統(tǒng)采用的是友晶公司提供的TRDB—D5M攝像頭開發(fā)套件，使用的是CMOS圖像傳感器，它是將光學(xué)圖像轉(zhuǎn)化成電子信號(hào)的有源像素傳感器，是利用CMOS半導(dǎo)體而制成的。TRDB—D5M作為一款攝像頭套件，有很多攝像方面的優(yōu)勢(shì);高幀率、優(yōu)秀的低亮度性能、微弱的暗電流、全局復(fù)位解除(使所有像素點(diǎn)同時(shí)開始曝光)、可編程控制幀率、幀規(guī)模、曝光時(shí)間，片上鎖相環(huán)、自動(dòng)黑面校準(zhǔn)等。

1.2 存儲(chǔ)模塊

本設(shè)計(jì)在硬件系統(tǒng)中使用一片SDRAM作為圖片緩存的存儲(chǔ)器，在軟件系統(tǒng)中，備用一片SDRAM存儲(chǔ)幀圖片，使用一片SRAM存儲(chǔ)軟件代碼和軟件處理過程的中間數(shù)據(jù)。

1.3 目標(biāo)檢測跟蹤模塊

系統(tǒng)中大部分模塊是由Verilog HDL設(shè)計(jì)的，使用硬件來完成實(shí)際的功能，此模塊是在基于NiosII IDE集成開發(fā)工具使用C語言實(shí)現(xiàn)的，我們?cè)贓P2C35中嵌入NIOS II軟核，控制連接在外部總線上的SDRAM和SRAM。在整個(gè)模塊中，F(xiàn)PGA是綜合了NIOS II處理器、SDRAM控制器、SRAM控制器、攝像頭等許多模塊的最主要的部分。

1.4 VGA顯示模塊

VGA輸出接口芯片采用的是美國AD公司的ADV7123，它是一款單芯片包含3路高速、10位輸入的視頻D/A轉(zhuǎn)換器、行場同步信號(hào)、行場消隱信號(hào)、時(shí)鐘信號(hào)。ADV7123對(duì)RGB視頻數(shù)字信號(hào)進(jìn)行D/A變換成VGA需要的RGB模擬信號(hào)。最后將運(yùn)動(dòng)目標(biāo)檢測跟蹤結(jié)果顯示到PC顯示器上。運(yùn)動(dòng)目標(biāo)檢測跟蹤系統(tǒng)的總體框圖如圖1所示。

運(yùn)動(dòng)目標(biāo)檢測是目標(biāo)跟蹤的前提，其作用就是當(dāng)視頻圖像序列中有運(yùn)動(dòng)目標(biāo)出現(xiàn)，通過檢測算法將目標(biāo)從背景圖像中提取出來。根據(jù)監(jiān)控場景是運(yùn)動(dòng)的還是固定的，可以分為背景是固定的運(yùn)動(dòng)目標(biāo)檢測和背景是運(yùn)動(dòng)的運(yùn)動(dòng)目標(biāo)檢測。本系統(tǒng)是對(duì)背景運(yùn)動(dòng)的運(yùn)動(dòng)目標(biāo)檢測，目前，運(yùn)動(dòng)目標(biāo)檢測主要有三種方法：背景差分法、光流法和幀間差分法。背景差分法和光流法與幀間差分法相比，具有精度高定位準(zhǔn)的優(yōu)點(diǎn)，但算法的復(fù)雜性較高，難以在硬件平臺(tái)上實(shí)現(xiàn)實(shí)時(shí)處理，因此，本系統(tǒng)采用的是幀間差分法。

幀間差分法是對(duì)連續(xù)視頻序列圖像中相鄰兩幀作差，從而得到運(yùn)動(dòng)目標(biāo)的方法。通常選取相鄰的兩幀或三幀圖像進(jìn)行差分運(yùn)算，設(shè)t時(shí)刻當(dāng)前幀圖像為Fk(x，y)，t-1時(shí)刻的前一幀圖像為Fk-1(x，y)，兩幀進(jìn)行相減運(yùn)算如下：

其中，T為閾值，如果相鄰兩幀差分后的像素灰度值大于T，則二值化圖像Bk(x，y)像素點(diǎn)為1表示運(yùn)動(dòng)目標(biāo)區(qū)域，若為0表示背景區(qū)域。幀間差分算法基本流程如圖2所示。

1.5 目標(biāo)跟蹤

目標(biāo)跟蹤有很多算法，本系統(tǒng)選用的是形心跟蹤法。形心就是運(yùn)動(dòng)目標(biāo)的中心，對(duì)于準(zhǔn)確定位出目標(biāo)具有重要的意義。本文形心的獲取主要是通過幀間差分法檢測到運(yùn)動(dòng)目標(biāo)后，對(duì)檢測到的所有動(dòng)態(tài)點(diǎn)橫坐標(biāo)和縱坐標(biāo)進(jìn)行統(tǒng)計(jì)，然后算出所有動(dòng)態(tài)點(diǎn)橫坐標(biāo)和縱坐標(biāo)的中值，這個(gè)中值即為運(yùn)動(dòng)目標(biāo)的中心。當(dāng)運(yùn)動(dòng)目標(biāo)較小時(shí)，若采用模板匹配法，由于所取模板與背景類似，目標(biāo)特征不夠明顯，比較容易產(chǎn)生錯(cuò)誤的匹配，因此，比較適合采用形心跟蹤法進(jìn)行跟蹤和測量。二值化后的圖像，其形心坐標(biāo)計(jì)算公式為：

形心跟蹤得到運(yùn)動(dòng)目標(biāo)的坐標(biāo)后，統(tǒng)計(jì)運(yùn)動(dòng)目標(biāo)的像素點(diǎn)，再根據(jù)形心坐標(biāo)將運(yùn)動(dòng)目標(biāo)用矩形框跟蹤，進(jìn)而得出運(yùn)動(dòng)物體軌跡，NiosII處理器作出相應(yīng)的控制信號(hào)，驅(qū)動(dòng)云臺(tái)進(jìn)行跟蹤運(yùn)動(dòng)目標(biāo)。

2 實(shí)驗(yàn)結(jié)果

本論文是基于SOPC的視頻運(yùn)動(dòng)目標(biāo)檢測跟蹤系統(tǒng)，使用Altera公司DE2多媒體開發(fā)板完成的。

在實(shí)驗(yàn)室環(huán)境下的一段運(yùn)動(dòng)目標(biāo)視頻檢測跟蹤，640×480分辨率RGB格式20幀/秒，使用外接矩形框跟蹤物體，外接矩形框底邊中心點(diǎn)能夠在一定程度上反映物體的運(yùn)動(dòng)軌跡。圖3為從視頻流中提取出來的幾幀檢測跟蹤圖像效果圖。

3 結(jié)論

本文利用SOPC平臺(tái)構(gòu)建的實(shí)驗(yàn)系統(tǒng)，不僅可以在場景較簡單的情況下很好地完成運(yùn)動(dòng)目標(biāo)的檢測與跟蹤，并且也驗(yàn)證了利用SOPC技術(shù)實(shí)現(xiàn)目標(biāo)檢測跟蹤的可行性和準(zhǔn)確性，同時(shí)也提高了目標(biāo)跟蹤的實(shí)時(shí)性。通過軟/硬件協(xié)同工作方式，可以挖掘硬件設(shè)計(jì)的強(qiáng)大功能，開發(fā)出實(shí)時(shí)性和實(shí)用性更強(qiáng)、功能更強(qiáng)大的運(yùn)動(dòng)目標(biāo)檢測跟蹤系統(tǒng)。因此，本文的研究成果對(duì)于目標(biāo)檢測跟蹤處理技術(shù)和器件FPGA及SOPC技術(shù)的應(yīng)用推廣具有重要的參考價(jià)值。