智能視頻監(jiān)控系統(tǒng)及其在Blackfin處理器上的應(yīng)用

　　1.視頻監(jiān)控系統(tǒng)的現(xiàn)狀

　　視頻監(jiān)控系統(tǒng)從最初的模擬閉路電視監(jiān)控開始，經(jīng)歷了數(shù)字化，網(wǎng)絡(luò)化的發(fā)展，正在向分布式、智能化的方向邁進(jìn)。視頻壓縮技術(shù)的發(fā)展促進(jìn)了視頻監(jiān)控系統(tǒng)的數(shù)字化，節(jié)約了大量的存儲(chǔ)空間。

　　計(jì)算機(jī)網(wǎng)絡(luò)的普及和帶寬的增加使得城域網(wǎng)視頻監(jiān)控成為現(xiàn)實(shí)。而經(jīng)過科研人員40多年的不懈努力，計(jì)算機(jī)視覺已經(jīng)進(jìn)入突破式發(fā)展階段。得益于計(jì)算機(jī)視覺的研究成果，智能視頻監(jiān)控系統(tǒng)開始得到產(chǎn)業(yè)化應(yīng)用。

　　從上世紀(jì)90年代中期開始，以卡耐基梅隆大學(xué)(CMU)和麻省理工學(xué)院(MIT)為代表的，多家美國高校所參與的，由美國國防高級研究項(xiàng)目署設(shè)立的視覺監(jiān)控重大項(xiàng)目VSAM(Visual Surveillance and Monitoring)，以及其它科研機(jī)構(gòu)的研究成果，使得智能視覺分析取得了快速發(fā)展。2001年美國“911事件”，以及后來的西班牙馬德里列車連環(huán)爆炸和英國倫敦地鐵大爆炸等恐怖襲擊后，全世界范圍內(nèi)對視頻監(jiān)控系統(tǒng)，包括智能視頻分析系統(tǒng)的需求空前高漲。在英國全國范圍內(nèi)已經(jīng)安裝攝像機(jī)420多萬個(gè)，平均每14人一個(gè)，一個(gè)人一天之中可能出現(xiàn)在多達(dá)300個(gè)攝像機(jī)前(英國《The Daily Mail》)。國內(nèi)，2007年底廣州市安裝完畢25萬個(gè)治安攝像機(jī)，北京在26.3萬臺攝像機(jī)的基礎(chǔ)上，又在所有重點(diǎn)單位、人員聚集的公共場所、重要的交通樞紐、城市重要基礎(chǔ)設(shè)施及法律法規(guī)規(guī)定的重點(diǎn)區(qū)域安裝公共圖像信息系統(tǒng)并且全部與警方監(jiān)控網(wǎng)聯(lián)網(wǎng)。上海2010年前將在馬路上安裝20多萬個(gè)監(jiān)控?cái)z像機(jī)，全面建立“社會(huì)防控體系”。海量的監(jiān)控圖像需要視頻監(jiān)控系統(tǒng)智能地選擇壓縮、存儲(chǔ)和檢索內(nèi)容。

　　當(dāng)前，除了CMU和MIT，奧地利Graz理工大學(xué)的嵌入式智能攝像機(jī)研究組，IBM的S3(Smart Surveillance System)項(xiàng)目組，Intel的IRISNET(Internet-scale, Resource-intensive Sensor Network ServICes)項(xiàng)目組等，分別在分布式智能監(jiān)控系統(tǒng)的不同領(lǐng)域處于領(lǐng)先地位。Object Video， Hisign，3VR等公司率先實(shí)現(xiàn)了智能視頻監(jiān)控的工業(yè)應(yīng)用。在國內(nèi)，中科院自動(dòng)化所，清華大學(xué)電子工程系和自動(dòng)化系等處于研究的前列。

　　2.智能視頻監(jiān)控系統(tǒng)的技術(shù)背景簡介

　　智能視頻監(jiān)控的核心內(nèi)容之一是對特定目標(biāo)的自動(dòng)跟蹤。目標(biāo)跟蹤可分為5個(gè)步驟，包括運(yùn)動(dòng)檢測、目標(biāo)分類、目標(biāo)(類型)跟蹤、行為分析和目標(biāo)(個(gè)體)跟蹤。例如對人體的跟蹤：首先從實(shí)時(shí)圖像序列(即視頻)中檢測出運(yùn)動(dòng)物體，再判定運(yùn)動(dòng)物體中的人體，然后跟蹤人體的運(yùn)動(dòng)軌跡，并分析和選定有異常行為的人，如在車站，機(jī)場等遺留包裹的人，最后對行為異常的人進(jìn)行持續(xù)跟蹤。

　　運(yùn)動(dòng)檢測是從圖像序列中將變化區(qū)域從背景圖像中提取出來。運(yùn)動(dòng)區(qū)域的有效分割將大大減少后繼過程的運(yùn)算量。然而，背景圖像的不穩(wěn)定性，如陰影，光照，慢移動(dòng)(如蝸牛的爬行)，靜移動(dòng)(樹葉的擺動(dòng))等等，也使得運(yùn)動(dòng)檢測非常困難。

　　視頻監(jiān)控系統(tǒng)中的運(yùn)動(dòng)檢測有兩種不同的實(shí)現(xiàn)途徑，一種是直接利用視頻壓縮算法的中間結(jié)果，比如ADI的第三方合作伙伴利用MPEG 4和H.264編碼過程中的運(yùn)動(dòng)向量，在Blackfin處理器上同步實(shí)現(xiàn)了運(yùn)動(dòng)檢測和視頻壓縮。另外一種是獨(dú)立于視頻編碼的方法。

　　運(yùn)動(dòng)檢測算法可按照不同分類標(biāo)準(zhǔn)分為多種。中科院自動(dòng)化所把運(yùn)動(dòng)檢測算法歸納為三種：背景消除法，時(shí)間差分法，光流法。背景消除法和時(shí)間差分法都可以看作是差分圖像法。背景消除法是目前運(yùn)動(dòng)分割中最常用的一種方法，它利用當(dāng)前圖像與背景圖像的差分來檢測出運(yùn)動(dòng)區(qū)域。時(shí)間差分方法是在連續(xù)的圖像序列中兩個(gè)或三個(gè)相鄰幀間采用基于像素的時(shí)間差分并且閾值化來提取出圖像中的運(yùn)動(dòng)區(qū)域。基于光流方法的運(yùn)動(dòng)檢測采用了運(yùn)動(dòng)目標(biāo)隨時(shí)間變化的光流特性，通過計(jì)算位移向量光流場來初始化基于輪廓的跟蹤算法，從而有效地提取和跟蹤運(yùn)動(dòng)目標(biāo)。該方法的優(yōu)點(diǎn)是在攝像機(jī)運(yùn)動(dòng)的情況下也能檢測出獨(dú)立的運(yùn)動(dòng)目標(biāo)。

　　目標(biāo)分類的目的是從檢測到的運(yùn)動(dòng)區(qū)域中將特定類型物體的運(yùn)動(dòng)區(qū)域提取出來。根據(jù)利用的信息的不同，目標(biāo)分類可以分為基于運(yùn)動(dòng)特性的分類和基于形狀信息的分類兩種方法?；谶\(yùn)動(dòng)特性的識別利用目標(biāo)運(yùn)動(dòng)的周期性進(jìn)行識別，受顏色、光照的影響較小?；谛螤钚畔⒌淖R別利用檢測出的運(yùn)動(dòng)區(qū)域的形狀特征與模板或者統(tǒng)計(jì)量進(jìn)行匹配。

　　目標(biāo)跟蹤是在連續(xù)的圖像幀間創(chuàng)建基于位置、速度、形狀、紋理、色彩等有關(guān)特征的對應(yīng)匹配。依據(jù)不同的跟蹤方法可分為基于模型的跟蹤、基于區(qū)域的跟蹤、基于活動(dòng)輪廓的跟蹤、基于特征的跟蹤等。

　　聯(lián)合目標(biāo)跟蹤與分類(JTC)技術(shù)是信息融合領(lǐng)域新興的一個(gè)研究方向。其基本思想是，通過在目標(biāo)跟蹤器和目標(biāo)分類器之間進(jìn)行雙向信息交互，來同時(shí)有效地提高目標(biāo)的跟蹤精度和分類性能。

　　在特定情況下需要對跟蹤目標(biāo)從類型細(xì)化到個(gè)體。這需要對目標(biāo)的行為進(jìn)行分析和理解。行為理解的關(guān)鍵問題是如何從學(xué)習(xí)樣本中獲取參考行為序列，并且學(xué)習(xí)和匹配的行為序列必須能夠處理在相似的運(yùn)動(dòng)模式類別中空間和時(shí)間尺度上輕微的特征變化。

　　3. 智能視頻監(jiān)控系統(tǒng)實(shí)施的難點(diǎn)和Blackfin的優(yōu)勢

　　盡管已經(jīng)取得了巨大進(jìn)展，智能視頻分析領(lǐng)域仍然沒有公認(rèn)的最優(yōu)方法。其自身研究內(nèi)容的復(fù)雜性，使得研究方法和工具多樣，算法復(fù)雜度高，適用范圍有限，沒有魯棒性、準(zhǔn)確度、速度都符合需求的普遍方法。同時(shí)，視頻監(jiān)控系統(tǒng)的網(wǎng)絡(luò)化和分布式處理的要求，以及大規(guī)模工程安裝對成本、體積和功耗的限制，使得運(yùn)算能力和帶寬都在不斷提高的嵌入式處理器成為視頻監(jiān)控系統(tǒng)的主流選擇。而非標(biāo)準(zhǔn)化的智能視頻分析，正是DSP的用武之地。

　　Blackfin處理器是ADI與INTEL聯(lián)合研制的會(huì)聚式處理器，它的MSA(MICro Signal Architecture)架構(gòu)兼具M(jìn)CU的控制能力和DSP的高速運(yùn)算能力。MCU和DSP融入同一個(gè)內(nèi)核，只需要同一套開發(fā)工具和同一套指令集。與DSP加ARM的芯片架構(gòu)相比，具有軟硬件實(shí)現(xiàn)簡單的優(yōu)勢。Blackfin支持ThreadX，Nucleus，uCOS-II，uCLinux等十多種嵌入式操作系統(tǒng)，為客戶提供熟悉的軟件架構(gòu)基礎(chǔ)。Blackfin為高強(qiáng)度，高數(shù)據(jù)率的數(shù)字和媒體處理做了專門優(yōu)化，是理想的視頻處理器，而且具有極高的性價(jià)比。它的低功耗特性非常適合外殼體積小的IP攝像頭產(chǎn)品。

　　Blackfin的幾十個(gè)DMA通道和可靈活配置的Cache很好地滿足了視頻監(jiān)控系統(tǒng)對大運(yùn)算量，高數(shù)據(jù)吞吐率的要求。十級流水線使得Blackfin有很強(qiáng)的指令并行執(zhí)行能力。零開銷循環(huán)控制指令讓系統(tǒng)中的大量循環(huán)跳轉(zhuǎn)不再消耗任何處理器的時(shí)鐘周期。利用這些優(yōu)勢，real解碼器的idct4×4算法在Blackfin上速度提高了7倍。

　　視頻數(shù)據(jù)有其自身的特性。在不同顏色空間，表示象素的每個(gè)分量通常都是8位寬度。Blackfin的4個(gè)視頻算術(shù)運(yùn)算單元和視頻象素指令集大大加速了視頻運(yùn)算速度。一條視頻象素操作指令可以在一周期之內(nèi)完成4對視頻數(shù)據(jù)分量的加法運(yùn)算，減法運(yùn)算，加減混合運(yùn)算，取平均值，或者相減并求絕對值等11種視頻象素運(yùn)算。這些運(yùn)算在編解碼算法中的運(yùn)動(dòng)估計(jì)、loop filter和智能視頻分析的各種算法中大量應(yīng)用。在智能視頻分析的一些基礎(chǔ)算子中，例如直方圖統(tǒng)計(jì)，中值運(yùn)算，Sobel運(yùn)算，形態(tài)學(xué)中的膨脹運(yùn)算等都可以利用Blackfin的MIN, MAX指令來消除條件跳轉(zhuǎn)，節(jié)省處理器周期。不僅如此，Blackfin還支持13種非視頻數(shù)據(jù)的向量運(yùn)算。適當(dāng)設(shè)計(jì)數(shù)據(jù)結(jié)構(gòu)，在前背景分離，閾值計(jì)算和更新等多個(gè)環(huán)節(jié)都可以運(yùn)用Blackfin的特色指令讓智能視頻分析算法更迅捷。這些本身就很有效的指令中，大部分指令都能夠并行執(zhí)行，使得Blackfin的處理能力再加倍。

　　4.智能視頻監(jiān)控系統(tǒng)的實(shí)例

　　清華大學(xué)自動(dòng)控制系在視覺分析領(lǐng)域有長期的研究和積累。結(jié)合ADI的優(yōu)勢，雙方在Blackfin BF561雙核處理器上實(shí)現(xiàn)了智能視頻監(jiān)控系統(tǒng)。ADI提供高質(zhì)量高性能的H.264編碼算法，清華大學(xué)自動(dòng)控制系則在BF561上實(shí)現(xiàn)了自動(dòng)跟蹤算法。系統(tǒng)框圖如圖1所示。

　　圖1：基于BF561的智能監(jiān)控終端框圖

　　H.264編碼算法模塊是ADI為Blackfin客戶提供的免費(fèi)軟件模塊之一，目前已經(jīng)有基于BF53x和BF561兩個(gè)系列的芯片的實(shí)現(xiàn)。它支持完全動(dòng)態(tài)的參數(shù)配置，用戶可在系統(tǒng)運(yùn)行時(shí)根據(jù)場景和網(wǎng)絡(luò)帶寬的變化改變編碼的碼率、幀率、關(guān)鍵幀間隔、量化值等等。從80KBb的CDMA網(wǎng)絡(luò)到3Mb的DVR系統(tǒng)都能使用同一套函數(shù)庫達(dá)到理想的編碼質(zhì)量。具有很強(qiáng)的適應(yīng)性和靈活性。

　　清華大學(xué)自動(dòng)控制系的智能跟蹤算法采用單高斯背景建模的背景減除方法進(jìn)行運(yùn)動(dòng)檢測，在目標(biāo)分類階段，結(jié)合了基于運(yùn)動(dòng)特性的分類和基于形狀信息的分類兩種方法，利用人體、車輛的長寬比例、梯度直方圖和運(yùn)動(dòng)周期性等對運(yùn)動(dòng)物體進(jìn)行分類。在對同類目標(biāo)跟蹤時(shí)，采用基于區(qū)域的算法，判斷連續(xù)的各幀之間運(yùn)動(dòng)物體的質(zhì)心位移方向和距離?；谏鲜鋈齻€(gè)階段的算法，系統(tǒng)還能實(shí)現(xiàn)人群跟蹤，入侵檢測，人、車數(shù)量統(tǒng)計(jì)，遺留物體檢測，攝像頭非法遮擋和移位報(bào)警等功能。

　　系統(tǒng)中，BF561的Core A用于實(shí)現(xiàn)H.264編碼算法，Core B用于智能視頻分析。Core A上同時(shí)運(yùn)行uCos II操作系統(tǒng)以及RTP和TCP/IP協(xié)議棧。YUV4:2:2視頻幀通過PPI(并行外設(shè)接口)以DMA的方式傳送到SDRAM緩沖區(qū)。Core A和Core B共享幀緩沖區(qū)。Core B首先啟動(dòng)memory DMA把視頻幀的Y(亮度)分量傳送到Core B的片內(nèi)存儲(chǔ)區(qū)L1 SRAM的行緩沖區(qū)內(nèi)。Core B對行緩沖區(qū)內(nèi)的Y分量進(jìn)行背景建模和后繼的運(yùn)動(dòng)檢測及目標(biāo)跟蹤。如果可視區(qū)域內(nèi)出現(xiàn)指定類型的物體，Core B向Core A發(fā)送一個(gè)中斷信號，Core A可以通過UART接口向本地控制臺發(fā)送告警信息，或者通過網(wǎng)絡(luò)接口向遠(yuǎn)程控制臺發(fā)送告警信息;Core B還可以修改幀緩沖區(qū)，給目標(biāo)加矩形邊框以標(biāo)識目標(biāo)。Core A也通過一個(gè)memory DMA接收來自幀緩沖區(qū)的視頻亮度和色度數(shù)據(jù)。編碼器對Core B處理后的幀緩沖區(qū)進(jìn)行編碼。同時(shí)系統(tǒng)也可以通過另外一個(gè)PPI接口輸出經(jīng)Core B修改后的幀緩沖區(qū)，實(shí)時(shí)顯示跟蹤結(jié)果。目標(biāo)跟蹤算法是實(shí)時(shí)的，因此不會(huì)造成編碼的延時(shí)。在未檢測到運(yùn)動(dòng)物體時(shí)，編碼器可以工作在低碼率或低幀率狀態(tài)下，甚至不編碼。一旦檢測到指定類型的運(yùn)動(dòng)物體，編碼器即恢復(fù)正常工作，把壓縮碼流和對應(yīng)時(shí)間通過以太網(wǎng)接口上傳到管理系統(tǒng)。這樣既能節(jié)約存儲(chǔ)空間，又能方便事后對視頻錄像的檢索。

　　該系統(tǒng)還可以通過UART或者以太網(wǎng)接口設(shè)定監(jiān)控區(qū)域邊界，用以標(biāo)識入侵檢測的監(jiān)視范圍。當(dāng)有運(yùn)動(dòng)物體越過邊界時(shí)，系統(tǒng)立即向控制臺報(bào)警。控制臺還可以向該智能監(jiān)控終端發(fā)送指令改變它所執(zhí)行的功能，從智能跟蹤，到入侵檢測，再到遺留物體檢測或者清點(diǎn)人數(shù)等等，自由切換。沒有Blackfin強(qiáng)大的處理能力和靈活性，在一個(gè)嵌入式處理器里實(shí)現(xiàn)如此復(fù)雜而眾多的功能幾乎是不可想象的。

　　5.智能視頻監(jiān)控的發(fā)展趨勢

　　盡管智能視頻分析在視頻監(jiān)控中已經(jīng)得到一定的應(yīng)用，但它還有很長的發(fā)展歷程。一個(gè)比較理想的智能視頻監(jiān)控系統(tǒng)應(yīng)該是這樣的：

　　如果有一天，城市的一角突然發(fā)生槍擊事件。犯罪嫌疑人立即逃向不遠(yuǎn)處的轎車，試圖駕車逃跑。然而，他的一舉一動(dòng)已經(jīng)落入了公共安全監(jiān)控網(wǎng)之中，難以遁形。首先，帶有聲音識別和聲源定位功能的視頻監(jiān)控系統(tǒng)檢測到槍聲之后立即調(diào)整攝像頭角度和方向，對準(zhǔn)槍聲來向，同時(shí)啟動(dòng)第一次報(bào)警，報(bào)告槍擊發(fā)生的大致位置。該攝像頭采集視頻，檢測運(yùn)動(dòng)人體，分析人物的行為特征，并立即定位、跟蹤嫌疑人。定位后，通知系統(tǒng)內(nèi)處于合適位置的多個(gè)攝像頭提取嫌疑人面部特征，試圖駕駛的車輛的車牌等，并上傳到管理系統(tǒng)，建立數(shù)據(jù)庫表項(xiàng)，分發(fā)到公安局，車站，機(jī)場，銀行，海關(guān)等重點(diǎn)單位。監(jiān)控系統(tǒng)轉(zhuǎn)而跟蹤該車輛。警方在嫌疑人運(yùn)動(dòng)的路上設(shè)置警力攔截和追捕。即使嫌疑人僥幸逃脫現(xiàn)場追捕，當(dāng)他出現(xiàn)在全國任何一個(gè)攝像頭前的時(shí)候，仍然無法逃脫被捕的命運(yùn)。

　　這個(gè)系統(tǒng)中融合了多種先進(jìn)監(jiān)控技術(shù)。音視頻結(jié)合，視覺成像和非視覺成像結(jié)合，目標(biāo)跟蹤和行為分析、特征識別相結(jié)合的全連通的智能視頻監(jiān)控系統(tǒng)將是未來安防系統(tǒng)的趨勢。其中的各項(xiàng)技術(shù)都已經(jīng)分別得到了相當(dāng)?shù)陌l(fā)展。Blackfin在紅外攝像頭，相控陣麥克風(fēng)等方面已有許多應(yīng)用。而更準(zhǔn)確，更快速，更魯棒的智能視覺分析算法仍然是一個(gè)難點(diǎn)。ADI將會(huì)繼續(xù)在智能視頻監(jiān)控領(lǐng)域與全球科研機(jī)構(gòu)和企業(yè)合作，為我們創(chuàng)造更安全更美好的生活。