基于關(guān)鍵幀提取技術(shù)的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)

顏色直方圖是最常用的表達(dá)顏色特征的方法，其優(yōu)點(diǎn)是不受圖像旋轉(zhuǎn)和平移變化的影響，進(jìn)一步借助歸一化還可不受圖像尺度變化的影響，基缺點(diǎn)是沒有表達(dá)出顏色空間分布的信息。顏色直方圖簡(jiǎn)單描述一幅圖像中顏色的全局分布，即不同色彩在整幅圖像中所占的比例，特別適用于描述那些難以自動(dòng)分割的圖像和不需要考慮物體空間位置的圖像。

紋理特征也是一種全局特征，它也描述了圖像或圖像區(qū)域所對(duì)應(yīng)景物的表面性質(zhì)。但由于紋理只是一種物體表面的特性，并不能完全反映出物體的本質(zhì)屬性，所以僅僅利用紋理特征是無法獲得高層次圖像內(nèi)容的。與顏色特征不同，紋理特征不是基于像素點(diǎn)的特征，它需要在包含多個(gè)像素點(diǎn)的區(qū)域中進(jìn)行統(tǒng)計(jì)計(jì)算。在模式匹配中，這種區(qū)域性的特征具有較大的優(yōu)越性，不會(huì)由于局部的偏差而無法匹配成功。作為一種統(tǒng)計(jì)特征，紋理特征常具有旋轉(zhuǎn)不變性，并且對(duì)于噪聲有較強(qiáng)的抵抗能力。但是，紋理特征也有其缺點(diǎn)，一個(gè)很明顯的缺點(diǎn)是當(dāng)圖像的分辨率變化的時(shí)候，所計(jì)算出來的紋理可能會(huì)有較大偏差。

通常情況下，形狀特征有兩類表示方法，一類是輪廓特征，另一類是區(qū)域特征。圖像的輪廓特征主要針對(duì)物體的外邊界，而圖像的區(qū)域特征則關(guān)系到整個(gè)形狀區(qū)域。形狀的表達(dá)和匹配采用更為簡(jiǎn)單的區(qū)域特征描述方法，例如采用有關(guān)形狀定量測(cè)度(如矩、面積、周長(zhǎng)等)的形狀參數(shù)法。

空間關(guān)系，是指圖像中分割出來的多個(gè)目標(biāo)之間的相互的空間位置或相對(duì)方向關(guān)系，這些關(guān)系也可分為連接或鄰接關(guān)系、交疊或重疊關(guān)系和包含包容關(guān)系等。通?？臻g位置信息可以分為兩類：相對(duì)空間位置信息和絕對(duì)空間位置信息。前一種關(guān)系強(qiáng)調(diào)的是目標(biāo)之間的相對(duì)情況，如上下左右關(guān)系等，后一種關(guān)系強(qiáng)調(diào)的是目標(biāo)之間的距離大小以及方位。顯而易見，由絕對(duì)空間位置可推出相對(duì)空間位置，但表達(dá)相對(duì)空間位置信息常比較簡(jiǎn)單?？臻g關(guān)系特征的使用可加強(qiáng)對(duì)圖像內(nèi)容的描述區(qū)分能力，但空間關(guān)系特征常對(duì)圖像或目標(biāo)的旋轉(zhuǎn)、反轉(zhuǎn)、尺度變化等比較敏感。另外，實(shí)際應(yīng)用中，僅僅利用空間信息往往是不夠的，不能有效準(zhǔn)確地表達(dá)場(chǎng)景信息。

優(yōu)秀的匹配算法是系統(tǒng)工作效率和辨識(shí)能力的保證，而高效的匹配算法需要準(zhǔn)確地描述出關(guān)鍵幀的特征。在本系統(tǒng)中，我們考慮到系統(tǒng)計(jì)算能力和穩(wěn)定性的要求，采用顏色直方圖和形狀特征相結(jié)合的描述算法。當(dāng)提取出當(dāng)前網(wǎng)絡(luò)視頻流的關(guān)鍵幀序列后，將關(guān)鍵幀以流水線作業(yè)的方式后匹配規(guī)則庫中的匹配圖像做比較，若相似率大于預(yù)定的閥值時(shí)，我們就有理由相信當(dāng)前視頻流是垃圾視頻。如果相似率低于預(yù)定的閥值，但落在了一個(gè)預(yù)定的有嫌疑的區(qū)間中，我們可以提取當(dāng)前關(guān)鍵幀的顏色直方圖和輪廓特征，與匹配圖像的顏色直方圖和輪廓特征相比較，如果其匹配概率大于預(yù)警閥值，系統(tǒng)可向管理員提出告警，再通過人工識(shí)別的方式來判斷當(dāng)前視頻流是否非法。

4. 告警響應(yīng)和處理

隨著網(wǎng)絡(luò)風(fēng)險(xiǎn)系數(shù)不斷提高，網(wǎng)絡(luò)攻擊技術(shù)和病毒木馬技術(shù)日益更新，單純的網(wǎng)絡(luò)安全設(shè)備已經(jīng)不能滿足企業(yè)、學(xué)校和家庭的安全保障。因此，本系統(tǒng)對(duì)視頻信息的監(jiān)測(cè)也將和其它網(wǎng)絡(luò)安全設(shè)備結(jié)合在一起，構(gòu)成全方位的網(wǎng)絡(luò)安全保障體系結(jié)構(gòu)來保證一個(gè)安全和諧的網(wǎng)絡(luò)環(huán)境。

基于系統(tǒng)特有的預(yù)警機(jī)制，可以降低誤報(bào)率和提高監(jiān)測(cè)效率。當(dāng)系統(tǒng)檢測(cè)到垃圾視頻信息時(shí)，將提取出該視頻數(shù)據(jù)包的源IP地址和端口等信息，并將信息顯示在系統(tǒng)報(bào)警頁面通知系統(tǒng)管理員的同時(shí)，也會(huì)將信息傳輸?shù)骄W(wǎng)絡(luò)安全保障體系結(jié)構(gòu)中的其他相關(guān)安全設(shè)備，如防火墻等。防火墻將第一時(shí)間將此非法IP地址和端口列入黑名單中，禁止該IP地址的視頻數(shù)據(jù)包通過防火墻。

圖4 安全保障體系結(jié)構(gòu)

系統(tǒng)也可和入侵檢測(cè)及安全審計(jì)等安全設(shè)備結(jié)合，來防止病毒和木馬等捆綁在視頻信息中對(duì)用戶進(jìn)行攻擊。系統(tǒng)首先將關(guān)鍵幀進(jìn)行匹配校驗(yàn)，如果相似率低于預(yù)警閥值，我們也不能掉以輕心，不排除其圖像中隱藏有病毒和木馬等信息，導(dǎo)致圖像像素發(fā)生了肉眼無法區(qū)別的改變，由于圖像像素結(jié)構(gòu)的改變，可能會(huì)欺騙視頻監(jiān)測(cè)系統(tǒng)，從而通過了檢驗(yàn)。因此，此時(shí)系統(tǒng)會(huì)將關(guān)鍵幀傳輸?shù)讲《緬呙柘到y(tǒng)進(jìn)行進(jìn)一步的檢查。

由于系統(tǒng)本身的匹配校驗(yàn)和預(yù)警機(jī)制，同時(shí)結(jié)合網(wǎng)絡(luò)安全保障體系中其他安全設(shè)備的資源來對(duì)視頻流進(jìn)行監(jiān)測(cè)，可以保障視頻信息的干凈和安全，同時(shí)不影響用戶對(duì)視頻服務(wù)的享受。

系統(tǒng)實(shí)現(xiàn)

I.硬件實(shí)現(xiàn)

系統(tǒng)分別由視頻數(shù)據(jù)包識(shí)別捕獲單元、視頻解碼關(guān)鍵幀提取處理單元、關(guān)鍵幀查詢單元、視頻關(guān)鍵幀匹配單元、關(guān)鍵幀匹配規(guī)則庫和告警響應(yīng)處理單元六個(gè)模塊組成。

視頻數(shù)據(jù)包識(shí)別捕獲單元

視頻數(shù)據(jù)包識(shí)別捕獲單元由FPGA Spartan 3E板卡來實(shí)現(xiàn)。FPGA具有高速并行處理的邏輯編程結(jié)構(gòu)，可以實(shí)現(xiàn)流水線識(shí)別源IP地址、源端口和目的IP地址、目的端口，以及協(xié)議類型、視頻標(biāo)志字段等信息的處理。

根據(jù)用戶特定需要監(jiān)測(cè)的視頻類型和流媒體協(xié)議，用戶可以自定義視頻特定位置的標(biāo)志字段。識(shí)別捕獲數(shù)據(jù)包單元過濾到相應(yīng)的視頻數(shù)據(jù)包時(shí)，將按照特定的流媒體協(xié)議對(duì)數(shù)據(jù)包進(jìn)行卸載，提取出視頻信息后傳輸?shù)胶罄^視頻解碼單元，提取出視頻的關(guān)鍵幀。

視頻解碼關(guān)鍵幀提取處理單元

視頻解碼關(guān)鍵幀提取單元在eBox-4300上的Wince操作系統(tǒng)上實(shí)現(xiàn)。Wince是微軟公司開發(fā)的嵌入式操作系統(tǒng)，具有很好的移植性和視頻處理庫，開發(fā)容易上手等優(yōu)點(diǎn)。同時(shí)考慮到當(dāng)前視頻格式標(biāo)準(zhǔn)多樣，為了提高系統(tǒng)的功能，以后一定會(huì)不斷向系統(tǒng)添加新的解碼器。而Wince上軟件的兼容性相對(duì)其他的操作系統(tǒng)較強(qiáng)，當(dāng)用戶添加其他解碼器時(shí)更簡(jiǎn)單。

關(guān)鍵幀查詢單元

關(guān)鍵幀的查詢是為了方便系統(tǒng)管理員對(duì)系統(tǒng)的工作效能進(jìn)行控制。在系統(tǒng)管理過程中，管理員可以通過身份驗(yàn)證登錄到系統(tǒng)管理頁面，查看當(dāng)前時(shí)間段的告警信息和相應(yīng)的關(guān)鍵幀，并可根據(jù)人為識(shí)別的方法，決定是否向關(guān)鍵幀匹配庫中添加新的匹配圖像。

視頻關(guān)鍵幀匹配單元

視頻關(guān)鍵幀的匹配是系統(tǒng)的主要部分，系統(tǒng)監(jiān)測(cè)的準(zhǔn)確性主要取決于關(guān)鍵幀的匹配算法和模式。FPGA中，與RAM存儲(chǔ)單元相關(guān)的資源有三類：Block RAM、LUT、寄存器。這三類資源可以通過配置和粘合邏輯實(shí)現(xiàn)為不同類型和位寬大小的單端口/雙端口RAM、ROM、CAM、FIFO等。FPGA中CAM的實(shí)現(xiàn)和配置非常靈活，CAM是實(shí)現(xiàn)模式匹配的核心資源。