基于關(guān)鍵幀提取技術(shù)的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)
顏色直方圖是最常用的表達(dá)顏色特征的方法,其優(yōu)點(diǎn)是不受圖像旋轉(zhuǎn)和平移變化的影響,進(jìn)一步借助歸一化還可不受圖像尺度變化的影響,基缺點(diǎn)是沒有表達(dá)出顏色空間分布的信息。顏色直方圖簡(jiǎn)單描述一幅圖像中顏色的全局分布,即不同色彩在整幅圖像中所占的比例,特別適用于描述那些難以自動(dòng)分割的圖像和不需要考慮物體空間位置的圖像。
紋理特征也是一種全局特征,它也描述了圖像或圖像區(qū)域所對(duì)應(yīng)景物的表面性質(zhì)。但由于紋理只是一種物體表面的特性,并不能完全反映出物體的本質(zhì)屬性,所以僅僅利用紋理特征是無法獲得高層次圖像內(nèi)容的。與顏色特征不同,紋理特征不是基于像素點(diǎn)的特征,它需要在包含多個(gè)像素點(diǎn)的區(qū)域中進(jìn)行統(tǒng)計(jì)計(jì)算。在模式匹配中,這種區(qū)域性的特征具有較大的優(yōu)越性,不會(huì)由于局部的偏差而無法匹配成功。作為一種統(tǒng)計(jì)特征,紋理特征常具有旋轉(zhuǎn)不變性,并且對(duì)于噪聲有較強(qiáng)的抵抗能力。但是,紋理特征也有其缺點(diǎn),一個(gè)很明顯的缺點(diǎn)是當(dāng)圖像的分辨率變化的時(shí)候,所計(jì)算出來的紋理可能會(huì)有較大偏差。
通常情況下,形狀特征有兩類表示方法,一類是輪廓特征,另一類是區(qū)域特征。圖像的輪廓特征主要針對(duì)物體的外邊界,而圖像的區(qū)域特征則關(guān)系到整個(gè)形狀區(qū)域。形狀的表達(dá)和匹配采用更為簡(jiǎn)單的區(qū)域特征描述方法,例如采用有關(guān)形狀定量測(cè)度(如矩、面積、周長(zhǎng)等)的形狀參數(shù)法。
空間關(guān)系,是指圖像中分割出來的多個(gè)目標(biāo)之間的相互的空間位置或相對(duì)方向關(guān)系,這些關(guān)系也可分為連接或鄰接關(guān)系、交疊或重疊關(guān)系和包含包容關(guān)系等。通??臻g位置信息可以分為兩類:相對(duì)空間位置信息和絕對(duì)空間位置信息。前一種關(guān)系強(qiáng)調(diào)的是目標(biāo)之間的相對(duì)情況,如上下左右關(guān)系等,后一種關(guān)系強(qiáng)調(diào)的是目標(biāo)之間的距離大小以及方位。顯而易見,由絕對(duì)空間位置可推出相對(duì)空間位置,但表達(dá)相對(duì)空間位置信息常比較簡(jiǎn)單??臻g關(guān)系特征的使用可加強(qiáng)對(duì)圖像內(nèi)容的描述區(qū)分能力,但空間關(guān)系特征常對(duì)圖像或目標(biāo)的旋轉(zhuǎn)、反轉(zhuǎn)、尺度變化等比較敏感。另外,實(shí)際應(yīng)用中,僅僅利用空間信息往往是不夠的,不能有效準(zhǔn)確地表達(dá)場(chǎng)景信息。
優(yōu)秀的匹配算法是系統(tǒng)工作效率和辨識(shí)能力的保證,而高效的匹配算法需要準(zhǔn)確地描述出關(guān)鍵幀的特征。在本系統(tǒng)中,我們考慮到系統(tǒng)計(jì)算能力和穩(wěn)定性的要求,采用顏色直方圖和形狀特征相結(jié)合的描述算法。當(dāng)提取出當(dāng)前網(wǎng)絡(luò)視頻流的關(guān)鍵幀序列后,將關(guān)鍵幀以流水線作業(yè)的方式后匹配規(guī)則庫中的匹配圖像做比較,若相似率大于預(yù)定的閥值時(shí),我們就有理由相信當(dāng)前視頻流是垃圾視頻。如果相似率低于預(yù)定的閥值,但落在了一個(gè)預(yù)定的有嫌疑的區(qū)間中,我們可以提取當(dāng)前關(guān)鍵幀的顏色直方圖和輪廓特征,與匹配圖像的顏色直方圖和輪廓特征相比較,如果其匹配概率大于預(yù)警閥值,系統(tǒng)可向管理員提出告警,再通過人工識(shí)別的方式來判斷當(dāng)前視頻流是否非法。
4. 告警響應(yīng)和處理
隨著網(wǎng)絡(luò)風(fēng)險(xiǎn)系數(shù)不斷提高,網(wǎng)絡(luò)攻擊技術(shù)和病毒木馬技術(shù)日益更新,單純的網(wǎng)絡(luò)安全設(shè)備已經(jīng)不能滿足企業(yè)、學(xué)校和家庭的安全保障。因此,本系統(tǒng)對(duì)視頻信息的監(jiān)測(cè)也將和其它網(wǎng)絡(luò)安全設(shè)備結(jié)合在一起,構(gòu)成全方位的網(wǎng)絡(luò)安全保障體系結(jié)構(gòu)來保證一個(gè)安全和諧的網(wǎng)絡(luò)環(huán)境。
基于系統(tǒng)特有的預(yù)警機(jī)制,可以降低誤報(bào)率和提高監(jiān)測(cè)效率。當(dāng)系統(tǒng)檢測(cè)到垃圾視頻信息時(shí),將提取出該視頻數(shù)據(jù)包的源IP地址和端口等信息,并將信息顯示在系統(tǒng)報(bào)警頁面通知系統(tǒng)管理員的同時(shí),也會(huì)將信息傳輸?shù)骄W(wǎng)絡(luò)安全保障體系結(jié)構(gòu)中的其他相關(guān)安全設(shè)備,如防火墻等。防火墻將第一時(shí)間將此非法IP地址和端口列入黑名單中,禁止該IP地址的視頻數(shù)據(jù)包通過防火墻。
圖4 安全保障體系結(jié)構(gòu)
系統(tǒng)也可和入侵檢測(cè)及安全審計(jì)等安全設(shè)備結(jié)合,來防止病毒和木馬等捆綁在視頻信息中對(duì)用戶進(jìn)行攻擊。系統(tǒng)首先將關(guān)鍵幀進(jìn)行匹配校驗(yàn),如果相似率低于預(yù)警閥值,我們也不能掉以輕心,不排除其圖像中隱藏有病毒和木馬等信息,導(dǎo)致圖像像素發(fā)生了肉眼無法區(qū)別的改變,由于圖像像素結(jié)構(gòu)的改變,可能會(huì)欺騙視頻監(jiān)測(cè)系統(tǒng),從而通過了檢驗(yàn)。因此,此時(shí)系統(tǒng)會(huì)將關(guān)鍵幀傳輸?shù)讲《緬呙柘到y(tǒng)進(jìn)行進(jìn)一步的檢查。
由于系統(tǒng)本身的匹配校驗(yàn)和預(yù)警機(jī)制,同時(shí)結(jié)合網(wǎng)絡(luò)安全保障體系中其他安全設(shè)備的資源來對(duì)視頻流進(jìn)行監(jiān)測(cè),可以保障視頻信息的干凈和安全,同時(shí)不影響用戶對(duì)視頻服務(wù)的享受。
系統(tǒng)實(shí)現(xiàn)
I.硬件實(shí)現(xiàn)
系統(tǒng)分別由視頻數(shù)據(jù)包識(shí)別捕獲單元、視頻解碼關(guān)鍵幀提取處理單元、關(guān)鍵幀查詢單元、視頻關(guān)鍵幀匹配單元、關(guān)鍵幀匹配規(guī)則庫和告警響應(yīng)處理單元六個(gè)模塊組成。
視頻數(shù)據(jù)包識(shí)別捕獲單元
視頻數(shù)據(jù)包識(shí)別捕獲單元由FPGA Spartan 3E板卡來實(shí)現(xiàn)。FPGA具有高速并行處理的邏輯編程結(jié)構(gòu),可以實(shí)現(xiàn)流水線識(shí)別源IP地址、源端口和目的IP地址、目的端口,以及協(xié)議類型、視頻標(biāo)志字段等信息的處理。
根據(jù)用戶特定需要監(jiān)測(cè)的視頻類型和流媒體協(xié)議,用戶可以自定義視頻特定位置的標(biāo)志字段。識(shí)別捕獲數(shù)據(jù)包單元過濾到相應(yīng)的視頻數(shù)據(jù)包時(shí),將按照特定的流媒體協(xié)議對(duì)數(shù)據(jù)包進(jìn)行卸載,提取出視頻信息后傳輸?shù)胶罄^視頻解碼單元,提取出視頻的關(guān)鍵幀。
視頻解碼關(guān)鍵幀提取處理單元
視頻解碼關(guān)鍵幀提取單元在eBox-4300上的Wince操作系統(tǒng)上實(shí)現(xiàn)。Wince是微軟公司開發(fā)的嵌入式操作系統(tǒng),具有很好的移植性和視頻處理庫,開發(fā)容易上手等優(yōu)點(diǎn)。同時(shí)考慮到當(dāng)前視頻格式標(biāo)準(zhǔn)多樣,為了提高系統(tǒng)的功能,以后一定會(huì)不斷向系統(tǒng)添加新的解碼器。而Wince上軟件的兼容性相對(duì)其他的操作系統(tǒng)較強(qiáng),當(dāng)用戶添加其他解碼器時(shí)更簡(jiǎn)單。
關(guān)鍵幀查詢單元
關(guān)鍵幀的查詢是為了方便系統(tǒng)管理員對(duì)系統(tǒng)的工作效能進(jìn)行控制。在系統(tǒng)管理過程中,管理員可以通過身份驗(yàn)證登錄到系統(tǒng)管理頁面,查看當(dāng)前時(shí)間段的告警信息和相應(yīng)的關(guān)鍵幀,并可根據(jù)人為識(shí)別的方法,決定是否向關(guān)鍵幀匹配庫中添加新的匹配圖像。
視頻關(guān)鍵幀匹配單元
視頻關(guān)鍵幀的匹配是系統(tǒng)的主要部分,系統(tǒng)監(jiān)測(cè)的準(zhǔn)確性主要取決于關(guān)鍵幀的匹配算法和模式。FPGA中,與RAM存儲(chǔ)單元相關(guān)的資源有三類:Block RAM、LUT、寄存器。這三類資源可以通過配置和粘合邏輯實(shí)現(xiàn)為不同類型和位寬大小的單端口/雙端口RAM、ROM、CAM、FIFO等。FPGA中CAM的實(shí)現(xiàn)和配置非常靈活,CAM是實(shí)現(xiàn)模式匹配的核心資源。
評(píng)論