新聞中心

EEPW首頁(yè) > 嵌入式系統(tǒng) > 設(shè)計(jì)應(yīng)用 > 基于關(guān)鍵幀提取技術(shù)的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)

基于關(guān)鍵幀提取技術(shù)的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)

作者: 時(shí)間:2016-09-12 來(lái)源:網(wǎng)絡(luò) 收藏

CAM即內(nèi)容可尋址存儲(chǔ)器。CAM這種存儲(chǔ)器在其每個(gè)存儲(chǔ)單元都包含了一個(gè)內(nèi)嵌的比較邏輯,CAM基于內(nèi)容尋址,通過(guò)硬件電路并行查找,實(shí)現(xiàn)快速匹配。一般來(lái)說(shuō)在一個(gè)時(shí)鐘周期內(nèi),寫(xiě)入CAM的待比較數(shù)據(jù)和其內(nèi)部存儲(chǔ)的每一個(gè)數(shù)據(jù)進(jìn)行比較,并返回與端口數(shù)據(jù)相同的內(nèi)部數(shù)據(jù)存儲(chǔ)的地址和是否匹配的標(biāo)識(shí)符。CAM的這種并行處理特性使得它在數(shù)據(jù)分選領(lǐng)域倍受青睞,被廣泛應(yīng)用在以太網(wǎng)網(wǎng)址搜尋、路由器中的地址交換表、高速數(shù)據(jù)處理等方面。

基于CAM在模式匹配方面的良好特性,我們將的匹配單元在中實(shí)現(xiàn)。由于Spartan 3E的BRAM資源有限,所以系統(tǒng)存儲(chǔ)的數(shù)據(jù)不會(huì)很多。將匹配圖像的顏色直方圖和形狀輪廓信息存儲(chǔ)在CAM中后,提取的顏色直方圖和形狀輪廓信息進(jìn)行匹配。用這種方法可以提高關(guān)鍵幀匹配的速率,避免了系統(tǒng)的瓶頸。

關(guān)鍵幀匹配規(guī)則庫(kù)

視頻關(guān)鍵幀匹配規(guī)則庫(kù)的更新是提高視頻監(jiān)測(cè)準(zhǔn)確性的關(guān)鍵。因此,視頻匹配規(guī)則庫(kù)良好的接口設(shè)計(jì)是用戶交互的重要方面,在本系統(tǒng)中,我們將關(guān)鍵幀信息存儲(chǔ)在CAM中,當(dāng)用戶根據(jù)自己的需求,提取出自定義圖像的顏色直方圖和形狀輪廓特征信息后,可在線寫(xiě)入CAM中,作為新的匹配規(guī)則。

告警響應(yīng)處理單元

鑒于當(dāng)前網(wǎng)絡(luò)攻擊方式的多種多樣和系統(tǒng)本身的處理能力有限,我們建議將此系統(tǒng)和其它網(wǎng)絡(luò)安全設(shè)備相結(jié)合構(gòu)成網(wǎng)絡(luò)安全保障體系結(jié)構(gòu)。綜合各種安全監(jiān)測(cè)設(shè)備自身的優(yōu)點(diǎn)和不足,合理利用有限的資源,全方位保障內(nèi)部網(wǎng)絡(luò)的安全。

在此系統(tǒng)中,我們可以提取出視頻源的IP地址和端口號(hào),如果確定當(dāng)前視頻含有垃圾信息,系統(tǒng)將其IP地址和端口號(hào)傳輸?shù)襟w系中的防火墻等設(shè)備,由防火墻截?cái)嗥鋽?shù)據(jù)包的傳輸,并將其列入黑名單重點(diǎn)監(jiān)測(cè)。同時(shí),提取出的關(guān)鍵幀還將由病毒掃描系統(tǒng)等安全審計(jì)設(shè)備進(jìn)行檢查,防止視頻中捆綁有病毒和木馬等攻擊信息。

圖5   硬件實(shí)現(xiàn)示意圖

圖5 硬件實(shí)現(xiàn)示意圖

II.軟件實(shí)現(xiàn)

系統(tǒng)網(wǎng)絡(luò)接口

Lwip是瑞士計(jì)算機(jī)科學(xué)院(Swedish Institute of Computer Science)的Adam Dunkels等開(kāi)發(fā)的一套用于嵌入式系統(tǒng)的開(kāi)放源代碼TCP/IP協(xié)議棧。Lwip既可以移植到操作系統(tǒng)上,又可以在無(wú)操作系統(tǒng)的情況下獨(dú)立運(yùn)行.

LwIP的特性如下:

(1) 支持多網(wǎng)絡(luò)接口下的IP轉(zhuǎn)發(fā);

(2) 支持ICMP協(xié)議 ;

(4) 包括阻塞控制,RTT估算和快速恢復(fù)和快速轉(zhuǎn)發(fā)的TCP協(xié)議;

(5) 提供專門的內(nèi)部回調(diào)接口(Raw API)用于提高應(yīng)用程序性能;

(6) 可選擇的Berkeley接口API(多線程情況下);

(7) 在最新的版本中支持PPP;

(8) 新版本中增加了的IP fragment的支持;

(9) 支持DHCP協(xié)議,動(dòng)態(tài)分配ip地址。

在Xilinx公司提供的ISE 10.1開(kāi)發(fā)套件中,EDK開(kāi)發(fā)軟件支持Lwip的應(yīng)用,同時(shí)軟件自身包含Lwip的庫(kù)。因此,系統(tǒng)中的網(wǎng)絡(luò)接口我們?nèi)炕贚wip的RAW IP模式開(kāi)發(fā)。

關(guān)鍵幀提取

FFmpeg是用于制作和轉(zhuǎn)化流媒體音頻和視頻的完整解決方案, 包括 libavcodec ,一套先進(jìn)的的音視頻編解碼類庫(kù)。FFmpeg 在Linux上開(kāi)發(fā),當(dāng)可以在大多數(shù)操作系統(tǒng)下編譯,包括Windows。

Ffmpeg開(kāi)源項(xiàng)目由以下幾部分組成:

FFmpeg 視頻文件轉(zhuǎn)換命令行工具,也支持經(jīng)過(guò)實(shí)時(shí)電視卡抓取和編碼成視頻文件;

FFserver 基于HTTP(RTSP正在開(kāi)發(fā)中)用于實(shí)時(shí)廣播的多媒體服務(wù)器.也支持時(shí)間平移;

FFplay 用 SDL和FFmpeg庫(kù)開(kāi)發(fā)的一個(gè)簡(jiǎn)單的媒體播放器;

libavcodec 一個(gè)包含了所有FFmpeg音視頻編解碼器的庫(kù).為了保證最優(yōu)性能和高可復(fù)用性,大多數(shù)編解碼器從頭開(kāi)發(fā)的;

libavformat 一個(gè)包含了所有的普通音視格式的解析器和產(chǎn)生器的庫(kù).

在系統(tǒng)中的網(wǎng)絡(luò)視頻解碼和關(guān)鍵幀提取單元,解碼器的實(shí)現(xiàn)是在開(kāi)源音視頻解碼器庫(kù)libavccodec的開(kāi)發(fā)上實(shí)現(xiàn)的。

RS232串口通信

1K Xmodem文件傳輸協(xié)議為基于點(diǎn)對(duì)點(diǎn)連接的服務(wù)與客戶端間的通信,提供了一種固定包長(zhǎng)度的簡(jiǎn)單的連續(xù)文件傳輸協(xié)議。每一個(gè)包都包含1024字節(jié)的文件數(shù)據(jù),并且都單獨(dú)的被接收客戶端響應(yīng)。每次只能傳輸一個(gè)文件,并且失敗后只能從新開(kāi)始傳輸。

圖 6 文件數(shù)據(jù)包格式

圖 6

文件數(shù)據(jù)包格式1K Xmodem文件傳輸協(xié)議并不需要向接收客戶端發(fā)送待發(fā)送文件的名稱 ,該文件將會(huì)被接收方授予一個(gè)局部有效的文件名。 要開(kāi)始文件傳輸?shù)倪^(guò)程,首先接收方向發(fā)送方發(fā)送一個(gè)輪詢字符,來(lái)提示發(fā)送方客戶端已經(jīng)準(zhǔn)備好了。如果接收方支持check-sum (CRC)校驗(yàn),則輪詢字符可以用0x43 (ASCII 字母 C);如果接收方只支持舊的checksum (求總和)校驗(yàn),則輪詢字符可以用0x15 (NACK線控制字符)。發(fā)送方響應(yīng)接收方的啟動(dòng)字符,開(kāi)始發(fā)送文件數(shù)據(jù)包,每個(gè)包都是1024字節(jié)的固定長(zhǎng)度。如果最后一個(gè)文件數(shù)據(jù)包不足1024字節(jié),則利用NACK(0x1A)填充到1024字節(jié)。接收方通過(guò)ACK(正常接收)或者NACK(非正接收)來(lái)響應(yīng)每一個(gè)包。如果發(fā)送方收到ACK,則發(fā)送下一個(gè)包知道文件傳輸完成;如果發(fā)送方收到NACK,則重新發(fā)送上一個(gè)包。當(dāng)發(fā)送方發(fā)送完成后,發(fā)送EOT通知接收方文件傳輸結(jié)束,接收方發(fā)送ACK來(lái)響應(yīng),發(fā)送方收到ACK后則文件傳輸完成。在系統(tǒng)中,eBox-4300通過(guò)1K Xmodem文件傳輸協(xié)議和Spartan 3E的RS232串口進(jìn)行關(guān)鍵幀的傳輸。同時(shí),系統(tǒng)也可以通過(guò)串口和系統(tǒng)管理主機(jī)進(jìn)行通信。

圖 7 軟件實(shí)現(xiàn)流程圖

圖 7 軟件實(shí)現(xiàn)流程圖

1.捕獲分析:用戶可根據(jù)實(shí)際情況,調(diào)整視頻數(shù)據(jù)包捕獲的標(biāo)志字段,來(lái)截取當(dāng)前網(wǎng)絡(luò)中的視頻數(shù)據(jù)包; 2.靈活的解碼系統(tǒng):由于當(dāng)前流媒體文件格式多樣,我們?cè)诖讼到y(tǒng)中只進(jìn)行了ASF格式流媒體文件的解碼,但用戶可以自己編譯自定義的解碼器并添加到當(dāng)前系統(tǒng)中; 3.匹配規(guī)則更新:匹配規(guī)則的更新是系統(tǒng)高效工作的前提,系統(tǒng)良好的用戶交互界面,將幫助用戶輕松添加新的匹配規(guī)則到當(dāng)前系統(tǒng)中; 4.協(xié)調(diào)功能:系統(tǒng)架構(gòu)初期充分考慮到目前的網(wǎng)絡(luò)安全設(shè)備已經(jīng)多種多樣,為了充分利用網(wǎng)絡(luò)中已有安全設(shè)備的資源,對(duì)一些常見(jiàn)的防御功能不再設(shè)計(jì)。因此,本系統(tǒng)可以很好地和其他安全設(shè)備交互網(wǎng)絡(luò)信息,協(xié)調(diào)工作功能,從而保障網(wǎng)絡(luò)各方面的安全。



評(píng)論


相關(guān)推薦

技術(shù)專區(qū)

關(guān)閉