關(guān)于高清視頻監(jiān)控存儲(chǔ)技術(shù)方案的分析

在視頻監(jiān)控向數(shù)字化、網(wǎng)絡(luò)化、集成化監(jiān)控體系發(fā)展過(guò)程中，“高清”技術(shù)日漸成為眾多監(jiān)控系統(tǒng)的重點(diǎn)應(yīng)用趨勢(shì)。高清帶來(lái)更為清晰、直觀的視覺(jué)體驗(yàn)，08年奧運(yùn)會(huì)、09年國(guó)慶閱兵和上海世博會(huì)中高清監(jiān)控均得到非常成功的應(yīng)用，切實(shí)加強(qiáng)了對(duì)重點(diǎn)區(qū)域的安全防范。

高清視頻監(jiān)控應(yīng)用背景

高清監(jiān)控系統(tǒng)碼率大(4Mbps-20Mbps)、綜合性強(qiáng)、數(shù)據(jù)量巨大，對(duì)存儲(chǔ)系統(tǒng)的要求很高，主要體現(xiàn)在以下幾方面：

·性能較高的并發(fā)讀寫(xiě)能力;

·高效合理的空間管理能力;

·海量數(shù)據(jù)的快速檢索能力;

·穩(wěn)定可靠的數(shù)據(jù)保存能力;

·靈活快速的空間擴(kuò)展能力。

本文將重點(diǎn)介紹?？低曖槍?duì)高清監(jiān)控的兩種典型存儲(chǔ)方案--監(jiān)控CVR存儲(chǔ)和監(jiān)控云存儲(chǔ)，此兩種方案均采用了針對(duì)監(jiān)控的優(yōu)化措施和針對(duì)海量數(shù)據(jù)的存儲(chǔ)管理技術(shù)，在高清應(yīng)用中表現(xiàn)突出。

高清監(jiān)控存儲(chǔ)方案介紹

CVR存儲(chǔ)方案

CVR存儲(chǔ)方案以存儲(chǔ)系統(tǒng)作為數(shù)據(jù)的管理和存儲(chǔ)核心環(huán)節(jié)，減少了存儲(chǔ)服務(wù)器環(huán)節(jié)，前端監(jiān)控?cái)?shù)據(jù)流直接寫(xiě)入存儲(chǔ)系統(tǒng)中，平臺(tái)和客戶端直接從存儲(chǔ)系統(tǒng)中讀取和調(diào)用視頻數(shù)據(jù)，所有的傳輸協(xié)議均采用針對(duì)視頻的流媒體傳輸協(xié)議。系統(tǒng)架構(gòu)參見(jiàn)圖1。

該方案在架構(gòu)上可以省略存儲(chǔ)服務(wù)器，消除其固有的性能瓶頸和單點(diǎn)故障隱患?；诹髅襟w的數(shù)據(jù)傳輸和數(shù)據(jù)管理結(jié)構(gòu)，幾乎可以完全消除傳統(tǒng)文件系統(tǒng)下覆蓋讀寫(xiě)帶來(lái)了的文件碎片問(wèn)題，大幅提高存儲(chǔ)系統(tǒng)的寫(xiě)入和檢索速度;同時(shí)也將徹底消除傳統(tǒng)文件系統(tǒng)由于供電和網(wǎng)絡(luò)的不穩(wěn)定引起的文件系統(tǒng)損壞、數(shù)據(jù)只讀等問(wèn)題。

監(jiān)控云存儲(chǔ)方案

該監(jiān)控云存儲(chǔ)解決方案，分為應(yīng)用層、云存儲(chǔ)接口層和云存儲(chǔ)層，前端所有應(yīng)用只要通過(guò)統(tǒng)一的云存儲(chǔ)接口接入云存儲(chǔ)系統(tǒng)即可接受存儲(chǔ)服務(wù)。方案具有如下特點(diǎn)：

·采用先進(jìn)架構(gòu)，統(tǒng)一的云存儲(chǔ)服務(wù)接口，存儲(chǔ)對(duì)用戶透明，應(yīng)用步驟簡(jiǎn)化;

·云存儲(chǔ)管理服務(wù)器支持集群化，無(wú)核心節(jié)點(diǎn);

·云存儲(chǔ)根據(jù)各節(jié)點(diǎn)壓力和空間情況自動(dòng)調(diào)節(jié)負(fù)載，實(shí)現(xiàn)智能負(fù)載均衡;

·部分存儲(chǔ)節(jié)點(diǎn)發(fā)生故障時(shí)，該節(jié)點(diǎn)的負(fù)載可透明轉(zhuǎn)移到其它節(jié)點(diǎn)，保證服務(wù)持續(xù)，實(shí)現(xiàn)故障對(duì)應(yīng)用層透明;

·通過(guò)增加相應(yīng)節(jié)點(diǎn)即可實(shí)現(xiàn)云存儲(chǔ)的容量和性能擴(kuò)展，且對(duì)上層應(yīng)用透明;

·采用了眾多針對(duì)視頻應(yīng)用的流媒體文件系統(tǒng)、緩存優(yōu)化、數(shù)據(jù)保護(hù)機(jī)制等技術(shù)，提供近乎100%的服務(wù)保證。

高清視頻存儲(chǔ)技術(shù)

高性能流存儲(chǔ)技術(shù)

該存儲(chǔ)系統(tǒng)從系統(tǒng)架構(gòu)、文件結(jié)構(gòu)、高速緩存等方面入手，針對(duì)監(jiān)控應(yīng)用進(jìn)行了優(yōu)化設(shè)計(jì)，推出高性能流存儲(chǔ)系統(tǒng)。數(shù)據(jù)傳輸均采用數(shù)據(jù)流方式，底層采用突破傳統(tǒng)文件系統(tǒng)限制的流媒體數(shù)據(jù)結(jié)構(gòu)，大幅提高了系統(tǒng)性能。

緩存算法順序化技術(shù)

監(jiān)控應(yīng)用是一種大碼流多并發(fā)寫(xiě)為主的存儲(chǔ)應(yīng)用，對(duì)性能、并發(fā)性和穩(wěn)定性等方面有很高的要求。該存儲(chǔ)系統(tǒng)采用獨(dú)特的大緩存順序化算法，把多路隨機(jī)并發(fā)訪問(wèn)變?yōu)轫樞蛟L問(wèn)，解決了硬盤(pán)磁頭因頻繁尋道而導(dǎo)致的性能迅速下降和硬盤(pán)壽命縮短的問(wèn)題。

高效合理的空間管理技術(shù)

集群管理技術(shù)

高清監(jiān)控中會(huì)產(chǎn)生PB級(jí)海量監(jiān)控?cái)?shù)據(jù)，存儲(chǔ)設(shè)備的數(shù)量達(dá)數(shù)十臺(tái)上百臺(tái)，因此管理方式的科學(xué)高效顯得十分重要。其提供基于集群管理技術(shù)的多設(shè)備集中管理工具，具有設(shè)備集中監(jiān)控、集群管理、系統(tǒng)軟硬件運(yùn)行狀態(tài)的監(jiān)控、主動(dòng)報(bào)警，圖像化系統(tǒng)檢測(cè)等功能。

針對(duì)大規(guī)模監(jiān)控系統(tǒng)提供多設(shè)備集群存儲(chǔ)服務(wù)，流媒體應(yīng)用下可以提供EB級(jí)海量卷尋址。64位命令尋址，8TB為單位的數(shù)據(jù)卷，可以多數(shù)據(jù)卷為同一組錄像提供空間，總的空間大小為264X8TB。

快速的檢索回放技術(shù)

海量數(shù)據(jù)快速數(shù)據(jù)定位技術(shù)

在高清監(jiān)控應(yīng)用中，數(shù)據(jù)高效檢索尤為重要。傳統(tǒng)文件系統(tǒng)中，文件檢索采用的是“目錄->子目錄->文件->定位”的檢索步驟，在海量數(shù)據(jù)的高清視頻監(jiān)控，目錄和文件數(shù)量十分可觀，這種檢索模式的效率就會(huì)大打折扣。?？盗鞔鎯?chǔ)系統(tǒng)采用獨(dú)特的“設(shè)備號(hào)->對(duì)應(yīng)數(shù)據(jù)卷->偏移“檢索方式，最大限度精簡(jiǎn)檢索深度，提高檢索效率。

精確定位、高效回放

基于底層流存儲(chǔ)數(shù)據(jù)結(jié)構(gòu)和快速數(shù)據(jù)定位技術(shù)，可以實(shí)現(xiàn)任意時(shí)間段(時(shí)間段可以無(wú)限小或無(wú)限接近當(dāng)前時(shí)間)的即時(shí)回放和任意時(shí)間點(diǎn)/時(shí)間段的快速精確檢索定位。檢索到的單路視頻錄像可以切割為多段并行回放，大大提高回放效率。

穩(wěn)定可靠的數(shù)據(jù)保存技術(shù)

數(shù)據(jù)塊空間預(yù)分配技術(shù)

監(jiān)控應(yīng)用中幾乎全部是循環(huán)覆蓋讀寫(xiě)應(yīng)用，必定產(chǎn)生文件碎片，將對(duì)存儲(chǔ)系統(tǒng)產(chǎn)生很大影響。

該方案存儲(chǔ)基于流媒體數(shù)據(jù)結(jié)構(gòu)，通過(guò)數(shù)據(jù)空間預(yù)分配空間策略，在循環(huán)覆蓋應(yīng)用環(huán)境中幾乎完全消除文件碎片，使系統(tǒng)具備良好的性能和穩(wěn)定性。

原理：把數(shù)據(jù)塊劃分為大的虛擬數(shù)據(jù)塊vblock(至少是16MB)，并且按錄像周期再把虛擬數(shù)據(jù)塊劃分為不同區(qū)域，保證每個(gè)數(shù)據(jù)區(qū)域的覆蓋周期是一致的，盡大可能的避免出現(xiàn)碎片，同時(shí)提高性能和穩(wěn)定性。

N+n+m冗余

提供N+n+m的備機(jī)工作模式：N臺(tái)在線存儲(chǔ)設(shè)備，n臺(tái)熱備(休眠)存儲(chǔ)設(shè)備，m臺(tái)冷備(關(guān)機(jī)狀態(tài))存儲(chǔ)設(shè)備。當(dāng)在線存儲(chǔ)系統(tǒng)出現(xiàn)故障后，熱備機(jī)立即接替服務(wù)，故障恢復(fù)時(shí)，服務(wù)和數(shù)據(jù)回遷;如果故障機(jī)數(shù)據(jù)需要調(diào)用，可以把故障機(jī)的磁盤(pán)插入到冷備機(jī)中，實(shí)現(xiàn)所有數(shù)據(jù)的立即可用。

靈活快速的空間擴(kuò)展技術(shù)

對(duì)于高清監(jiān)控系統(tǒng)，隨著監(jiān)控前端的增加和存儲(chǔ)時(shí)間的延長(zhǎng)，擴(kuò)展能力十分重要。某些廠商已提供單純針對(duì)容量的擴(kuò)展柜擴(kuò)展模式和性能容量同步線性擴(kuò)展的堆疊擴(kuò)展模式。