關(guān)于云存儲系統(tǒng)的六大技術(shù)分析

隨著監(jiān)控領(lǐng)域的飛速發(fā)展，新技術(shù)的誕生也是接踵而至，云存儲是人們最為樂道的高新技術(shù)產(chǎn)品。它具有如下幾大主要的技術(shù)。

云存儲系統(tǒng)具有如下特點(diǎn)：數(shù)據(jù)安全，超強(qiáng)的可擴(kuò)展性，按照使用收費(fèi)，可跨不同應(yīng)用，自動切換故障，易于管理等。云存儲主要應(yīng)用于備份、歸檔、分配和共享協(xié)作等四大領(lǐng)域。

云存儲是在云計(jì)算概念上延伸和發(fā)展出來的一個新概念，是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)。當(dāng)云計(jì)算系統(tǒng)運(yùn)算和處理的核心是大量數(shù)據(jù)的存儲和管理時(shí)，云計(jì)算系統(tǒng)中就需要配置大量的存儲設(shè)備，那么云計(jì)算系統(tǒng)就轉(zhuǎn)變成為一個云存儲系統(tǒng)，所以云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計(jì)算系統(tǒng)。

與云計(jì)算系統(tǒng)相比，云存儲可以認(rèn)為是配置了大容量存儲空間的一個云計(jì)算系統(tǒng)。云存儲系統(tǒng)具有如下特點(diǎn)：數(shù)據(jù)安全，超強(qiáng)的可擴(kuò)展性，按照使用收費(fèi)，可跨不同應(yīng)用，自動切換故障，易于管理等。云存儲主要應(yīng)用于備份、歸檔、分配和共享協(xié)作等四大領(lǐng)域。

云存儲系統(tǒng)是一個多設(shè)備、多應(yīng)用、多服務(wù)協(xié)同工作的集合體，它的實(shí)現(xiàn)要以多種技術(shù)的發(fā)展為前提。根據(jù)云存儲的特點(diǎn)及其應(yīng)用領(lǐng)域，主要的云存儲技術(shù)涉及到存儲虛擬化，分布式文件系統(tǒng)，集群存儲，存儲集中管理，異質(zhì)平臺協(xié)同，自動分級存儲等方面，當(dāng)然還有重復(fù)數(shù)據(jù)刪除、數(shù)據(jù)壓縮等技術(shù)。

存儲虛擬化

存儲虛擬化（StorageVirtualizaTIon）最通俗的理解就是對存儲硬件資源進(jìn)行抽象化表現(xiàn)。通過將一個（或多個）目標(biāo)服務(wù)或功能與其它附加的功能集成，統(tǒng)一提供有用的全面功能服務(wù)。典型的虛擬化包括如下一些情況：屏蔽系統(tǒng)的復(fù)雜性，增加或集成新的功能，仿真、整合或分解現(xiàn)有的服務(wù)功能等。虛擬化是作用在一個或者多個實(shí)體上的，而這些實(shí)體則是用來提供存儲資源或服務(wù)的。

存儲虛擬化是一種貫穿于整個IT環(huán)境、用于簡化本來可能會相對復(fù)雜的底層基礎(chǔ)架構(gòu)的技術(shù)。存儲虛擬化的思想是將資源的邏輯映像與物理存儲分開，從而為系統(tǒng)和管理員提供一幅簡化、無縫的資源虛擬視圖。

對于用戶來說，虛擬化的存儲資源就像是一個巨大的“存儲池”，用戶不會看到具體的磁盤、磁帶，也不必關(guān)心自己的數(shù)據(jù)經(jīng)過哪一條路徑通往哪一個具體的存儲設(shè)備。

分布式文件系統(tǒng)

Hadoop分布式文件系統(tǒng)（HDFS）是一個設(shè)計(jì)為用在普通硬件設(shè)備上的分布式文件系統(tǒng)。它與現(xiàn)有的分布式文件系統(tǒng)有很多近似的地方，但又和這些文件系統(tǒng)有很明顯的不同。HDFS是高容錯的，設(shè)計(jì)為部署在廉價(jià)硬件上的。HDFS對應(yīng)用程序的數(shù)據(jù)提供高吞吐量，而且適用于那些大數(shù)據(jù)集應(yīng)用程序。HDFS開放了一些POSIX的必須接口，容許流式訪問文件系統(tǒng)的數(shù)據(jù)。

HDFS是主／從結(jié)構(gòu)的。一個集群有一個名字結(jié)點(diǎn)，也就是主控制服務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的名字空間并協(xié)調(diào)客戶對文件的訪問。還有一堆數(shù)據(jù)結(jié)點(diǎn)，一般一個物理結(jié)點(diǎn)上部署一個，負(fù)責(zé)它們所在的物理結(jié)點(diǎn)上的存儲管理。HDFS開放文件系統(tǒng)的名字空間以便讓用戶數(shù)據(jù)存儲在文件中。內(nèi)部，一個文件被分割為一個或者多個數(shù)據(jù)塊，這些數(shù)據(jù)塊存儲在一組數(shù)據(jù)結(jié)點(diǎn)中。名字結(jié)點(diǎn)執(zhí)行文件系統(tǒng)的名字空間操作，比如打開、關(guān)閉、重命名文件或目錄，還決定數(shù)據(jù)塊從數(shù)據(jù)結(jié)點(diǎn)的映射。數(shù)據(jù)結(jié)點(diǎn)負(fù)責(zé)提供客戶的讀寫請求。數(shù)據(jù)結(jié)點(diǎn)還依照名字結(jié)點(diǎn)的指令執(zhí)行數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制工作。

集群存儲

集群存儲是將多臺存儲設(shè)備中的存儲空間聚合成一個能夠給應(yīng)用服務(wù)器提供統(tǒng)一訪問接口和管理界面的存儲池，應(yīng)用可以通過該訪問接口透明地訪問和利用所有存儲設(shè)備上的磁盤，可以充分發(fā)揮存儲設(shè)備的性能和磁盤利用率。數(shù)據(jù)將會按照一定的規(guī)則從多臺存儲設(shè)備上存儲和讀取，以獲得更高的并發(fā)訪問性能。

集群存儲的優(yōu)勢主要體現(xiàn)在提高并行或分區(qū)I／O的整體性能，特別是工作流、讀密集型以及大型文件的訪問，通過采用更低成本的服務(wù)器來降低整體成本。集群存儲有兩種實(shí)現(xiàn)方式：一種是硬件基礎(chǔ)架構(gòu)加上軟件；另一種是專用集群存儲，是構(gòu)建在NAS基礎(chǔ)架構(gòu)之上的，但是通過操作系統(tǒng)實(shí)現(xiàn)集群存儲。

存儲集中管理

云存儲管理平臺要求支持跨數(shù)據(jù)中心的部署和管理，并支持跨數(shù)據(jù)中心的用戶訪問調(diào)度、數(shù)據(jù)遷移、數(shù)據(jù)異地存儲備份等功能。

支持集中管理，云存儲管理平臺部署在云計(jì)算的中心機(jī)房，存儲節(jié)點(diǎn)可以部署在各地的機(jī)房中，管理平臺對各分點(diǎn)機(jī)房的存儲設(shè)備可以統(tǒng)一管理調(diào)度。

通過云存儲管理平臺，用戶可以方便的了解云存儲系統(tǒng)的各個節(jié)點(diǎn)的服務(wù)情況，包括各節(jié)點(diǎn)的容量和性能（讀IOPS、寫IOPS、讀流量、寫流量）等信息，讓用戶實(shí)時(shí)了解域內(nèi)資源信息，運(yùn)行狀態(tài)，從而可以操控這些資源；同時(shí)及時(shí)了解資源的異常，有必要時(shí)可以采取適當(dāng)?shù)拇胧┍ＷC其正常運(yùn)行。

異質(zhì)平臺協(xié)同

當(dāng)前各種存儲方案與技術(shù)十分繁雜而多樣，光從一家企業(yè)內(nèi)部可能同時(shí)存在各種不同類型存儲裝置的狀況便知一二，更何況不同存儲設(shè)備供貨商間的存儲環(huán)境一直存在兼容性問題，所以喊了多年的存儲整合，仍舊難以如企業(yè)需求所愿，這也是存儲虛擬化與云存儲推展上的最大阻力。

雖然存儲云端在某方面很容易跨入（例如在線存儲與備份），但另一方面想要透過私有云存儲來達(dá)成全面性之存儲整合，似乎不是那么容易的事情。對此，想要成功完成存儲虛擬化目標(biāo)必須改善企業(yè)既有IT存儲環(huán)境，其改善重點(diǎn)不外共通分享的存儲架構(gòu)、親和的使用環(huán)境、簡潔單一的操作界面，以及效能卓著的存儲方案等。其中，不論是單一操作接口或統(tǒng)一標(biāo)準(zhǔn)的API，更是解決不同存儲裝置間協(xié)同問題的關(guān)鍵之一。

CDMI是云存儲全新標(biāo)準(zhǔn)接口，由國際存儲網(wǎng)絡(luò)產(chǎn)業(yè)協(xié)會SNIA制定。對于云運(yùn)算來說，CDMI提供了通用云運(yùn)算管理基礎(chǔ)架構(gòu)，同時(shí)原本信息管理的重點(diǎn)已逐漸從存儲管理轉(zhuǎn)移圍繞在數(shù)據(jù)管理上。CDMI標(biāo)準(zhǔn)則可以協(xié)助用戶將特殊詮釋數(shù)據(jù)（Metadata）標(biāo)記在數(shù)據(jù)上，該詮釋數(shù)據(jù)會告訴端點(diǎn)存儲供應(yīng)商，什么樣的數(shù)據(jù)服務(wù)提供該數(shù)據(jù)（例如備份、歸檔、加密等）。透過CDMI標(biāo)準(zhǔn)接口的執(zhí)行，用戶可在不同云端供應(yīng)商間任意移動數(shù)據(jù)，不再需要忍受不同接口中重新編碼的痛苦。

自動分級存儲

提高存儲管理效率已經(jīng)成為許多企業(yè)首要解決問題，自動分級存儲成為最有效的基礎(chǔ)技術(shù)，它指的是在不同磁盤類型和RAID級別之間遷移數(shù)據(jù)塊的功能，這可滿足性能和空間使用之間的適當(dāng)平衡，快速將數(shù)據(jù)放到合適的地方并避免所謂的熱點(diǎn)。

作為這項(xiàng)技術(shù)受到廣泛關(guān)注，在不同層級的存儲介質(zhì)之間，比如FC磁盤和SATA磁盤之間，移動數(shù)據(jù)需要實(shí)現(xiàn)全自動化的遷移流程。

在分級數(shù)據(jù)存儲結(jié)構(gòu)中，存儲設(shè)備一般有磁帶庫、磁盤或磁盤陣列等，而磁盤又可以根據(jù)其性能分為FC磁盤、SCSI磁盤、SATA磁盤等多種，而閃存存儲介質(zhì)（非易失隨機(jī)訪問存儲器（NVRAM））也因?yàn)檩^高的性能可以作為分級數(shù)據(jù)存儲結(jié)構(gòu)中較高的一級。一般，磁盤或磁盤陣列等成本高、速度快的設(shè)備，用來存儲經(jīng)常訪問的重要信息，而磁帶庫等成本較低的存儲資源用來存放訪問頻率較低的信息