基于物聯(lián)網環(huán)境的云存儲及安全技術研究
物聯(lián)網是將具有計算通信和信息感知能力的設備嵌入到物品中,然后按照約定的協(xié)議來把物品與互聯(lián)網連接起來,進行信息交換和通信,以實現智能化識別、定位、跟蹤、監(jiān)控和管理的一種網絡[1].通常在物聯(lián)網中有數以億計的傳感設備,這些傳感設備時刻都在收集、傳輸和交換數據,因此,物聯(lián)網是一個數據的海洋,需要一個強有力的存儲平臺來滿足其應用需求。同時,物聯(lián)網最主要的目的不在于物物相連,而在于通過物與物之間的互聯(lián)交換來為用戶提供智能化服務。對于物聯(lián)網應用服務提供商來說,傳統(tǒng)存儲模式要求企業(yè)一次性投入大量資金購置軟硬件存儲設備,搭建平臺。而且隨著新業(yè)務新應用的出現,企業(yè)還要對這些設備不斷的維護和升級。在這種模式下,存儲設施將占用企業(yè)很大的資金投入。
近年來隨著云計算技術的興起,云存儲受到了人們的廣泛關注。云計算為用戶提供兩種服務,一種是計算資源服務,把計算能力作為一種服務提供給用戶;另一種是存儲服務,將存儲作為服務提供給用戶,即本文所講的云存儲。云存儲通過一系列軟件集合將各種異構存儲設備集合在一起構成海量存儲空間供用戶使用,需要存儲服務的用戶不再需要建立自己的數據中心,只需向云存儲服務商申請存儲服務,將自己的數據存放在云存儲服務商提供的存儲空間中。云存儲模式使企業(yè)避免了存儲平臺的重復建設,節(jié)約了昂貴的軟硬件基礎設施投資。當前,云存儲模式得到了眾多廠商的支持和關注,眾多知名廠商紛紛推出自己的云存儲服務如Amazon公司推出的簡單存儲服務S3、谷歌推出的在線存儲服務、微軟公司推出的存儲服務等。
1云存儲的基本概念和關鍵技術
1.1云存儲的概念和通用結構模型
云存儲是在云計算的概念上延伸和發(fā)展出的一個新的概念,它是指通過集群應用、網格技術或分布式文件系統(tǒng)等功能,將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作,共同對外提供數據存儲和業(yè)務訪問功能的一個系統(tǒng)[2].
對比傳統(tǒng)的存儲設備,云存儲是一個由網絡設備、存儲設備、服務器、應用軟件、公用訪問接口、接入網和客戶端程序等多個部分組成的系統(tǒng)[3].在云存儲系統(tǒng)中,各個部分以存儲設備為核心,通過應用軟件集合來對外提供數據存儲和業(yè)務訪問服務。云存儲的通用結構模型如圖1所示[2-4].
(1)存儲層
存儲層是云存儲最基礎的部分,包括存儲設備層和存儲設備管理層。存儲層由各種各樣的存儲設備和網絡設備組成,為了實現低成本,這些存儲設備以及網絡設備通常都是普通的商業(yè)產品,而不是可靠性更高的高端設備,系統(tǒng)的可靠性由一系列軟件集合來保證。存儲設備可以是網絡連接式存儲(NAS)和由小型計算機系統(tǒng)接口(ISCSI)所建立和管理的存儲區(qū)域網等IP存儲設備,可以是服務器連接存儲(SAS)和小型計算機系統(tǒng)接口(SCSI)磁盤陣列等直連式存儲(DAS)存儲設備。
存儲設備層之上是存儲設備管理層,用來實現對存儲設備的邏輯虛擬化管理、多鏈路冗余管理、硬件設備狀態(tài)監(jiān)控及故障維護等功能。
(2)基礎管理層
基礎管理層是云存儲系統(tǒng)中最為核心的部分。云存儲并不是一個單點存儲系統(tǒng),而是一個有成千上萬個存儲設備和服務器構成的一個集合體?;A管理層通過集群、分布式文件系統(tǒng)和網格計算等技術,實現了云存儲中多個存儲設備之間的協(xié)同工作,使多個存儲設備可以對外提供同一種服務,并在實現了良好的擴展性的同時,也滿足了高可用性以及性能的需求?;A管理層還需要負責數據的加密、備份以及容災。
(3)應用接口層
應用接口層是云存儲中最靈活多變的部分,是用戶利用云存儲資源進行應用開發(fā)的關鍵部分。云存儲供應商通過應用接口層,對客戶提供統(tǒng)一的協(xié)議和編程接口,通常這些協(xié)議都是與平臺無關的。
(4)訪問層
訪問層是基于云存儲開發(fā)的應用程序的入口,云存儲系統(tǒng)通過提供標準的公用應用接口來使授權用戶享受云存儲服務。云存儲服務商可以根據服務類型和用戶的不同來提供不同訪問手段,從而保證數據的安全性和服務質量。
1.2云存儲的關鍵技術
與傳統(tǒng)的存儲技術相比,云存儲最大的特點是可擴展性好。當對存儲空間的需求增加時,只需要簡單增加存儲設備就可以達到目的,并不需要對存儲結構進行重新設計。而且隨著存儲空間的增加,系統(tǒng)的整體性能并不會下降??梢哉f云存儲是對虛擬化的存儲資源管理和使用。云存儲的關鍵技術包括存儲虛擬化、彈性存儲空間擴展、分布式存儲、數據隔離與保護等。
(1)存儲虛擬化技術存儲虛擬化技術是將物理資源存儲進行了替換,通過將多個存儲設備整合成一個與物理存儲資源有相同功能和接口的虛擬存儲資源,這樣系統(tǒng)可以提供海量存儲空間給用戶,這些存儲空間可能是建立在一個實際的物理資源上,也可能是跨多個物理資源,用戶不需要了解底層的物理細節(jié)。
(2)彈性存儲空間擴展技術云存儲提供了一個巨大的存儲資源池,但是應用對存儲資源的使用具有時空性,即不同的時間段和不同地點對存儲資源的需求是不同的,這就要求系統(tǒng)具有良好的彈性存儲空間擴展功能。
(3)分布式存儲技術分布式存儲,就是將數據分散存儲在多臺獨立的設備上,利用多個存儲設備的存儲資源來滿足單個存儲設備所不能滿足的存儲需求,并且實現對數據的并行訪問。分布式存儲的特征是存儲資源能夠被抽象表示和統(tǒng)一管理,并且能夠保證數據讀寫與操作的安全性、可靠性等各方面要求。最典型分布式存儲技術有的分布式文件系統(tǒng)GFS和的開源HDFS.
(4)數據隔離與保護數據隔離與保護技術保證大量用戶共享云存儲中的統(tǒng)一存儲資源時,每個用戶只能訪問自身存儲空間中的數據,對存儲空間的分配管理不影響其他用戶的使用。
2云存儲作為物聯(lián)網存儲平臺的可行性分析
物聯(lián)網是一個物理世界與信息世界相連接的網絡,通過將信息的載體擴展到“物”,在對這些信息分析處理的基礎上實現對物理世界的智能化控制。因此物聯(lián)網是一個規(guī)模龐大的信息計算系統(tǒng),這個系統(tǒng)需要一個強有力的平臺提供計算和存儲服務來支撐其應用需求。當前云計算模式興起,并迅速從概念走向應用。
云計算通過互聯(lián)網將計算能力和存儲空間有限的一系列IT設備整合成一個具有強大計算能力和海量存儲空間的系統(tǒng),其超大規(guī)模、高擴展性、高可靠性正好滿足物聯(lián)網對計算資源和存儲資源的需求,成為支撐物聯(lián)網應用的一個強有力的平臺[5].云計算面向物聯(lián)網提供計算資源和存儲資源兩種服務,其中,存儲資源服務就是云存儲。云存儲服務是整個云計算平臺最底層的服務,是與云計算模式相匹配的存儲模式,滿足整個系統(tǒng)對數據的存取訪問。下面從可用性、可靠性、數據資源高度共享3個方面分析云存儲在物聯(lián)網環(huán)境中的應用。
(1)可用性
從處理的數據對象上來講,物聯(lián)網傳感層所采集的數據大都是非結構化的數據,例如圖像、視頻、文本、病例數據等,而云存儲最擅長的數據處理對象便是這些數據。
物聯(lián)網中的傳感信息具有大數據量、實效性、高度并發(fā)等特征[6].面對海量對象和海量匯聚的信息,快速存取成為物聯(lián)網評價一個存儲系統(tǒng)高可用性的一個關鍵指標。同時,高度并發(fā)的應用需求也要求系統(tǒng)必須以很小的響應時間來完成信息的快速處理和訪問。云存儲中的存儲資源采用集中式的存放管理,而對這些資源的分配調度采用分布式。當用戶提交數據訪問請求時,云存儲系統(tǒng)中便會有多個存儲設備和服務器提供服務,大大提高了數據存取速度,同時,采用分布式存儲架構可以實現對數據的并行讀寫,滿足物聯(lián)網中并發(fā)業(yè)務的數據存取需求。
物聯(lián)網對存儲資源的需求具有時空性,也就是不同的時間段和不同的地區(qū)對存儲資源的需求是不同的。這就要求系統(tǒng)具有動態(tài)擴展存儲空間和負載均衡功能。云存儲系統(tǒng)采用彈性存儲空間擴展技術和虛擬化技術,可以根據用戶的需求或負載對存儲空間大小動態(tài)伸縮,而這些過程對用戶來說是透明的。
(2)可靠性
可靠性主要是從對數據存儲的安全性方面來說的。物聯(lián)網通過對感知數據的采集和分析處理來提供智能化服務,因此信息的可靠存儲就更加關鍵。云存儲通過以下兩種方法來保證系統(tǒng)的可靠性:一是加強系統(tǒng)的容錯性,增加備份數據;二是通過全網全資源監(jiān)控管理來保障系統(tǒng)各環(huán)節(jié)的健壯性。
云存儲提供多種級別的容錯技術,如硬盤級、節(jié)點級和級的數據可靠性技術,可以被運用到物聯(lián)網中以滿足不同數據的不同存儲需求。同時云存儲中的每一份數據都是冗余存儲的,數據可以根據用戶的需求而創(chuàng)建不同數目的副本,并且這些副本是存儲在不同地方的,這樣可以提高系統(tǒng)的健壯性,當某些存儲節(jié)點失效時不會影響整個系統(tǒng)的穩(wěn)定性。
云存儲的全網全資源管理的特性可以對全網資源的性能進行監(jiān)控,使得系統(tǒng)可以據此快速定位故障并修復并根據資源使用狀況來優(yōu)化存儲節(jié)點的性能從而保障整個系統(tǒng)各個環(huán)節(jié)的健壯性。
(3)數據資源共享
單一的物聯(lián)網應用是物聯(lián)網發(fā)展的必要過程,一個個單一的應用構成了未來物聯(lián)網建設的基本單元[7].
通過對眾多單一物聯(lián)網應用的互聯(lián)和集成能夠提高對物理世界的管理水平,可以形成覆蓋范圍更廣的未來物聯(lián)網。這就要求海量數據的共享,通過數據共享,眾多單一的物聯(lián)網應用才能互聯(lián)相互協(xié)作,從而為用戶提供更好的智能化服務。云存儲通過將收集到的海量感知信息按照應用需求統(tǒng)一存放在不同的數據中心中,這種集中存放的模式通過高速傳輸的互聯(lián)網使得不同應用服務提供商之間的數據共享更為方便,可提高共享數據的訪問速度。
從以上3個方面的分析可以看出,云存儲解決了物聯(lián)網所面臨的海量數據存儲這個難題,是物聯(lián)網環(huán)境下一種比較好的存儲方案。但是,物聯(lián)網與云存儲結合有一個前提條件是規(guī)?;簿褪钦f,只有當物聯(lián)網的應用達到相當大的規(guī)模后才有必要采用云存儲,對于一些小型的物聯(lián)網應用例如家庭物聯(lián)網應用則沒有必要結合云存儲。
3云存儲在物聯(lián)網應用中所面臨的安全挑戰(zhàn)及安全技術
物聯(lián)網中的應用都是數據密集型的,傳感設備與存儲平臺之間、用戶與存儲平臺之間和用戶與傳感設備之間時刻都在進行數據交互,一旦數據的丟失和損壞都將早成難以預料的后果。同時,由于云存儲是通過虛擬化技術來按照用戶需求來分配存儲空間,實際上所有用戶的數據都存放在一個相同的物理存儲系統(tǒng)中,不再像傳統(tǒng)存儲系統(tǒng)一樣有物理的隔離和防護邊界。這種集中存放模式容易喪失不同的企業(yè)數據和用戶數據在存儲和傳輸過程中的保密性,造成商業(yè)信息和隱私信息的泄露。
因此,云存儲平臺必須采取適當的安全策略來保證物聯(lián)網中數據的完整性、保密性和不可抵賴性。
3.1云存儲基礎設施安全
云存儲基礎設施安全的主要目的是保證數據存儲的完整性和保密性[8].下面主要從數據備份、數據檢錯和糾錯、文件系統(tǒng)安全性、訪問控制和身份鑒別等幾個方面來闡述。
(1)備份和數據檢錯糾錯
云存儲中的物理存儲設備都是一些比較廉價的商用設備,存儲設備故障是一種正?,F象而不是異常。
通常采用的做法是冗余備份數據,并將數據存放在不同的數據中心中,以保證個別存儲設備的故障不影響整個存儲系統(tǒng)的可用性。系統(tǒng)能夠迅
速發(fā)現錯誤并找尋備份數據來完成數據存取訪問。同時,廉價的商用存儲設備也要求系統(tǒng)具有良好的數據檢錯和糾錯技術來保證數據的正確讀寫。
(2)文件系統(tǒng)安全性
文件系統(tǒng)是云存儲系統(tǒng)中的一個重要組成部分。文件系統(tǒng)加密是實現存儲系統(tǒng)安全最簡單最直接的方法。文件系統(tǒng)的安全性一方面通過數據加密的方式來保證,同是也可采用當前常見的安全文件系統(tǒng),主要有以下幾種:Blaze等人提出的加密文件系統(tǒng)(CFS)、Howaro等人提出的一個附加安全措施的分布式文件(AFS)、Kaashoek等人提出的系統(tǒng)、Wylie等人提出的PASIS系統(tǒng)等保證文件安全性的技術方法[9].
(3)訪問控制和身份鑒別技術
訪問控制和身份鑒別技術可以有效地控制用戶對存儲資源的訪問,根據用戶身份的不同,系統(tǒng)可以授予用戶不同的訪問權限,并設置相應的策略保證合法用戶獲得資源的訪問權。這種策略可以將用戶對存儲系統(tǒng)的訪問限制在一定的范圍內,從而保證其他用戶數據的安全性,防止越界訪問。例如登錄訪問控制可以使有權用戶能夠登錄到網絡存儲系統(tǒng)并獲取存儲資源,目錄訪問控制可以控制用戶對目錄、文件、存儲設備的訪問等。
3.2云應用安全云存儲
應用安全主要是面向用戶提供一些安全手段來保證用戶數據在傳輸、交換和存取訪問過程中的安全性,防止用戶數據被非法訪問和泄露。應用安全常采用的安全機制有以下幾種:存儲加密、交換加密、身份認證與訪問控制和接口安全等。
存儲加密在訪問云入口對數據進行加密,保障傳輸的安全性,只有授權用戶才能訪問數據。在云存儲平臺中,各個用戶的數據不是相互孤立的,各個用戶之間需要時刻進行數據交換來滿足物聯(lián)網中的各種應用。交換加密保證了用戶數據在交互過程中的安全性,交換加密常采用的技術手段是數字信。身份認證與訪問控制機制確保授權用戶在自己的權限范圍內進行數據操作,從而防止非法用戶對數據的訪問,也可以防止授權用戶的越界訪問。云存儲根據物聯(lián)網的應用需求不同而提供不同的應用接口,因此,接口安全可以有效的保證應用程序對存儲資源的安全訪問,多接口模式和加密技術可以有效的保證接口安全。
4物聯(lián)網環(huán)境下云存儲系統(tǒng)的模型
基于云存儲的物聯(lián)網體系結構如圖2所示。物聯(lián)網環(huán)境下云存儲平臺的結構模型如圖3所示。圖2給出了云存儲平臺在整個物聯(lián)網的體系結構中的位置,物聯(lián)網整個體系結構從下到上依次可分為感知層、傳輸層、處理層、應用層4層[10].感知層主要用來收集周圍可被感知物品的信息,并將這些感知信息簡單處理后通過各種接入網傳遞到傳輸層;傳輸層將融合后的感知信息傳輸到處理層,再將處理層的反饋信息傳遞到感知層的各個設備;處理層提供存儲和處理功能,提供數據分析、局勢判斷和控制決策等處理功能,云存儲便設立在這一層來提供存儲服務來滿足整個系統(tǒng)對數據的訪問。最上層的應用層建立不同領域中的各種應用。
云存儲接受傳輸層提交的感知數據,并采用合適的策略(如按照地理位置就近原則)存儲數據,提供訪問接口供云計算信息處理平臺對數據進行分析處理,并將處理的結果存放起來供應用層訪問。
圖3中整個云存儲平臺由云存儲管理器[11-12]和云存儲資源池[13-14]兩個部分構成:
云存儲管理器是整個云存儲平臺的“大腦”,主要任務是負責存儲資源的管理和調度。云存儲管理器以系統(tǒng)管理為核心,以用戶管理、安全管理、存儲資源管理、服務管理和云數據管理等為子管理模塊。這些子管理模塊分別分布在各個不同的服務器節(jié)點上,接受系統(tǒng)管理模塊的統(tǒng)一管理。
系統(tǒng)管理模塊是云存儲管理器中的核心部件,掌握著整個云存儲系統(tǒng)的拓撲結構和底層操作系統(tǒng)以及所采用的文件系統(tǒng)的基本信息,協(xié)調各個子管理模塊的工作。同時,系統(tǒng)管理模塊制訂各種各樣的策略并將其分發(fā)到各個子管理模塊中去,例如文件分塊大小、存儲分區(qū)大小、存儲空間分配策略、冗余副本個數、節(jié)點故障處理、安全等級等。子管理模塊根據這些策略實現自身功能。
存儲資源管理模塊實現存儲資源的管理和分配,主要功能如下:監(jiān)控整個系統(tǒng)中云存儲節(jié)點的運行狀態(tài),及時發(fā)現故障節(jié)點并采取相應的策略選擇新的存儲節(jié)點來代替原有節(jié)點提供存儲服務;發(fā)現新添加的存儲節(jié)點,實現對其透明訪問;采取合適的負載均衡功能保證系統(tǒng)的可靠性;將大的數據塊劃分為較小的數據并將這些小型數據塊分配到不同的存儲節(jié)點上,實現分布式存儲。
云數據管理模塊的主要功能實現對元數據的管理,元數據是存儲文件基本信息的一種數據。當一個文件被創(chuàng)建的時候,文件的一些基本信息如文件名、文件大小、文件存儲位置、文件訪問控制等將被作為一個元數據項存放在元數據文件中。當有文件訪問請求時,系統(tǒng)首先查找該文件的元數據信息,根據元數據信息找出該文件的存儲位置,然后向相應的存儲節(jié)點發(fā)出數據訪問請求。
服務管理模塊定義了不同等級的云存儲服務和用戶為此支付的費用,用戶可根據自己的實際需求選擇合適的存儲服務;用戶管理模塊負責管理整個云存儲系統(tǒng)中用戶的基本信息,實現對用戶的訪問認證及訪問權限的授予;安全管理模塊實現對整個云存儲系統(tǒng)的安全管理,采用各種安全技術如防火墻技術、入侵檢測技術、加密技術等來保證整個系統(tǒng)的安全性。
云存儲資源池是由多個云存儲節(jié)點構成,這些云存儲節(jié)點可能分布在不同地點。通過存儲虛擬化技術將其整合為一大容量虛擬存儲設備,用戶可以像使用物理存儲設備那樣來使用。
5結束語
云存儲以其成本低廉、可擴展性高、易于管理等優(yōu)點已成為未來存儲發(fā)展的一種趨勢。對于物聯(lián)網應用服務提供商來說,云存儲模式使其節(jié)省了構建存儲平臺所帶來的昂貴的成本投入,應用服務商可以以較低的代價享受到先進的存儲技術。數據的存儲和管理工作完全由云存儲服務商按照自己的要求來做,這樣可以將更多的資金投入到本身的業(yè)務開發(fā)中去。物聯(lián)網是一種數據密集型的信息系統(tǒng),從傳感層到應用層,時刻都有海量數據需要存取,同時對數據的敏感度比較高,一旦數據丟失或損壞,將嚴重影響系統(tǒng)的可用性。因此,云存儲必須在安全性、可用性及可靠性等方面不斷加以改進以適應物聯(lián)網的應用需求。此外,物聯(lián)網中云存儲的大規(guī)模應用也不是一朝一夕能夠實現的,隨著物聯(lián)網應用規(guī)模的不斷擴大,云存儲將經歷著從為小范圍物聯(lián)網應用服務的私有云存儲發(fā)展到為某個行業(yè)應用服務的行業(yè)云存儲,最后發(fā)展到的各種云存儲互聯(lián)泛在階段。
...........................................................
與非深度解讀系列:
半導體公司“大學計劃”的追問和真相
大環(huán)境的不景氣是就業(yè)環(huán)境惡化的元兇,但是也讓我們不禁追問半導體公司的大學計劃對于學子們的真正意義。廠商們的大學計劃都在做些什么?那么多的聯(lián)合實驗室有得到充分利用嗎?大學計劃的直接體驗者--老師和學生們是否真正從中受益…….【專欄作者:高揚】
本土IC公司調查筆記
全球經濟不景氣的大環(huán)境下一些本土IC公司的創(chuàng)新能力、管理能力、抗風險能力、盈利能力,甚至公司創(chuàng)立的動機都受到一些質疑。一方面官方的消息總是告訴我們中國的半導體產業(yè)得到了長足的進步;而街巷小道中又不絕流傳多少本土IC公司倒閉,多少公司靠欺騙,根本沒有核心競爭力….真相只有一個,也許會隨《本土IC公司調查筆記》慢慢開啟…【專欄作者:岳浩】
電子屌絲的技術人生系列
在這個系列里,每個故事都會向你展示一個普通工程師的經歷,他們的青蔥歲月和技術年華,和我們每個人的的生活都有交集。對自己、對公司、對產業(yè)、對現在、對未來、對技術、對市場、對產品、對管理的看法,以及他們的經歷或正在經歷的事情,我們可以看到自己的影子,也看清未來的樣子……【專欄作者:任亞運】
細說電子分銷江湖的那些事
對于從事電子分銷行業(yè)的同仁們來說這是一個最壞的年代,也是一個最好的年代,我們即面臨國際分銷巨頭在管理、資金、貨源等方面對我們造成的沖擊,又迎來本土集成電路的崛起,個性化服務盛行的機遇,通過這個系列,我想以“第一現場”的經歷帶大家一起了解國內集成電路分銷的那些年、那些事,以及哪些感慨…..【專欄作者:張立恒】
與非網專欄作者申請
聯(lián)系人:高揚
郵箱:gaoyang@eefocus.com
評論