基于HDFS的云存儲(chǔ)在高校信息資源整合中的應(yīng)用

摘要：研究如何將基于HDFS的云存儲(chǔ)應(yīng)用于整合高校信息資源，旨在通過合適的構(gòu)建基于HDFS的云存儲(chǔ)服務(wù)系統(tǒng)，解決高校的海量數(shù)據(jù)存儲(chǔ)問題。通過對(duì)概念的解析，結(jié)合高校信息資源存儲(chǔ)的特點(diǎn)，構(gòu)建了一個(gè)低成本、高效率、高安全性的分布式信息資源整合解決方案，并給出了系統(tǒng)結(jié)構(gòu)圖。
關(guān)鍵詞：HDFS；云存儲(chǔ)；高校；分布式

海量的高校信息資源需要整合，這是當(dāng)前不爭的事實(shí)，因?yàn)楦咝Ｐ畔①Y源存在著資源分布不均衡、更新維護(hù)成本高、共享程度低和安全性差等一系列問題。整合需要解決的首要問題就是信息的合理存儲(chǔ)，以便實(shí)現(xiàn)對(duì)其高效、安全的訪問。與傳統(tǒng)的存儲(chǔ)方式相比，云存儲(chǔ)很好地解決了這個(gè)問題。
云存儲(chǔ)(Cloud Storage)是在云計(jì)算(Cloud Computing)概念上延伸和發(fā)展出來的一個(gè)新的概念，它是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問功能的一個(gè)系統(tǒng)。

1 存儲(chǔ)方式的比較
高可靠性：云存儲(chǔ)實(shí)現(xiàn)對(duì)信息的分布式存儲(chǔ)，信息被切分為多個(gè)數(shù)據(jù)塊分散存儲(chǔ)在云中的節(jié)點(diǎn)中，實(shí)現(xiàn)了多副本備份機(jī)制，因此安全性要遠(yuǎn)高于傳統(tǒng)的單一甚至帶有鏡像服務(wù)器的信息存儲(chǔ)方式。
訪問的高效性：云中的控制節(jié)點(diǎn)通過“心跳檢測”不斷地監(jiān)視存儲(chǔ)節(jié)點(diǎn)的狀態(tài)，當(dāng)發(fā)現(xiàn)存儲(chǔ)節(jié)點(diǎn)已經(jīng)失效時(shí)，控制節(jié)點(diǎn)能夠?qū)⒐ぷ髫?fù)載交給那些運(yùn)行正常的存儲(chǔ)節(jié)點(diǎn)來完成。同時(shí)，由于云中的數(shù)據(jù)是分布式的存儲(chǔ)，能夠很好地分擔(dān)存儲(chǔ)和訪問的壓力，這些都使得云存儲(chǔ)具有很高訪問的效率。
存儲(chǔ)成本低：原先的信息資源的存儲(chǔ)一般使用專業(yè)的存儲(chǔ)設(shè)備，價(jià)格不菲，使得資源存儲(chǔ)的成本也隨之提高。而云中的存儲(chǔ)設(shè)備都是廉價(jià)的商業(yè)機(jī)，跟單一的大容量專業(yè)存儲(chǔ)設(shè)備相比較，存儲(chǔ)容量更大，存儲(chǔ)成本更低。
管理便捷：云存儲(chǔ)能夠在軟件層做到自動(dòng)容錯(cuò)而不依賴硬件本身的容錯(cuò)，而且將信息資源存儲(chǔ)在云中，有利于對(duì)資源進(jìn)行統(tǒng)一的管理，提高資源的使用率。
另外，云存儲(chǔ)還具有超強(qiáng)的可擴(kuò)展性、不受具體地理位置所限、基于商業(yè)組件、按照使用收費(fèi)(如每G收15美分)、可跨不同應(yīng)用等。所有這些充分體現(xiàn)了云存儲(chǔ)這種方式的優(yōu)越性。

2 基于HDFS的云存儲(chǔ)
2．1 HDFS的引入
目前各大公司都有自己的云存儲(chǔ)產(chǎn)品，如微軟公司的“Windows Live Sky Drive”網(wǎng)絡(luò)移動(dòng)硬盤服務(wù)、Google公司的“Google Stora ge”的云計(jì)算存儲(chǔ)服務(wù)、亞馬遜的Amazon webservices等。
在眾多的云存儲(chǔ)產(chǎn)品技術(shù)中，HDFS技術(shù)可以實(shí)施運(yùn)行在普通的PC集群上，有效降低存儲(chǔ)成本，該技術(shù)是Google文件系統(tǒng)(GFS)的開源實(shí)現(xiàn)，是分布式計(jì)算開源框架Hadoop的底層實(shí)現(xiàn)，Hadoop是Google集群系統(tǒng)的一個(gè)開源項(xiàng)目總稱，Google集群系統(tǒng)是使用低成本的成熟技術(shù)構(gòu)建的一個(gè)穩(wěn)定、高性能、高可用性、可擴(kuò)展的系統(tǒng)。Hadoop平臺(tái)雖然是一項(xiàng)新興的技術(shù)，但它的發(fā)展非常迅速，已開始被應(yīng)用在企業(yè)、高
校、科研機(jī)構(gòu)等各個(gè)行業(yè)。文中重點(diǎn)研究HDFS云存儲(chǔ)在高校信息整合中是如何應(yīng)用的。
2．2 HDFS的理論剖析
Hadoop文件系統(tǒng)(Hadoop Distributed File System，HDFS)雖然和現(xiàn)有的文件系統(tǒng)有相似之處，也是可以運(yùn)行在普通的硬件之上的分布式文件系統(tǒng)，但是HDFS具有高容錯(cuò)性，可以部署在低成本的硬件之上，可以以流的方式訪問文件數(shù)據(jù)，從而高吞吐量地對(duì)應(yīng)用程序進(jìn)行訪問，這些還是和一般的文件系統(tǒng)有區(qū)別的。圖1是HDFS體系結(jié)構(gòu)圖。

研究HDFS的體系結(jié)構(gòu)圖可以得知，名稱節(jié)點(diǎn)上保存這控制數(shù)據(jù)節(jié)點(diǎn)信息的元數(shù)據(jù)?？蛻舳丝梢酝ㄟ^名稱節(jié)點(diǎn)對(duì)元數(shù)據(jù)進(jìn)行操作，也可以直接對(duì)數(shù)據(jù)節(jié)點(diǎn)進(jìn)行讀寫。HDFS體系結(jié)構(gòu)是個(gè)主從結(jié)構(gòu)，這個(gè)主從結(jié)構(gòu)常由單個(gè)的名稱節(jié)點(diǎn)和多個(gè)數(shù)據(jù)節(jié)點(diǎn)組成，名稱節(jié)點(diǎn)負(fù)責(zé)管理文件命名空間和客戶端訪問的主服務(wù)器，而數(shù)據(jù)節(jié)點(diǎn)則負(fù)責(zé)對(duì)存儲(chǔ)進(jìn)行管理，下面來剖析一下體系結(jié)構(gòu)各部分的功能。
2．2．1 名稱節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)的功能
名稱節(jié)點(diǎn)的功能包括4個(gè)方面：一是管理元數(shù)據(jù)和文件塊：二是管理文件系統(tǒng)的命名空間，包括記錄文件系統(tǒng)元數(shù)據(jù)被修改的情況：三是監(jiān)聽客戶端和數(shù)據(jù)節(jié)點(diǎn)請(qǐng)求和處理這些請(qǐng)求?？蛻舳耸录容^復(fù)雜，比如名字空間的創(chuàng)建與刪除，文件的創(chuàng)建、刪除和修改等，數(shù)據(jù)節(jié)點(diǎn)的事件包括文件塊信息變化、心跳響應(yīng)等：四是心跳檢測。所謂心跳檢測，就是數(shù)據(jù)節(jié)點(diǎn)會(huì)定期將自己的負(fù)載情況通過心跳信息向名稱節(jié)點(diǎn)匯報(bào)。
數(shù)據(jù)節(jié)點(diǎn)的功能包括3個(gè)方面：一是通過自身服務(wù)進(jìn)程與文件系統(tǒng)客戶端打交道，完成數(shù)據(jù)塊的讀寫；二是周期性的向名稱節(jié)點(diǎn)發(fā)送信號(hào)，報(bào)告本節(jié)點(diǎn)的狀態(tài)；三是執(zhí)行數(shù)據(jù)的流水線復(fù)制。
2．2．2 元數(shù)據(jù)和數(shù)據(jù)交互
HDFS體系結(jié)構(gòu)中有三種類型的元數(shù)據(jù)保存在名稱節(jié)點(diǎn)的內(nèi)存中，分別是：文件(包含目錄)的名字空間、文件到文件塊的映射、文件塊的位置信息。這種數(shù)據(jù)結(jié)構(gòu)對(duì)于數(shù)據(jù)訪問的效率和安全性都有很大的幫助。