融合NAS和SAN的存儲(chǔ)網(wǎng)絡(luò)設(shè)計(jì)

測(cè)試環(huán)境
iSCSI 存儲(chǔ)設(shè)備:P42.0GHz CPU ,256MB DRAM, IBM DPSS318350 18G硬盤(pán),Redhat Linux 9.0 操作系統(tǒng);LINUX 服務(wù)器:Pentium 42.66GHz ( FC2PGA) CPU ,256MB DRAM, 80GB UltraATA/ 1007 ,200rpm硬盤(pán),Redhat Linux 9.0 操作系統(tǒng);WINDOWS服務(wù)器端:XEON 3.06GHz CPU ,512M DRAM 內(nèi)存,Smart Array6i (板載) 存儲(chǔ)控制器,Qlogic QLA2300 PCI FC Adapter 光纖適配器,IBM 36。4GB (32P0726) 10Krpm 硬盤(pán),Microsoft Windows2003操作系統(tǒng);FC-RAID:NexStor 4000S ,CPU 600MHZ,512M SDRAM,10 ×ST314680FC 硬盤(pán);普通NAS 存儲(chǔ)設(shè)備: P42.66GHz CPU ,512MB DDR ,Maxtor 160G硬盤(pán),Redhat Linux 9.0 操作系統(tǒng)。

網(wǎng)絡(luò)連接:iSCSI 設(shè)備和普通NAS 設(shè)備都使用100M以太網(wǎng)卡Realtek RTL8139 ;Windows 服務(wù)器使用1000M 以太網(wǎng)卡HP NC7782 Gigabit Server Adapter ;Linux服務(wù)器使用1000M以太網(wǎng)卡。HPNC7782Gigabit Server Adapter。

功能測(cè)試
根據(jù)測(cè)試流程,功能測(cè)試包括三個(gè)方面的內(nèi)容: (2) 平臺(tái)的統(tǒng)一,即在Windows 下能通過(guò)單一目錄樹(shù)方式訪問(wèn)多個(gè)存儲(chǔ)節(jié)點(diǎn),功能與Linux 下的pvfs 相似; (2) 協(xié)議的統(tǒng)一,即通過(guò)Windows 的“計(jì)算機(jī)管理”和Initiator 發(fā)起端(iSCSI 客戶端) 可以管理FC-RAID 和iSCSI Target 及普通的NAS 設(shè)備,并利用“動(dòng)態(tài)磁盤(pán)機(jī)制”實(shí)現(xiàn)多種冗余;設(shè)備的統(tǒng)一,即iSCSI Target 通過(guò)和initiator 配合,使得該Target 成為NAS 系統(tǒng)中的一個(gè)存儲(chǔ)設(shè)備。

性能測(cè)試
　

測(cè)試內(nèi)容

采用第三方的IOMETER 測(cè)試軟件進(jìn)行的測(cè)試。IOMETER是INTEL 公司專門(mén)開(kāi)發(fā)的用于測(cè)試系統(tǒng)I/O 性能的測(cè)試程序。 它的測(cè)試參數(shù)比較全面,能非常全面的反映服務(wù)器的I/ O性能。為了說(shuō)明USN 存儲(chǔ)系統(tǒng)的性能,在相同條件下測(cè)試以下項(xiàng)目進(jìn)行對(duì)比分析: (1) 對(duì)USN 服務(wù)器本地硬盤(pán)讀寫(xiě)性能測(cè)試; (2) 100M以太網(wǎng)環(huán)境下FC-RAID 盤(pán)讀寫(xiě)性能測(cè)試; (3)100M以太網(wǎng)環(huán)境下遠(yuǎn)程iSCSI 盤(pán)讀寫(xiě)性能測(cè)試; (4) 100M 以太網(wǎng)環(huán)境下FC-RAID 盤(pán)和遠(yuǎn)程iSCSI 盤(pán)構(gòu)建的各級(jí)RAID 盤(pán)的讀寫(xiě)性能測(cè)試; (5) 1000M以太網(wǎng)環(huán)境下遠(yuǎn)程iSCSI 盤(pán)讀寫(xiě)性能測(cè)試; (6) 100M以太網(wǎng)環(huán)境下USN 系統(tǒng)的讀寫(xiě)性能測(cè)試。

實(shí)驗(yàn)結(jié)果比較

本地IDE 硬盤(pán)、100M iSCSI 硬盤(pán)、1000M iSCSI 硬盤(pán)、FC-RAID、FC-RAID 與iSCSI 構(gòu)成的RAID0 及USN 系統(tǒng)數(shù)據(jù)傳輸率性能比較如圖7 所示。

本地IDE 硬盤(pán)、100M iSCSI 硬盤(pán)、1000M iSCSI 硬盤(pán)、FC-RAID 及FC-RAID 與iSCSI 構(gòu)成的RAID0 ,以及USN 的IO/ s 性能比較如圖8 所示。

本地IDE 硬盤(pán)、100M iSCSI 硬盤(pán)、1000M iSCSI 硬盤(pán)、FC-RAID及FC-RAID 與iSCSI 構(gòu)成的RAID0 ,以及USN 的平均響應(yīng)時(shí)間性能比較如圖9 所示。

本地IDE 硬盤(pán)、100M iSCSI 硬盤(pán)、1000M iSCSI 硬盤(pán)、FC-RAID 及FC-RAID 與iSCSI 構(gòu)成的RAID0 ,以及USN 的CPU 占用率比較如圖10 所示。

　實(shí)驗(yàn)結(jié)果分析

　 請(qǐng)求文件或數(shù)據(jù)塊大小對(duì)存儲(chǔ)系統(tǒng)性能的影響從圖7、圖8 和圖9 中單條曲線的走勢(shì)可以看出,當(dāng)請(qǐng)求文件或數(shù)據(jù)塊較大時(shí),從目的盤(pán)或系統(tǒng)上讀寫(xiě)數(shù)據(jù)耗費(fèi)的時(shí)間長(zhǎng),通過(guò)網(wǎng)絡(luò)傳輸?shù)臅r(shí)間也相應(yīng)增加,所以:小包的平均響應(yīng)時(shí)間 大包的平均響應(yīng)時(shí)間,小包的IOps > 大包的IOps。請(qǐng)求包大時(shí),針對(duì)一個(gè)請(qǐng)求包所進(jìn)行的額外操作較請(qǐng)求包小時(shí)少,連續(xù)的讀寫(xiě)所耗費(fèi)的時(shí)間小于小包讀寫(xiě)所耗費(fèi)的時(shí)間,因此:小包的MBps 大包的MBps。

服務(wù)器端iSCSI 盤(pán)的各項(xiàng)性能表現(xiàn)趨勢(shì)在100M以太網(wǎng)和千兆以太網(wǎng)環(huán)境中不同請(qǐng)求包大小的情況下符合上述規(guī)律,本地IDE 硬盤(pán)、FC-RAID 和USN 系統(tǒng)也符合上述述規(guī)律。

　性能分析

從圖7、圖8 和圖9 可以看出, I/O 請(qǐng)求在1k～128kB 時(shí),USN系統(tǒng)的I/O 請(qǐng)求響應(yīng)速度比本地IDE 硬盤(pán)、FC-RAID、100M遠(yuǎn)程iSCSI 硬盤(pán)和1000M iSCSI 硬盤(pán)快的多。 當(dāng)I/O 請(qǐng)求大于128kB 時(shí),USN 系統(tǒng)的I/O 請(qǐng)求響應(yīng)速度比FC-RAID 的 I/ O 請(qǐng)求響應(yīng)速度略慢,比其它存儲(chǔ)子系統(tǒng)的速度快的多,最高速度可達(dá)45MB/ s。 其原因是我們?cè)赨SN 的服務(wù)器端除加載了GMPFS(支持使用多種訪問(wèn)協(xié)議用戶) 和ASA(提供服務(wù)器通道和附網(wǎng)高速通道) 的同時(shí),還加載了我們實(shí)驗(yàn)室以前開(kāi)發(fā)的智能預(yù)取、硬盤(pán)緩存技術(shù)(DCD) 、負(fù)載均衡和零拷貝系統(tǒng)或軟件模塊,所以,不論是大I/O 請(qǐng)求還小I/O 請(qǐng)求,都能提供極好的I/O 請(qǐng)求響應(yīng)性能。 而FC-RAID 由于自身的數(shù)據(jù)校驗(yàn)等時(shí)延等特性,對(duì)小的I/O 請(qǐng)求響應(yīng)速度較慢,對(duì)越大的I/O請(qǐng)求響應(yīng)速度越快。

對(duì)于USN 的iSCSI 盤(pán)存儲(chǔ)子系統(tǒng),從實(shí)驗(yàn)結(jié)果可以看出,當(dāng)請(qǐng)求數(shù)據(jù)塊較小時(shí),100M網(wǎng)絡(luò)環(huán)境下的性能和1000M網(wǎng)絡(luò)環(huán)境下的性能差別不明顯,隨著請(qǐng)求塊或文件逐步增大,兩者IOps 和MBps 的差距越來(lái)越大。請(qǐng)求數(shù)據(jù)塊為1024K時(shí),僅更換網(wǎng)絡(luò)傳輸中的數(shù)據(jù)鏈路層和物理層,從100M 網(wǎng)絡(luò)環(huán)境提升到1000M網(wǎng)絡(luò)環(huán)境,磁盤(pán)數(shù)據(jù)傳輸率得到較大的提高,后者約是前者的3 倍。

從圖10 可以看出,100M的iSCSI 存儲(chǔ)子系統(tǒng)的CPU 占用率最高,原因是在響應(yīng)用戶的I/O 請(qǐng)求,要求服務(wù)器不斷的對(duì)iSCSI 的協(xié)議數(shù)據(jù)單元進(jìn)行封裝和解封裝。 本地的IED 硬盤(pán)CPU 占用率最低,USN 系統(tǒng)的服務(wù)器端CPU 占用率次之,原因是USN 系統(tǒng)中小的I/O 請(qǐng)求直接經(jīng)過(guò)服務(wù)器處理,而大的I/O 請(qǐng)求經(jīng)過(guò)附網(wǎng)高速通道由存儲(chǔ)設(shè)備自身處理。

結(jié)論和展望
　　

我們提出、設(shè)計(jì)和實(shí)現(xiàn)的統(tǒng)一存儲(chǔ)網(wǎng)絡(luò)系統(tǒng),全部采用IP互聯(lián)設(shè)備,價(jià)格比光纖通道低得多,在管理軟件的開(kāi)發(fā)實(shí)現(xiàn)上以及系統(tǒng)的使用維護(hù)上,都具有多得多的資源和經(jīng)驗(yàn)。 并且,千兆以太網(wǎng)技術(shù)比光纖通道技術(shù)發(fā)展迅速,10Gbps 以太網(wǎng)交換機(jī)已經(jīng)推出并在市場(chǎng)上熱銷,其性能前景也比光纖通道交換機(jī)好得多。 所有這些為統(tǒng)一存儲(chǔ)網(wǎng)絡(luò)的產(chǎn)品化打下了堅(jiān)實(shí)的基礎(chǔ)。

目前,我們已經(jīng)從理論、結(jié)構(gòu)和實(shí)踐上實(shí)現(xiàn)了統(tǒng)一存儲(chǔ)網(wǎng)絡(luò)原型系統(tǒng),現(xiàn)在,我們正在開(kāi)發(fā)和完善多用戶、多功能、多種平臺(tái)支持的iSCSI 設(shè)備,設(shè)計(jì)和實(shí)現(xiàn)新的安全和高可用文件系統(tǒng),以便為統(tǒng)一存儲(chǔ)網(wǎng)絡(luò)系統(tǒng)產(chǎn)品化后能真正為廣大企業(yè),尤其是為廣大中小企業(yè)提供開(kāi)放性、性能、可展性、性/ 價(jià)比都更好的海量存儲(chǔ)系統(tǒng)。