網(wǎng)格資源調(diào)用中支撐技術(shù)的研究與實(shí)現(xiàn)

摘　要：針對(duì)網(wǎng)格資源調(diào)用的特點(diǎn),從提高系統(tǒng)的時(shí)間性能、安全性能和自適應(yīng)性能方面分別提出并實(shí)現(xiàn)了動(dòng)態(tài)鏈接表技術(shù)、身份鑒別技術(shù)、散列化處理技術(shù)和自適應(yīng)技術(shù)。
 
關(guān)鍵詞：網(wǎng)格 動(dòng)態(tài)鏈接表 身份鑒別 散列化 自適應(yīng)機(jī)制 

隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展,以Internet為基礎(chǔ)的新技術(shù)——網(wǎng)格(Grid)有了長足的進(jìn)步。在網(wǎng)格資源調(diào)用中,時(shí)間性能、安全性能和穩(wěn)定性能是衡量網(wǎng)格功能的重要指標(biāo),相關(guān)技術(shù)已經(jīng)成為網(wǎng)格研究的重要課題。本文分別從這三個(gè)方面出發(fā),對(duì)動(dòng)態(tài)鏈接表技術(shù)、身份鑒別技術(shù)、散列化處理技術(shù)和自適應(yīng)技術(shù)做了較深入的研究并進(jìn)行了仿真實(shí)驗(yàn)。這些技術(shù)對(duì)網(wǎng)格資源調(diào)用起到很好的支撐作用。
 
1 網(wǎng)格資源調(diào)用中必須考慮的問題 

從需求角度看,網(wǎng)格資源調(diào)用具有以下特點(diǎn): 
(1)資源搜索速度快。網(wǎng)格資源中,有很大一部分駐留于大型資源庫,而在大型資源庫中,對(duì)共享資源進(jìn)行搜索的時(shí)間開銷直接影響時(shí)間性能。所以,提高搜索速度對(duì)于提高網(wǎng)格資源調(diào)用的時(shí)間性能至關(guān)重要。
 
(2)信息傳輸安全性高。網(wǎng)格資源調(diào)用時(shí),信息通過Internet進(jìn)行傳輸,傳輸?shù)陌踩允侵陵P(guān)重要的。這里的安全性包括數(shù)據(jù)的完整性,以及數(shù)據(jù)接收者的合法性。為此,需要有效的安全協(xié)議予以保證。 
(3)資源傳輸過程的持續(xù)性和穩(wěn)定性。因?yàn)槲锢?a class="contentlabel" href="http://m.butianyuan.cn/news/listbylabel/label/網(wǎng)絡(luò)">網(wǎng)絡(luò)存在帶寬有限、延遲大、傳輸狀態(tài)可變以及穩(wěn)定性差等缺點(diǎn),所以需要在信息傳輸過程中,面對(duì)網(wǎng)格傳輸狀態(tài)的變化自動(dòng)做出相應(yīng)調(diào)整,即具有很好的自適應(yīng)性。 

2 網(wǎng)格資源調(diào)用中支撐技術(shù)的研究與實(shí)現(xiàn)
 
2.1 動(dòng)態(tài)鏈接表 

隨著網(wǎng)格規(guī)模的發(fā)展,不斷地有更多的客戶機(jī)加入網(wǎng)格,并提供更加豐富的資源,從而,在數(shù)據(jù)網(wǎng)格和信息網(wǎng)格中,也會(huì)有更大量的文件被共享。這樣,當(dāng)網(wǎng)格在線客戶機(jī)通過資源管理器搜索網(wǎng)格資源時(shí),其搜索范圍將會(huì)隨著共享文件的增多而變得越來越大。實(shí)驗(yàn)表明:當(dāng)資源中的文件搜索范圍在104或者更高的數(shù)量級(jí)時(shí),其搜索速度明顯變慢。 

在網(wǎng)格發(fā)展初期,這種搜索可能不會(huì)造成明顯的負(fù)擔(dān),可是,隨著網(wǎng)格規(guī)模的不斷擴(kuò)大,勢(shì)必使網(wǎng)格的負(fù)擔(dān)日益加重。具體表現(xiàn)在網(wǎng)格資源調(diào)用的時(shí)間開銷大大增加,甚至不堪承受。 

動(dòng)態(tài)鏈接表技術(shù)的設(shè)計(jì)思想是:根據(jù)文件資源的調(diào)用情況以鏈接表方式建立一種數(shù)據(jù)結(jié)構(gòu),鏈接表本身根據(jù)資源使用情況實(shí)時(shí)、動(dòng)態(tài)地交互更新。鏈接表中統(tǒng)計(jì)的資源是近期某個(gè)時(shí)間到當(dāng)前時(shí)間段內(nèi),共享資源中被搜索或被共享次數(shù)較多的文件。資源使用者在對(duì)網(wǎng)格資源進(jìn)行調(diào)用時(shí),先在動(dòng)態(tài)鏈接表中進(jìn)行搜索。如果搜索命中,則資源使用者可以直接調(diào)用資源;如果沒有命中,則退出動(dòng)態(tài)鏈接表,再對(duì)資源直接進(jìn)行搜索。 

圖1是動(dòng)態(tài)鏈接表技術(shù)相應(yīng)的工作流程圖。

圖1 動(dòng)態(tài)鏈接表的工作流程圖

因?yàn)閯?dòng)態(tài)鏈接表中的搜索范圍相對(duì)于資源的直接搜索范圍要小得多,所以,在資源很龐大的情況下,即使鏈接表不能命中,對(duì)鏈接表檢索的時(shí)間開銷也幾乎可忽略不計(jì)。圖2是動(dòng)態(tài)鏈接表在搜索命中的情況下,其搜索時(shí)間開銷與對(duì)資源直接搜索的時(shí)間開銷的對(duì)比圖。

圖2 搜索命中情況下,動(dòng)態(tài)鏈接表搜索與資源直接搜索時(shí)間開銷對(duì)比圖

圖2中,實(shí)線表示直接對(duì)資源搜索并命中的時(shí)間與文件數(shù)目的關(guān)系,虛線表示用動(dòng)態(tài)鏈接表搜索資源并命中的時(shí)間與文件數(shù)目的關(guān)系?？梢钥闯?隨著文件數(shù)目的增多,直接對(duì)資源搜索并命中的搜索時(shí)間開銷近似為一個(gè)線性遞增函數(shù),而采用動(dòng)態(tài)鏈接表搜索的時(shí)間開銷很小,而且?guī)缀醭仕街本€,與資源中的文件數(shù)目無關(guān)。
 
實(shí)驗(yàn)表明:客戶機(jī)對(duì)資源的搜索情況呈正態(tài)分布,利用動(dòng)態(tài)鏈接表中搜索命中的概率約為30%。表1列出了網(wǎng)格資源調(diào)用中加入動(dòng)態(tài)鏈接表技術(shù)以后關(guān)于時(shí)間性能的測(cè)試結(jié)果。 

表1第2列表示直接對(duì)資源搜索并命中目標(biāo)所用的時(shí)間開銷的平均值,第3列表示客戶機(jī)在動(dòng)態(tài)鏈接表中搜索所用的時(shí)間開銷的平均值。
 
表1 系統(tǒng)時(shí)間性能表

從表1可看出:當(dāng)資源中的文件在2000～11000范圍時(shí),由于通過動(dòng)態(tài)鏈接表而造成系統(tǒng)時(shí)間性能少量下降;但是,在文件達(dá)到15000個(gè)時(shí),由于動(dòng)態(tài)鏈接表而造成的負(fù)面作用消失;隨著資源中文件的不斷增加,動(dòng)態(tài)鏈接表對(duì)網(wǎng)格資源搜索的時(shí)間性能提高越來越顯著。
 
由此可見,如果資源中的文件數(shù)少,則不宜用動(dòng)態(tài)鏈接表,而當(dāng)資源中的文件達(dá)到一定數(shù)量時(shí),使用動(dòng)態(tài)鏈接表可有效地提高網(wǎng)格資源調(diào)用的時(shí)間性能。在實(shí)際編程中,安排了程序段先判斷資源中的文件數(shù)量,然后據(jù)此決定是否啟動(dòng)動(dòng)態(tài)鏈接表機(jī)制。
 
由于龐大的網(wǎng)格系統(tǒng)中存在無數(shù)的大型資源,因此,動(dòng)態(tài)鏈接表技術(shù)將從總體上有效提高網(wǎng)格資源調(diào)用的時(shí)間性能。 

2.2 身份鑒別和散列化處理技術(shù) 

在數(shù)據(jù)網(wǎng)格和信息網(wǎng)格中,資源的調(diào)用體現(xiàn)在對(duì)數(shù)據(jù)資源和信息資源的在線瀏覽或下載等操作上,其中涉及信息在網(wǎng)格中的傳輸問題。
 
盡管網(wǎng)格資源具有不必探求其來源的特點(diǎn),不必對(duì)資源的來源進(jìn)行判斷,但是在網(wǎng)格中傳輸信息時(shí),仍然特別需要保證通信安全。這體現(xiàn)在:在傳輸過程中,要防止出現(xiàn)數(shù)據(jù)丟失或數(shù)據(jù)被他人截獲后篡改;此外,對(duì)于調(diào)用網(wǎng)格資源的客戶機(jī),需要對(duì)其調(diào)用資格進(jìn)行審定,再?zèng)Q定是否授權(quán)其進(jìn)行資源調(diào)用。
 
身份鑒別和散列化處理技術(shù)可以有效地解決上述問題。其設(shè)計(jì)思想分兩層實(shí)現(xiàn)。第一層是資源管理器在檢測(cè)到客戶機(jī)有資源調(diào)用請(qǐng)求后,對(duì)客戶機(jī)進(jìn)行身份鑒別,依照鑒別結(jié)果向客戶機(jī)發(fā)送資源調(diào)用證書,并接收反饋信息,據(jù)此判斷該客戶機(jī)是否有網(wǎng)格資源調(diào)用資格;第二層是通過散列化處理對(duì)所傳輸數(shù)據(jù)的完整性進(jìn)行安全校驗(yàn)。 

客戶機(jī)一旦登錄并向資源管理器發(fā)送資源調(diào)用請(qǐng)求,資源管理器就會(huì)生成一個(gè)資源調(diào)用證書。生成資源調(diào)用證書的過程,實(shí)際上是一個(gè)對(duì)資源調(diào)用者身份鑒別和確認(rèn)的過程。如果是,則發(fā)出證書,相當(dāng)于實(shí)現(xiàn)對(duì)資源調(diào)用者的授權(quán)。證書中包括資源調(diào)用者的身份信息和資源本身的相關(guān)信息。 

同時(shí),資源管理器周期性地生成隨機(jī)數(shù)組,并在每一個(gè)周期起點(diǎn)時(shí)刻,向已被授權(quán)的資源調(diào)用者和被調(diào)用者發(fā)送隨機(jī)數(shù)組。例如,在周期n的起點(diǎn)時(shí)刻,發(fā)送隨機(jī)數(shù)組arrayA,在周期n+1的起點(diǎn)時(shí)刻,發(fā)送隨機(jī)數(shù)組arrayB……所有的隨機(jī)數(shù)組都是不相同的。 

一個(gè)具體的身份鑒別工作流程如下:在線客戶機(jī)A通過網(wǎng)格系統(tǒng)準(zhǔn)備調(diào)用資源S,于是先向資源管理器發(fā)送資源調(diào)用請(qǐng)求。資源管理器內(nèi)部有關(guān)于S的路徑信息,并確定S位于在線客戶機(jī)B。資源管理者在得到A的申請(qǐng)后,對(duì)A進(jìn)行審核,向A發(fā)送資源調(diào)用證書和隨機(jī)數(shù)組。同時(shí),資源管理器還向B發(fā)送資源要被調(diào)用的信息和隨機(jī)數(shù)組。 

A和B同時(shí)反饋隨機(jī)數(shù)組到資源管理器,資源管理器通過對(duì)來自A和B的隨機(jī)數(shù)組對(duì)比作判斷,據(jù)此真正授權(quán)A可進(jìn)行網(wǎng)格資源的調(diào)用。這種方法通過較復(fù)雜的確認(rèn)資源調(diào)用者的身份,可以有效地保證網(wǎng)格資源的安全性。 

當(dāng)網(wǎng)格系統(tǒng)對(duì)客戶機(jī)授予資源調(diào)用資格后,就開始資源調(diào)用過程。資源調(diào)用過程中要求保證傳輸數(shù)據(jù)的安全性。為此,資源所有者同時(shí)發(fā)送數(shù)據(jù)資源和附加的散列?？蛻魴C(jī)收到數(shù)據(jù)資源和附加的散列后,首先對(duì)數(shù)據(jù)資源進(jìn)行散列化處理。散列化處理用SHA1算法實(shí)現(xiàn),結(jié)果為160位的信息摘要。然后進(jìn)行散列比較,即將用SHA1算法獲得的散列與附加的散列作比較,如比較結(jié)果相同,則說明數(shù)據(jù)完整;否則,說明數(shù)據(jù)在傳輸過程中有部分丟失或者在被他人截獲后進(jìn)行了篡改。 

由上可見,附加的散列和散列化處理過程確保了數(shù)據(jù)傳輸?shù)陌踩?。圖3是身份鑒別和散列化處理過程的流程圖。 

身份鑒別和散列化處理技術(shù)用于網(wǎng)格系統(tǒng)的資源調(diào)用,能有效地保證網(wǎng)格資源的安全性和信息傳輸?shù)耐暾浴?nbsp;

圖3 身份鑒別和散列化處理的流程圖 

2.3 自適應(yīng)機(jī)制
 
物理網(wǎng)絡(luò)的傳輸狀態(tài)總是隨著用戶使用情況而不斷變化的,所以,存在隨機(jī)性大和穩(wěn)定性差的缺點(diǎn),這會(huì)給網(wǎng)格大數(shù)據(jù)量的實(shí)時(shí)傳輸要求帶來很大影響。自適應(yīng)技術(shù)將使這種影響降到最低程度。 

自適應(yīng)技術(shù)的設(shè)計(jì)思想是:讓系統(tǒng)自動(dòng)檢測(cè)當(dāng)前的網(wǎng)絡(luò)狀態(tài),并對(duì)網(wǎng)絡(luò)狀態(tài)的變化做出反應(yīng),通過調(diào)整發(fā)送策略,即基于負(fù)反饋的平衡控制策略來適應(yīng)網(wǎng)絡(luò)的變化,從而使系統(tǒng)既充分又合理地利用信道進(jìn)行數(shù)據(jù)傳輸。 

理想的情況是:在不造成信道堵塞的前提下,發(fā)送端充分利用信道帶寬發(fā)送數(shù)據(jù)。 

設(shè)Ms表示發(fā)送端發(fā)送數(shù)據(jù)的速率(字節(jié)/秒),ω為網(wǎng)絡(luò)帶寬(字節(jié)/秒)。如果Ms<<ω,則發(fā)送端不能充分利用網(wǎng)絡(luò)帶寬;如果Ms>>ω,則發(fā)送端發(fā)送的只有一部分能被接收,多余的部分將造成網(wǎng)絡(luò)的擁塞。 

所以應(yīng)使Ms≈ω,即發(fā)送端發(fā)送信息的速率約等于帶寬。 
對(duì)于接收端,有:

Mr為接收端接收數(shù)據(jù)的速率(字節(jié)/秒)。 

由于ω是會(huì)變化的,為了滿足Ms≈ω的條件,系統(tǒng)要檢測(cè)ω的變化情況并使Ms對(duì)其變化做出反應(yīng)。為此,可以每隔特定時(shí)間執(zhí)行以下步驟: 

(1)增加Ms,如果Mr不隨Ms增加則恢復(fù)為原來Ms的值;反之則表明ω增加了,繼續(xù)增加Ms,當(dāng)Mr不隨Ms繼續(xù)增長時(shí),設(shè)置Ms為現(xiàn)在的Mr。 
(2)ω的減小會(huì)導(dǎo)致Mr的減小,可通過接收端的包間間隔來檢測(cè)。在每次Ms改變后開始一次檢測(cè)周期T,記發(fā)送端和接收方包間隔時(shí)間差的累積度量為E,于是:

預(yù)先設(shè)定一個(gè)閾值D,每傳輸一包就計(jì)算一次的值,當(dāng)滿足E>D時(shí),即檢測(cè)到帶寬減小時(shí),將Ms設(shè)置成該檢測(cè)周期Mr的平均值,然后開始下一個(gè)檢測(cè)周期。
 
這樣,當(dāng)網(wǎng)絡(luò)帶寬不穩(wěn)定時(shí),可以根據(jù)網(wǎng)絡(luò)帶寬的變化動(dòng)態(tài)調(diào)節(jié)發(fā)送速率策略。這種基于負(fù)反饋的平衡控制策略,使網(wǎng)格在進(jìn)行資源調(diào)用時(shí),可以有效、充分地利用網(wǎng)絡(luò)帶寬,提高效率。 

針對(duì)網(wǎng)格資源調(diào)用的需求特點(diǎn),動(dòng)態(tài)鏈接表技術(shù)能夠有效地加快資源搜索速度,提高系統(tǒng)的時(shí)間性能;身份鑒別技術(shù)和散列化處理技術(shù)保證了信息傳輸?shù)陌踩?自適應(yīng)技術(shù)則提高了資源調(diào)用傳輸?shù)姆€(wěn)定性,并且可以充分地利用信道帶寬。仿真實(shí)驗(yàn)證明:這些技術(shù)能夠?qū)W(wǎng)格資源調(diào)用的性能改善提供很好的支撐作用。
　　 
參考文獻(xiàn) 
1 Gabrielle Allen,Edward Seidel,John Shalf.Scientific Comput-ing on the Grid, Byte, 
  Spring. 2002 
2 Borja Sotomayor.The Globus Toolkit 3 Programmer´s Tutorial. 2004.03 
3 Fran Berman,Geoffrey Fox,Tony Hey.Grid Computing:Making the Global Infrastructure a 
  Reality.Wiley Publishing Company. 2003.3 
4 Ian Foster,Carl Kesselman. The Grid: Blueprint for a New Computing Infrastructure.2003.2 
5 http://www.globus.org 
6 http://www.chinagrid.net