高可用性軟件架構(gòu)設(shè)計(jì)和實(shí)現(xiàn)

在業(yè)內(nèi)，計(jì)算機(jī)應(yīng)用系統(tǒng)的可用性定義為計(jì)算機(jī)應(yīng)用系統(tǒng)保持正常運(yùn)行時(shí)間的百分比，通常用表1所示的“9”的個(gè)數(shù)來(lái)劃分可用性的類(lèi)型。

通常，硬件冗余(容錯(cuò)計(jì)算機(jī)、雙機(jī)或多機(jī)集群、磁盤(pán)陣列、SAN等)、數(shù)據(jù)復(fù)制、合理的災(zāi)難備份和恢復(fù)策略都可以極大地提高計(jì)算機(jī)應(yīng)用系統(tǒng)的可用性。正因?yàn)槿绱?，?dāng)前，對(duì)于計(jì)算機(jī)應(yīng)用系統(tǒng)的高可用性、業(yè)務(wù)的可持續(xù)性要求，業(yè)內(nèi)通常以硬件系統(tǒng)的高可用性來(lái)應(yīng)對(duì)或代替。常見(jiàn)的解決方案是雙機(jī)(或多機(jī))集群方案或直接采用容錯(cuò)計(jì)算機(jī)來(lái)保障系統(tǒng)的高可用性，應(yīng)用軟件的設(shè)計(jì)和開(kāi)發(fā)往往僅注重業(yè)務(wù)流程的分析和過(guò)程控制。在這種完全依賴(lài)硬件來(lái)保障整個(gè)系統(tǒng)的可用性的系統(tǒng)里，一旦關(guān)鍵硬件出現(xiàn)故障或數(shù)據(jù)庫(kù)宕機(jī)，正在進(jìn)行中的業(yè)務(wù)流程(如需較長(zhǎng)執(zhí)行時(shí)間的事務(wù)處理、后臺(tái)批處理過(guò)程等)必然會(huì)中斷，這是因?yàn)殡p機(jī)切換也需要時(shí)間。對(duì)此，應(yīng)用軟件本身并無(wú)多少作為，該類(lèi)業(yè)務(wù)必須等待系統(tǒng)重新恢復(fù)后全部或部分重做。

　本文以基于大型數(shù)據(jù)庫(kù)的應(yīng)用系統(tǒng)為例，從“軟件容錯(cuò)”設(shè)計(jì)的概念出發(fā)，參考“分布式”數(shù)據(jù)庫(kù)結(jié)構(gòu)設(shè)計(jì)，以“系統(tǒng)服務(wù)總線(xiàn)”為核心，給出了一種可行的高可用性軟件架構(gòu)的設(shè)計(jì)方案，可以極大地提高應(yīng)用軟件的可用性和業(yè)務(wù)系統(tǒng)的可持續(xù)性。無(wú)論是傳統(tǒng)的C/S架構(gòu)，還是近年來(lái)流行的B/S架構(gòu)，本文中給出的設(shè)計(jì)方案都有一定的參考意義。

1 軟件結(jié)構(gòu)模型

任何基于大型數(shù)據(jù)庫(kù)的應(yīng)用系統(tǒng)，都可以抽象為對(duì)數(shù)據(jù)的“讀”和“寫(xiě)”操作。至于客戶(hù)端如何展現(xiàn)“讀”到的數(shù)據(jù)，以及“客戶(hù)端”與“服務(wù)端”基于何種通信協(xié)議通信，不在本文討論之列。

軟件結(jié)構(gòu)的設(shè)計(jì)其實(shí)就是針對(duì)“讀”和“寫(xiě)”的一系列流程的設(shè)計(jì)。如何最大限度地保證系統(tǒng)中的所有“硬件”和“軟件”協(xié)同工作，正確完成每一次“讀”和“寫(xiě)”的操作，也就是對(duì)系統(tǒng)“高可靠性”和“高可用性”的要求。

圖1是基于“軟件容錯(cuò)”和“分布式數(shù)據(jù)庫(kù)系統(tǒng)”的原理，并參照了計(jì)算機(jī)“總線(xiàn)”的工作原理給出的一種基于分布式數(shù)據(jù)庫(kù)或文件系統(tǒng)的高可用性的軟件架構(gòu)設(shè)計(jì)方案。系統(tǒng)采用3層架構(gòu)：客戶(hù)端、中間應(yīng)用層和數(shù)據(jù)庫(kù)層。


2 系統(tǒng)設(shè)計(jì)

2.1 數(shù)據(jù)庫(kù)配置

為了更清楚地闡述本文的設(shè)計(jì)方案，先對(duì)數(shù)據(jù)庫(kù)的配置及其功能進(jìn)行描述。本系統(tǒng)中，數(shù)據(jù)庫(kù)按角色可劃分為如下三類(lèi)數(shù)據(jù)庫(kù)：控制數(shù)據(jù)庫(kù)(COTROLL DB)、日志數(shù)據(jù)庫(kù)(LOG DB)、業(yè)務(wù)數(shù)據(jù)庫(kù)(BUS DB_N)。

2.1.1 控制數(shù)據(jù)庫(kù)

控制數(shù)據(jù)庫(kù)也可以是一個(gè)或多個(gè)系統(tǒng)控制(參數(shù))文件。它存放要訪問(wèn)的目標(biāo)數(shù)據(jù)庫(kù)的節(jié)點(diǎn)(N)、端口、用戶(hù)、文件頭、表、視圖等信息；存放對(duì)節(jié)點(diǎn)、業(yè)務(wù)數(shù)據(jù)庫(kù)、表或視圖的授權(quán)或訪問(wèn)控制信息；目標(biāo)數(shù)據(jù)庫(kù)(或文件)的當(dāng)前狀態(tài)(聯(lián)機(jī)/脫機(jī)、忙/空閑等)；目標(biāo)數(shù)據(jù)庫(kù)中的表或視圖的當(dāng)前狀態(tài)(聯(lián)機(jī)/脫機(jī)、忙/空閑、加鎖/解鎖等)。

2.1.2 日志數(shù)據(jù)庫(kù)

日志數(shù)據(jù)庫(kù)獨(dú)立于業(yè)務(wù)數(shù)據(jù)庫(kù)之外，用于記錄客戶(hù)端節(jié)點(diǎn)信息、請(qǐng)求時(shí)刻和發(fā)來(lái)的所有請(qǐng)求的原始內(nèi)容，但不做業(yè)務(wù)流程相關(guān)的處理、運(yùn)算等。記錄每次數(shù)據(jù)操作分配的唯一的“事件號(hào)”(EVENT_ID)。對(duì)每一次客戶(hù)端的“請(qǐng)求”，“系統(tǒng)服務(wù)總線(xiàn)”(SYSSRV)會(huì)分配唯一的標(biāo)識(shí)符號(hào)，可以定義為有一定意義的字符串，比如，“當(dāng)前時(shí)刻+流水號(hào)”。以上信息可以被壓縮、打包、加密后存放，以記錄格式保存于數(shù)據(jù)庫(kù)的表或文件中。它可以設(shè)計(jì)為數(shù)據(jù)庫(kù)中的一個(gè)或多個(gè)表，也可以是文件格式。

2.1.3 業(yè)務(wù)數(shù)據(jù)庫(kù)

業(yè)務(wù)數(shù)據(jù)庫(kù)記錄所有業(yè)務(wù)相關(guān)的數(shù)據(jù)信息。所有業(yè)務(wù)數(shù)據(jù)庫(kù)的相關(guān)業(yè)務(wù)邏輯的數(shù)據(jù)結(jié)構(gòu)相同，即，N個(gè)節(jié)點(diǎn)的業(yè)務(wù)數(shù)據(jù)庫(kù)中與業(yè)務(wù)模式相關(guān)的表、視圖、過(guò)程或其他程序設(shè)置相同。
需要特別指出的是：

(1)控制數(shù)據(jù)庫(kù)、日志數(shù)據(jù)庫(kù)和業(yè)務(wù)數(shù)據(jù)庫(kù)可以是不同數(shù)據(jù)庫(kù)廠家或品牌的產(chǎn)品。比如，日志數(shù)據(jù)庫(kù)可以采用低端的數(shù)據(jù)庫(kù)產(chǎn)品或開(kāi)源數(shù)據(jù)庫(kù)系統(tǒng)，業(yè)務(wù)數(shù)據(jù)庫(kù)可以采用高端的大型數(shù)據(jù)庫(kù)產(chǎn)品。

(2)控制數(shù)據(jù)庫(kù)、日志數(shù)據(jù)庫(kù)和業(yè)務(wù)數(shù)據(jù)庫(kù)在物理上和邏輯上是可以相互隔離的，這可以極大地提高系統(tǒng)的整體安全性。目標(biāo)數(shù)據(jù)庫(kù)和要訪問(wèn)的表或視圖對(duì)客戶(hù)端來(lái)說(shuō)是“不可見(jiàn)”的，由控制數(shù)據(jù)庫(kù)動(dòng)態(tài)定義和控制。

　(3)所有類(lèi)別的數(shù)據(jù)庫(kù)在物理上位于一個(gè)或多個(gè)節(jié)點(diǎn)上，即節(jié)點(diǎn)N>=1；任意一個(gè)節(jié)點(diǎn)N上建有一個(gè)或多個(gè)業(yè)務(wù)數(shù)據(jù)庫(kù)(邏輯數(shù)據(jù)庫(kù)>=1)；任意一個(gè)節(jié)點(diǎn)是一個(gè)完整的、可獨(dú)立工作的計(jì)算機(jī)。根據(jù)性能要求，可以是高性能PC機(jī)、PC服務(wù)器、小型機(jī)、集群或超級(jí)計(jì)算機(jī)，或是它們的“混合體”；任意一個(gè)節(jié)點(diǎn)是指定網(wǎng)絡(luò)中的一個(gè)指定節(jié)點(diǎn)。

2.2 應(yīng)用層設(shè)計(jì)

中間應(yīng)用層由5個(gè)后臺(tái)進(jìn)程構(gòu)成：(1)系統(tǒng)服務(wù)總線(xiàn)(SYSSRV)；(2)數(shù)據(jù)庫(kù)寫(xiě)進(jìn)程(DBWRT_N)；(3)數(shù)據(jù)庫(kù)讀進(jìn)程(DBRED_N)；(4)數(shù)據(jù)庫(kù)在線(xiàn)恢復(fù)進(jìn)程(DBRCY)；(5)日志檢查進(jìn)程(LOGCHK)。

2.2.1 系統(tǒng)服務(wù)總線(xiàn)

這是一個(gè)后臺(tái)監(jiān)聽(tīng)、分發(fā)、調(diào)度總進(jìn)程。設(shè)計(jì)目標(biāo)具有一定的“自我修復(fù)”和“自我復(fù)制”動(dòng)能。它可以根據(jù)負(fù)載情況，自我復(fù)制或開(kāi)啟子進(jìn)程響應(yīng)新的負(fù)載；可以動(dòng)態(tài)配置可服務(wù)的節(jié)點(diǎn)或客戶(hù)端；可以為特定節(jié)點(diǎn)或客戶(hù)端指定專(zhuān)用進(jìn)程；它通過(guò)“DBWRT”和“DBRED”“讀/寫(xiě)”日志數(shù)據(jù)庫(kù)或日志文件。

2.2.2 寫(xiě)進(jìn)程

寫(xiě)進(jìn)程負(fù)責(zé)向所有節(jié)點(diǎn)寫(xiě)數(shù)據(jù)。它可以配置成多進(jìn)程/單進(jìn)程模式；多進(jìn)程模式，指對(duì)應(yīng)每個(gè)業(yè)務(wù)數(shù)據(jù)庫(kù)N都有獨(dú)立的“寫(xiě)”進(jìn)程；單進(jìn)程模式，指對(duì)應(yīng)多個(gè)業(yè)務(wù)數(shù)據(jù)庫(kù)只有一個(gè)主進(jìn)程，主進(jìn)程開(kāi)啟多個(gè)線(xiàn)程提供“寫(xiě)”服務(wù)。

2.2.3 讀進(jìn)程

讀進(jìn)程負(fù)責(zé)向所有節(jié)點(diǎn)讀數(shù)據(jù)，它可以配置成多進(jìn)程/單進(jìn)程模式。多進(jìn)程模式指對(duì)應(yīng)每個(gè)業(yè)務(wù)數(shù)據(jù)庫(kù)N都有獨(dú)立的“讀”進(jìn)程，單進(jìn)程模式指對(duì)應(yīng)多個(gè)業(yè)務(wù)數(shù)據(jù)庫(kù)只有一個(gè)主進(jìn)程，主進(jìn)程開(kāi)啟多個(gè)線(xiàn)程提供“讀”服務(wù)。

根據(jù)需要，讀進(jìn)程可以配置成：向所有在線(xiàn)節(jié)點(diǎn)并發(fā)讀數(shù)據(jù)，返回最快的結(jié)果集，拋棄其他的結(jié)果集，并中斷其他讀進(jìn)程；也可以配置成：隨機(jī)讀某個(gè)節(jié)點(diǎn)的數(shù)據(jù)，如果失敗或超時(shí)，則再隨機(jī)讀余下的在線(xiàn)節(jié)點(diǎn)，直到“讀”成功或失??；還可以配置成向所有節(jié)點(diǎn)順序讀數(shù)據(jù)，過(guò)程類(lèi)似上面“隨機(jī)讀”。

以上“讀寫(xiě)”業(yè)務(wù)數(shù)據(jù)庫(kù)的進(jìn)程，設(shè)計(jì)上支持多種數(shù)據(jù)庫(kù)訪問(wèn)接口，針對(duì)“表”或“視圖”提供統(tǒng)一格式的、標(biāo)準(zhǔn)的、動(dòng)態(tài)的SQL數(shù)據(jù)操作接口和方法，完成對(duì)數(shù)據(jù)庫(kù)中表或視圖的增、刪、改、查和批處理操作。它們可以設(shè)計(jì)為數(shù)據(jù)庫(kù)中的存儲(chǔ)過(guò)程，也可以是C++，Java程序的API或混合體。

2.2.4 數(shù)據(jù)庫(kù)在線(xiàn)恢復(fù)進(jìn)程

該進(jìn)程負(fù)責(zé)檢查全部或部分節(jié)點(diǎn)數(shù)據(jù)庫(kù)(包括所有授權(quán)控制數(shù)據(jù)庫(kù)、業(yè)務(wù)數(shù)據(jù)庫(kù)和日志數(shù)據(jù)庫(kù))或文件的工作狀態(tài)；檢查數(shù)據(jù)庫(kù)或文件表中數(shù)據(jù)的一致性；將以上檢查結(jié)果寫(xiě)入日志數(shù)據(jù)庫(kù)(或日志文件)。

當(dāng)某個(gè)業(yè)務(wù)數(shù)據(jù)庫(kù)中的表寫(xiě)入失敗時(shí)，它負(fù)責(zé)從“日志數(shù)據(jù)庫(kù)”的表或日志文件中讀出原始數(shù)據(jù)，接著寫(xiě)入出現(xiàn)問(wèn)題的業(yè)務(wù)數(shù)據(jù)庫(kù)的表中，并檢查結(jié)果。或從其他節(jié)點(diǎn)的數(shù)據(jù)庫(kù)中讀相關(guān)數(shù)據(jù)并寫(xiě)入到出現(xiàn)問(wèn)題的業(yè)務(wù)數(shù)據(jù)庫(kù)的表中。

接收外部命令，根據(jù)“時(shí)間點(diǎn)”或“事件號(hào)”從特定時(shí)刻、特定數(shù)據(jù)庫(kù)(包括日志數(shù)據(jù)庫(kù))、特定表恢復(fù)數(shù)據(jù)到特定目標(biāo)數(shù)據(jù)庫(kù)的表或文件。

2.2.5 日志檢查進(jìn)程

該進(jìn)程負(fù)責(zé)讀、寫(xiě)日志文件，檢查數(shù)據(jù)操作結(jié)果的一致性。如果不一致，則報(bào)告給“系統(tǒng)服務(wù)總線(xiàn)”，將問(wèn)題數(shù)據(jù)庫(kù)或數(shù)據(jù)庫(kù)中的表、視圖設(shè)置為“離線(xiàn)”狀態(tài)。

3系統(tǒng)實(shí)現(xiàn)

3.1系統(tǒng)初始化

啟動(dòng)配置好的后臺(tái)進(jìn)程即完成系統(tǒng)初始化過(guò)程。

3.2 數(shù)據(jù)“寫(xiě)”流程

數(shù)據(jù)“寫(xiě)”流程的主要步驟如下：

(1)客戶(hù)端通過(guò)給定協(xié)議(或混合多種通信協(xié)議)向后臺(tái)“系統(tǒng)服務(wù)總線(xiàn)”發(fā)送“寫(xiě)”請(qǐng)求。

(2)激活“數(shù)據(jù)庫(kù)寫(xiě)進(jìn)程”，將客戶(hù)端的“請(qǐng)求”寫(xiě)入“日志數(shù)據(jù)庫(kù)”(或日志文件)，并分配一個(gè)唯一的“事件號(hào)”。

(3)“系統(tǒng)服務(wù)總線(xiàn)”查詢(xún)“授權(quán)/控制數(shù)據(jù)庫(kù)”(或/配置文件)得到客戶(hù)端請(qǐng)求訪問(wèn)的數(shù)據(jù)存放的目標(biāo)數(shù)據(jù)庫(kù)(或文件)節(jié)點(diǎn)N(或文件存放的節(jié)點(diǎn)N)、端口、用戶(hù)、表、文件頭等信息。節(jié)點(diǎn)N可以是多個(gè)，即節(jié)點(diǎn)N>=1。

(4)“系統(tǒng)服務(wù)總線(xiàn)”向N個(gè)“數(shù)據(jù)庫(kù)寫(xiě)進(jìn)程”發(fā)送數(shù)據(jù)“寫(xiě)”訪問(wèn)請(qǐng)求，并得到各節(jié)點(diǎn)的返回結(jié)果集。

(5)只要有1個(gè)節(jié)點(diǎn)寫(xiě)入成功，“系統(tǒng)服務(wù)總線(xiàn)”就將寫(xiě)入成功的標(biāo)志發(fā)回客戶(hù)端；“數(shù)據(jù)庫(kù)寫(xiě)進(jìn)程”將各節(jié)點(diǎn)的返回結(jié)果狀態(tài)寫(xiě)入“日志數(shù)據(jù)庫(kù)”(或日志文件)中。

(6)“日志監(jiān)控”查詢(xún)“日志數(shù)據(jù)庫(kù)”(或日志文件)，比較N個(gè)節(jié)點(diǎn)的寫(xiě)入狀態(tài)。如發(fā)現(xiàn)寫(xiě)錯(cuò)誤、失敗、超時(shí)等狀態(tài)，則將該“業(yè)務(wù)數(shù)據(jù)庫(kù)”(或文件、表、視圖)標(biāo)志為“非正常聯(lián)機(jī)數(shù)據(jù)庫(kù)”(或文件、表、視圖不可用)。

(7)激活“數(shù)據(jù)在線(xiàn)恢復(fù)進(jìn)程”，進(jìn)程為“非正常聯(lián)機(jī)數(shù)據(jù)庫(kù)”，則執(zhí)行數(shù)據(jù)庫(kù)數(shù)據(jù)“同步”。在線(xiàn)同步恢復(fù)如失敗，則將該“數(shù)據(jù)庫(kù)”標(biāo)志為“需要DBA維護(hù)”的類(lèi)別，留待DBA或軟件維護(hù)工程師處理。

3.3 數(shù)據(jù)“讀”流程

數(shù)據(jù)“讀”流程的主要步驟如下：
(1)客戶(hù)端通過(guò)給定協(xié)議(或混合多種通信協(xié)議)向后臺(tái)“系統(tǒng)服務(wù)總線(xiàn)”發(fā)送“讀”請(qǐng)求。

(2)激活“寫(xiě)進(jìn)程”，將客戶(hù)端的“請(qǐng)求”寫(xiě)入“日志數(shù)據(jù)庫(kù)”(或日志文件)，并分配一個(gè)唯一的“事件號(hào)”。

　(3)“系統(tǒng)服務(wù)總線(xiàn)”查詢(xún)“授權(quán)/控制數(shù)據(jù)庫(kù)”(或/配置文件)得到客戶(hù)端請(qǐng)求訪問(wèn)的數(shù)據(jù)存放的目標(biāo)數(shù)據(jù)庫(kù)節(jié)點(diǎn)N(或文件存放的節(jié)點(diǎn)N)、端口、用戶(hù)、表等信息。節(jié)點(diǎn)N可以是多點(diǎn)，即節(jié)點(diǎn)N>=1。

(4)“系統(tǒng)服務(wù)總線(xiàn)”查詢(xún)“授權(quán)/控制數(shù)據(jù)庫(kù)”(或/配置文件)得到可用的、空閑的目標(biāo)數(shù)據(jù)庫(kù)節(jié)點(diǎn)N(或文件存放的節(jié)點(diǎn)N)。

(5)激活“讀進(jìn)程”(或隨機(jī)、或順序)向N個(gè)節(jié)點(diǎn)的“業(yè)務(wù)數(shù)據(jù)庫(kù)”(或文件)發(fā)送數(shù)據(jù)“讀”訪問(wèn)請(qǐng)求，并得到各節(jié)點(diǎn)的返回結(jié)果集。

(6)“系統(tǒng)服務(wù)總線(xiàn)”將最快返回的結(jié)果集發(fā)回客戶(hù)端；拋棄其他結(jié)果集，中斷其他讀進(jìn)程。
在本系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)中，由于采用了“分布式”數(shù)據(jù)庫(kù)或文件系統(tǒng)部署，只要N個(gè)節(jié)點(diǎn)中至少有一個(gè)節(jié)點(diǎn)的“業(yè)務(wù)數(shù)據(jù)庫(kù)”正常工作，因?yàn)橐粋€(gè)或幾個(gè)“業(yè)務(wù)數(shù)據(jù)庫(kù)”系統(tǒng)(或節(jié)點(diǎn)硬件)故障所引起的業(yè)務(wù)系統(tǒng)的不可持續(xù)性理論上將可以完全避免，因而提高了系統(tǒng)的“容錯(cuò)”性。

由于N個(gè)數(shù)據(jù)庫(kù)同時(shí)在線(xiàn)，且節(jié)點(diǎn)是否可用、空閑等狀態(tài)可實(shí)時(shí)監(jiān)控，這為特定業(yè)務(wù)快速訪問(wèn)和獨(dú)享訪問(wèn)提供了先決條件。如可以指定某特定“業(yè)務(wù)數(shù)據(jù)庫(kù)”僅為某個(gè)或幾個(gè)特定客戶(hù)端服務(wù)提供“讀”訪問(wèn)。

因?yàn)樵O(shè)計(jì)了統(tǒng)一、標(biāo)準(zhǔn)的增、刪、改、查的過(guò)程方法或API，前端開(kāi)發(fā)人員甚至不必寫(xiě)任何SQL語(yǔ)句就可以完成對(duì)數(shù)據(jù)庫(kù)中表或視圖的操作，可以大大地縮短編程和調(diào)試時(shí)間。

需要指出的是，雖然“系統(tǒng)服務(wù)總線(xiàn)”具有“自我修復(fù)”和“自我復(fù)制”的特點(diǎn)，但因?yàn)?ldquo;節(jié)點(diǎn)”硬件故障或“授權(quán)/控制數(shù)據(jù)庫(kù)”(或/配置文件)或“日志數(shù)據(jù)庫(kù)”故障而引起的全系統(tǒng)不可用依然存在，因此，建議該節(jié)點(diǎn)采用性能好、可靠性高的中、高端服務(wù)器。