數(shù)據(jù)生命周期管理之存儲(chǔ)策略

前言

隨著通訊技術(shù)、移動(dòng)互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、云計(jì)算等技術(shù)的快速發(fā)展，現(xiàn)代社會(huì)已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代。面對(duì)來(lái)源廣泛、數(shù)據(jù)巨大、形式多樣、內(nèi)容豐富的大數(shù)據(jù)，為了更加有效應(yīng)對(duì)市場(chǎng)激烈競(jìng)爭(zhēng)，企業(yè)開始意識(shí)到數(shù)據(jù)價(jià)值并且通過(guò)建立大數(shù)據(jù)平臺(tái)、數(shù)據(jù)中心、數(shù)據(jù)倉(cāng)庫(kù)等系統(tǒng)，從不同角度去挖掘數(shù)據(jù)的價(jià)值。當(dāng)然隨著企業(yè)業(yè)務(wù)發(fā)展以及各種平臺(tái)、系統(tǒng)的建立也意味著需要管理的數(shù)據(jù)量越來(lái)越龐大，資源維護(hù)成本越來(lái)越高，效率越來(lái)越低。

面對(duì)企業(yè)對(duì)數(shù)據(jù)的不同時(shí)效、不同訪問(wèn)頻率、不同重要性等要求，如何判定數(shù)據(jù)是否有維護(hù)的必要性，如何降低數(shù)據(jù)維護(hù)成本，提高數(shù)據(jù)服務(wù)水平是進(jìn)行數(shù)據(jù)生命周期管理主要解決的問(wèn)題。

管理目標(biāo)

數(shù)據(jù)生命周期管理通過(guò)制定合理的管理制度、組織架構(gòu)以及對(duì)應(yīng)的技術(shù)規(guī)范，協(xié)調(diào)各流程制度、技術(shù)規(guī)范的有效運(yùn)行，從而提升數(shù)據(jù)服務(wù)水平與數(shù)據(jù)使用效率，從而實(shí)現(xiàn)降低成本、提高效率的目標(biāo)。數(shù)據(jù)存儲(chǔ)和備份規(guī)范是保障和基礎(chǔ)，數(shù)據(jù)管理和維護(hù)是執(zhí)行方法，通過(guò)高效的數(shù)據(jù)管理和維護(hù)效率，從而不斷提升數(shù)據(jù)服務(wù)水平。

數(shù)據(jù)生命周期管理涉及生命周期相關(guān)的管理制度以及數(shù)據(jù)存儲(chǔ)備份策略的規(guī)范制定，以下主要從技術(shù)的層面講述如何制定數(shù)據(jù)生命周期的數(shù)據(jù)存儲(chǔ)策略。

存儲(chǔ)策略框架

數(shù)據(jù)生命周期管理框架由數(shù)據(jù)歸類、數(shù)據(jù)特性分析與數(shù)據(jù)存儲(chǔ)策略三部分組成。數(shù)據(jù)存儲(chǔ)框架首先對(duì)數(shù)據(jù)進(jìn)行歸類，在數(shù)據(jù)歸類的基礎(chǔ)上結(jié)合業(yè)務(wù)與系統(tǒng)實(shí)際情況，分析數(shù)據(jù)特性，最后根據(jù)現(xiàn)狀調(diào)研、數(shù)據(jù)歸類與數(shù)據(jù)特性制定數(shù)據(jù)生命周期存儲(chǔ)策略，從而保障數(shù)據(jù)存儲(chǔ)策略能夠更加符合業(yè)務(wù)、系統(tǒng)的實(shí)際需求，有效的發(fā)揮數(shù)據(jù)生命周期管理的價(jià)值。

數(shù)據(jù)歸類

從數(shù)據(jù)生命周期管理視角，結(jié)合業(yè)界的相關(guān)標(biāo)準(zhǔn)規(guī)范，對(duì)企業(yè)IT系統(tǒng)的數(shù)據(jù)進(jìn)行歸類。目前根據(jù)系統(tǒng)的業(yè)務(wù)特點(diǎn)，比較流行的數(shù)據(jù)歸類包括：生產(chǎn)交易型數(shù)據(jù)、服務(wù)支撐型數(shù)據(jù)與系統(tǒng)數(shù)據(jù)三部分。

1生產(chǎn)交易型數(shù)據(jù)

生產(chǎn)交易型數(shù)據(jù)就是企業(yè)各IT支撐系統(tǒng)所產(chǎn)生、使用的數(shù)據(jù)，該類數(shù)據(jù)主要分布在業(yè)務(wù)支撐系統(tǒng)、管理支撐系統(tǒng)，如業(yè)務(wù)支撐系統(tǒng)、客戶關(guān)系管理系統(tǒng)、ERP系統(tǒng)、電子渠道系統(tǒng)等。目前生成交易型的數(shù)據(jù)主流的數(shù)據(jù)歸類為：客服域、資源域、企業(yè)管理域、營(yíng)銷域、產(chǎn)品域等。該部分?jǐn)?shù)據(jù)的歸類方式主要參考TMF（電信管理論壇）的SID（共享信息模型）分類標(biāo)準(zhǔn)，具體在制定過(guò)程中企業(yè)可以根據(jù)具體的業(yè)務(wù)以及系統(tǒng)特點(diǎn)進(jìn)行實(shí)際的分類。

2服務(wù)支撐型數(shù)據(jù)

服務(wù)支撐型數(shù)據(jù)是指從各個(gè)生產(chǎn)系統(tǒng)收集的數(shù)據(jù)、經(jīng)沉淀加工挖掘后形成的信息數(shù)據(jù)，該類數(shù)據(jù)主要分布在提供數(shù)據(jù)服務(wù)、數(shù)據(jù)支撐的IT平臺(tái)中，如數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)中心、數(shù)據(jù)集市等。該類數(shù)據(jù)按照數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)分層的原則分為：原型數(shù)據(jù)、明細(xì)數(shù)據(jù)、匯總數(shù)據(jù)、應(yīng)用數(shù)據(jù)。

3系統(tǒng)數(shù)據(jù)

系統(tǒng)數(shù)據(jù)是面向IT開發(fā)過(guò)程所產(chǎn)生的數(shù)據(jù)，該類數(shù)據(jù)不直接被業(yè)務(wù)所需要，但是又占用相應(yīng)的存儲(chǔ)空間。在數(shù)據(jù)歸類過(guò)程中很容易遺漏此類數(shù)據(jù)，然而眾多系統(tǒng)實(shí)際情況表明，該類數(shù)據(jù)如果不有效管理將會(huì)嚴(yán)重影響系統(tǒng)的運(yùn)行效率。系統(tǒng)數(shù)據(jù)主要包括：程序軟件、日志數(shù)據(jù)、過(guò)程數(shù)據(jù)和臨時(shí)數(shù)據(jù)等。

數(shù)據(jù)特性

根據(jù)數(shù)據(jù)歸類，不同類別的數(shù)據(jù)有不同的數(shù)據(jù)特性。從數(shù)據(jù)生命周期視角數(shù)據(jù)特性主要包括數(shù)據(jù)重要性、訪問(wèn)頻率、訪問(wèn)性能要求、數(shù)據(jù)量等。具體在進(jìn)行數(shù)據(jù)特性分類過(guò)程中，企業(yè)可以根據(jù)實(shí)際情況進(jìn)行特性歸類。

重要性：在業(yè)務(wù)使用過(guò)程中按照數(shù)據(jù)的重要程度進(jìn)行歸類，數(shù)據(jù)分成不同的重要級(jí)別。

訪問(wèn)頻率：在系統(tǒng)運(yùn)行過(guò)程中，依據(jù)數(shù)據(jù)的訪問(wèn)頻率，對(duì)數(shù)據(jù)進(jìn)行歸類。通過(guò)不同的訪問(wèn)頻率定義不同的存儲(chǔ)策略。

訪問(wèn)性能要求：根據(jù)業(yè)務(wù)部門需求，對(duì)于不同數(shù)據(jù)需要提供不同的訪問(wèn)性能支持。通過(guò)不同訪問(wèn)性能需要定義不同存儲(chǔ)策略。

數(shù)據(jù)量：在系統(tǒng)運(yùn)行過(guò)程中，數(shù)據(jù)以月/日為單位，按照數(shù)據(jù)量的大小，提供不同的存儲(chǔ)策略。

數(shù)據(jù)存儲(chǔ)策略

數(shù)據(jù)存儲(chǔ)策略就是將不同的數(shù)據(jù)存在制定的存儲(chǔ)設(shè)備上。目前主要的存儲(chǔ)設(shè)備主要分成在線存儲(chǔ)、近線存儲(chǔ)、歸檔存儲(chǔ)，三種常用存儲(chǔ)。

1在線存儲(chǔ)

在線存儲(chǔ)又稱工作級(jí)的存儲(chǔ)，存儲(chǔ)設(shè)備和所存儲(chǔ)的數(shù)據(jù)時(shí)刻保持隨時(shí)響應(yīng)狀態(tài)，可以實(shí)時(shí)讀寫的，可滿足計(jì)算平臺(tái)對(duì)數(shù)據(jù)訪問(wèn)的速度要求。

一般在線存儲(chǔ)設(shè)備通常為內(nèi)置磁盤和高端磁盤陣列等磁盤設(shè)備，價(jià)格相對(duì)昂貴，性能最好。

2近線存儲(chǔ)

近線存儲(chǔ)定位于在線存儲(chǔ)和離線存儲(chǔ)之間的應(yīng)用，對(duì)性能要求相對(duì)來(lái)說(shuō)并不高，但又提供相對(duì)較好的讀取性能。近線存儲(chǔ)策略一般采用中低端磁盤陣列設(shè)備，并輔以高壓縮軟件，滿足快速讀寫等訪問(wèn)動(dòng)作。

3歸檔存儲(chǔ)

數(shù)據(jù)歸檔是將不再經(jīng)常使用的數(shù)據(jù)移到一個(gè)單獨(dú)的存儲(chǔ)設(shè)備來(lái)進(jìn)行長(zhǎng)期保存的過(guò)程，對(duì)涉及的數(shù)據(jù)進(jìn)行離線存儲(chǔ)，以備非常規(guī)查詢等。歸檔設(shè)備一般采用磁帶庫(kù)、光盤庫(kù)，以及大容量低端磁盤陣列，價(jià)格相對(duì)低廉。

存儲(chǔ)策略的制定除了滿足業(yè)務(wù)需要之外，還需要考慮存儲(chǔ)成本，制定合理的存儲(chǔ)策略。例如：生成交易型數(shù)據(jù)中客服數(shù)據(jù)，其數(shù)據(jù)特點(diǎn)主要是數(shù)據(jù)重要性高、訪問(wèn)頻率搞、數(shù)據(jù)量較小，可以采用在線存儲(chǔ)；服務(wù)支撐型中的原型數(shù)據(jù)，其數(shù)據(jù)特點(diǎn)主要是數(shù)據(jù)重要性不高、訪問(wèn)頻率不高、數(shù)據(jù)量大，可以采用近線存儲(chǔ)。

小結(jié)

數(shù)據(jù)生命周期管理中，數(shù)據(jù)存儲(chǔ)策略的制定除了理論上需要正確的指導(dǎo)，更重要的是在制定過(guò)程中進(jìn)行大量實(shí)際業(yè)務(wù)需求、系統(tǒng)現(xiàn)狀的調(diào)研。在理論指導(dǎo)下結(jié)合實(shí)際情況制定出符合企業(yè)實(shí)際情況的存儲(chǔ)策略。

數(shù)據(jù)生命周期管理是涉及組織架構(gòu)、流程制度、技術(shù)規(guī)范、系統(tǒng)支撐組成的管理體系，。存儲(chǔ)策略制定只是數(shù)據(jù)生命周期管理中技術(shù)規(guī)范部分，如何協(xié)調(diào)生命周期管理中相關(guān)組織架構(gòu)、流程制度保障存儲(chǔ)策略有效的制定才是數(shù)據(jù)生命周期管理成功與否的關(guān)鍵。后續(xù)將會(huì)探討如何制定數(shù)據(jù)生命周期管理中相關(guān)流程制度、組織架構(gòu)以及系統(tǒng)支撐方面的相關(guān)內(nèi)容。