對(duì)于每一個(gè)企業(yè)來(lái)講,數(shù)據(jù)備份都是必不可少的一項(xiàng)關(guān)鍵性工作,它直接決定著企業(yè)能夠應(yīng)對(duì)什么樣的數(shù)據(jù)威脅以及相應(yīng)解決方案的靈活度和有效性。但是在 IT 飛速發(fā)展的今天,每一個(gè)企業(yè)的應(yīng)用系統(tǒng)在不斷增加,數(shù)據(jù)類型在不斷的多樣化,數(shù)據(jù)的量級(jí)也在不斷的擴(kuò)展。在這種形勢(shì)下,如何能把備份系統(tǒng)規(guī)劃的科學(xué)合理并且高效化是作為 IT 建設(shè)者必須考慮的問題。本文通過大量的調(diào)研分析總結(jié)抽象出備份系統(tǒng)規(guī)劃時(shí)必須考慮的幾個(gè)關(guān)鍵性問題,并針對(duì)每一個(gè)問題進(jìn)行分析和論述,提出解決思路。希望能給企業(yè)進(jìn)行備份系統(tǒng)建設(shè)、改造或者升級(jí)的項(xiàng)目帶來(lái)一些啟示和幫助。
1. 如何確定備份對(duì)象及備份策略
近些年來(lái),企業(yè)的數(shù)據(jù)逐漸呈現(xiàn)多元化格局,從數(shù)據(jù)的模型層面可以分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)。從企業(yè) IT 功能層面又可以將常見數(shù)據(jù)列為如下幾類:
1、關(guān)系型數(shù)據(jù)庫(kù)中保存的二維表數(shù)據(jù)。
2、非關(guān)系型數(shù)據(jù)庫(kù)中的文檔、 JSON 、鍵值等類型數(shù)據(jù)。
3、以文字方式記錄的文本、 PDF 、 XML 等文件形式的數(shù)據(jù)。
4、以二進(jìn)制方式記錄形成的圖片、網(wǎng)頁(yè)等數(shù)據(jù)。
5、以視頻流方式記錄形成的媒體類數(shù)據(jù)。
作為企業(yè)來(lái)講,確定備份哪些數(shù)據(jù)對(duì)象,需要從數(shù)據(jù)重要性、數(shù)據(jù)量、數(shù)據(jù)特點(diǎn)等若干方面去評(píng)估。從企業(yè)業(yè)務(wù)角度評(píng)估的話,那么數(shù)據(jù)庫(kù)保存的數(shù)據(jù)一定是最重要的,尤其是關(guān)系型數(shù)據(jù)庫(kù)里面的二維表數(shù)據(jù)。其次需要根據(jù)行業(yè)特點(diǎn)以及具體的業(yè)務(wù)系統(tǒng)重要性來(lái)評(píng)估非結(jié)構(gòu)化數(shù)據(jù)的重要性。比如對(duì)于金融行業(yè)來(lái)講,記錄業(yè)務(wù)過程的一些影像類數(shù)據(jù)可能在業(yè)務(wù)審核過程中經(jīng)常被調(diào)出查閱,這些數(shù)據(jù)雖然沒有結(jié)構(gòu)化數(shù)據(jù)那么重要但是也是業(yè)務(wù)環(huán)節(jié)當(dāng)中必不可少的元素,其重要性相對(duì)業(yè)務(wù)視頻類以及安防類視頻數(shù)據(jù)會(huì)高很多。但是如果是媒體行業(yè)的話,那么視頻類數(shù)據(jù)的重要性恰恰是支撐其業(yè)務(wù)的核心數(shù)據(jù),其重要程度不言而喻。那么如何來(lái)決定哪些數(shù)據(jù)需要備份,以什么樣的策略備份?
首先,我們需要確定數(shù)據(jù)的重要性程度。本文通過結(jié)果導(dǎo)向的思路從以下維度來(lái)分析企業(yè)數(shù)據(jù)的重要性,最終決定哪些數(shù)據(jù)需要備份,哪些數(shù)據(jù)可以不備份,哪些數(shù)據(jù)需要根據(jù)企業(yè)的實(shí)際投資戰(zhàn)略情況來(lái)決定。首先我們假定一個(gè)結(jié)果,那就是某個(gè)應(yīng)用系統(tǒng)的某類型數(shù)據(jù)由于硬件故障或者其他原因?qū)е聰?shù)據(jù)丟失掉了。那么就看企業(yè)對(duì)該結(jié)果的容忍程度,假設(shè)不能容忍,那么就沒什么好商量的了,肯定要做備份。接下來(lái),最重要的事情是我們?nèi)绾味x數(shù)據(jù)備份的策略,包括備份的頻度、備份的模式、歸檔的檔期等等一系列備份作業(yè)元素。這部分內(nèi)容需要考慮到數(shù)據(jù)本身的量級(jí)、數(shù)據(jù)的具體類型、極端條件下對(duì)數(shù)據(jù)恢復(fù)時(shí)間及數(shù)據(jù)丟失量的容忍程度、數(shù)據(jù)備份系統(tǒng)以及備份介質(zhì)本身的性能特性、業(yè)務(wù)發(fā)展的規(guī)模及趨勢(shì)判斷等等。本文從以下幾個(gè)原則來(lái)進(jìn)行評(píng)估:
數(shù)據(jù)庫(kù)的備份既要有全量備份也要有歸檔日志的備份,全量備份可以根據(jù)數(shù)據(jù)量及重要程度以天為單位進(jìn)行頻度調(diào)整;歸檔備份可以根據(jù)數(shù)據(jù)庫(kù)恢復(fù)區(qū)空間預(yù)留、歸檔增長(zhǎng)趨勢(shì)、數(shù)據(jù)恢復(fù)時(shí)間要求、業(yè)務(wù)系統(tǒng)歸檔特點(diǎn)等多方面來(lái)進(jìn)行以小時(shí)為單位的頻度調(diào)整和作業(yè)發(fā)起調(diào)用。
文件類型數(shù)據(jù)可以根據(jù)具體數(shù)據(jù)量來(lái)選擇是否利用傳統(tǒng)的文件復(fù)制方式來(lái)實(shí)現(xiàn)其備份,對(duì)于數(shù)據(jù)量大的情況可以采用存儲(chǔ)快照方式進(jìn)行卷級(jí)別的復(fù)制代替以文件為單位的掃描復(fù)制方式。
系統(tǒng)備份作業(yè)的分布以及備份時(shí)間需要結(jié)合具體的備份窗口來(lái)進(jìn)行合理調(diào)整,關(guān)鍵業(yè)務(wù)系統(tǒng)的備份作業(yè)不能影響到正常的業(yè)務(wù),需要有強(qiáng)制的約束條件來(lái)約束備份作業(yè)時(shí)間跨度。尤其是全量備份,隨著業(yè)務(wù)不斷發(fā)展,數(shù)據(jù)量會(huì)與日俱增,如果對(duì)備份作業(yè)不進(jìn)行任何調(diào)整,那么很有可能原有備份作業(yè)會(huì)超越備份窗口影響到業(yè)務(wù)性能。
根據(jù)具體的數(shù)據(jù)類型和業(yè)務(wù)重要性對(duì)所有備份作業(yè)進(jìn)行分級(jí)管理。有些數(shù)據(jù)需要持續(xù)備份,有些數(shù)據(jù)可能只需要在特殊變更日進(jìn)行備份即可,例如虛擬化的 VMDK 文件數(shù)據(jù),完全沒有必要進(jìn)行持續(xù)備份,只需要在變更后進(jìn)行備份即可。
以上是對(duì)備份對(duì)象的確定以及如何把握具體的備份策略的分析和描述,具體細(xì)節(jié)及關(guān)鍵方法在接下來(lái)的章節(jié)會(huì)有詳細(xì)的剖析和介紹。
所謂備份系統(tǒng)中的一些關(guān)鍵對(duì)象包括:備份軟件、備份介質(zhì)、備份管理服務(wù)器、備份作業(yè)服務(wù)器、備份路徑等。這些關(guān)鍵元素共同組成了一個(gè)完成的備份系統(tǒng)。
備份軟件:常用的備份軟件包括 IBM TSM 、 EMC Networker 、 SYMANTIC NBU 等。
備份介質(zhì):常用的備份介質(zhì)包括帶庫(kù)、 EMC DATADomain 、常規(guī)存儲(chǔ)等。
備份管理服務(wù)器:對(duì)備份作業(yè)進(jìn)行配置調(diào)度并且保存?zhèn)浞菰獢?shù)據(jù)的集中管理節(jié)點(diǎn)。
備份作業(yè)服務(wù)器:具體執(zhí)行備份作業(yè)的備份服務(wù)器。
備份路徑:每一個(gè)備份作業(yè)從客戶端采集數(shù)據(jù)到備份介質(zhì)的整個(gè)路徑。
一般的企業(yè)可能只需要進(jìn)行本地備份即可,但是對(duì)于某些行業(yè)尤其是金融行業(yè),備份要求比較高,需要采用主數(shù)據(jù)中心和備數(shù)據(jù)中心聯(lián)動(dòng)的高可用備份架構(gòu)。
整體架構(gòu)從上到下分為三層:備份客戶端層、備份控制層以及數(shù)據(jù)存儲(chǔ)層。中間通過網(wǎng)絡(luò)(以太網(wǎng)絡(luò)或者是光纖網(wǎng)絡(luò))相連接。紅色線表示控制信息流向,藍(lán)色線表示備份過程中的數(shù)據(jù)流向。
備份客戶端層,圖中最上面的部分既是。備份客戶端是我們要備份的數(shù)據(jù)對(duì)象存放的服務(wù)器,例如數(shù)據(jù)庫(kù)服務(wù)器、虛擬化平臺(tái)的 VCenter 、 NAS 服務(wù)器等。一般需要備份軟件的客戶端 AGENT 安裝到備份對(duì)象服務(wù)器上實(shí)現(xiàn)備份目標(biāo)與備份服務(wù)器的通訊。
備份控制層,圖中中間的部分既是。主要包括備份主服務(wù)器和備份作業(yè)服務(wù)器,主服務(wù)器根據(jù)配置好的調(diào)度策略以及整體架構(gòu)中的備份元素發(fā)送作業(yè)調(diào)度指令,并且將存儲(chǔ)片的元數(shù)據(jù)存儲(chǔ)到主服務(wù)器上的數(shù)據(jù)庫(kù)當(dāng)中。然后作業(yè)服務(wù)器可以通過與客戶端的交互完成具體備份作業(yè)。元數(shù)據(jù)是具體備份片的索引信息、而真正的備份片數(shù)據(jù)會(huì)通過作業(yè)服務(wù)器送入備份介質(zhì)當(dāng)中,當(dāng)我們對(duì)數(shù)據(jù)進(jìn)行恢復(fù)時(shí),首先需要對(duì)備份數(shù)據(jù)的元數(shù)據(jù)分析才能知道具體的數(shù)據(jù)備份位置及組合信息等,然后才能通過元數(shù)據(jù)的組織和具體備份片的恢復(fù)完成一個(gè)業(yè)務(wù)數(shù)據(jù)的完整恢復(fù)。
數(shù)據(jù)存儲(chǔ)層,圖中對(duì)下面的部分即是。實(shí)際上就是備份數(shù)據(jù)最終要存儲(chǔ)的地方,可以通過光纖網(wǎng)絡(luò)或者以太網(wǎng)絡(luò)實(shí)現(xiàn)其與備份控制層的連接。傳統(tǒng)模式一般會(huì)是光纖網(wǎng)絡(luò)和虛擬帶庫(kù)的組合模式,其優(yōu)點(diǎn)在于備份速度和容量的性價(jià)比上。但是近些年來(lái)隨著以太網(wǎng)技術(shù)的發(fā)展,利用高速網(wǎng)絡(luò)實(shí)現(xiàn)的備份數(shù)據(jù)傳輸同樣可以保障其備份速度,同時(shí)具備更好的靈活性。所以近些年來(lái)利用萬(wàn)兆以太網(wǎng)和 DDBoast 組合的方式也越來(lái)越多。
整個(gè)備份系統(tǒng)的高可用性是由每一個(gè)部分服務(wù)的高可用配置來(lái)保障的,主要包括備份控制層、備份存儲(chǔ)介質(zhì)層以及跨數(shù)據(jù)中心級(jí)別的高可用架構(gòu)配置。下面我們分別來(lái)做剖析:
主備份服務(wù)器是整個(gè)備份系統(tǒng)的集中控制節(jié)點(diǎn),其保存的元數(shù)據(jù)也是備份得以恢復(fù)的關(guān)鍵數(shù)據(jù),因此為了保障主服務(wù)器的不間斷工作,需要保障主服務(wù)器為主備或者更高級(jí)別的高可用架構(gòu),元數(shù)據(jù)為所有本地主服務(wù)器共享,如圖中所示的 HA 模式。
作業(yè)服務(wù)器是所有備份作業(yè)的執(zhí)行者,必須將其組成一個(gè)備份作業(yè)服務(wù)器池,由這個(gè)備份作業(yè)服務(wù)器池向客戶端提供統(tǒng)一備份作業(yè)服務(wù)才能保障備份作業(yè)的不間斷性以及備份作業(yè)并發(fā)執(zhí)行的性能,備份作業(yè)可以分布在不同的作業(yè)服務(wù)器節(jié)點(diǎn)上進(jìn)行作業(yè),如圖中所示的負(fù)載均衡資源池模式。
從備份存儲(chǔ)介質(zhì)層面上來(lái)看,為了保障備份作業(yè)無(wú)中斷目標(biāo),我們需要將兩個(gè)或者多個(gè)存儲(chǔ)介質(zhì)設(shè)備綁定為一個(gè)虛擬的存儲(chǔ)介質(zhì)池,當(dāng)存儲(chǔ)介質(zhì)發(fā)生故障時(shí)可以自動(dòng)切換存儲(chǔ)介質(zhì)設(shè)備,至少可以手動(dòng)切換存儲(chǔ)介質(zhì)設(shè)備。
容災(zāi)角度來(lái)看,如圖所示:兩個(gè)備份域之間備份介質(zhì)可以通過光纖網(wǎng)絡(luò)層或者是以太網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)據(jù)的異步復(fù)制,這樣可以保障真正的備份數(shù)據(jù)可以跨地域?qū)崿F(xiàn)數(shù)據(jù)保護(hù),但是光有這些數(shù)據(jù)我們無(wú)法實(shí)施數(shù)據(jù)恢復(fù),因?yàn)閿?shù)據(jù)恢復(fù)過程中最主要的是要根據(jù)元數(shù)據(jù)記錄的備份片索引及結(jié)構(gòu)目錄找到真正的數(shù)據(jù)備份片實(shí)現(xiàn)完整的數(shù)據(jù)恢復(fù)。所以主備份服務(wù)器也要實(shí)現(xiàn)跨域界別的元數(shù)據(jù)復(fù)制。
對(duì)于存儲(chǔ)在傳統(tǒng) NAS 文件系統(tǒng)上的文件類數(shù)據(jù),如果用通用的備份方法只能通過文件復(fù)制的方式來(lái)實(shí)現(xiàn)其全量和增量備份。但是隨著日積月累的非結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng),這類數(shù)據(jù)可能會(huì)從 TB 級(jí)別發(fā)展到 10TB 甚至 PB 級(jí)別。這類數(shù)據(jù)存儲(chǔ)組織的方式是文件系統(tǒng)的樹目錄形式,隨著數(shù)據(jù)的增加,其目錄的深度和規(guī)模也會(huì)呈現(xiàn)劇增趨勢(shì)。備份軟件在掃描文件目錄的時(shí)候會(huì)變得非常非常慢,最終導(dǎo)致備份作業(yè)慢到超過備份窗口的程度。
如果從業(yè)務(wù)管理層面來(lái)解決該問題的話,那么就是要讓備份作業(yè)在一定時(shí)間段內(nèi)保持在合理的數(shù)據(jù)量范圍之內(nèi),也就是說要形成合理的多級(jí)數(shù)據(jù)緩存,根據(jù)數(shù)據(jù)使用頻度建立多級(jí)轉(zhuǎn)儲(chǔ)以及歸檔體系。保障使用頻度高的數(shù)據(jù)在日常備份作業(yè)范圍內(nèi),合理歸檔使用頻率非常低的歷史數(shù)據(jù)。拿金融行業(yè)的票據(jù)、信貸類系統(tǒng)來(lái)說,我們可以將合理業(yè)務(wù)周期內(nèi)的非結(jié)構(gòu)化數(shù)據(jù)存在在一級(jí)緩存當(dāng)中,保障業(yè)務(wù)復(fù)核階段的數(shù)據(jù)讀??;將業(yè)務(wù)周期外的非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)儲(chǔ)到二級(jí) NAS 平臺(tái)上,保障近期內(nèi)可能使用到的業(yè)務(wù)場(chǎng)景;將較長(zhǎng)周期之前的數(shù)據(jù)定義為離線數(shù)據(jù),歸檔到歸檔存儲(chǔ)設(shè)備當(dāng)中。備份僅僅涉及到歸檔之前的數(shù)據(jù)。這樣既可以保障數(shù)據(jù)存取的性能,又能保障備份作業(yè)的長(zhǎng)期穩(wěn)定性,最終保障備份系統(tǒng)整體的安全穩(wěn)定。
通過 3.1 章節(jié)對(duì)問題的原因分析,我們知道導(dǎo)致備份無(wú)法進(jìn)行的原因在于備份軟件對(duì)于龐大文件系統(tǒng)目錄的掃描時(shí)間過長(zhǎng)。那么順著這個(gè)思路,如果我們?cè)趥浞莸臅r(shí)候能避免去掃描整個(gè)文件系統(tǒng)目錄,而是通過別的方式來(lái)完成備份,就可以解決這個(gè)問題。通過調(diào)查研究我們發(fā)現(xiàn)目有兩種方法可以實(shí)現(xiàn):
1) 傳統(tǒng) NAS 的快照方式。對(duì)于傳統(tǒng)的 NAS 存儲(chǔ)來(lái)講,快照是非常普遍的功能,通過 NAS 本身的快照復(fù)制,我們可以不用掃描文件系統(tǒng)目錄,僅僅基于某一個(gè)時(shí)刻點(diǎn)的快照,進(jìn)行卷級(jí)別的復(fù)制實(shí)現(xiàn)全量備份;通過塊兒級(jí)別的對(duì)比實(shí)現(xiàn)增量備份,因?yàn)?NAS 設(shè)備底層還是基于塊兒設(shè)備實(shí)現(xiàn)的。當(dāng)然這種技術(shù)需要對(duì)存儲(chǔ)本身的快照功能有非常強(qiáng)的依賴性。
2) 分布式 NAS 存儲(chǔ)的日志記錄方式。某些基于分布式技術(shù)實(shí)現(xiàn)的 NAS 存儲(chǔ)可以對(duì)外提供日志操作的接口,也就是說對(duì)文件數(shù)據(jù)的增加和更新會(huì)記錄到存儲(chǔ)本身的底層日志當(dāng)中,那么我們僅僅需要調(diào)用日志比對(duì)的接口就可以快速找到更新的目錄和文件,僅僅需要掃描更新的部分做增量的復(fù)制來(lái)完成備份。
以上的兩種技術(shù)方案需要我們?cè)谧鰝浞菀?guī)劃之前的選型階段對(duì)不同的備份軟件及存儲(chǔ)介質(zhì)等進(jìn)行深度調(diào)研和分析,盡可能科學(xué)合理組合實(shí)現(xiàn)以上解決方案。