專利名稱：基于嵌入式一體化虛擬磁帶庫的數(shù)據(jù)歸檔保護(hù)系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機(jī)存儲技術(shù)領(lǐng)域，尤其涉及一種基于嵌入式一體化虛擬磁帶庫的
數(shù)據(jù)歸檔保護(hù)系統(tǒng)和方法。
背景技術(shù)：
隨著計算機(jī)信息系統(tǒng)的不斷發(fā)展，用戶的核心業(yè)務(wù)越來越依賴于信息系統(tǒng)的可靠運行，信息系統(tǒng)中的關(guān)鍵業(yè)務(wù)數(shù)據(jù)已經(jīng)成為用戶最為重要的資產(chǎn)。因此，對關(guān)鍵的業(yè)務(wù)數(shù)據(jù)進(jìn)行備份保護(hù)刻不容緩。 是為了確保在出現(xiàn)數(shù)據(jù)丟失或系統(tǒng)災(zāi)難時將復(fù)制的數(shù)據(jù)恢復(fù)回來。用戶大多采用備份技術(shù)，但備份技術(shù)關(guān)注的是業(yè)務(wù)信息的變化和更新，是短期的存儲行為，并且經(jīng)常被覆蓋。比如銀行每天要備份交易記錄。當(dāng)數(shù)據(jù)停止改變或不被頻繁使用時，可以通過歸檔技術(shù)把它們轉(zhuǎn)移到別的地方，讓出主存儲空間，并且使之處于日常的備份窗口之外，既節(jié)約了空間，又提升了備份的效率。歸檔技術(shù)則用于對數(shù)據(jù)進(jìn)行有效的管理、保留和長期的訪問與檢索。企業(yè)可以將歸檔和備份結(jié)合起來用，以達(dá)到優(yōu)化成本、改進(jìn)存儲基礎(chǔ)設(shè)施的整體效力，使備份能夠在有效的歸檔解決方案下變得更有效率，而歸檔也可以利用備份基礎(chǔ)設(shè)施滿足數(shù)據(jù)保護(hù)需要。目前磁帶庫仍然被各種規(guī)模的組織用在關(guān)鍵的任務(wù)數(shù)據(jù)保護(hù)和數(shù)據(jù)保存。
目前隨著數(shù)據(jù)量的快速增長，當(dāng)用戶有大量慢服務(wù)器需要通過網(wǎng)絡(luò)備份，同時，客戶希望在發(fā)生災(zāi)難時，需要在一定時間內(nèi)盡快恢復(fù)。而在傳統(tǒng)的慢服務(wù)器備份中，這些服務(wù)器的備份速度很慢，而且需要順序備份和恢復(fù)，因此，傳統(tǒng)數(shù)據(jù)保護(hù)方式肯定無法滿足客戶要求。其次當(dāng)用戶有大量小文件需要備份，如果用戶需要逐個備份與恢復(fù)，由于磁帶逐個備份的速度非常慢。而且大多數(shù)用戶如果需要持續(xù)的備份，不能有任何時間間歇，而基于磁帶的備份是基于時間段的，無法持續(xù)進(jìn)行。而且用戶希望在備份不能影響應(yīng)用服務(wù)器的性能，或者要減少備份對應(yīng)用服務(wù)器性能的影響。中國專利申請CN200810167582. 7公開了一種嵌入式一體化的虛擬磁帶庫系統(tǒng)和方法。該發(fā)明可使虛擬磁帶庫成為了一種獨立的專用外設(shè)，其使用方式也更接近物理磁帶庫。在技術(shù)上虛擬磁帶庫是將磁盤作為備份介指，通過虛擬程序?qū)⒋疟P解釋成磁帶的格式。每個虛擬帶庫廠商的虛擬磁帶格式不盡相同。物理磁帶離線的優(yōu)勢是虛擬磁帶庫無法比擬的，物理磁帶由于是標(biāo)準(zhǔn)的數(shù)據(jù)格式，能夠在不同的磁帶機(jī)上讀出數(shù)據(jù)。如果虛擬磁帶庫出現(xiàn)毀壞，那虛擬磁帶庫上的數(shù)據(jù)將會全部丟失，這也將給用戶備份的數(shù)據(jù)造成嚴(yán)重丟失。

發(fā)明內(nèi)容
本發(fā)明提出了一種基于嵌入式一體化虛擬磁帶庫的數(shù)據(jù)歸檔保護(hù)系統(tǒng)和方法。系統(tǒng)包括策略調(diào)度模塊、遷移控制模塊、數(shù)據(jù)傳輸模塊、磁帶映射模塊、命令轉(zhuǎn)發(fā)模塊等邏輯功能模塊，其中 策略調(diào)度模塊設(shè)置虛擬磁帶和物理磁帶的對應(yīng)關(guān)系，設(shè)置每個虛擬磁帶導(dǎo)出的時間策略，設(shè)置導(dǎo)出時間策略后，到了設(shè)置的時間，策略調(diào)度模塊調(diào)用遷移控制模塊啟動遷移任務(wù)； 遷移控制模塊，啟動和停止遷移任務(wù)、管理虛擬磁帶索引、控制物理磁磁帶的移
動；本模塊作為二進(jìn)制程序的形式存在，根據(jù)用戶指定的參數(shù)，進(jìn)行工作。每次遷移之前，
遷移控制模塊將虛擬磁帶頭上的數(shù)據(jù)索引存放在指定目錄下，通過虛擬磁帶庫系統(tǒng)的SCSI
驅(qū)動，與物理磁帶庫進(jìn)行通信。當(dāng)虛擬磁帶索引保存完畢，物理磁帶移動到指定的驅(qū)動器
中，遷移控制模塊將通過虛擬磁帶庫系統(tǒng)的PROC文件系統(tǒng)(一個虛擬的文件系統(tǒng))，向遷移
數(shù)據(jù)傳輸模塊發(fā)起傳輸指令，向磁帶映射發(fā)起映射指令。當(dāng)用戶希望停止遷移任務(wù)時，遷移
控制模塊可以終止任務(wù)，將虛擬磁帶頭上的遷移記錄恢復(fù)到任務(wù)開始前的狀態(tài)。 數(shù)據(jù)傳輸模塊，實施虛擬磁帶和物理磁帶之間的數(shù)據(jù)傳輸，數(shù)據(jù)傳輸模塊作為虛
擬磁帶庫系統(tǒng)的內(nèi)核模塊的形式存在，根據(jù)遷移控制模塊傳來的參數(shù)，啟動不同的遷移任
務(wù)，遷移任務(wù)分為全部遷移、增量遷移。數(shù)據(jù)傳輸模塊通過虛擬磁帶庫系統(tǒng)內(nèi)核的塊設(shè)備接
口，對虛擬磁帶進(jìn)行讀寫；通過虛擬磁帶庫系統(tǒng)內(nèi)核SG(SCSI Generic)驅(qū)動，與物理磁帶
機(jī)設(shè)備通信，對物理磁帶進(jìn)行讀寫。數(shù)據(jù)傳輸模塊通過虛擬磁帶庫的解壓縮模塊，將對數(shù)據(jù)
進(jìn)行壓縮和解壓縮。 磁帶映射模塊，將虛擬磁帶與物理磁帶建立關(guān)聯(lián)，主機(jī)對建立關(guān)聯(lián)的虛擬磁帶的
操作，本系統(tǒng)通過命令轉(zhuǎn)化模塊，將命令轉(zhuǎn)化為對物理磁帶的操作。本模塊以虛擬磁帶庫系
統(tǒng)的內(nèi)核模塊的形式存在，根據(jù)遷移控制模塊的指令，對相應(yīng)磁帶進(jìn)行關(guān)聯(lián)。 命令轉(zhuǎn)發(fā)模塊，用于轉(zhuǎn)發(fā)主機(jī)對物理磁帶的操作。主機(jī)給關(guān)聯(lián)的虛擬磁帶發(fā)的命
令，本模塊直接轉(zhuǎn)化為對后端物理磁帶的操作。命令轉(zhuǎn)發(fā)模塊以虛擬磁帶庫系統(tǒng)的內(nèi)核模
塊的形式存在。主機(jī)對虛擬磁帶的讀、寫、移動，命令轉(zhuǎn)發(fā)模塊根據(jù)關(guān)聯(lián)的規(guī)則，操作后端的
機(jī)械手或驅(qū)動器，完成相應(yīng)的操作。 虛擬磁帶庫通過自身的HBA(Host bus ad即ter，主機(jī)總線適配器)與物理磁帶庫或物理磁帶驅(qū)動器連接，數(shù)據(jù)能夠在虛擬磁帶和物理磁帶之間快速遷移。數(shù)據(jù)從虛擬磁帶庫遷移到物理磁帶庫上稱為導(dǎo)出，數(shù)據(jù)從物理磁帶庫遷移到虛擬磁帶庫上稱為導(dǎo)入。當(dāng)虛擬磁帶的數(shù)據(jù)導(dǎo)出到物理磁帶上后，物理磁帶可以離線保存。當(dāng)虛擬磁帶庫里的數(shù)據(jù)毀壞，可以將物理磁帶上的數(shù)據(jù)先導(dǎo)入到虛擬磁帶中。主機(jī)通過讀取虛擬磁帶的數(shù)據(jù)來恢復(fù)數(shù)據(jù)，也可以通過虛擬磁帶庫作為橋接，直接從物理磁帶庫上恢復(fù)數(shù)據(jù)。為了能夠縮小同一個虛擬磁帶多次導(dǎo)出的時間，本發(fā)明支持增量數(shù)據(jù)導(dǎo)出，即只導(dǎo)出次盤虛擬磁帶上新備份的數(shù)據(jù)。 本發(fā)明實施方案中包含開放系統(tǒng)主機(jī)、備份軟件、虛擬磁帶庫、物理磁帶庫等。


下面結(jié)合附圖和具體實施方案對本發(fā)明作進(jìn)一步詳細(xì)說明。
圖1是本發(fā)明虛擬磁帶庫數(shù)據(jù)保護(hù)系統(tǒng)結(jié)構(gòu)示意圖 圖2是本發(fā)明系統(tǒng)邏輯結(jié)構(gòu)示意圖 圖3是本發(fā)明系統(tǒng)中數(shù)據(jù)遷移調(diào)用層次示意圖 圖4是本發(fā)明系統(tǒng)中透明恢復(fù)調(diào)用層次示意圖 圖5是本發(fā)明系統(tǒng)中支持增量導(dǎo)出的虛擬磁帶結(jié)構(gòu)示意圖 圖6是本發(fā)明系統(tǒng)中數(shù)據(jù)遷移流程圖
圖7是本發(fā)明實施例結(jié)構(gòu)示意圖
具體實施例方式
為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明實施例的方案，下面結(jié)合附圖和實施 方式對本發(fā)明實施例作進(jìn)一步的詳細(xì)說明。 首先，參照圖1 :虛擬磁帶庫數(shù)據(jù)保護(hù)系統(tǒng)結(jié)構(gòu)示意圖，備份服務(wù)器上安裝備份軟 件，備份軟件中保存有備份文件索引，索引記錄了文件的相關(guān)屬性和在物理磁帶中的位置 等信息，用來從磁帶中恢復(fù)數(shù)據(jù)使用。系統(tǒng)主機(jī)通過將數(shù)據(jù)備份到虛擬磁帶庫中，虛擬磁帶 庫通過遷移模塊將數(shù)據(jù)遷移到物理磁帶庫中。當(dāng)需要恢復(fù)已導(dǎo)出的數(shù)據(jù)時，本系統(tǒng)可以先 把數(shù)據(jù)導(dǎo)入到虛擬磁帶庫中，主機(jī)恢復(fù)數(shù)據(jù)。主機(jī)也可以通過虛擬磁帶庫，直接把數(shù)據(jù)從物 理磁帶庫中恢復(fù)。
參照圖2 :是本發(fā)明本發(fā)明系統(tǒng)邏輯結(jié)構(gòu)示意圖，步驟包括 步驟201 :策略調(diào)度模塊給遷移控制模塊發(fā)出遷移指令； 步驟202 :遷移控制模塊準(zhǔn)備好物理磁帶機(jī)和虛擬磁帶的索引； 步驟203 :遷移控制模塊將物理磁帶和虛擬磁帶的信息發(fā)給磁帶關(guān)聯(lián)模塊； 步驟204 :數(shù)據(jù)傳輸模塊將數(shù)據(jù)寫入到物理磁帶中； 步驟205 :主機(jī)向磁帶磁帶庫發(fā)起恢復(fù)數(shù)據(jù)的指令； 步驟206 :命令轉(zhuǎn)發(fā)模塊受到主機(jī)的指令后，對后端的物理磁帶庫進(jìn)行操作； 步驟207 :物理磁帶庫將數(shù)據(jù)返回給虛擬磁帶庫； 步驟208 :虛擬磁帶庫將數(shù)據(jù)返回給主機(jī)，完成主機(jī)的指令。 參照圖3 :是本發(fā)明數(shù)據(jù)遷移調(diào)用層次示意圖，遷移控制模塊通過PROC文件系統(tǒng) 向數(shù)據(jù)傳輸模塊傳遞參數(shù)，數(shù)據(jù)傳輸模塊通過SG(SCSI Generic)驅(qū)動，對物理磁帶機(jī)設(shè)備 進(jìn)行讀寫。遷移控制模塊通過DEV文件系統(tǒng)，對物理磁帶庫設(shè)備進(jìn)行控制?？刂频闹噶钔?過SG驅(qū)動，傳遞給物理磁帶庫。步驟包括 步驟301 :遷移控制模塊向DEV文件系統(tǒng)下的設(shè)備文件寫入控制物理磁帶庫的
SCSI指令； 步驟302 :DEV文件系統(tǒng)將指令傳給SG驅(qū)動； 步驟303 :遷移控制模塊將遷移指令寫入PR0C文件系統(tǒng)下的遷移設(shè)備文件； 步驟304 :PR0C文件系統(tǒng)將指令傳給數(shù)據(jù)傳輸模塊； 步驟305 :數(shù)據(jù)傳輸模塊將讀寫物理驅(qū)動器的SCSI指令傳給SG驅(qū)動。 參照圖4 :是本發(fā)明透明恢復(fù)調(diào)用層次示意圖，命令轉(zhuǎn)化模塊通過磁帶的關(guān)聯(lián)信
息，分析出需要的物理磁帶，并將主機(jī)對虛擬磁帶的操作，轉(zhuǎn)化為對后端物理磁帶的操作。 對物理磁帶的操作是通過DEV文件系統(tǒng)下的物理機(jī)械手設(shè)備文件的操作完成的。設(shè)備文件 通過SCSI驅(qū)動對實際的物理機(jī)械手進(jìn)行操作。
步驟包括 步驟401 :命令轉(zhuǎn)化模塊將指令轉(zhuǎn)化為對物理磁帶的操作，寫入SCSI中間層驅(qū) 動； 步驟402 :SCSI中間層驅(qū)動將指令傳遞給SCSI卡的驅(qū)動。
參照圖5 :是本發(fā)明系統(tǒng)支持增量導(dǎo)出的虛擬磁帶結(jié)構(gòu)示意圖，其中
1 :虛擬磁帶頭，保存虛擬磁帶的版本、寫入次數(shù)、文件個數(shù)、剩余容量等基本信 息； 2 :FILEMARK信息，記錄每個FILEMARK偏移，及之前的數(shù)據(jù)塊個數(shù)； 3:導(dǎo)出索引，每次導(dǎo)出完畢后，將本次導(dǎo)出的文件個數(shù)，數(shù)據(jù)快的位置等信息，記
導(dǎo)出索引中； 4 :真實的數(shù)據(jù)存儲區(qū)域； 5 :每個數(shù)據(jù)塊描述符，描述每個數(shù)據(jù)塊的大小，位置等信息，描述符從后向前排 列。
參照圖6 :是本發(fā)明系統(tǒng)數(shù)據(jù)遷移流程圖，步驟包括
步驟601 :遷移控制模塊檢查物理磁帶是否就緒；
步驟602 :遷移控制模塊處理虛擬磁帶數(shù)據(jù)索引；
步驟603 :遷移控制模塊檢查虛擬磁帶導(dǎo)出索引；
步驟604 :遷移控制模塊判斷導(dǎo)出類型； 步驟605 :數(shù)據(jù)傳輸模塊根據(jù)導(dǎo)出類型，將物理磁帶定位要正確的位置；
步驟606 :定位后，做數(shù)據(jù)讀寫； 步驟607 :數(shù)據(jù)讀寫完成后，更新虛擬磁帶頭上的導(dǎo)出索引。 參照圖7，是本發(fā)明實施例結(jié)構(gòu)示意圖，用戶備份環(huán)境，UNIX服務(wù)器，運行 Informix數(shù)據(jù)庫，數(shù)據(jù)量約100GB。 VTL容量6TB，光纖接口 ，后端連接SCSI接口的STKL20 磁帶庫。主機(jī)通過光纖交換機(jī)連接存儲設(shè)備，備份軟件采用EMCNet worker,配置LAN FREE 備份。開放系統(tǒng)主機(jī)BACKUP SERVER (Windows 2003)，型號DELL1850，虛擬磁帶庫通過SCSI 連接將數(shù)據(jù)導(dǎo)入或?qū)С龅轿锢韼霺TKL20上。虛擬磁帶是LT0-1類型的磁帶，容量100G， 物理磁帶容量也是100G。用戶每個月，將關(guān)鍵的虛擬磁帶數(shù)據(jù)導(dǎo)出到物理磁帶上。每次導(dǎo) 出的物理磁帶存儲在安全的地方。某日，備份主機(jī)和虛擬磁帶庫被毀壞。通過保存的物理 磁帶恢復(fù)出備份軟件的文件索引，又通過文件索引，恢復(fù)出保存在離線磁帶內(nèi)的關(guān)鍵數(shù)據(jù)。 保護(hù)了用戶的關(guān)鍵數(shù)據(jù)。 以上對本發(fā)明實施例進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體實施方式
對本發(fā)明進(jìn)行 了闡述，以上實施例的說明只是用于幫助理解本發(fā)明的系統(tǒng)及方法；同時，對于本領(lǐng)域的 一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實施方式
及應(yīng)用范圍上均會有改變之處，綜上所 述，本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。
權(quán)利要求
一種基于嵌入式一體化虛擬磁帶庫的數(shù)據(jù)歸檔保護(hù)系統(tǒng)，其特征在于所述系統(tǒng)包括策略調(diào)度模塊、遷移控制模塊、數(shù)據(jù)傳輸模塊、磁帶映射模塊、命令轉(zhuǎn)發(fā)模塊等邏輯功能模塊，其中策略調(diào)度模塊設(shè)置虛擬磁帶和物理磁帶的對應(yīng)關(guān)系，設(shè)置每個虛擬磁帶導(dǎo)出的時間策略，設(shè)置導(dǎo)出時間策略后，到了設(shè)置的時間，策略調(diào)度模塊調(diào)用遷移控制模塊啟動遷移任務(wù)；遷移控制模塊，啟動和停止遷移任務(wù)、管理虛擬磁帶索引、控制物理磁磁帶的移動；數(shù)據(jù)傳輸模塊，實施虛擬磁帶和物理磁帶之間的數(shù)據(jù)傳輸；磁帶映射模塊，將虛擬磁帶與物理磁帶建立關(guān)聯(lián)；命令轉(zhuǎn)發(fā)模塊，用于轉(zhuǎn)發(fā)主機(jī)對物理磁帶的操作。
2. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述系統(tǒng)將虛擬磁帶庫中虛擬磁帶的數(shù) 據(jù)導(dǎo)出到物理磁帶上后，物理磁帶可以離線保存。
3. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述系統(tǒng)運行程序在嵌入式一體化虛擬 磁帶庫上操作。
4. 根據(jù)權(quán)利要求3所述的系統(tǒng)，其特征在于，所述開放系統(tǒng)主機(jī)通過讀取嵌入式一體 化虛擬磁帶庫的數(shù)據(jù)來恢復(fù)數(shù)據(jù)，也可以通過嵌入式一體化虛擬磁帶庫作為橋接，直接從 物理磁帶庫上恢復(fù)數(shù)據(jù)。
5. 根據(jù)權(quán)利要求2所述的系統(tǒng)，其特征在所述系統(tǒng)支持增量數(shù)據(jù)導(dǎo)出，只導(dǎo)出虛擬磁 帶上更新備份的數(shù)據(jù)。
6. —種基于嵌入式一體化虛擬磁帶庫的數(shù)據(jù)歸檔保護(hù)方法，所述方法步驟包括 通過開放系統(tǒng)主機(jī)將數(shù)據(jù)備份到嵌入式一體化虛擬磁帶庫中，數(shù)據(jù)在磁盤上保存； 遷移控制模塊識別和控制后端物理磁帶庫；數(shù)據(jù)傳輸模塊實現(xiàn)數(shù)據(jù)在虛擬磁帶庫和物理磁帶機(jī)設(shè)備之間的傳輸； 磁帶映射模塊將虛擬磁帶和物理磁帶建立關(guān)聯(lián)；命令轉(zhuǎn)化模塊將主機(jī)對物理磁帶的操作，轉(zhuǎn)發(fā)給后端的物理帶庫，并將物理磁帶庫的 執(zhí)行結(jié)果返回給主機(jī)。
7. 根據(jù)權(quán)利要求6所述的方法，其特征在于，實現(xiàn)所述方法包括外部運行環(huán)境開放系 統(tǒng)主機(jī)、備份軟件、嵌入式一體化虛擬磁帶庫和物理磁帶庫。
8. 根據(jù)權(quán)利要求6所述的方法，其特征在于，所述方法通過運行所述系統(tǒng)的遷移模塊， 可將數(shù)據(jù)遷移到物理磁帶庫中。
9. 根據(jù)權(quán)利要求7所述的方法，其特征在于，所述方法可先把數(shù)據(jù)導(dǎo)入到虛擬磁帶庫 中，主機(jī)恢復(fù)數(shù)據(jù)。主機(jī)也可以通過虛擬磁帶庫，直接把數(shù)據(jù)從物理磁帶庫中恢復(fù)。
10. 根據(jù)權(quán)利要求7所述的方法，其特征在于，所述方法支持增量數(shù)據(jù)導(dǎo)出，通過導(dǎo)出 虛擬磁帶上更新備份的數(shù)據(jù)，縮短同一個虛擬磁帶多次數(shù)據(jù)導(dǎo)出的時間。
全文摘要
一種基于嵌入式一體化虛擬磁帶庫的數(shù)據(jù)歸檔保護(hù)系統(tǒng)和方法。該系統(tǒng)包含策略調(diào)度模塊、遷移控制模塊、數(shù)據(jù)傳輸模塊、磁帶映射模塊、命令轉(zhuǎn)發(fā)模塊等邏輯功能模塊。該系統(tǒng)可以將虛擬磁帶庫中虛擬磁帶的數(shù)據(jù)導(dǎo)出到物理磁帶上后，物理磁帶可以離線保存。當(dāng)虛擬磁帶庫里的數(shù)據(jù)遭到毀壞，可以將物理磁帶上的數(shù)據(jù)先導(dǎo)入到虛擬磁帶中。主機(jī)通過讀取虛擬磁帶的數(shù)據(jù)來恢復(fù)數(shù)據(jù)，也可以通過虛擬磁帶庫作為橋接，直接從物理磁帶庫上恢復(fù)數(shù)據(jù)。同時本發(fā)明為了能夠縮小同一個虛擬磁帶多次導(dǎo)出的時間，支持增量數(shù)據(jù)導(dǎo)出，即只導(dǎo)出虛擬磁帶上更新備份的數(shù)據(jù)。
文檔編號G06F3/06GK101739307SQ20081017228
公開日2010年6月16日 申請日期2008年11月4日 優(yōu)先權(quán)日2008年11月4日
發(fā)明者張慶敏, 胡剛, 謝海威, 鄭志文 申請人:北京眾志和達(dá)信息技術(shù)有限公司