數(shù)據(jù)管理方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)存儲領(lǐng)域，特別涉及一種數(shù)據(jù)管理方法及系統(tǒng)。
【背景技術(shù)】
[0002]現(xiàn)有的元數(shù)據(jù)主要通過光盤和磁盤方式存儲，其中，光盤主要用于移動存儲，由于光盤相對磁介質(zhì)具有更長的使用壽命，可以用來更長時間的保存歸檔數(shù)據(jù)，但光盤容量有限，訪問速度較慢，不適合用作在線存儲設備。磁盤是主要的在線存儲設備，用來存儲活躍的生產(chǎn)數(shù)據(jù)。
[0003]目前，對元數(shù)據(jù)的讀寫過程如圖1所示，首先，文件系統(tǒng)向RAID (Redundant Arrayof Independent Disks，磁盤陣列)卡發(fā)起元數(shù)據(jù)讀取請求，RAID卡計算定位元數(shù)據(jù)在磁盤陣列中所在位置，并向磁盤發(fā)起讀取請求，磁盤讀取元數(shù)據(jù)返回給RAID卡，RAID卡將元數(shù)據(jù)返回給文件系統(tǒng)。文件系統(tǒng)也可在現(xiàn)有元數(shù)據(jù)基礎上發(fā)起寫元數(shù)據(jù)請求，通過RAID卡將元數(shù)據(jù)寫入磁盤。但是，由于元數(shù)據(jù)瑣碎且寫入頻繁，易產(chǎn)生大量的磁盤碎片，對數(shù)據(jù)文件讀寫效率和磁盤使用壽命易產(chǎn)生影響，導致數(shù)據(jù)文件讀寫性能逐漸下降，當數(shù)據(jù)量比較大的時候，磁盤碎片的問題更加難以解決。

【發(fā)明內(nèi)容】

[0004]基于此，有必要針對磁盤碎片量較大、數(shù)據(jù)文件讀寫性能低的問題，提供一種減小磁盤碎片且能提高數(shù)據(jù)文件讀寫性能的數(shù)據(jù)管理方法及系統(tǒng)。
[0005]一種數(shù)據(jù)管理方法，包括如下步驟:
[0006]對系統(tǒng)磁盤進行分區(qū)，劃分單獨存儲分區(qū)；
[0007]設置與所述單獨存儲分區(qū)相對獨立的磁盤陣列；
[0008]將待存儲數(shù)據(jù)分離為元數(shù)據(jù)與數(shù)據(jù)文件；
[0009]將所述元數(shù)據(jù)存儲于所述單獨存儲分區(qū)，將所述數(shù)據(jù)文件存儲于所述磁盤陣列。
[0010]本發(fā)明還提供一種數(shù)據(jù)管理系統(tǒng)，包括:
[0011]分區(qū)模塊，用于對系統(tǒng)磁盤進行分區(qū)，劃分單獨存儲分區(qū)；
[0012]設置模塊，用于設置與所述單獨存儲分區(qū)相對獨立的磁盤陣列；
[0013]分離模塊，用于將待存儲數(shù)據(jù)分離為元數(shù)據(jù)與數(shù)據(jù)文件；
[0014]存儲模塊，用于將所述元數(shù)據(jù)存儲于所述單獨存儲分區(qū)，將所述數(shù)據(jù)文件存儲于所述磁盤陣列。
[0015]上述數(shù)據(jù)管理方法及系統(tǒng)，將待存儲數(shù)據(jù)分離為元數(shù)據(jù)與數(shù)據(jù)文件，將元數(shù)據(jù)存儲于單獨存儲分區(qū)，將數(shù)據(jù)文件存儲于與單獨存儲分區(qū)相對獨立的磁盤陣列，元數(shù)據(jù)和數(shù)據(jù)文件的分開存儲。從而對元數(shù)據(jù)進行讀取時，無需通過RAID卡向磁盤陣列發(fā)送讀寫請求，而是通過直接向系統(tǒng)磁盤發(fā)送元數(shù)據(jù)讀寫請求，減少寫懲罰，根據(jù)元數(shù)據(jù)讀寫請求，進行元數(shù)據(jù)的讀寫。由于存儲元數(shù)據(jù)的系統(tǒng)磁盤與存儲數(shù)據(jù)文件的磁盤陣列是獨立分開的，不但降低了磁盤陣列對元數(shù)據(jù)的存儲壓力，而且對元數(shù)據(jù)讀寫時，無需對存儲數(shù)據(jù)文件的磁盤陣列進行訪問，直接訪問存儲元數(shù)據(jù)的系統(tǒng)磁盤即可，沒有索引文件等元數(shù)據(jù)的干擾，可大幅降低磁盤陣列的碎片，對數(shù)據(jù)文件讀寫效率和磁盤陣列使用壽命均有明顯提升，有利于磁盤陣列保護。
【附圖說明】
[0016]圖1為現(xiàn)有的元數(shù)據(jù)讀寫原理圖；
[0017]圖2為一實施方式的數(shù)據(jù)管理方法的流程圖；
[0018]圖3為另一實施方式的數(shù)據(jù)管理方法的子流程圖；
[0019]圖4為另一實施方式的數(shù)據(jù)管理方法的子流程圖；
[0020]圖5為另一實施方式的數(shù)據(jù)管理方法的子流程圖；
[0021]圖6為另一實施方式的數(shù)據(jù)管理方法的子流程圖；
[0022]圖7為另一實施方式的數(shù)據(jù)管理方法的子流程圖；
[0023]圖8為另一實施方式的數(shù)據(jù)管理方法的子流程圖；
[0024]圖9為一實施方式的數(shù)據(jù)管理方法的元數(shù)據(jù)讀寫原理圖；
[0025]圖10為一實施方式的數(shù)據(jù)管理系統(tǒng)的模塊圖；
[0026]圖11為另一實施方式的數(shù)據(jù)管理系統(tǒng)的子模塊圖；
[0027]圖12為另一實施方式的數(shù)據(jù)管理系統(tǒng)的子模塊圖；
[0028]圖13為另一實施方式的數(shù)據(jù)管理系統(tǒng)的子模塊圖；
[0029]圖14為另一實施方式的數(shù)據(jù)管理系統(tǒng)的子模塊圖。
【具體實施方式】
[0030]請參閱圖2，提供一種實施方式的數(shù)據(jù)管理方法，包括以下步驟:
[0031]SlOO:對系統(tǒng)磁盤進行分區(qū)，劃分單獨存儲分區(qū)。
[0032]系統(tǒng)磁盤是指操作系統(tǒng)運行盤，元數(shù)據(jù)為描述數(shù)據(jù)的數(shù)據(jù)，主要是描述數(shù)據(jù)屬性的信息，用來支持如指示存儲位置、歷史數(shù)據(jù)、資源查找、文件記錄等功能。在實際操作過程中，提供服務器，首先對服務器的系統(tǒng)磁盤進行分區(qū)，為存儲元數(shù)據(jù)提供單獨存儲分區(qū)，將元數(shù)據(jù)存儲在服務器的系統(tǒng)磁盤的單獨存儲分區(qū)。例如，在系統(tǒng)磁盤中劃出200G的存儲空間作為索引文件分區(qū)，即為元數(shù)據(jù)在系統(tǒng)磁盤中劃分出了單獨存儲分區(qū)。
[0033]S200:設置與單獨存儲分區(qū)相對獨立的磁盤陣列。
[0034]為存儲數(shù)據(jù)文件，設置磁盤陣列，服務器由主機和磁盤陣列兩部分構(gòu)成，主機與磁盤陣列連接，磁盤陣列與系統(tǒng)磁盤是相對獨立的，從而磁盤陣列與存儲元數(shù)據(jù)的單獨存儲分區(qū)是獨立分開的。
[0035]S300:將待存儲數(shù)據(jù)分離為元數(shù)據(jù)與數(shù)據(jù)文件。
[0036]待存儲數(shù)據(jù)是包括元數(shù)據(jù)和數(shù)據(jù)文件的，數(shù)據(jù)在實際傳送過程中，包括元數(shù)據(jù)和數(shù)據(jù)文件的傳送，由于為元數(shù)據(jù)和數(shù)據(jù)文件提供的存儲空間是分開獨立的，從而需要對待存儲數(shù)據(jù)進行分離得到元數(shù)據(jù)和數(shù)據(jù)文件。
[0037]S400:將元數(shù)據(jù)存儲于單獨存儲分區(qū)，將數(shù)據(jù)文件存儲于磁盤陣列。
[0038]對元數(shù)據(jù)和數(shù)據(jù)文件進行分離后，將元數(shù)據(jù)和數(shù)據(jù)文件分別存儲到系統(tǒng)磁盤和磁盤陣列中，實現(xiàn)元數(shù)據(jù)和數(shù)據(jù)文件的分開存儲。在實際應用中，系統(tǒng)磁盤采用高轉(zhuǎn)速的SAS盤，磁盤陣列采用低轉(zhuǎn)速的SATA盤。
[0039]上述數(shù)據(jù)管理方法，將待存儲數(shù)據(jù)分離為元數(shù)據(jù)與數(shù)據(jù)文件，將元數(shù)據(jù)存儲于單獨存儲分區(qū)，將數(shù)據(jù)文件存儲于與單獨存儲分區(qū)相對獨立的磁盤陣列，元數(shù)據(jù)和數(shù)據(jù)文件的分開存儲。從而對元數(shù)據(jù)進行讀取時，無需通過RAID卡向磁盤陣列發(fā)送讀寫請求，而是通過直接向系統(tǒng)磁盤發(fā)送元數(shù)據(jù)讀寫請求，減少寫懲罰，根據(jù)元數(shù)據(jù)讀寫請求，進行元數(shù)據(jù)的讀寫。由于存儲元數(shù)據(jù)的系統(tǒng)磁盤與存儲數(shù)據(jù)文件的磁盤陣列是獨立分開的，不但降低了磁盤陣列對元數(shù)據(jù)的存儲壓力，而且對元數(shù)據(jù)讀寫時，無需對存儲數(shù)據(jù)文件的磁盤陣列進行訪問，直接訪問存儲元數(shù)據(jù)的系統(tǒng)磁盤即可，沒有索引文件等元數(shù)據(jù)的干擾，可大幅降低磁盤陣列的碎片，對數(shù)據(jù)文件讀寫效率和磁盤陣列使用壽命均有明顯提升，有利于磁盤陣列保護。
[0040]請參閱圖3，在其中一個實施例中，將待存儲數(shù)據(jù)分離為元數(shù)據(jù)與數(shù)據(jù)文件的步驟S300具體包括步驟:
[0041]S310:提取待存儲數(shù)據(jù)的前16個字節(jié)，獲得元數(shù)據(jù)；
[0042]S320:提取待存儲數(shù)據(jù)的除前16個字節(jié)的剩余字節(jié)，獲取數(shù)據(jù)文件。
[0043]待存儲數(shù)據(jù)的前16個字節(jié)為元數(shù)據(jù)描述信息，在存入數(shù)據(jù)時，會將待存儲數(shù)據(jù)前16個字節(jié)讀