一種數(shù)據(jù)管理的方法、設(shè)備與系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及通信技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)管理的方法、設(shè)備與系統(tǒng)。
【背景技術(shù)】
[0002] 隨著移動(dòng)終端、云計(jì)算和物聯(lián)網(wǎng)的普及，以及隨之而來(lái)行業(yè)監(jiān)管要求的跟進(jìn)，我們 正進(jìn)入一個(gè)數(shù)據(jù)飛速膨脹的時(shí)代。如何針對(duì)大量膨脹的數(shù)據(jù)，設(shè)計(jì)出更高性價(jià)比的存儲(chǔ)和 訪問(wèn)策略，是存儲(chǔ)和數(shù)據(jù)領(lǐng)域的熱點(diǎn)研宄課題。根據(jù)數(shù)據(jù)的冷熱程度，可以簡(jiǎn)單分為熱數(shù)據(jù) 和冷數(shù)據(jù)。實(shí)際上，經(jīng)常訪問(wèn)的熱數(shù)據(jù)往往是占比例較小的，一般是10% -15%，剩下的大 部分?jǐn)?shù)據(jù)都是冷數(shù)據(jù)。針對(duì)這些冷數(shù)據(jù)，并沒(méi)有太多的計(jì)算能力需求，一般只需將其很好的 存儲(chǔ)和管理起來(lái)?，F(xiàn)實(shí)中對(duì)于按照時(shí)間先后生成，并由此區(qū)分出了冷熱數(shù)據(jù)之分的數(shù)據(jù)模 型，一般采取分區(qū)表的形式管理，即新數(shù)據(jù)、熱數(shù)據(jù)在新分區(qū)，老數(shù)據(jù)、冷數(shù)據(jù)在舊分區(qū)。
[0003]為了減少冷數(shù)據(jù)的開(kāi)銷，一般會(huì)將冷數(shù)據(jù)迀移至慢速、低成本和低功耗的存儲(chǔ)設(shè) 備，例如一個(gè)數(shù)據(jù)管理系統(tǒng)包含很多個(gè)硬盤，轉(zhuǎn)速慢的硬盤用來(lái)存儲(chǔ)冷數(shù)據(jù)；并對(duì)冷數(shù)據(jù)進(jìn) 行軟件優(yōu)化，如采取更好的壓縮比、去重等，使得存放數(shù)據(jù)一樣的數(shù)據(jù)塊只保留一個(gè)。應(yīng)用 程序針對(duì)熱數(shù)據(jù)和冷數(shù)據(jù)的訪問(wèn)，一般都會(huì)按照計(jì)劃進(jìn)行：常規(guī)計(jì)劃內(nèi)的操作都會(huì)針對(duì)熱 數(shù)據(jù)，針對(duì)冷數(shù)據(jù)的操作需要另外單獨(dú)的計(jì)劃。
[0004] 這樣也帶來(lái)一個(gè)問(wèn)題，即如果應(yīng)用程序意外查詢冷數(shù)據(jù)，例如用戶查詢范圍過(guò)大 或者誤寫，意外地包含了冷數(shù)據(jù)，由于冷數(shù)據(jù)存儲(chǔ)在運(yùn)行速度較慢的設(shè)備上，會(huì)由于冷數(shù)據(jù) 存儲(chǔ)設(shè)備更慢的讀取速度、更長(zhǎng)的解壓時(shí)間，整體上數(shù)量級(jí)地延長(zhǎng)了查詢結(jié)果的響應(yīng)時(shí)間。 以某企業(yè)2014年01月-12月的數(shù)據(jù)的分布管理為例：
[0005]
【主權(quán)項(xiàng)】
1. 一種數(shù)據(jù)管理方法，其特征在于，所述方法包括： 獲知冷數(shù)據(jù)片段在第一存儲(chǔ)設(shè)備中所在的數(shù)據(jù)分區(qū)，數(shù)據(jù)片段是組成數(shù)據(jù)分區(qū)的基本 單位；所述冷數(shù)據(jù)片段為訪問(wèn)頻率小于預(yù)設(shè)闊值的數(shù)據(jù)片段； 在所述冷數(shù)據(jù)片段所在的數(shù)據(jù)分區(qū)中確定出特殊數(shù)據(jù)分區(qū)，所述特殊數(shù)據(jù)分區(qū)包含的 數(shù)據(jù)片段全部為冷數(shù)據(jù)片段； 將所述特殊數(shù)據(jù)分區(qū)從所述第一存儲(chǔ)設(shè)備遷移到第二存儲(chǔ)設(shè)備，所述第一存儲(chǔ)設(shè)備的 數(shù)據(jù)處理能力強(qiáng)于所述第二存儲(chǔ)設(shè)備； 將所述第二存儲(chǔ)設(shè)備中的特殊數(shù)據(jù)分區(qū)設(shè)置為離線模式，W使所述特殊數(shù)據(jù)分區(qū)中的 冷數(shù)據(jù)片段不被訪問(wèn)。
2. 如權(quán)利要求1所述方法，其特征在于，所述在所述冷數(shù)據(jù)片段所在的數(shù)據(jù)分區(qū)中確 定出特殊數(shù)據(jù)分區(qū)包括： 將目標(biāo)數(shù)據(jù)分區(qū)中包含的M個(gè)冷數(shù)據(jù)片段分為N個(gè)冷數(shù)據(jù)片段組，M為大于0的整數(shù)， N為大于0的整數(shù)，且M大于等于N ; 將所述N個(gè)冷數(shù)據(jù)片段組從所述目標(biāo)數(shù)據(jù)分區(qū)中分離出來(lái)，形成N個(gè)新的數(shù)據(jù)分區(qū)，每 一個(gè)冷數(shù)據(jù)片段組對(duì)應(yīng)一個(gè)新的數(shù)據(jù)分區(qū)，每一個(gè)新的數(shù)據(jù)分區(qū)都是所述特殊數(shù)據(jù)分區(qū)。
3. 如權(quán)利要求2所述方法，其特征在于，所述將目標(biāo)數(shù)據(jù)分區(qū)中包含的M個(gè)冷數(shù)據(jù)片段 分為N個(gè)冷數(shù)據(jù)片段組具體包括： 按照所述M個(gè)冷數(shù)據(jù)片段的數(shù)據(jù)類型、數(shù)據(jù)生成日期、創(chuàng)建者或名稱中的一個(gè)或者多 個(gè)，將所述M個(gè)冷數(shù)據(jù)片段分為N個(gè)冷數(shù)據(jù)片段組。
4. 如權(quán)利要求1-3任一項(xiàng)所述方法，其特征在于，所述將所述第二存儲(chǔ)設(shè)備中的特殊 數(shù)據(jù)分區(qū)設(shè)置為離線模式具體包括：對(duì)所述第二存儲(chǔ)設(shè)備中的特殊數(shù)據(jù)分區(qū)執(zhí)行離線命 令，所述離線命令中攜帶使所述特殊數(shù)據(jù)分區(qū)強(qiáng)制離線的標(biāo)識(shí)。
5. 如權(quán)利要求1-3任一項(xiàng)所述方法，其特征在于，所述將所述第二存儲(chǔ)設(shè)備中的特殊 數(shù)據(jù)分區(qū)設(shè)置為離線模式具體包括：對(duì)所述第二存儲(chǔ)設(shè)備中的特殊數(shù)據(jù)分區(qū)執(zhí)行離線命 令，將所述離線命令中的權(quán)限字段設(shè)置為"0"或"1"，使所述特殊數(shù)據(jù)分區(qū)強(qiáng)制離線。
6. 如權(quán)利要求1-5任一項(xiàng)所述方法，其特征在于，在所述將所述第二存儲(chǔ)設(shè)備中的特 殊數(shù)據(jù)分區(qū)設(shè)置為離線模式后，所述方法還包括；若需要查詢所述特殊數(shù)據(jù)分區(qū)中的冷數(shù) 據(jù)片段，將所述第二存儲(chǔ)設(shè)備中的特殊數(shù)據(jù)分區(qū)由離線模式設(shè)置為在線模式，W使所述特 殊數(shù)據(jù)分區(qū)中的冷數(shù)據(jù)片段能夠被訪問(wèn)。
7. 如權(quán)利要求6所述方法，其特征在于，在所述將所述第二存儲(chǔ)設(shè)備中的特殊數(shù)據(jù)分 區(qū)由離線模式設(shè)置為在線模式之后，所述方法還包括；所述數(shù)據(jù)管理設(shè)備將所述特殊數(shù)據(jù) 分區(qū)從所述第二存儲(chǔ)設(shè)備遷移到所述第一存儲(chǔ)設(shè)備中。
8. -種數(shù)據(jù)管理設(shè)備，其特征在于，所述設(shè)備包括： 獲知模塊，用于獲知冷數(shù)據(jù)片段在第一存儲(chǔ)設(shè)備中所在的數(shù)據(jù)分區(qū)，數(shù)據(jù)片段是組成 數(shù)據(jù)分區(qū)的基本單位；所述冷數(shù)據(jù)片段為訪問(wèn)頻率小于預(yù)設(shè)闊值的數(shù)據(jù)片段；確定模塊， 用于在所述冷數(shù)據(jù)片段所在的數(shù)據(jù)分區(qū)中確定出特殊數(shù)據(jù)分區(qū)，所述特殊數(shù)據(jù)分區(qū)包含的 數(shù)據(jù)片段全部為冷數(shù)據(jù)片段； 遷移模塊，用于將所述特殊數(shù)據(jù)分區(qū)從所述第一存儲(chǔ)設(shè)備遷移到第二存儲(chǔ)設(shè)備，所述 第一存儲(chǔ)設(shè)備的數(shù)據(jù)處理能力強(qiáng)于所述第二存儲(chǔ)設(shè)備； 設(shè)置模塊，用于將所述遷移模塊遷移到所述第二存儲(chǔ)設(shè)備中的特殊數(shù)據(jù)分區(qū)設(shè)置為離 線模式，W使所述特殊數(shù)據(jù)分區(qū)中的冷數(shù)據(jù)片段不被訪問(wèn)。
9. 如權(quán)利要求8所述設(shè)備，其特征在于，所述確定模塊包括分組單元和分離單元；目標(biāo) 數(shù)據(jù)分區(qū)中存在M個(gè)冷數(shù)據(jù)片段； 所述分組單元用于將所述M個(gè)冷數(shù)據(jù)片段分為N個(gè)冷數(shù)據(jù)片段組，M為大于0的整數(shù)， N為大于0的整數(shù)，且M大于等于N ; 所述分離單元用于將所述分組單元分得的N個(gè)冷數(shù)據(jù)片段組從所述目標(biāo)數(shù)據(jù)分區(qū)中 分離出來(lái)，形成N個(gè)新的數(shù)據(jù)分區(qū)，每一個(gè)冷數(shù)據(jù)片段組對(duì)應(yīng)一個(gè)新的數(shù)據(jù)分區(qū)，每一個(gè)新 的數(shù)據(jù)分區(qū)都是所述特殊數(shù)據(jù)分區(qū)。
10. 如權(quán)利要求9所述設(shè)備，其特征在于，所述分組單元具體用于按照冷數(shù)據(jù)片段的數(shù) 據(jù)類型、數(shù)據(jù)生成日期、創(chuàng)建者或名稱中的一個(gè)或者多個(gè)，將所述M個(gè)冷數(shù)據(jù)片段分為N個(gè) 冷數(shù)據(jù)片段組。
11. 如權(quán)利要求8-10任一項(xiàng)所述設(shè)備，其特征在于，所述設(shè)置模塊具體用于對(duì)所述特 殊數(shù)據(jù)分區(qū)執(zhí)行離線命令，所述離線命令中攜帶使所述特殊數(shù)據(jù)分區(qū)強(qiáng)制離線的標(biāo)識(shí)。
12. 如權(quán)利要求8-10任一項(xiàng)所述設(shè)備，其特征在于，所述設(shè)置模塊具體用于對(duì)所述特 殊數(shù)據(jù)分區(qū)執(zhí)行離線命令，將所述離線命令中的權(quán)限字段設(shè)置為"0"或"1"，使所述特殊數(shù) 據(jù)分區(qū)強(qiáng)制離線。
13. 如權(quán)利要求8-12任一項(xiàng)所述設(shè)備，其特征在于，數(shù)據(jù)管理設(shè)備需要查詢所述特殊 數(shù)據(jù)分區(qū)中的冷數(shù)據(jù)片段時(shí)，所述設(shè)置模塊還用于將所述特殊數(shù)據(jù)分區(qū)由離線模式設(shè)置為 在線模式，W使所述特殊數(shù)據(jù)分區(qū)中的冷數(shù)據(jù)片段能夠被訪問(wèn)。
14. 如權(quán)利要求13所述設(shè)備，其特征在于，所述所述設(shè)置模塊用于將所述特殊數(shù)據(jù)分 區(qū)由離線模式設(shè)置為在線模式之后，所述遷移模塊還用于將所述特殊數(shù)據(jù)分區(qū)中的全部冷 數(shù)據(jù)片段遷移到所述第一存儲(chǔ)設(shè)備中。
15. -種數(shù)據(jù)管理系統(tǒng)，其特征在于，所述系統(tǒng)包括： 終端，數(shù)據(jù)管理設(shè)備； 所述數(shù)據(jù)管理設(shè)備用于： 獲知冷數(shù)據(jù)片段在第一存儲(chǔ)設(shè)備中所在的數(shù)據(jù)分區(qū)，數(shù)據(jù)片段是組成數(shù)據(jù)分區(qū)的基本 單位；所述冷數(shù)據(jù)片段為訪問(wèn)頻率小于預(yù)設(shè)闊值的數(shù)據(jù)片段； 在所述冷數(shù)據(jù)片段所在的數(shù)據(jù)分區(qū)中確定出特殊數(shù)據(jù)分區(qū)，所述特殊數(shù)據(jù)分區(qū)包含的 數(shù)據(jù)片段全部為冷數(shù)據(jù)片段； 將所述特殊數(shù)據(jù)分區(qū)從所述第一存儲(chǔ)設(shè)備遷移到第二存儲(chǔ)設(shè)備，所述第一存儲(chǔ)設(shè)備的 數(shù)據(jù)處理能力強(qiáng)于所述第二存儲(chǔ)設(shè)備； 將所述特殊數(shù)據(jù)分區(qū)設(shè)置為離線模式，W使所述特殊數(shù)據(jù)分區(qū)中的冷數(shù)據(jù)片段不被訪 問(wèn)； 所述終端用于向所述數(shù)據(jù)管理設(shè)備發(fā)送數(shù)據(jù)查詢請(qǐng)求； 所述數(shù)據(jù)管理設(shè)備用于根據(jù)所述數(shù)據(jù)查詢請(qǐng)求進(jìn)行數(shù)據(jù)查詢。
【專利摘要】本發(fā)明實(shí)施例提供了一種數(shù)據(jù)管理的方法、設(shè)備與系統(tǒng)。獲知冷數(shù)據(jù)片段在第一存儲(chǔ)設(shè)備中所在的數(shù)據(jù)分區(qū)；在冷數(shù)據(jù)片段所在的數(shù)據(jù)分區(qū)中查找或分離出特殊數(shù)據(jù)分區(qū)，特殊數(shù)據(jù)分區(qū)包含的數(shù)據(jù)片段全部為冷數(shù)據(jù)片段；將特殊數(shù)據(jù)分區(qū)從第一存儲(chǔ)設(shè)備遷移到第二存儲(chǔ)設(shè)備，第一存儲(chǔ)設(shè)備的數(shù)據(jù)處理能力強(qiáng)于第二存儲(chǔ)設(shè)備；將特殊數(shù)據(jù)分區(qū)設(shè)置為離線模式，以使特殊數(shù)據(jù)分區(qū)中的冷數(shù)據(jù)片段不被訪問(wèn)。本發(fā)明通過(guò)設(shè)置冷數(shù)據(jù)片段所在分區(qū)為離線模式，無(wú)需借助外部存儲(chǔ)介質(zhì)，無(wú)需進(jìn)行手動(dòng)轉(zhuǎn)移冷數(shù)據(jù)片段，也不需要復(fù)雜的操作流程，就可以達(dá)到在計(jì)劃內(nèi)訪問(wèn)熱數(shù)據(jù)時(shí)不會(huì)對(duì)冷數(shù)據(jù)片段意外訪問(wèn)的目的，進(jìn)而避免了由此引發(fā)的查詢響應(yīng)時(shí)間延長(zhǎng)和查詢性能降低。
【IPC分類】G06F12-02
【公開(kāi)號(hào)】CN104536904
【申請(qǐng)?zhí)枴緾N201410848147
【發(fā)明人】杜培亮, 王提政
【申請(qǐng)人】杭州華為數(shù)字技術(shù)有限公司
【公開(kāi)日】2015年4月22日
【申請(qǐng)日】2014年12月29日