一種數(shù)據(jù)管理方法、裝置及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于數(shù)據(jù)管理領(lǐng)域，尤其涉及一種數(shù)據(jù)管理方法、裝置及系統(tǒng)。
【背景技術(shù)】
[0002] 隨著大數(shù)據(jù)處理技術(shù)的飛速發(fā)展，基于Hadoop的數(shù)據(jù)倉庫工具Hive逐漸成為大 數(shù)據(jù)處理中不可或缺的一環(huán)，它可將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供簡單 的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進行運行；使用Hive，可以存儲、 查詢和分析在Hadoop集群中存放的大規(guī)模數(shù)據(jù)。
[0003] Hive定義了簡單的類SQL查詢語言，省去了對要操作的數(shù)據(jù)頻繁編寫MapReduce 的麻煩；但是在實際應(yīng)用中，存儲Hive元數(shù)據(jù)的元數(shù)據(jù)庫是是存放在一個集群中的單點 MySQL服務(wù)器之上的，一旦在任務(wù)執(zhí)行中該單點MySQL服務(wù)器出現(xiàn)故障，則會導(dǎo)致整個任 務(wù)的執(zhí)行失敗以及Hive程序的故障，進而產(chǎn)生大量維修以及再次執(zhí)行任務(wù)的時間，對使用 Hive的企業(yè)造成巨大的損失。
[0004] 通常解決此單點故障的方法是建立MySQL的高可用組，采用雙機/多機同步復(fù)制 備份，但是切換數(shù)據(jù)庫主機（需要變更IP地址）時，由于操作復(fù)雜需要人工協(xié)助，造成人力 資源浪費。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明提供一種數(shù)據(jù)管理方法、裝置及系統(tǒng)，以解決上述問題。
[0006] 本發(fā)明提供一種數(shù)據(jù)管理方法。上述方法包括以下步驟：
[0007] 預(yù)先在應(yīng)用管理節(jié)點與多個元數(shù)據(jù)存儲節(jié)點之間增加數(shù)據(jù)控制節(jié)點；
[0008] 數(shù)據(jù)控制節(jié)點接收應(yīng)用管理節(jié)點發(fā)送的業(yè)務(wù)操作請求后，訪問對應(yīng)的元數(shù)據(jù)存儲 節(jié)點，獲取訪問數(shù)據(jù)。
[0009] 本發(fā)明還提供一種數(shù)據(jù)管理裝置，包括增加模塊、訪問模塊；其中，所述增加模塊 與所述訪問模塊相連；
[0010] 所述增加模塊，用于預(yù)先在應(yīng)用管理節(jié)點與多個元數(shù)據(jù)存儲節(jié)點之間增加數(shù)據(jù)控 制節(jié)點并將增加的數(shù)據(jù)控制節(jié)點信息發(fā)送至所述訪問模塊；
[0011] 所述訪問模塊，用于通過所述數(shù)據(jù)控制節(jié)點，訪問對應(yīng)的元數(shù)據(jù)存儲節(jié)點，獲取訪 問數(shù)據(jù)。
[0012] 本發(fā)明還提供一種數(shù)據(jù)管理系統(tǒng)，包括應(yīng)用管理節(jié)點、數(shù)據(jù)控制節(jié)點、多個元數(shù)據(jù) 存儲節(jié)點；其中，所述應(yīng)用管理節(jié)點通過所述數(shù)據(jù)控制節(jié)點與所述多個元數(shù)據(jù)存儲節(jié)點相 連；
[0013] 所述應(yīng)用管理節(jié)點，用于向所述數(shù)據(jù)控制節(jié)點發(fā)送業(yè)務(wù)操作請求；
[0014] 所述數(shù)據(jù)控制節(jié)點，用于接收應(yīng)用管理節(jié)點發(fā)送的業(yè)務(wù)操作請求后，訪問對應(yīng)的 元數(shù)據(jù)存儲節(jié)點，獲取訪問數(shù)據(jù)。
[0015] 所述多個元數(shù)據(jù)存儲節(jié)點，用于存儲元數(shù)據(jù)。
[0016] 通過以下方案：預(yù)先在應(yīng)用管理節(jié)點與多個元數(shù)據(jù)存儲節(jié)點之間增加數(shù)據(jù)控制節(jié) 點；數(shù)據(jù)控制節(jié)點接收應(yīng)用管理節(jié)點發(fā)送的業(yè)務(wù)操作請求后，訪問對應(yīng)的元數(shù)據(jù)存儲節(jié)點， 獲取訪問數(shù)據(jù)，實現(xiàn)了在不停機維護、不更改服務(wù)器地址的前提下，自動路由獲取訪問數(shù) 據(jù)，提供快捷、安全、可靠的自動訪問元數(shù)據(jù)的解決方案。
[0017] 通過以下方案：若主元數(shù)據(jù)存儲節(jié)點發(fā)生故障，則按照預(yù)設(shè)切換策略，切換至對應(yīng) 的從元數(shù)據(jù)存儲節(jié)點；所述數(shù)據(jù)控制節(jié)點訪問對應(yīng)的從元數(shù)據(jù)存儲節(jié)點，獲取訪問數(shù)據(jù)，實 現(xiàn)了在主元數(shù)據(jù)存儲節(jié)點發(fā)生故障時，自動獲取數(shù)據(jù)的過程，減少了人工操作過程，提升了 數(shù)據(jù)庫管理人員的工作效率。
【附圖說明】
[0018] 此處所說明的附圖用來提供對本發(fā)明的進一步理解，構(gòu)成本申請的一部分，本發(fā) 明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中：
[0019] 圖1所示為本發(fā)明實施例1的數(shù)據(jù)管理方法處理流程圖；
[0020] 圖2所示為本發(fā)明實施例2的數(shù)據(jù)管理裝置結(jié)構(gòu)圖；
[0021] 圖3所示為本發(fā)明實施例3的數(shù)據(jù)管理系統(tǒng)結(jié)構(gòu)圖。
【具體實施方式】
[0022] 下文中將參考附圖并結(jié)合實施例來詳細說明本發(fā)明。需要說明的是，在不沖突的 情況下，本申請中的實施例及實施例中的特征可以相互組合。
[0023] 圖1所示為本發(fā)明實施例1的數(shù)據(jù)管理方法處理流程圖，包括以下步驟：
[0024] 步驟101 :預(yù)先在應(yīng)用管理節(jié)點與多個元數(shù)據(jù)存儲節(jié)點之間增加數(shù)據(jù)控制節(jié)點；
[0025] 進一步地，應(yīng)用管理節(jié)點為Hive節(jié)點、數(shù)據(jù)控制節(jié)點為MySQL fabric節(jié)點。
[0026] 本實施例以數(shù)據(jù)控制節(jié)點即MySQL fabric節(jié)點的高可用性特征來替代傳統(tǒng)的 MySQL多節(jié)點實現(xiàn)高可用方案，在Hive節(jié)點與多個元數(shù)據(jù)存儲節(jié)點之間添加MySQL fabric 節(jié)點，來統(tǒng)一管理存放Hive元數(shù)據(jù)的多個元數(shù)據(jù)存儲節(jié)點，以此實現(xiàn)高效且易于管理Hive 元數(shù)據(jù)的元數(shù)據(jù)庫高可用組。
[0027] 所述多個元數(shù)據(jù)存儲節(jié)點構(gòu)成元數(shù)據(jù)存儲節(jié)點集群，也可以根據(jù)規(guī)劃，劃分為多 個集群；在元數(shù)據(jù)存儲節(jié)點集群中，選擇一個元數(shù)據(jù)存儲節(jié)點為主元數(shù)據(jù)存儲節(jié)點，其它的 元數(shù)據(jù)存儲節(jié)點為從元數(shù)據(jù)存儲節(jié)點。
[0028] 進一步地，預(yù)先在應(yīng)用管理節(jié)點與多個元數(shù)據(jù)存儲節(jié)點之間增加數(shù)據(jù)控制節(jié)點之 前，還包括：
[0029] 對所述多個元數(shù)據(jù)存儲節(jié)點進行數(shù)據(jù)庫配置，其中，所述數(shù)據(jù)庫中存儲Hive元數(shù) 據(jù)。
[0030] 在具體實施過程中，通過對數(shù)據(jù)庫中的my. cnf配置文件的配置參數(shù)進行設(shè)置，從 而獲得主元數(shù)據(jù)存儲節(jié)點，從元數(shù)據(jù)存儲節(jié)點。
[0031] 進一步地，預(yù)先在應(yīng)用管理節(jié)點與多個元數(shù)據(jù)存儲節(jié)點之間增加數(shù)據(jù)控制節(jié)點 后，還包括：
[0032] 數(shù)據(jù)控制節(jié)點獲取各個元數(shù)據(jù)存儲節(jié)點中的配置文件中的配置參數(shù)信息；其中， 所述配置參數(shù)信息包括：元數(shù)據(jù)存儲節(jié)點ID、元數(shù)據(jù)存儲節(jié)點端口號、元數(shù)據(jù)存儲節(jié)點中 數(shù)據(jù)庫的用戶名、密碼。
[0033] 步驟102 :數(shù)據(jù)控制節(jié)點接收應(yīng)用管理節(jié)點發(fā)送的業(yè)務(wù)操作請求后，訪問對應(yīng)的 元數(shù)據(jù)存儲節(jié)點，獲取訪問數(shù)據(jù)。
[0034] 進一步地，數(shù)據(jù)控制節(jié)點接收應(yīng)用管理節(jié)點發(fā)送的業(yè)務(wù)操作請求后，訪問對應(yīng)的 元數(shù)據(jù)存儲節(jié)點，獲取訪問數(shù)據(jù)的過程為：
[0035] 應(yīng)用管理節(jié)點接收業(yè)務(wù)操作請求后，轉(zhuǎn)發(fā)所述業(yè)務(wù)操作請求至所述數(shù)據(jù)控制節(jié) 占.
[0036] 所述數(shù)據(jù)控制節(jié)點訪問對應(yīng)的主元數(shù)據(jù)存儲節(jié)點，獲取訪問數(shù)據(jù)。
[0037] 進一步地，所述業(yè)務(wù)操作請求包括數(shù)據(jù)查詢請求、數(shù)據(jù)添加請求、數(shù)據(jù)刪除請求。
[0038] 進一步地，若主元數(shù)據(jù)存儲節(jié)點發(fā)生故障，則按照預(yù)設(shè)切換策略，切換至對應(yīng)的從 元數(shù)據(jù)存儲節(jié)點；
[0039] 所述數(shù)據(jù)控制節(jié)點訪問對應(yīng)的從元數(shù)據(jù)存儲節(jié)點，獲取訪問數(shù)據(jù)。
[0040] 進一步地，若主元數(shù)據(jù)存儲節(jié)點、所有從元數(shù)據(jù)存儲節(jié)點均發(fā)生故障，則無法進行 切換并重新維護從元數(shù)據(jù)存儲節(jié)點。
[0041] 進一步地，若主元數(shù)據(jù)存儲節(jié)點、部分從元數(shù)據(jù)存儲節(jié)點