基于Key-Value數據塊的數據管理方法及系統(tǒng)的制作方法
【技術領域】
[0001] 本發(fā)明涉及物聯(lián)網、數據庫和云計算技術領域，具體涉及一種基于Key-Value數 據塊的數據管理方法及系統(tǒng)。
【背景技術】
[0002] 物聯(lián)網在智慧城市、智能交通、工業(yè)監(jiān)測、食品溯源等各領域都有著廣泛的應用， 近年來得到了迅速的發(fā)展。物聯(lián)網通過射頻識別、紅外感應器、全球定位系統(tǒng)、激光掃描器、 氣體感應器等信息傳感設備，按約定的協(xié)議，把任何物品與網絡連接起來，進行信息交換和 通訊，以實現智能化識別、定位、跟蹤、監(jiān)控和管理的一種網絡。
[0003]物聯(lián)網的一個特點是對各種感知技術的廣泛應用。物聯(lián)網上部署了多種類型傳感 器，每個傳感器都是一個信息源。傳感器按一定的頻率周期采集環(huán)境信息，不斷更新數據。 物聯(lián)網采集的感知數據具有如下特點：
[0004]數據具有結構化特征，并且數據類型比較簡單；數據總量非常大，呈現出海量特 征，數據條目數量常常超過數十億條，存儲量常常達到TB以上級別；生成的數據具有時間 屬性，數據生成速度快，并發(fā)量高，對數據的存儲要求比較高；數據變化部分主要為傳感器 數據，數據條目間存在大量重復屬性信息；數據往往是"一次存儲，多次應用"，數據存儲后 常常不再修改，但是在數據應用時需要經常查詢數據，對數據的查詢要求比較高，數據并發(fā) 量高。如何對這些數據進行高效的存儲、管理和檢索，從中獲取有用的信息，進而提供智能 決策，是物聯(lián)網面臨的關鍵問題之一。
[0005] 關系型數據庫經過幾十年的發(fā)展，已經成為一個成熟的數據管理和分析技術，是 存儲管理結構化數據的最有效手段。它是建立在關系型數據庫模型基礎上的數據庫，其借 助于集合代數等概念和方法來處理數據庫中的數據，同時也是一個被組織成一組擁有正式 描述性的表格，該形式的表格作用的實質是裝載著數據項的特殊收集體，這些表格中的數 據能以許多不同的方式被存取或重新召集而不需要重新組織數據庫表格。結構化查詢語言 SQL是訪問關系型數據庫的標準接口，大量使用多表連接操作，通用性強。隨著數據規(guī)模的 擴大，關系型數據庫可以采用分區(qū)技術進行擴充，表由多個物理文件組成，當單個節(jié)點的能 力抵達上限時，就得通過多服務器節(jié)點來分發(fā)負載。這時關系型數據庫的復雜性就開始影 響其潛在的擴展規(guī)模了。分布式中的單點故障問題、跨節(jié)點多表格間連接操作的支持等都 存在極大困難。由于關系型數據庫追求的是高度一致性、正確性，系統(tǒng)擴展的代價較高，因 此在面對海量數據處理時遇到了瓶頸。
[0006] 隨著互聯(lián)網web2.0網站的興起，非關系型的數據庫成了一個極其熱門的新領域， 非關系數據庫產品的發(fā)展非常迅速。NoSQL是非關系型數據存儲的廣義定義，數據存儲不 需要固定的表結構，通常也不存在連接操作，采用Key-Value數據模型（根據給定的Key 值，查找對應的Value值），在超大型數據存取上具備關系型數據庫無法比擬的性能優(yōu)勢， 如Google的BigTable與Amazon的Dynamo等。這類數據庫通過降低一致性約束來提高數 據的存儲規(guī)模和查詢效率，并且大大降低了系統(tǒng)水平擴展的復雜性，但是卻無法滿足針對 海量數據的結構化復雜查詢和統(tǒng)計，需要分布式服務器集群，機器數量龐大，維護費用（場 地、能源）高。
[0007] 簡而言之，面對海量的物聯(lián)網感知數據，關系型數據庫讀寫效率低，擴展復雜，技 術要求高；以NoSQL為代表的非關系型數據庫雖然通過降低一致性約束提高了效率，但是 處理海量數據時成百上千甚至上萬的計算機規(guī)模，對很多應用而言投入過重，并且不支持 結構化復雜查詢。因此亟需一種擴展方便、規(guī)模適中的海量數據存儲和查詢的方法和系統(tǒng)。

【發(fā)明內容】

[0008] 本發(fā)明提出一種基于Key-Value數據塊的數據管理方法及系統(tǒng)，以實現在較少數 量計算機情況下就能夠對海量物聯(lián)網感知數據進行高效讀寫，并可根據業(yè)務規(guī)模方便地進 行擴展。
[0009] 為了解決上述技術問題，本發(fā)明提供一種基于Key-Value數據塊的數據管理方 法，根據感知數據具有的屬性選取數據聚集的維度，將具有共性即具有同一屬性維度的感 知數據進行聚類，并將其集中存儲在同一數據塊中，將選取的數據聚集維度作為數據塊對 應的屬性信息；數據塊內部的數據采用Key-Value數據格式存儲和管理；數據塊的存儲位 置及其對應的屬性信息采用關系型數據庫進行存儲和管理。
[0010] 具體而言，本發(fā)明基于Key-Value數據塊的數據管理方法包括以下步驟：
[0011] 步驟一、從感知數據描述的屬性中選取數據聚集的維度，一般選取查詢頻度較高 或者取值重復性較高的屬性作為數據聚集的維度；
[0012] 步驟二、根據選取的數據聚集的維度組建數據分塊規(guī)則，所述數據分塊規(guī)則用于 指示數據聚集的維度與存儲該數據的數據塊的對應關系，反映了數據分塊條件與數據塊之 間的對應關系，將選取的數據聚集維度作為數據塊對應的屬性信息；
[0013] 步驟三、根據數據分塊規(guī)則以及數據塊與數據塊鍵值之間的對應關系，獲取數據 分塊規(guī)則與數據塊鍵值的對應關系以及數據塊的存儲位置，所述數據塊的存儲位置是用于 指示數據塊所存儲的計算機節(jié)點以及節(jié)點中的包括路徑和名稱等在內的信息；
[0014] 步驟四、根據感知數據分塊規(guī)則在關系型數據庫中查找對應的數據塊鍵值，如果 查詢結果中不存在與所述感知數據分塊規(guī)則對應的數據條目，則將數據塊的存儲位置及其 對應的屬性信息組織成一條數據條目添加到關系型數據庫中進行存儲和管理；
[0015] 步驟五、將感知數據條目按照所述對應的數據聚集的維度和數據塊的存儲位置添 加存儲到對應的數據塊中，所述數據塊內的感知數據條目采用Key-Value數據模型，Key值 采用感知數據條目的鍵值，Value值為感知數據的屬性，所述Key值的數據結構具體可以為 R樹、B+樹、B樹或自定義的方法；
[0016] 步驟六、建立新添加感知數據條目的數據塊內索弓丨，所述數據塊內索引采用 Key-Value數據模型，Key值為所述數據塊內索引所對應的字段，Value值為感知數據條目 的鍵值，所述Key值的數據結構具體可以為R樹、B+樹、B樹或自定義的方法。
[0017] 本發(fā)明還提供一種基于Key-Value數據塊的數據管理系統(tǒng)，所述系統(tǒng)包括：
[0018] 數據分塊規(guī)則獲取模塊，所述數據分塊規(guī)則用于指示數據聚集的維度，反映了數 據分塊條件與數據塊之間的對應關系；
[0019] 數據分塊規(guī)則與數據塊鍵值對應關系建立模塊，其根據數據分塊規(guī)則和數據塊與 數據塊鍵值之間的對應關系，建立數據分塊規(guī)則與數據塊鍵值之間的對應關系；
[0020] 數據塊鍵值與存儲位置關系建立模塊，其根據數據塊鍵值和數據塊存儲位置，建 立數據塊鍵值與其存儲位置之間的對應關系；
[0021 ] Key-Value數據模型建立模塊，根據數據條目在數據塊內的鍵值建立數據條目的 Key-Value數據模型；
[0022] 數據塊索引建立模塊，其根據查詢的屬性建立數據條目的數據塊索引。
[0023] 需要說明的是，本發(fā)明并不限定數據存儲在單一計算機環(huán)境還是多計算機環(huán)境， 實際上本發(fā)明既適用于單計算機環(huán)境