一種內(nèi)存云計算平臺上的數(shù)據(jù)倉庫安全olap方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種數(shù)據(jù)倉庫領(lǐng)域中的查詢處理方法，特別是關(guān)于一種面向企業(yè)敏感數(shù)據(jù)分析處理的內(nèi)存云計算平臺上的數(shù)據(jù)倉庫安全OLAP(分析型查詢處理)方法。
【背景技術(shù)】
[0002]內(nèi)存計算是一種大數(shù)據(jù)解決方案，雖然當前商業(yè)的內(nèi)存數(shù)據(jù)庫集群已經(jīng)達到非常大的規(guī)模和數(shù)據(jù)存儲、處理能力，但內(nèi)存計算在現(xiàn)階段仍然是一種昂貴的解決方案，內(nèi)存計算平臺的配置和運營成本非常高，未來內(nèi)存計算的一個趨勢是內(nèi)存云計算服務(wù)。數(shù)據(jù)倉庫巨大的數(shù)據(jù)量要求云平臺成為數(shù)據(jù)的持久存儲平臺，減少數(shù)據(jù)迀移代價，但數(shù)據(jù)倉庫存儲的是企業(yè)及部門最核心的業(yè)務(wù)數(shù)據(jù)，對數(shù)據(jù)的安全性有極高的要求。內(nèi)存云計算服務(wù)面臨兩個矛盾性的問題:一是為提高內(nèi)存計算的性能和減少大數(shù)據(jù)移動代價，需要將盡可能多的數(shù)據(jù)持久地存儲于云計算平臺；二是為提高數(shù)據(jù)的安全性需要將盡可能少的可能造成數(shù)據(jù)安全隱患的關(guān)鍵業(yè)務(wù)數(shù)據(jù)存儲在云計算平臺。為解決這個矛盾，首先需要將數(shù)據(jù)倉庫的數(shù)據(jù)按數(shù)據(jù)安全性要求進行分類，然后需要在企業(yè)內(nèi)部系統(tǒng)平臺和云計算平臺之間進行數(shù)據(jù)的分布存儲設(shè)計，最后按存儲模型設(shè)計協(xié)同的內(nèi)存云計算模型，由企業(yè)內(nèi)部系統(tǒng)完成敏感數(shù)據(jù)上的計算，由云計算平臺完成在非敏感大數(shù)據(jù)上的計算，協(xié)同完成分析處理任務(wù)。
[0003]從數(shù)據(jù)倉庫的結(jié)構(gòu)來看，維表存儲的是描述維度的信息，包括企業(yè)重要的用戶、產(chǎn)品、促銷方式、供應(yīng)商等敏感信息，數(shù)據(jù)的安全性要求較高;事實表是多維數(shù)據(jù)存儲結(jié)構(gòu)，包括維表外鍵和度量屬性，通常為數(shù)值型數(shù)據(jù)，單獨的事實表不包含數(shù)據(jù)的語義信息，當事實數(shù)據(jù)不包含語義信息或者數(shù)據(jù)只有按預(yù)設(shè)的方式才能正確解讀時，數(shù)據(jù)的安全性能夠得到一定的保證。
[0004]從數(shù)據(jù)存儲需求來看，較小的維表通常是敏感性數(shù)據(jù)，其存儲開銷較小，并不需要內(nèi)存云計算平臺存儲來降低存儲成本，適合于存儲在企業(yè)內(nèi)部系統(tǒng)平臺上由企業(yè)保證其數(shù)據(jù)的安全性。龐大的事實表存儲適合利用內(nèi)存云計算平臺降低其數(shù)據(jù)存儲成本，但需要數(shù)據(jù)安全機制保證事實數(shù)據(jù)難以被非法分析和解讀，還需要數(shù)據(jù)通過安全性需要劃分而產(chǎn)生的多平臺協(xié)同計算問題。
[0005]云計算是一種共享的數(shù)據(jù)存儲和計算服務(wù)，優(yōu)化的是硬件資源和成本，但其商業(yè)化的運營模式難以滿足企業(yè)或重要部門特殊的數(shù)據(jù)安全性需求，因此需要一種敏感性數(shù)據(jù)和非敏感性數(shù)據(jù)在企業(yè)私有系統(tǒng)平臺和云計算平臺上“分而治之”的存儲和計算策略。

【發(fā)明內(nèi)容】

[0006]針對上述問題，本發(fā)明的目的是提供一種內(nèi)存云計算平臺上的數(shù)據(jù)倉庫安全OLAP方法，該方法充分利用了內(nèi)存云平臺的高性能和高性價比的特點，保證了數(shù)據(jù)存儲與計算的安全，可以有效地保證企業(yè)級數(shù)據(jù)企業(yè)在內(nèi)存云計算平臺上的安全分析處理。
[0007]為實現(xiàn)上述目的，本發(fā)明采取以下技術(shù)方案:一種內(nèi)存云計算平臺上的數(shù)據(jù)倉庫安全OLAP方法，其特征在于包括以下步驟:1)劃分云計算數(shù)據(jù)集:將整個OLAP數(shù)據(jù)集按維表和事實表劃分為兩個數(shù)據(jù)集，維表存儲描述信息，集中存儲于企業(yè)內(nèi)部私有數(shù)據(jù)平臺；事實表由維表外鍵屬性和數(shù)值型度量屬性組成，不包含語義和數(shù)據(jù)描述信息，存儲于云計算平臺，實現(xiàn)基于無語義編碼上的多維云計算;2)生成維表編碼向量:OLAP查詢在執(zhí)行時分解為維表上的操作和事實表上的操作兩個執(zhí)行階段，企業(yè)內(nèi)部私有數(shù)據(jù)平臺維表上的操作為在各個維表上根據(jù)where子句的選擇條件投影出維分組向量，維分組向量與維表等長，維分組向量中的編碼位置記錄維表中滿足謂詞條件記錄對應(yīng)的分組屬性，不滿足維表謂詞條件的分組屬性記錄為NULL空值;然后對維分組向量進行編碼，用不含語義的字典數(shù)組編碼代替維表分組屬性；當維表中包含多個分組屬性時，將分組屬性組統(tǒng)一編碼;數(shù)據(jù)倉庫的維表采用代理鍵，維分組向量與維表代理鍵是一一映射關(guān)系，事實表外鍵直接映射到維分組向量相應(yīng)的位置上，替代傳統(tǒng)的連接操作;各個維表生成的維分組向量構(gòu)成事實表上的多維過濾器，而且維分組向量的分組編碼構(gòu)成一個多維數(shù)組，用于事實表上的分組聚集計算;3)事實表多維過濾，創(chuàng)建度量索引:企業(yè)內(nèi)部私有數(shù)據(jù)平臺上創(chuàng)建的維分組向量通過網(wǎng)絡(luò)傳輸?shù)皆朴嬎闫脚_，將云計算平臺事實表的外鍵值映射到維過濾向量對應(yīng)的位置，完成多維過濾操作，并且根據(jù)維過濾向量中的維坐標確定事實表記錄在分組數(shù)組中的多維坐標值，將滿足多維過濾條件的事實表記錄對應(yīng)的分組多維坐標值記錄在與事實表等長的度量索引向量中，指示度量屬性列上需要進行聚集計算的記錄位置及聚集結(jié)果在分組多維數(shù)組中的位置;事實表外鍵列參照維分組向量完成多維過濾操作后，根據(jù)度量索引按位置訪問查詢相關(guān)的度量屬性列，完成聚集計算，并將聚集計算結(jié)果存儲于對應(yīng)的分組器多維數(shù)組中，完成分組聚集計算;4)查詢結(jié)果解析:OLAP查詢的分組聚集結(jié)果對應(yīng)多維數(shù)組，不包含語義信息；將云計算平臺上生成的分組器多維數(shù)組通過網(wǎng)絡(luò)傳輸回企業(yè)內(nèi)部私有數(shù)據(jù)平臺，根據(jù)維分組向量創(chuàng)建階段生成的維分組編碼反向解析出分組多維數(shù)組各坐標對應(yīng)的分組屬性值，將分組器多維數(shù)組的各個單元維坐標轉(zhuǎn)換為分組屬性值，生成OLAP查詢結(jié)果。
[0008]進一步，所述步驟I)中，所述數(shù)值型度量屬性的安全云存儲采用以下策略中的一種或任意兩種策略的組合:改變度量屬性順序存儲策略、基于delta值映射的數(shù)據(jù)安全策略、基于哈希函數(shù)的delta映射數(shù)據(jù)安全策略和基于位壓縮編碼重組的數(shù)據(jù)安全策略;所述步驟3)中，訪問事實表度量屬性時，根據(jù)事實表的數(shù)值型度量屬性存儲策略，對應(yīng)采用以下一種或任意兩種策略解析安全存儲的度量屬性值:改變度量屬性順序存儲解析策略、基于delta值映射的數(shù)據(jù)安全解析策略、基于哈希函數(shù)的delta映射數(shù)據(jù)安全解析策略和基于位壓縮編碼重組的數(shù)據(jù)安全解析策略。
[0009]進一步，所述改變度量屬性順序存儲策略為:當度量屬性具有相同的數(shù)據(jù)類型時，通過周期性地改變度量數(shù)據(jù)在屬性列的存儲順序來隱藏真實的數(shù)據(jù)。
[00?0]進一步，所述基于delta值映射的數(shù)據(jù)安全策略為在真實數(shù)據(jù)上乘以或加上一個delta值改變原始數(shù)據(jù)以達到數(shù)據(jù)安全的目標:存儲到云計算平臺的事實數(shù)據(jù)按預(yù)先設(shè)定的規(guī)則分配分組號創(chuàng)建數(shù)據(jù)安全維Safe_Dim，屬性為ID和delta ,delta表示當前數(shù)據(jù)安全策略分組對應(yīng)的數(shù)據(jù)偏移量，表示為乘以或加上一個delta值，在delta屬性值中的最高位置I表示乘法，置O表示加法;事實數(shù)據(jù)在存入云計算平臺時，事實表按數(shù)據(jù)安全分組外鍵S_Dim的分組值對度量屬性進行delta映射。
[0011]進一步，所述基于哈希函數(shù)的delta映射數(shù)據(jù)安全策略:在事實表數(shù)據(jù)存儲時增加一個delta列，寬度為η位，delta列中的數(shù)據(jù)為隨機數(shù)，每個事實表記錄的delta值各不相同；預(yù)設(shè)m個哈希函數(shù)，哈希函數(shù)將鍵值映射到delta值對應(yīng)的一位;對事實表進行分組，每個分組對應(yīng)一組哈希函數(shù)映射，每一個哈希函數(shù)映射到事實表記錄delta列的一位，構(gòu)成η位的deltakey，然后將deltakey擴展到與鍵值相同的位寬，然后鍵值與位寬執(zhí)行異或計算，生成編碼鍵值替代原始鍵值存儲在云計算平臺。
[0012]進一步，所述基于位壓縮編碼重組的數(shù)據(jù)安全策略:事實表的度量屬性是數(shù)值型的，通過位壓縮方法將原始的度量屬性縮減存儲位寬;事實表中的度量屬性經(jīng)過數(shù)據(jù)壓縮后形成一個長位串，以預(yù)先設(shè)定的大小為單位對事實記錄位串進行組合存儲，并改變屬性存儲順序。
[0013]進一步，所述改變度量屬性順序存儲解析策略:首先通過其他維過濾向量生成度量索引，在聚集計算階段按度量索引位置掃描數(shù)據(jù)安全維3_0^，映射到數(shù)據(jù)安全過濾向量，解析向量中度量屬性位置值，訪問相應(yīng)的度量列進行聚集計算;對云計算平臺存儲的度量數(shù)據(jù)按照安全策略分組，組內(nèi)調(diào)整度量列順序相當于在事實表分組間的shuf fer過程，將真實的數(shù)據(jù)亂序存儲，將每個數(shù)據(jù)安全分組的度量列順序存儲在企業(yè)內(nèi)部數(shù)據(jù)平臺的數(shù)據(jù)安全維中，為每個查詢生成相應(yīng)的度量屬性位置向量，在云計算平臺的聚集計算時動態(tài)在不同的數(shù)據(jù)安全分組中選擇查詢度量屬性相匹配的數(shù)據(jù)，還原原始的數(shù)據(jù)訪問順序。
[0014]進一步，所述基于delta值映射的數(shù)據(jù)安全解析策略:查詢執(zhí)行時動態(tài)生成安全維過濾向量，通過外鍵映射實時地將事實表度量屬性映射為原始數(shù)據(jù)以進行正確的聚集計笪并ο
[0015]進一步，所述基于哈希函數(shù)的delta映射數(shù)據(jù)安全解析策略:生成數(shù)據(jù)安全維過濾向量并傳輸?shù)皆朴嬎闫脚_，云計算平臺進行聚集計算時，首先根據(jù)數(shù)據(jù)安全維外鍵映射到相應(yīng)的維向量位置，然后根據(jù)哈希函數(shù)映射指定的哈希函數(shù)序號使用哈希函數(shù)將鍵值映射至IjdeIta值，生成delta key，擴展為與編碼鍵值等寬位串后與編碼鍵值進行異或計算，得到原始鍵值進行聚集計算。
[0016]進一步，所述基于位壓縮編碼重組的數(shù)據(jù)安全解析策略:解析數(shù)據(jù)所需要的度量屬性元數(shù)據(jù)存儲在企業(yè)內(nèi)部數(shù)據(jù)平臺的數(shù)據(jù)安全維表中，記錄每個數(shù)據(jù)安全分組中各度量屬性的訪問元數(shù)據(jù)，在查詢處理時根據(jù)查詢中訪問的度量屬性動態(tài)生成維過濾向量，向量由查詢訪問的各個度量屬性位置及長度信息的位編碼構(gòu)成，在云計算平臺的聚集計算階段由相應(yīng)的API解析后完成對度量屬性數(shù)據(jù)的抽取和訪問。
[0017]本發(fā)明由于采取以上技術(shù)方案，其具有以下優(yōu)點:1、本發(fā)明采用二級平臺架構(gòu)將企業(yè)敏感數(shù)據(jù)管理和非敏感的大數(shù)據(jù)計算任務(wù)分離在安全的企業(yè)私有數(shù)據(jù)平臺和安全性相對較弱的公用內(nèi)存云計算平臺，降低了云平臺上的數(shù)據(jù)安全管理復(fù)雜性與成本。2、本發(fā)明采用基于編碼向量的OLAP計算方法，在兩個數(shù)據(jù)