一種大數(shù)據(jù)環(huán)境下的數(shù)據(jù)管理方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明涉及大數(shù)據(jù)領(lǐng)域，尤其涉及一種大數(shù)據(jù)環(huán)境下的數(shù)據(jù)管理方法。
【背景技術(shù)】
[0002]大數(shù)據(jù)是一種戰(zhàn)略資源，優(yōu)化大數(shù)據(jù)環(huán)境下的數(shù)據(jù)管理可以為企業(yè)等帶來巨大的經(jīng)濟(jì)效益。在獲得了大數(shù)據(jù)資源以后，如何對(duì)獲取的大數(shù)據(jù)資源進(jìn)行數(shù)據(jù)綜合分析、以及安全性過濾都是當(dāng)前面臨一個(gè)重要問題，也是當(dāng)前急需解決的課題。

【發(fā)明內(nèi)容】

[0003]本發(fā)明提供一種大數(shù)據(jù)環(huán)境下的數(shù)據(jù)管理方法。
[0004]本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是:
[0005]—種大數(shù)據(jù)環(huán)境下的數(shù)據(jù)管理方法，其特征在于，
[0006]步驟I，分析服務(wù)器統(tǒng)計(jì)分析網(wǎng)絡(luò)中每個(gè)用戶的大數(shù)據(jù)訪問歷史記錄，生成用戶特征數(shù)據(jù)庫；
[0007]步驟2，用戶終端將用戶的資源獲取請(qǐng)求發(fā)送至大數(shù)據(jù)資源服務(wù)器；
[0008]步驟3，大數(shù)據(jù)資源服務(wù)器根據(jù)用戶的資源獲取請(qǐng)求，獲得一組大數(shù)據(jù)資源的集合;并將該組大數(shù)據(jù)資源的集合發(fā)送至分析服務(wù)器；
[0009]步驟4，分析服務(wù)器根據(jù)用戶特征數(shù)據(jù)庫，在該組大數(shù)據(jù)資源的集合中篩選出匹配度最高的大數(shù)據(jù)資源;將篩選后的大數(shù)據(jù)資源發(fā)送至安全過濾服務(wù)器;并更新所述用戶特征數(shù)據(jù)庫；
[0010]步驟5，安全過濾服務(wù)器對(duì)所述篩選后的大數(shù)據(jù)資源進(jìn)行安全性過濾，并將安全性過濾后的大數(shù)據(jù)資源發(fā)送給所述用戶終端。
[0011]作為優(yōu)選，所述步驟I中，所述網(wǎng)絡(luò)中每個(gè)用戶的大數(shù)據(jù)訪問歷史記錄包括用戶的歷史資源獲取請(qǐng)求及其對(duì)應(yīng)的大數(shù)據(jù)資源;并且在步驟I中，所述分析服務(wù)器具體執(zhí)行以下步驟:
[0012]步驟1.1，分析預(yù)設(shè)的統(tǒng)計(jì)時(shí)間段中，網(wǎng)絡(luò)中每個(gè)用戶的大數(shù)據(jù)訪問歷史記錄中的所有歷史資源獲取請(qǐng)求，提取出所有的關(guān)鍵詞；
[0013]步驟1.2，統(tǒng)計(jì)預(yù)設(shè)的統(tǒng)計(jì)時(shí)間段中，網(wǎng)絡(luò)中每個(gè)用戶的大數(shù)據(jù)訪問歷史記錄中的大數(shù)據(jù)資源中每個(gè)關(guān)鍵詞的出現(xiàn)次數(shù)，將每個(gè)關(guān)鍵詞的出現(xiàn)次數(shù)作為該關(guān)鍵詞的權(quán)重值；
[0014]步驟1.3，對(duì)于每個(gè)用戶，構(gòu)成〈用戶名、關(guān)鍵詞、關(guān)鍵詞的權(quán)重值〉結(jié)構(gòu)的三元組，將所述三元組存儲(chǔ)到所述用戶特征數(shù)據(jù)庫中。
[0015]作為優(yōu)選，所述步驟3中，大數(shù)據(jù)資源服務(wù)器執(zhí)行以下操作:
[0016]步驟3.1，大數(shù)據(jù)資源服務(wù)器在用戶的資源獲取請(qǐng)求中提取若干個(gè)關(guān)鍵詞；
[0017]步驟3.2，對(duì)提取的若干個(gè)關(guān)鍵詞進(jìn)行擴(kuò)展，獲得N個(gè)擴(kuò)展關(guān)鍵詞；
[0018]步驟3.3，利用所述N個(gè)擴(kuò)展關(guān)鍵詞進(jìn)行檢索，獲得一組大數(shù)據(jù)資源的集合。
[0019]作為優(yōu)選，所述步驟4中，分析服務(wù)器執(zhí)行以下操作:
[0020]步驟4.1，根據(jù)提出資源獲取請(qǐng)求的用戶的用戶名、以及獲得的N個(gè)擴(kuò)展關(guān)鍵詞，查詢所述用戶特征數(shù)據(jù)庫，依次獲得每個(gè)擴(kuò)展關(guān)鍵詞的權(quán)重值，將所述權(quán)重值構(gòu)成一個(gè)N維的參考向量<K1，K2，...，■>;
[0021]步驟4.2，對(duì)于獲得的一組大數(shù)據(jù)資源的集合中的每項(xiàng)大數(shù)據(jù)資源執(zhí)行以下操作:
[0022]統(tǒng)計(jì)該項(xiàng)大數(shù)據(jù)資源中每個(gè)擴(kuò)展關(guān)鍵詞的出現(xiàn)次數(shù)作為權(quán)重值，將所述權(quán)重值構(gòu)成一個(gè)N維的比對(duì)向量；
[0023]其中，假設(shè)所述大數(shù)據(jù)資源的集合中共有M項(xiàng)大數(shù)據(jù)資源，則第i項(xiàng)大數(shù)據(jù)資源構(gòu)成的N維比對(duì)向量為<kil，ki2，=
[0024]步驟4.3，分別計(jì)算每項(xiàng)大數(shù)據(jù)資源的N維比對(duì)向量與所述N維的參考向量之間的余弦相似度值，將余弦相似度值最高的N維比對(duì)向量所對(duì)應(yīng)的一項(xiàng)大數(shù)據(jù)資源確定為匹配度最高的大數(shù)據(jù)資源。
[0025]作為優(yōu)選，所述步驟5中，所述將安全性過濾后的大數(shù)據(jù)資源發(fā)送給用戶終端具體包括以下步驟:
[0026]所述安全過濾服務(wù)器執(zhí)行以下操作:
[0027]步驟5a.1，將所述大數(shù)據(jù)資源分割為固定長度的規(guī)定格式的數(shù)據(jù)塊；
[0028]步驟5a.2，將每個(gè)規(guī)定格式的數(shù)據(jù)塊加密后轉(zhuǎn)換為二維碼圖片；
[0029]步驟5a.3，在每個(gè)二維碼圖片中嵌入數(shù)字水印信息；
[0030]步驟5a.4，將嵌入數(shù)字水印信息的二維碼圖片依次發(fā)送至所述用戶終端；
[0031 ]所述用戶終端執(zhí)行以下操作:
[0032]步驟5b.1，接收嵌入數(shù)字水印信息的二維碼圖片，并將所有的二維碼圖片按規(guī)定的順序排列；
[0033]步驟5b.2，提取每個(gè)二維碼圖片中的數(shù)字水印信息，驗(yàn)證該二維碼圖片的完整性；
[0034]如果存在未通過完整性驗(yàn)證的二維碼圖片，則將所述未通過完整性驗(yàn)證的二維碼圖片濾除，執(zhí)行步驟5b.3;
[0035]如果不存在未通過完整性驗(yàn)證的二維碼圖片，則執(zhí)行步驟5b.4;
[0036]步驟5b.3，請(qǐng)求所述安全過濾服務(wù)器重新發(fā)送所有未通過完整性驗(yàn)證的二維碼圖片，直至獲得通過完整性驗(yàn)證的所有二維碼圖片；
[0037]步驟5b.4，將通過所述完整性驗(yàn)證的所有二維碼圖片解密后轉(zhuǎn)換為規(guī)定格式的數(shù)據(jù)塊；
[0038]步驟5b.5，將所有規(guī)定格式的數(shù)據(jù)塊按規(guī)定的順序組合，獲得所述大數(shù)據(jù)資源。
【具體實(shí)施方式】
[0039]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0040]本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是:
[0041]—種大數(shù)據(jù)環(huán)境下的數(shù)據(jù)管理方法，其特征在于，
[0042]步驟I，分析服務(wù)器統(tǒng)計(jì)分析網(wǎng)絡(luò)中每個(gè)用戶的大數(shù)據(jù)訪問歷史記錄，生成用戶特征數(shù)據(jù)庫；
[0043]步驟2，用戶終端將用戶的資源獲取請(qǐng)求發(fā)送至大數(shù)據(jù)資源服務(wù)器；
[0044]步驟3，大數(shù)據(jù)資源服務(wù)器根據(jù)用戶的資源獲取請(qǐng)求，獲得一組大數(shù)據(jù)資源的集合;并將該組大數(shù)據(jù)資源的集合發(fā)送至分析服務(wù)器；
[0045]步驟4，分析服務(wù)器根據(jù)用戶特征數(shù)據(jù)庫，在該組大數(shù)據(jù)資源的集合中篩選出匹配度最高的大數(shù)據(jù)資源;將篩選后的大數(shù)據(jù)資源發(fā)送至安全過濾服務(wù)器;并更新所述用戶特征數(shù)據(jù)庫；
[0046]步驟5，安全過濾服務(wù)器對(duì)所述篩選后的大數(shù)據(jù)資源進(jìn)行安全性過濾，并將安全性過濾后的大數(shù)據(jù)資源發(fā)送給所述用戶終端。
[0047]作為優(yōu)選，所述步驟I中，所述網(wǎng)絡(luò)中每個(gè)用戶的大數(shù)據(jù)訪問歷史記錄包括用戶的歷史資源獲取請(qǐng)求及其對(duì)應(yīng)的大數(shù)據(jù)資源;并且在步驟I中，所述分析服務(wù)器具體執(zhí)行以下步驟:
[0048]步驟1.1，分析預(yù)設(shè)的統(tǒng)計(jì)時(shí)間段中，網(wǎng)絡(luò)中每個(gè)用戶的大數(shù)據(jù)訪問歷史記錄中的所有歷史資源獲取請(qǐng)求，提取出所有的關(guān)鍵詞；
[0049]步驟1.2，統(tǒng)計(jì)預(yù)設(shè)的統(tǒng)計(jì)時(shí)間段中，網(wǎng)絡(luò)中每個(gè)用戶的大數(shù)據(jù)訪問歷史記錄中的大數(shù)據(jù)資源中每個(gè)關(guān)鍵詞的出現(xiàn)次數(shù)，將每個(gè)關(guān)鍵詞的出現(xiàn)次數(shù)作為該關(guān)鍵詞的權(quán)重值；
[0050]步驟1.3，對(duì)于每個(gè)用戶，構(gòu)成〈用戶名、關(guān)鍵詞、關(guān)鍵詞的權(quán)重值〉結(jié)構(gòu)的三元組，將所述三元組存儲(chǔ)到所述用戶特征數(shù)據(jù)庫中。
[0051]作為優(yōu)選，所述步驟3中，大數(shù)據(jù)資源服務(wù)器執(zhí)行以下操作:
[0052]步驟3.1，大數(shù)據(jù)資源服務(wù)器在用戶的資源獲取請(qǐng)求中提取若干個(gè)關(guān)鍵詞；
[0053]步驟3.2，對(duì)提取的若干個(gè)關(guān)鍵詞進(jìn)行擴(kuò)展，獲得N個(gè)擴(kuò)展關(guān)鍵詞；
[0054]步驟3.3，利用所述N個(gè)擴(kuò)展關(guān)鍵詞進(jìn)行檢索，獲得一組大數(shù)據(jù)資源的集合。
[0055]作為優(yōu)選，所述步驟4中，分析服務(wù)器執(zhí)行以下操作:
[0056]步驟4.1，根據(jù)提