基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理方法和裝置制造方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理方法和裝置，該數(shù)據(jù)處理方法包括：根據(jù)用戶(hù)發(fā)送的訪問(wèn)請(qǐng)求信息，記錄用戶(hù)的訪問(wèn)行為及訪問(wèn)數(shù)據(jù)；對(duì)記錄的訪問(wèn)行為及訪問(wèn)數(shù)據(jù)進(jìn)行分析，并根據(jù)分析結(jié)果對(duì)訪問(wèn)行為進(jìn)行安全等級(jí)劃分；根據(jù)預(yù)先設(shè)定的安全策略與當(dāng)前訪問(wèn)行為的安全等級(jí)執(zhí)行與當(dāng)前訪問(wèn)行為的安全等級(jí)對(duì)應(yīng)的安全策略。本發(fā)明通過(guò)記錄用戶(hù)的訪問(wèn)請(qǐng)求信息并分析用戶(hù)的訪問(wèn)請(qǐng)求信息，對(duì)用戶(hù)的訪問(wèn)請(qǐng)求情況進(jìn)行安全等級(jí)劃分，并根據(jù)預(yù)先設(shè)定的安全策略對(duì)不同的用戶(hù)請(qǐng)求進(jìn)行相應(yīng)的處理，解決了大數(shù)據(jù)平臺(tái)的數(shù)據(jù)結(jié)構(gòu)復(fù)雜性導(dǎo)致系統(tǒng)安全性低的問(wèn)題。
【專(zhuān)利說(shuō)明】基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理方法和裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及數(shù)據(jù)處理領(lǐng)域，具體來(lái)說(shuō)，設(shè)及一種基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理方法 和裝置。

【背景技術(shù)】
[0002] 信息技術(shù)的飛速發(fā)展迎來(lái)了大數(shù)據(jù)時(shí)代，數(shù)據(jù)越來(lái)越成為國(guó)家和企業(yè)的戰(zhàn)略資 產(chǎn)。大數(shù)據(jù)是近年來(lái)興起的一種新型計(jì)算模式，大數(shù)據(jù)技術(shù)也在各個(gè)行業(yè)和領(lǐng)域得到了廣 泛的應(yīng)用。當(dāng)用戶(hù)建立起了大數(shù)據(jù)平臺(tái)后，由于數(shù)據(jù)的集中和數(shù)據(jù)的重要性，對(duì)于數(shù)據(jù)訪問(wèn) 的行為管理員需要直觀的掌握，并對(duì)關(guān)鍵的敏感信息訪問(wèn)能夠?qū)嵤┛刂?，W保障核屯、數(shù)據(jù) 的安全性。
[0003] 而當(dāng)前主流的大數(shù)據(jù)軟件并沒(méi)有提供完善的數(shù)據(jù)安全防護(hù)措施，只有基本的數(shù)據(jù) 讀寫(xiě)功能。一旦用戶(hù)能夠訪問(wèn)大數(shù)據(jù)平臺(tái)，幾乎就可W獲取所有數(shù)據(jù)。
[0004] 目前大數(shù)據(jù)技術(shù)處于起步階段，由于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)結(jié)構(gòu)復(fù)雜性，并沒(méi)有足夠 完善的數(shù)據(jù)安全防護(hù)措施，如果用戶(hù)進(jìn)入數(shù)據(jù)庫(kù)中，而該些數(shù)據(jù)中對(duì)于某些用戶(hù)是不應(yīng)該 能夠使用，或者過(guò)度使用的，該就給系統(tǒng)帶來(lái)了極大的安全隱患。
[0005] 針對(duì)相關(guān)技術(shù)中的問(wèn)題，目前尚未提出有效的解決方案。


【發(fā)明內(nèi)容】

[0006] 針對(duì)相關(guān)技術(shù)中的問(wèn)題，本發(fā)明提出一種基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理方法和裝 置，能夠大大提高大數(shù)據(jù)平臺(tái)數(shù)據(jù)的安全性。
[0007] 本發(fā)明的技術(shù)方案是該樣實(shí)現(xiàn)的：
[000引根據(jù)本發(fā)明的一個(gè)方面，提供了一種基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理方法。
[0009] 該數(shù)據(jù)處理方法，包括：
[0010] 根據(jù)用戶(hù)發(fā)送的訪問(wèn)請(qǐng)求信息，記錄用戶(hù)的訪問(wèn)行為及訪問(wèn)數(shù)據(jù)；
[0011] 對(duì)記錄的訪問(wèn)行為及訪問(wèn)數(shù)據(jù)進(jìn)行分析，并根據(jù)分析結(jié)果對(duì)訪問(wèn)行為進(jìn)行安全等 級(jí)劃分；
[0012] 根據(jù)預(yù)先設(shè)定的安全策略與當(dāng)前訪問(wèn)行為的安全等級(jí)執(zhí)行與當(dāng)前訪問(wèn)行為的安 全等級(jí)對(duì)應(yīng)的安全策略。
[0013] 其中，大數(shù)據(jù)平臺(tái)由多個(gè)不同的數(shù)據(jù)處理平臺(tái)并行組成。
[0014] 其中，根據(jù)用戶(hù)發(fā)送的訪問(wèn)請(qǐng)求信息，記錄用戶(hù)的訪問(wèn)行為及訪問(wèn)數(shù)據(jù)，進(jìn)一步包 括：
[0015] 將用戶(hù)的訪問(wèn)請(qǐng)求轉(zhuǎn)換成與構(gòu)成大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理平臺(tái)相對(duì)應(yīng)的請(qǐng)求格式。
[0016] 其中，安全策略包括W下至少之一：
[0017] 記錄日志、發(fā)送告警、阻斷訪問(wèn)；
[0018] 其中，發(fā)送告警包括記錄日志的處理行為，阻斷包括發(fā)送告警和記錄日志的處理 行為。
[0019] 其中，在當(dāng)前訪問(wèn)行為為安全的情況下，將用戶(hù)所要訪問(wèn)的數(shù)據(jù)發(fā)送至客戶(hù)端，并 記錄用戶(hù)的訪問(wèn)數(shù)據(jù)及訪問(wèn)日志；
[0020] 在當(dāng)前訪問(wèn)行為為告警的情況下，向監(jiān)控服務(wù)器發(fā)送告警，并記錄用戶(hù)的訪問(wèn)數(shù) 據(jù)及訪問(wèn)日志；
[0021] 在當(dāng)前訪問(wèn)行為為危險(xiǎn)的情況下，阻斷當(dāng)前用戶(hù)的訪問(wèn)請(qǐng)求，并向監(jiān)控服務(wù)器發(fā) 送告警，同時(shí)記錄用戶(hù)的訪問(wèn)數(shù)據(jù)及訪問(wèn)日志。
[0022] 根據(jù)本發(fā)明的另一方面，提供了一種基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理裝置，該數(shù)據(jù)處 理裝置包括：
[0023] 記錄模塊，用于根據(jù)用戶(hù)發(fā)送的訪問(wèn)請(qǐng)求信息，記錄用戶(hù)的訪問(wèn)行為及訪問(wèn)數(shù) 據(jù)；
[0024] 分析模塊，用于對(duì)記錄的訪問(wèn)行為及訪問(wèn)數(shù)據(jù)進(jìn)行分析；
[0025] 劃分模塊，用于根據(jù)分析模塊的分析結(jié)果對(duì)訪問(wèn)行為進(jìn)行安全等級(jí)劃分；
[0026] 處理模塊，用于根據(jù)預(yù)先設(shè)定的安全策略與當(dāng)前訪問(wèn)行為的安全等級(jí)執(zhí)行與當(dāng)前 訪問(wèn)行為的安全等級(jí)對(duì)應(yīng)的安全策略。
[0027] 其中，大數(shù)據(jù)平臺(tái)由多個(gè)不同的數(shù)據(jù)處理平臺(tái)并行組成。
[002引此外，記錄模塊進(jìn)一步包括：
[0029] 格式轉(zhuǎn)換單元，用于將用戶(hù)的訪問(wèn)請(qǐng)求轉(zhuǎn)換成與構(gòu)成大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理平臺(tái) 相對(duì)應(yīng)的請(qǐng)求格式。
[0030] 其中，安全策略包括W下至少之一：
[0031] 記錄日志、發(fā)送告警、阻斷訪問(wèn)；
[0032] 其中，發(fā)送告警包括記錄日志的處理行為，阻斷包括發(fā)送告警和記錄日志的處理 行為。
[0033] 此外，該數(shù)據(jù)處理裝置還可W包括：
[0034] 第一發(fā)送模塊，用于在當(dāng)前訪問(wèn)行為為安全的情況下，將用戶(hù)所要訪問(wèn)的數(shù)據(jù)發(fā) 送至客戶(hù)端；
[00巧]記錄模塊進(jìn)一步用于，記錄用戶(hù)的房屋內(nèi)數(shù)據(jù)及訪問(wèn)日志；
[0036] 第二發(fā)送模塊用于，在當(dāng)前訪問(wèn)行為為告警的情況下，向監(jiān)控服務(wù)器發(fā)送告警；
[0037] 阻斷模塊，用于在當(dāng)前訪問(wèn)行為為危險(xiǎn)的情況下，阻斷當(dāng)前用戶(hù)的訪問(wèn)請(qǐng)求。
[003引本發(fā)明通過(guò)記錄用戶(hù)的訪問(wèn)請(qǐng)求信息并分析用戶(hù)的訪問(wèn)請(qǐng)求信息，對(duì)用戶(hù)的訪問(wèn) 請(qǐng)求情況進(jìn)行安全等級(jí)劃分，并根據(jù)預(yù)先設(shè)定的安全策略對(duì)不同的用戶(hù)請(qǐng)求進(jìn)行相應(yīng)的處 理，并且由于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)結(jié)構(gòu)復(fù)雜性本發(fā)明通過(guò)對(duì)訪問(wèn)行為進(jìn)行安全等級(jí)劃分，實(shí) 現(xiàn)了根據(jù)不同的用戶(hù)訪問(wèn)信息只能訪問(wèn)自己權(quán)限范圍內(nèi)的數(shù)據(jù)，從而大大提高了大數(shù)據(jù)平 臺(tái)的安全性。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0039] 為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例中所 需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施 例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可W根據(jù)該些附圖獲 得其他的附圖。
[0040] 圖1是根據(jù)本發(fā)明實(shí)施例的基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理方法的流程圖；
[0041] 圖2是根據(jù)本發(fā)明實(shí)施例的基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理方法的示意性流程圖；
[0042] 圖3是根據(jù)本發(fā)明實(shí)施例的軟件架構(gòu)示意圖；
[0043] 圖4是根據(jù)本發(fā)明實(shí)施例的硬件架構(gòu)示意圖；
[0044] 圖5是根據(jù)本發(fā)明實(shí)施例的基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理裝置的框圖。

【具體實(shí)施方式】
[0045] 下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于 本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的 范圍。
[0046] 根據(jù)本發(fā)明的實(shí)施例，提供了一種基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理方法，其中，大數(shù)據(jù) 處理平臺(tái)由多個(gè)不同和/或相同的數(shù)據(jù)處理平臺(tái)組成，比如可W有hadoop平臺(tái)和nosql數(shù) 據(jù)庫(kù)W及其他分布式并行數(shù)據(jù)庫(kù)組合構(gòu)成。
[0047] 如圖1所示，根據(jù)本發(fā)明實(shí)施例的基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理方法，包括：
[0048] 步驟S101，根據(jù)用戶(hù)發(fā)送的訪問(wèn)請(qǐng)求信息，記錄用戶(hù)的訪問(wèn)行為及訪問(wèn)數(shù)據(jù)；
[0049] 步驟S103,對(duì)記錄的訪問(wèn)行為及訪問(wèn)數(shù)據(jù)進(jìn)行分析，并根據(jù)分析結(jié)果對(duì)訪問(wèn)行為 進(jìn)行安全等級(jí)劃分；
[0化0] 步驟S105,根據(jù)預(yù)先設(shè)定的安全策略與當(dāng)前訪問(wèn)行為的安全等級(jí)執(zhí)行與當(dāng)前訪問(wèn) 行為的安全等級(jí)對(duì)應(yīng)的安全策略。
[0051] 其中，在對(duì)用戶(hù)的訪問(wèn)行為及訪問(wèn)數(shù)據(jù)進(jìn)行記錄時(shí)，同時(shí)將用戶(hù)的訪問(wèn)請(qǐng)求轉(zhuǎn)換 成與構(gòu)成大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理平臺(tái)相對(duì)應(yīng)的請(qǐng)求格式，比如用戶(hù)需要訪問(wèn)hadoop組件 的數(shù)據(jù)，則將訪問(wèn)請(qǐng)求轉(zhuǎn)換成與hadoop平臺(tái)相對(duì)應(yīng)的請(qǐng)求格式。
[0化2] 其中，安全策略包括W下至少之一：
[0化3] 記錄日志、發(fā)送告警、阻斷訪問(wèn)；
[0化4] 其中，發(fā)送告警包括記錄日志的處理行為，阻斷包括發(fā)送告警和記錄日志的處理 行為。
[0055] 比如，在當(dāng)前訪問(wèn)行為為安全的情況下，安全策略為記錄日志，則將用戶(hù)所要訪問(wèn) 的數(shù)據(jù)發(fā)送至客戶(hù)端，并記錄用戶(hù)的訪問(wèn)數(shù)據(jù)及訪問(wèn)日志；
[0056] 在當(dāng)前訪問(wèn)行為為告警的情況下，安全策略為發(fā)送告警，則向監(jiān)控服務(wù)器發(fā)送告 警，并記錄用戶(hù)的訪問(wèn)數(shù)據(jù)及訪問(wèn)日志；
[0057] 在當(dāng)前訪問(wèn)行為為危險(xiǎn)的情況下，安全策略為阻斷訪問(wèn)，則阻斷當(dāng)前用戶(hù)的訪問(wèn) 請(qǐng)求，并向監(jiān)控服務(wù)器發(fā)送告警，同時(shí)記錄用戶(hù)的訪問(wèn)數(shù)據(jù)及訪問(wèn)日志。
[005引上述在觸發(fā)相應(yīng)的安全策略后進(jìn)行記錄可W有助于數(shù)據(jù)的統(tǒng)計(jì)及數(shù)據(jù)使用情況 的追溯。
[0059] 在一個(gè)具體的實(shí)施例中，如圖2所示，在大數(shù)據(jù)安全處理引擎中，增加對(duì)用戶(hù)訪問(wèn) 數(shù)據(jù)的內(nèi)容審計(jì)和屬性分析的功能，對(duì)數(shù)據(jù)訪問(wèn)行為進(jìn)行記錄，包括數(shù)據(jù)的類(lèi)別、屬主、訪 問(wèn)用戶(hù)、訪問(wèn)時(shí)間等信息；分析模塊對(duì)該些記錄進(jìn)行合規(guī)性檢查和異常檢測(cè)，生成數(shù)據(jù)訪問(wèn) 統(tǒng)計(jì)報(bào)表，對(duì)訪問(wèn)行為進(jìn)行安全等級(jí)劃分，根據(jù)不同的級(jí)別采取不同的反饋措施。W確保用 戶(hù)訪問(wèn)數(shù)據(jù)的合法性。
[0060] 如圖3示出了本發(fā)明實(shí)施例的軟件架構(gòu)，本發(fā)明支持對(duì)hadoop平臺(tái)各組件W及數(shù) 據(jù)庫(kù)等用戶(hù)訪問(wèn)行為的監(jiān)控和追蹤。在軟件層面，將在化dooop組件和數(shù)據(jù)庫(kù)之上，構(gòu)建大 數(shù)據(jù)安全訪問(wèn)引擎，和數(shù)據(jù)訪問(wèn)支撐工具，大數(shù)據(jù)應(yīng)用系統(tǒng)通過(guò)數(shù)據(jù)訪問(wèn)接口和支撐工具， 對(duì)底層數(shù)據(jù)進(jìn)行訪問(wèn)，中間經(jīng)過(guò)大數(shù)據(jù)安全訪問(wèn)引擎，會(huì)對(duì)用戶(hù)的訪問(wèn)數(shù)據(jù)行為進(jìn)行監(jiān)控 和追蹤，并進(jìn)行相應(yīng)的控制和處理。
[0061] 如圖4示出了本發(fā)明實(shí)施例的硬件結(jié)構(gòu)，應(yīng)用節(jié)點(diǎn)訪問(wèn)安全引擎集群，安全引擎 集群將從安全引擎數(shù)據(jù)庫(kù)中獲取到對(duì)應(yīng)的安全策略，然后對(duì)應(yīng)用的數(shù)據(jù)訪問(wèn)進(jìn)行相應(yīng)的處 理，對(duì)于不允許的數(shù)據(jù)訪問(wèn)將直接阻斷，對(duì)于允許的數(shù)據(jù)訪問(wèn)將數(shù)據(jù)請(qǐng)求轉(zhuǎn)發(fā)到相應(yīng)的大 數(shù)據(jù)組件上，然后將最終數(shù)據(jù)返回給客戶(hù)端，并在此過(guò)程中對(duì)用戶(hù)訪問(wèn)數(shù)據(jù)的內(nèi)容和行為 進(jìn)行日志審計(jì)和記錄，并將結(jié)果存入數(shù)據(jù)庫(kù)中，用于后期追蹤和分析。
[0062] 請(qǐng)?jiān)賲⒁?jiàn)圖2,本發(fā)明支持大數(shù)據(jù)常用組件的數(shù)據(jù)訪問(wèn)監(jiān)控和追蹤，包括h壯S、 hive、數(shù)據(jù)庫(kù)等，對(duì)用戶(hù)的數(shù)據(jù)訪問(wèn)監(jiān)控支持多種安全策略設(shè)置（包括策略的增刪改查）， 監(jiān)控對(duì)象支持對(duì)文件、數(shù)據(jù)庫(kù)表空間、表、關(guān)鍵字段等對(duì)象的監(jiān)控，追蹤策略支持記錄日志、 告警（發(fā)送告警郵件）、阻斷=種模式，立種模式為依次包含關(guān)系，即后者會(huì)包含前者的功 能，例如阻斷模式會(huì)同時(shí)記錄日志，并發(fā)送告警郵件。
[0063] 具體的，管理員首先登陸安全處理引擎的Web界面，根據(jù)需求設(shè)置對(duì)關(guān)鍵數(shù)據(jù)的 安全策略，安全處理引擎將預(yù)先設(shè)定的安全策略存入安全引擎數(shù)據(jù)庫(kù)中。當(dāng)用戶(hù)發(fā)送訪問(wèn) 請(qǐng)求時(shí)，通過(guò)安全訪問(wèn)接口發(fā)送數(shù)據(jù)訪問(wèn)請(qǐng)求，安全引擎根據(jù)用戶(hù)的訪問(wèn)請(qǐng)求中的信息，從 安全引擎數(shù)據(jù)庫(kù)中查詢(xún)對(duì)應(yīng)的安全策略。如果策略為阻斷請(qǐng)求，則直接拒絕用戶(hù)發(fā)送的訪 問(wèn)請(qǐng)求，并記錄日志同時(shí)發(fā)送告警。否則則將訪問(wèn)請(qǐng)求轉(zhuǎn)發(fā)到相應(yīng)的大數(shù)據(jù)平臺(tái)，例如h壯S 或者oracle數(shù)據(jù)庫(kù)，安全引擎通過(guò)調(diào)用大數(shù)據(jù)平臺(tái)相應(yīng)的數(shù)據(jù)訪問(wèn)接口獲得相應(yīng)數(shù)據(jù)，然 后將數(shù)據(jù)返回給客戶(hù)端。同時(shí)在處理過(guò)程中記錄應(yīng)用訪問(wèn)的數(shù)據(jù)信息，形成數(shù)據(jù)訪問(wèn)日志， 包括數(shù)據(jù)的類(lèi)別、屬主、訪問(wèn)用戶(hù)、訪問(wèn)時(shí)間等信息，并實(shí)時(shí)分析處理該些信息對(duì)其進(jìn)行安 全等級(jí)劃分，如果其中滿(mǎn)足告警條件，則發(fā)送相應(yīng)的告警。
[0064] 此外，安全處理引擎需要根據(jù)用戶(hù)的請(qǐng)求，進(jìn)行相應(yīng)的語(yǔ)義轉(zhuǎn)換，包括解析用戶(hù) 請(qǐng)求的數(shù)據(jù)對(duì)象、數(shù)據(jù)內(nèi)容、所對(duì)應(yīng)的大數(shù)據(jù)平臺(tái)，在解析過(guò)程中除了安全相關(guān)的監(jiān)控和 追蹤外，還需將用戶(hù)的數(shù)據(jù)請(qǐng)求轉(zhuǎn)換成對(duì)應(yīng)大數(shù)據(jù)平臺(tái)相應(yīng)的請(qǐng)求格式，例如h壯S、hive、 oracle都有不同的數(shù)據(jù)訪問(wèn)請(qǐng)求形式，安全處理引擎需進(jìn)行相應(yīng)的隱式轉(zhuǎn)換。
[00化]此外，安全處理引擎和應(yīng)用之間支持加密安全傳輸，協(xié)議支持https、ssh W及私 有加密協(xié)議。
[0066] 此外，由于大數(shù)據(jù)軟件組件眾多，語(yǔ)義復(fù)雜繁多，本發(fā)明支持的數(shù)據(jù)訪問(wèn)請(qǐng)求范圍 如下：
[0067] 化acle數(shù)據(jù)平臺(tái)數(shù)據(jù)訪問(wèn)請(qǐng)求為化acle所能夠支持的所有的查詢(xún)語(yǔ)句。
[0068] 化ve大數(shù)據(jù)平臺(tái)數(shù)據(jù)訪問(wèn)請(qǐng)求為底層所用化ve版本對(duì)應(yīng)的所有的化ve S化語(yǔ) 句。
[0069] H壯S大數(shù)據(jù)平臺(tái)數(shù)據(jù)訪問(wèn)請(qǐng)求分為H壯S Shell的命令封裝W及化doop作為提 交命令。調(diào)用文件系統(tǒng)（F巧化ell命令應(yīng)使用h壯S.〈CMDNAME〉的形式。所有的FS shell 命令使用URI路徑作為參數(shù)。URI格式是scheme://authority/path。對(duì)皿FS文件系統(tǒng)， scheme是h壯s，對(duì)本地文件系統(tǒng)，scheme是file。其中scheme和authority參數(shù)都是 可選的，如果未加指定，就會(huì)使用配置中指定的默認(rèn)scheme。一個(gè)皿FS文件或目錄比如/ parent/chiId 可 W表不成 hdf S: //namenode: namenodeport/parent/chiId，或者更簡(jiǎn)單的 /parent/child，大多數(shù)FS Shell命令的行為和對(duì)應(yīng)的化ix Shell命令類(lèi)似，不同之處會(huì) 在下表中舉例介紹，下表中所舉例說(shuō)明的特殊命令并不完全包括其他特殊命令，僅作為介 紹使用。出錯(cuò)信息會(huì)輸出到stderr，其他信息輸出到stdout。
[0070]

【權(quán)利要求】
1. 一種基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理方法，其特征在于，包括： 根據(jù)用戶(hù)發(fā)送的訪問(wèn)請(qǐng)求信息，記錄所述用戶(hù)的訪問(wèn)行為及訪問(wèn)數(shù)據(jù)； 對(duì)記錄的所述訪問(wèn)行為及訪問(wèn)數(shù)據(jù)進(jìn)行分析，并根據(jù)分析結(jié)果對(duì)所述訪問(wèn)行為進(jìn)行安 全等級(jí)劃分； 根據(jù)預(yù)先設(shè)定的安全策略與當(dāng)前訪問(wèn)行為的安全等級(jí)執(zhí)行與當(dāng)前訪問(wèn)行為的安全等 級(jí)對(duì)應(yīng)的安全策略。
2. 根據(jù)權(quán)利要求1的所述方法，其特征在于，所述大數(shù)據(jù)平臺(tái)由多個(gè)不同的數(shù)據(jù)處理 平臺(tái)并行組成。
3. 根據(jù)權(quán)利要求1的所述方法，其特征在于，根據(jù)所述用戶(hù)發(fā)送的訪問(wèn)請(qǐng)求信息，記錄 所述用戶(hù)的訪問(wèn)行為及訪問(wèn)數(shù)據(jù)，進(jìn)一步包括： 將所述用戶(hù)的訪問(wèn)請(qǐng)求轉(zhuǎn)換成與構(gòu)成所述大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理平臺(tái)相對(duì)應(yīng)的請(qǐng)求 格式。
4. 根據(jù)權(quán)利要求1的所述方法，其特征在于，所述安全策略包括以下至少之一： 記錄日志、發(fā)送告警、阻斷訪問(wèn)； 其中，所述發(fā)送告警包括記錄日志的處理行為，所述阻斷包括發(fā)送告警和記錄日志的 處理行為。
5. 根據(jù)權(quán)利要求4的所述方法，其特征在于， 在當(dāng)前訪問(wèn)行為為安全的情況下，將用戶(hù)所要訪問(wèn)的數(shù)據(jù)發(fā)送至客戶(hù)端，并記錄所述 用戶(hù)的訪問(wèn)數(shù)據(jù)及訪問(wèn)日志； 在當(dāng)前訪問(wèn)行為為告警的情況下，向監(jiān)控服務(wù)器發(fā)送告警，并記錄所述用戶(hù)的訪問(wèn)數(shù) 據(jù)及訪問(wèn)日志； 在當(dāng)前訪問(wèn)行為為危險(xiǎn)的情況下，阻斷當(dāng)前用戶(hù)的訪問(wèn)請(qǐng)求，并向監(jiān)控服務(wù)器發(fā)送告 警，同時(shí)記錄所述用戶(hù)的訪問(wèn)數(shù)據(jù)及訪問(wèn)日志。
6. -種基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理裝置，其特征在于，包括： 記錄模塊，用于根據(jù)用戶(hù)發(fā)送的訪問(wèn)請(qǐng)求信息，記錄所述用戶(hù)的訪問(wèn)行為及訪問(wèn)數(shù) 據(jù)； 分析模塊，用于對(duì)記錄的所述訪問(wèn)行為及訪問(wèn)數(shù)據(jù)進(jìn)行分析； 劃分模塊，用于根據(jù)所述分析模塊的分析結(jié)果對(duì)所述訪問(wèn)行為進(jìn)行安全等級(jí)劃分； 處理模塊，用于根據(jù)預(yù)先設(shè)定的安全策略與當(dāng)前訪問(wèn)行為的安全等級(jí)執(zhí)行與當(dāng)前訪問(wèn) 行為的安全等級(jí)對(duì)應(yīng)的安全策略。
7. 根據(jù)權(quán)利要求6的所述裝置，其特征在于，所述大數(shù)據(jù)平臺(tái)由多個(gè)不同的數(shù)據(jù)處理 平臺(tái)并行組成。
8. 根據(jù)權(quán)利要求6的所述裝置，其特征在于，所述記錄模塊進(jìn)一步包括： 格式轉(zhuǎn)換單元，用于將所述用戶(hù)的訪問(wèn)請(qǐng)求轉(zhuǎn)換成與構(gòu)成所述大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理 平臺(tái)相對(duì)應(yīng)的請(qǐng)求格式。
9. 根據(jù)權(quán)利要求6的所述裝置，其特征在于，所述安全策略包括以下至少之一： 記錄日志、發(fā)送告警、阻斷訪問(wèn)； 其中，所述發(fā)送告警包括記錄日志的處理行為，所述阻斷包括發(fā)送告警和記錄日志的 處理行為。
10.根據(jù)權(quán)利要求9的所述裝置，其特征在于，包括： 第一發(fā)送模塊，用于在當(dāng)前訪問(wèn)行為為安全的情況下，將用戶(hù)所要訪問(wèn)的數(shù)據(jù)發(fā)送至 客戶(hù)端； 記錄模塊進(jìn)一步用于，記錄所述用戶(hù)的房屋內(nèi)數(shù)據(jù)及訪問(wèn)日志； 第二發(fā)送模塊用于，在當(dāng)前訪問(wèn)行為為告警的情況下，向監(jiān)控服務(wù)器發(fā)送告警； 阻斷模塊，用于在當(dāng)前訪問(wèn)行為為危險(xiǎn)的情況下，阻斷當(dāng)前用戶(hù)的訪問(wèn)請(qǐng)求。
【文檔編號(hào)】G06F17/30GK104504014SQ201410758944
【公開(kāi)日】2015年4月8日 申請(qǐng)日期:2014年12月10日 優(yōu)先權(quán)日:2014年12月10日
【發(fā)明者】郭慶, 班軍成, 解元, 謝瑩瑩, 徐學(xué)輝 申請(qǐng)人:無(wú)錫城市云計(jì)算中心有限公司