基于大數(shù)據(jù)平臺(tái)的網(wǎng)絡(luò)安全實(shí)施系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及大數(shù)據(jù)、網(wǎng)絡(luò)安全等技術(shù)領(lǐng)域，具體的說，是基于大數(shù)據(jù)平臺(tái)的網(wǎng)絡(luò)安全實(shí)施系統(tǒng)及方法。
【背景技術(shù)】
[0002]網(wǎng)絡(luò)安全是指網(wǎng)絡(luò)系統(tǒng)的硬件、軟件及其系統(tǒng)中的數(shù)據(jù)受到保護(hù)，不因偶然的或者惡意的原因而遭受到破壞、更改、泄露，系統(tǒng)連續(xù)可靠正常地運(yùn)行，網(wǎng)絡(luò)服務(wù)不中斷。
[0003]主要特性:
1、保密性，信息不泄露給非授權(quán)用戶、實(shí)體或過程，或供其利用的特性。
[0004]2、完整性，數(shù)據(jù)未經(jīng)授權(quán)不能進(jìn)行改變的特性。即信息在存儲(chǔ)或傳輸過程中保持不被修改、不被破壞和丟失的特性。
[0005]3、可用性，可被授權(quán)實(shí)體訪問并按需求使用的特性。即當(dāng)需要時(shí)能否存取所需的信息。例如網(wǎng)絡(luò)環(huán)境下拒絕服務(wù)、破壞網(wǎng)絡(luò)和有關(guān)系統(tǒng)的正常運(yùn)行等都屬于對(duì)可用性的攻擊。
[0006]4、可控性，對(duì)信息的傳播及內(nèi)容具有控制能力。
[0007]5、可審查性，出現(xiàn)安全問題時(shí)提供依據(jù)與手段。
[0008]從網(wǎng)絡(luò)運(yùn)行和管理者角度說，希望對(duì)本地網(wǎng)絡(luò)信息的訪問、讀寫等操作受到保護(hù)和控制，避免出現(xiàn)“陷門”、病毒、非法存取、拒絕服務(wù)和網(wǎng)絡(luò)資源非法占用和非法控制等威脅，制止和防御網(wǎng)絡(luò)黑客的攻擊。對(duì)安全保密部門來說，他們希望對(duì)非法的、有害的或涉及國(guó)家機(jī)密的信息進(jìn)行過濾和防堵，避免機(jī)要信息泄露，避免對(duì)社會(huì)產(chǎn)生危害，對(duì)國(guó)家造成巨大損失。
[0009]隨著計(jì)算機(jī)技術(shù)的迅速發(fā)展，在計(jì)算機(jī)上處理的業(yè)務(wù)也由基于單機(jī)的數(shù)學(xué)運(yùn)算、文件處理，基于簡(jiǎn)單連接的內(nèi)部網(wǎng)絡(luò)的內(nèi)部業(yè)務(wù)處理、辦公自動(dòng)化等發(fā)展到基于復(fù)雜的內(nèi)部網(wǎng)(Intranet)、企業(yè)外部網(wǎng)(Extranet)、全球互聯(lián)網(wǎng)(Internet)的企業(yè)級(jí)計(jì)算機(jī)處理系統(tǒng)和世界范圍內(nèi)的信息共享和業(yè)務(wù)處理。
[0010]在系統(tǒng)處理能力提高的同時(shí)，系統(tǒng)的連接能力也在不斷的提高。但在連接能力信息、流通能力提高的同時(shí)，基于網(wǎng)絡(luò)連接的安全問題也日益突出，整體的網(wǎng)絡(luò)安全主要表現(xiàn)在以下幾個(gè)方面:網(wǎng)絡(luò)的物理安全、網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)安全、網(wǎng)絡(luò)系統(tǒng)安全、應(yīng)用系統(tǒng)安全和網(wǎng)絡(luò)管理的安全等。
[0011]因此計(jì)算機(jī)安全問題，應(yīng)該像每家每戶的防火防盜問題一樣，做到防范于未然。甚至不會(huì)想到你自己也會(huì)成為目標(biāo)的時(shí)候，威脅就已經(jīng)出現(xiàn)了，一旦發(fā)生，常常措手不及，造成極大的損失。
[0012]隨著移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等應(yīng)用的飛速發(fā)展，全球數(shù)據(jù)量出現(xiàn)了爆炸式增長(zhǎng)。數(shù)據(jù)量的飛速增長(zhǎng)預(yù)示著現(xiàn)在已經(jīng)進(jìn)入了大數(shù)據(jù)時(shí)代。網(wǎng)絡(luò)運(yùn)營(yíng)商擁有龐大的用戶，同時(shí)具有對(duì)終端及用戶上網(wǎng)通道的掌控能力，使得在用戶行為分析方面具有很好的數(shù)據(jù)基礎(chǔ)，深入分析用戶流量行為特征和規(guī)律，發(fā)現(xiàn)用戶潛在消費(fèi)需求，是提升價(jià)值和經(jīng)營(yíng)水平的有效手段。然而，不僅僅是數(shù)據(jù)規(guī)模越來越大，而且數(shù)據(jù)類型多和處理實(shí)時(shí)性要求都極大地增加了大數(shù)據(jù)處理的復(fù)雜度。大數(shù)據(jù)給傳統(tǒng)的數(shù)據(jù)安全傳輸管理帶來的技術(shù)挑戰(zhàn)。
[0013]目前，隨著計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)的發(fā)展，許多政府和企業(yè)都在進(jìn)行大數(shù)據(jù)的建設(shè)，而大數(shù)據(jù)建設(shè)對(duì)企業(yè)的發(fā)展方向，政府的管理水平和服務(wù)方式的改進(jìn)都起到非常重要的作用，但現(xiàn)有的大數(shù)據(jù)處理中，往往是將數(shù)據(jù)都集中到一起后，再進(jìn)行分類，造成后期工作量大，因數(shù)據(jù)量巨大，造成接收數(shù)據(jù)時(shí)網(wǎng)絡(luò)堵塞，從而存在數(shù)據(jù)丟失的問題。

【發(fā)明內(nèi)容】

[0014]本發(fā)明的目的在于提供基于大數(shù)據(jù)平臺(tái)的網(wǎng)絡(luò)安全實(shí)施系統(tǒng)及方法，在提供用于實(shí)現(xiàn)基于大數(shù)據(jù)平臺(tái)的網(wǎng)絡(luò)安全實(shí)施方法的同時(shí)，配套的提出用于實(shí)現(xiàn)基于大數(shù)據(jù)平臺(tái)的網(wǎng)絡(luò)安全實(shí)施方法的一種較優(yōu)的基于大數(shù)據(jù)平臺(tái)的網(wǎng)絡(luò)安全實(shí)施系統(tǒng);在大數(shù)據(jù)處理平臺(tái)內(nèi)進(jìn)行數(shù)據(jù)處理時(shí)，通過采用多級(jí)硬件防護(hù)措施(數(shù)據(jù)牽引器、數(shù)據(jù)對(duì)比器)代替?zhèn)鹘y(tǒng)的軟件、防火墻、vpn等綜合應(yīng)用防護(hù)措施來保障數(shù)據(jù)的安全和完整性，在降低成本投入的同時(shí)，還可以進(jìn)一步的提升數(shù)據(jù)安全輸級(jí)別，使得不論是上行至大數(shù)據(jù)處理平臺(tái)內(nèi)的大數(shù)據(jù)還是從大數(shù)據(jù)處理平臺(tái)內(nèi)下發(fā)至Internet內(nèi)的大數(shù)據(jù)都保障了其數(shù)據(jù)的完整性。
[0015]本發(fā)明通過下述技術(shù)方案實(shí)現(xiàn):基于大數(shù)據(jù)平臺(tái)的網(wǎng)絡(luò)安全實(shí)施系統(tǒng)，設(shè)置有大數(shù)據(jù)處理平臺(tái)及與大數(shù)據(jù)處理平臺(tái)相連接的分布式計(jì)算機(jī)群，所述大數(shù)據(jù)處理平臺(tái)內(nèi)設(shè)置有數(shù)據(jù)收集器、智能采集設(shè)備、冗余數(shù)據(jù)清洗系統(tǒng)、大數(shù)據(jù)管理系統(tǒng)、數(shù)據(jù)牽引器、大數(shù)據(jù)服務(wù)器、數(shù)據(jù)對(duì)比器、大數(shù)據(jù)存儲(chǔ)池、大數(shù)據(jù)操作日志記錄器及大數(shù)據(jù)安全存儲(chǔ)系統(tǒng)，所述分布式計(jì)算機(jī)群和數(shù)據(jù)收集器皆接入Internet，所述數(shù)據(jù)收集器依次連接智能采集設(shè)備、冗余數(shù)據(jù)清洗系統(tǒng)和大數(shù)據(jù)管理系統(tǒng)，所述大數(shù)據(jù)管理系統(tǒng)通過數(shù)據(jù)牽引器與大數(shù)據(jù)服務(wù)器相連接，所述大數(shù)據(jù)服務(wù)器通過數(shù)據(jù)對(duì)比器與大數(shù)據(jù)存儲(chǔ)池相連接，所述大數(shù)據(jù)操作日志記錄器分別與大數(shù)據(jù)存儲(chǔ)池、數(shù)據(jù)對(duì)比器、大數(shù)據(jù)服務(wù)器、大數(shù)據(jù)安全存儲(chǔ)系統(tǒng)、數(shù)據(jù)牽引器及大數(shù)據(jù)管理系統(tǒng)相連接，所述大數(shù)據(jù)安全存儲(chǔ)系統(tǒng)分別與數(shù)據(jù)牽引器、數(shù)據(jù)對(duì)比器和大數(shù)據(jù)存儲(chǔ)池相連接。
[0016]進(jìn)一步的，所述分布式計(jì)算機(jī)群內(nèi)設(shè)置有第一層交換機(jī)、第一層防火墻、第二層交換機(jī)、入侵檢測(cè)引擎、防DDoS系統(tǒng)、企業(yè)網(wǎng)絡(luò)架構(gòu)，所述第一層交換機(jī)依次連接第一層防火墻、第二層交換機(jī)、入侵檢測(cè)引擎和防DDoS系統(tǒng)，所述第二層交換機(jī)和防DDoS系統(tǒng)皆與企業(yè)網(wǎng)絡(luò)架構(gòu)相連接，所述第一層交換機(jī)接入Internet。
[0017]進(jìn)一步的，所述企業(yè)網(wǎng)絡(luò)架構(gòu)內(nèi)設(shè)置有局域網(wǎng)用戶架構(gòu)和廣域網(wǎng)用戶架構(gòu)，所述局域網(wǎng)用戶架構(gòu)分別與第二層交換機(jī)和廣域網(wǎng)用戶架構(gòu)相連接，所述廣域網(wǎng)用戶架構(gòu)與防DDoS系統(tǒng)相連接。
[0018]進(jìn)一步的，所述廣域網(wǎng)用戶架構(gòu)內(nèi)設(shè)置有數(shù)據(jù)認(rèn)證系統(tǒng)、核心防火墻系統(tǒng)、多個(gè)分布式計(jì)算機(jī)和DNS安全管理系統(tǒng)，所述防DDoS系統(tǒng)通過企業(yè)廣域網(wǎng)分別與局域網(wǎng)用戶架構(gòu)、數(shù)據(jù)認(rèn)證系統(tǒng)、核心防火墻系統(tǒng)和身份認(rèn)證系統(tǒng)相連接，所述核心防火墻系統(tǒng)與多個(gè)分布式計(jì)算機(jī)相連接，所述多個(gè)分布式計(jì)算機(jī)皆與DNS安全管理系統(tǒng)相連接。
[0019]進(jìn)一步的，所述局域網(wǎng)用戶架構(gòu)內(nèi)設(shè)置有管理系統(tǒng)、上網(wǎng)代理服務(wù)器和辦公用戶系統(tǒng)，所述管理系統(tǒng)分別與第二層交換機(jī)和上網(wǎng)代理服務(wù)器相連接，所述上網(wǎng)代理服務(wù)器通過局域網(wǎng)分別與辦公用戶系統(tǒng)相連接;在所述局域網(wǎng)上還設(shè)置有網(wǎng)絡(luò)漏洞監(jiān)視器、防病毒系統(tǒng)及OA防火墻系統(tǒng)，所述OA防火墻系統(tǒng)通過企業(yè)廣域網(wǎng)與廣域網(wǎng)用戶架構(gòu)相連接。
[0020]應(yīng)用基于大數(shù)據(jù)平臺(tái)的網(wǎng)絡(luò)安全實(shí)施系統(tǒng)實(shí)現(xiàn)基于大數(shù)據(jù)平臺(tái)的網(wǎng)絡(luò)安全實(shí)施方法，包括大數(shù)據(jù)安全收集方法，所述大數(shù)據(jù)安全收集方法包括以下步驟:
1)所述數(shù)據(jù)采集器從Internet內(nèi)采集從分布式計(jì)算機(jī)群中上傳至Internet內(nèi)的各類數(shù)據(jù)；
2)所述智能采集設(shè)備從數(shù)據(jù)采集器內(nèi)將數(shù)據(jù)采集器所采集的數(shù)據(jù)進(jìn)行收集并分析，初步將需要采集的信息進(jìn)行保存后進(jìn)行初次分類，形成所需的大類數(shù)據(jù)信息，而余下的非所需要數(shù)據(jù)信息將被拋棄;所述所需的大類數(shù)據(jù)信息指某一個(gè)行業(yè)內(nèi)所需要涉及到的所有信息;
3)所述智能采集設(shè)備經(jīng)過初次分類后，所形成的大類數(shù)據(jù)信息利用冗余數(shù)據(jù)清洗系統(tǒng)將內(nèi)部的冗余數(shù)據(jù)清洗出去，形成所需的大數(shù)據(jù)并臨時(shí)保存，以備傳輸至下一環(huán)節(jié)；
4)所述大數(shù)據(jù)管理系統(tǒng)根據(jù)預(yù)置的管理策略接收由冗余數(shù)據(jù)清洗系統(tǒng)內(nèi)所形成或臨時(shí)保存的的所需的大數(shù)據(jù)；
5)所述大數(shù)據(jù)管理系統(tǒng)通過利用硬件安全防護(hù)策略的數(shù)據(jù)牽引器將所需的大數(shù)據(jù)分別上傳至大數(shù)據(jù)服務(wù)器和大數(shù)據(jù)安全存儲(chǔ)系統(tǒng)內(nèi)；在大數(shù)據(jù)服務(wù)器內(nèi)將所需的大數(shù)據(jù)再次進(jìn)行小類的區(qū)分，并臨時(shí)保存小類大數(shù)據(jù);而在大數(shù)據(jù)安全存儲(chǔ)系統(tǒng)內(nèi)直接將接收的所需的大數(shù)據(jù)進(jìn)行分塊存儲(chǔ);所述小類大數(shù)據(jù)指行業(yè)內(nèi)某個(gè)支系行業(yè)內(nèi)所涉及到的各細(xì)分支系的重要且有用的綜合數(shù)據(jù)信息；
6)所述大數(shù)據(jù)服務(wù)器通過具有硬件安全防護(hù)功能的數(shù)據(jù)對(duì)比器將小類大數(shù)據(jù)傳輸至大數(shù)據(jù)存儲(chǔ)池內(nèi)進(jìn)行存儲(chǔ)，在小類大數(shù)據(jù)通過數(shù)據(jù)對(duì)比器上傳至大數(shù)據(jù)存儲(chǔ)池的過程中，數(shù)據(jù)對(duì)比器將調(diào)用大數(shù)據(jù)安全存儲(chǔ)系統(tǒng)內(nèi)所存儲(chǔ)的數(shù)據(jù)與上傳中的小類大數(shù)據(jù)進(jìn)行對(duì)比，當(dāng)上傳中的小類大數(shù)據(jù)存在錯(cuò)誤時(shí)，將臨時(shí)中斷大數(shù)據(jù)服務(wù)器內(nèi)的小類大數(shù)據(jù)存儲(chǔ)在大數(shù)據(jù)存儲(chǔ)池內(nèi)的行為，而利用大數(shù)據(jù)安全存儲(chǔ)系統(tǒng)內(nèi)的數(shù)據(jù)進(jìn)行錯(cuò)誤存儲(chǔ)數(shù)據(jù)的補(bǔ)正，直到大數(shù)據(jù)服務(wù)器內(nèi)上傳的小類大數(shù)據(jù)與大數(shù)據(jù)安全存儲(chǔ)系統(tǒng)內(nèi)所存儲(chǔ)的數(shù)據(jù)相符合時(shí)，才繼續(xù)存儲(chǔ)由大數(shù)據(jù)服務(wù)器中上傳的小類大數(shù)據(jù)，直到將大數(shù)據(jù)服務(wù)器內(nèi)的小類大數(shù)據(jù)傳輸完成為止。
[0021]進(jìn)一步的，還包括大數(shù)據(jù)安全調(diào)用的方法，所述大數(shù)據(jù)安全調(diào)用的方法包括以下步驟:
(1)數(shù)據(jù)收集器接收到由Internet內(nèi)下達(dá)的需要調(diào)用大數(shù)據(jù)處理平臺(tái)內(nèi)的大數(shù)據(jù)的調(diào)用信息；
(2)智能采集設(shè)備接收到調(diào)用信息后，進(jìn)行解析，并確定需要調(diào)用那種大類的大數(shù)據(jù)，而后傳輸至冗余數(shù)據(jù)清洗系統(tǒng)；
(3)冗余數(shù)據(jù)清洗系統(tǒng)將對(duì)需要調(diào)用那種大類的大數(shù)據(jù)再