一種基于Tachyou的Spark大數(shù)據平臺的安全攻擊告警定位系統(tǒng)的制作方法
【技術領域】
[0001]本發(fā)明涉及信息安全、Spark大數(shù)據平臺、Flume日志采集、kafka數(shù)據交換平臺、HDFS和Tachyou分布式內存文件系統(tǒng)的技術領域，尤其涉及到安全攻擊告警定位系統(tǒng)。
【背景技術】
[0002]本發(fā)明中包含的英文簡稱如下:
SOC:Security Operat1n Center 安全管理中心
IDS:Intrus1n Detect1n Systems 入侵檢測系統(tǒng)
DDOS:DDoS:Distributed Denial of Service 分布式拒絕服務攻擊
MIS Management Informat1n System 管理信息系統(tǒng)
DMZ demilitarized zone隔離區(qū)、或非軍事化區(qū)
JMS:Java Message Service Java 消息服務
APP Applicat1n 應用程序
SNMP:Simple Network Management Protocol 簡單網絡管理協(xié)議 HDFS:Hadoop Distribute File System Hadoop 分布式文件系統(tǒng) ODBC:0pen Database Connectivity 開放數(shù)據庫互連 WMI:ffindows Management Instrumentat1n Windows 管理規(guī)范安全生產歷來是保障各項工作有序開展的前提，也是考核各級領導干部的否決指標。 網絡及信息安全運維體系是各類企業(yè)安全生產工作的重要組成部分。保障網絡高效穩(wěn)定地運行，是企業(yè)一切市場經營活動和正常運作的基礎。
[0003]隨著各類企業(yè)信息系統(tǒng)的建設和完善，有效的提高了勞動生產率，降低了運營成本。一旦企業(yè)各業(yè)務系統(tǒng)出現(xiàn)安全事件、或發(fā)生故障、或形成性能瓶頸，不能及時發(fā)現(xiàn)、及時處理、及時恢復，勢必直接導致承載在其上所有業(yè)務的運行，影響企業(yè)的正常運營秩序，企業(yè)業(yè)務不能正常開展。因此，對于政府和企業(yè)IT基礎實施的安全保障就顯得格外重要。
[0004]隨著政府和企業(yè)信息化程度不斷提高。各業(yè)務系統(tǒng)間聯(lián)系越來越密切，數(shù)據交換越來越頻繁，各系統(tǒng)有著復雜網絡或邏輯連接，存在大量數(shù)據交換，甚至一個故障可以引發(fā)成為企業(yè)全網故障，一點或一種業(yè)務系統(tǒng)出現(xiàn)漏洞感染病毒或受到攻擊，將迅速波及其它業(yè)務系統(tǒng)及網絡，甚至導致企業(yè)全網癱瘓。
[0005]盡管目前一些企業(yè)的信息安全技術體系已初步形成，但是信息安全運維管理體系需要進一步健全提高和完善，管理能力也有待加強，缺乏安全隱患的深度挖掘和基于大數(shù)據平臺的安全分析，安全攻擊告警定位和分析工具少。由于缺少安全體系建設的宏觀思路，安全管理存在真空地帶，責任沒有有效落實。
[0006]目前，各類企業(yè)信息安全運維管理平臺存在以下問題:
1、各種信息安全產品和網絡設備品種多，分布廣，缺少統(tǒng)一的數(shù)據分析管理；
2、信息安全產品和網絡設備的知識庫不統(tǒng)一，缺少統(tǒng)一的解決方案； 3、安全職責不清，具體職責未落實到位；
4、信息安全運維管理考核不細致，缺少部分必要和關鍵的指標；
5、不同安全設備事件之間甚至同一個安全設備的事件缺少更加高級智能的分析和匯聚關聯(lián)，導致告警信息龐大，不便于對安全隱患的分析和發(fā)現(xiàn)問題，防患于未然；
6、信息安全事件上報不及時，故障診斷不及時，處理效率低，效果差；
7、信息安全事件和資產的漏洞沒有進行必要的關聯(lián)分析，導致很多事件沒有進一步的分析和處理；
8、無法對于終端的安全問題進行審計和方便的查看；
9、出現(xiàn)緊急事件沒有很好的預警和處理流程；
10、安全攻擊告警定位和分析工具少；
上述問題不同程度地存在企業(yè)已經建成的業(yè)務和網絡，成為企業(yè)今后業(yè)務安全運維管理穩(wěn)定提升的障礙。
[0007]為此，如何利用信息化手段提高企業(yè)安全運維管理效益，解決企業(yè)各系統(tǒng)所存在的安全運維管理隱患，以及設計出一款基于大數(shù)據平臺的安全攻擊告警定位系統(tǒng)，優(yōu)化企業(yè)信息安全管理和維護工作，使得它能夠為各類企業(yè)提供專業(yè)的和高效率的信息安全運維管理服務，即成為尤其是信息安全運維管理設計上必須要解決的一個重要課題。

【發(fā)明內容】

[0008]本發(fā)明在分析了上述各類企業(yè)信息安全運維管理的缺陷和不足之后，提出了一種基于Tachyou的Spark大數(shù)據平臺的安全攻擊告警定位系統(tǒng)。
[0009]本發(fā)明的技術任務是按照以下方式實現(xiàn)的:一種基于Tachyou的Spark大數(shù)據平臺的安全攻擊告警定位系統(tǒng)，包括采集模塊、安全攻擊告警定位模塊、視圖模塊。
[0010]所述采集模塊，用于采集各種設備的日志，并進行預處理和實時傳輸給定位模塊(Spark Streaming)，預處理包括日志過濾、合并和格式標準化，統(tǒng)一日志規(guī)格。
[0011]所述安全攻擊告警定位模塊，用于對采集到的日志，進行實時分析并得到告警信息。
[0012]所述視圖模塊，通過MySQL數(shù)據庫中的信息查詢和展現(xiàn)，提供告警信息和日志信息的查詢和分析。
[0013]上述系統(tǒng)通過采集模塊，采集企業(yè)信息系統(tǒng)中的日志信息并實時推送到安全攻擊告警定位模塊，由安全攻擊告警定位模塊實時分析產生告警信息并發(fā)送到視圖模塊的前端頁面，并提供攻擊溯源、舉證和查詢。
[0014]優(yōu)選地，采集模塊通過將flume集成到kafka (kafka由LinkedIn開發(fā)并開源的分布式消息系統(tǒng))中來實現(xiàn)日志采集、日志預處理和日志的實時傳輸。它可以采集syslog日志、監(jiān)控文件夾日志和TCP/UDP端口日志等，并且，可以很好地和Spark Streaming對接，實現(xiàn)將預處理后的日志信息實時傳輸給定位模塊。
[0015]安全攻擊告警定位模塊收到日志信息之后，對日志實時分析得到告警信息，并傳輸給視圖模塊；同時，將規(guī)范化之后的日志信息存儲到HDFS中，并將告警信息存儲到MySQL數(shù)據庫中。
[0016]所述安全攻擊告警定位模塊，包括離線關聯(lián)子模塊、在線關聯(lián)子模塊、告警生成子模塊和攻擊類型發(fā)現(xiàn)子模塊。
[0017]所述離線關聯(lián)子模塊，利用存儲在HDFS中的歷史日志信息構建告警相關性分析模型，并在線更新知識庫。
[0018]所述在線關聯(lián)子模塊，利用知識庫來進行在線關聯(lián)分析。
[0019]所述攻擊類型發(fā)現(xiàn)子模塊，將告警信息進行聚類分析，發(fā)現(xiàn)其特征和攻擊模型。
[0020]所述知識庫，至少包括:
1、根據單條日志的部分內容作為告警信息；例如，Windows日志中出現(xiàn)的登錄、開機和關機都可以作為告警信息，可以使用Elastic Search進行關鍵詞搜索；
2、根據單位時間內特殊事件出現(xiàn)的頻率；將該特殊事件作為告警信息；例如，Windows日志中I分鐘內出現(xiàn)3次用戶密碼錯誤的情況可以作為一次暴力破解；
3、多設備日志之間的關聯(lián)分析，以分析結果為告警信息；例如，許多目標IP地址相同，而源IP地址不同的日志，則可以作為一次DDOS攻擊；
所述安全攻擊告警定位模塊，在MySQL數(shù)據庫中存儲告警信息，并將與告警信息相關的日志也在該MySQL數(shù)據庫中。通過對存儲在MySQL數(shù)據庫中的日志信息的分析，進一步地可以得到攻擊源、攻擊路徑等信息。
[0021]與現(xiàn)有技術相比較，本發(fā)明的一種基于Tachyou的Spark大數(shù)據平臺的安全攻擊告警定位系統(tǒng)，具有以下突出的有益效果:
1、大數(shù)據平臺的分布式架構，易于擴展和縮減，可以應對企業(yè)網絡規(guī)模的改變而改變自身系統(tǒng)的大小來達到資源的有效利用，也解決了現(xiàn)有技術難以處理海量日志的弊端；
2、定位功能提升了告警的準確性和去除了誤報，并提供了詳細的告警信息分析，方便其工作；
3、利用大數(shù)據技術進行數(shù)據挖掘與機器學習，可以有效地利用收集到的海量歷史日志信息，通過與現(xiàn)有知識庫結合的離線關聯(lián)分析，可以自動擴展知識庫；
4、在大數(shù)據系統(tǒng)中，常常會碰到一個問題，整個大數(shù)據是由各個子系統(tǒng)組成，數(shù)據需要在各個子系統(tǒng)中高性能、低延遲的不停流轉。傳統(tǒng)的企業(yè)信息系統(tǒng)并不是非常適合大規(guī)模的數(shù)據處理。為了同時搞定在線應用(消息)和離線應用(數(shù)據文件，日志)，Kafka就出現(xiàn)了 ；進一步地，可以將Flume NG集成到Kafka中，利用Flume NG已經內置的許多source和sink組件，來實現(xiàn)各種設備的日志采集，并通過Kafka傳輸?shù)絊park大數(shù)據平臺、或內存分布式文件系統(tǒng)Tachyon、或HDFS、或MySQL數(shù)據庫、或視圖前端進行展示和查詢，等；
5、通過Tachyon來儲存中間結果，避免了數(shù)據落到磁盤上，以實現(xiàn)內存數(shù)據共享。同時，繞過了 HDFS可以減少因此而造成的磁盤和網絡10。再者，因為所有緩存數(shù)據都儲存在Tachyon中，由Spark任務異常造成的JVM崩潰將不會引發(fā)數(shù)據丟失。
【附圖說明】
[0022]圖1為本發(fā)明所述的一種基于Tachyou的Spark大數(shù)據平臺的安全攻擊告警定位系統(tǒng)的架構圖；
圖2為本發(fā)明所述的一種基于Tachyou的Spark大數(shù)據平臺的安全攻擊告警定位系統(tǒng)的流程圖；
【具體實施方式】
[0023]下面是根據附圖和實例對本發(fā)明的進一步詳細說明:
本發(fā)明的一種基于Tachyou的Spark大數(shù)據平臺的安全攻擊告警定位系統(tǒng)，通過將flume整合到kafka分布式數(shù)據交