專利名稱：一種大日志分析的方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)信息安全領(lǐng)域，尤其涉及一種大日志分析的方法及系統(tǒng)。
背景技術(shù)：
隨著信息技術(shù)的發(fā)展，數(shù)據(jù)量迅速增長(zhǎng)，數(shù)據(jù)的積累也越來越大。在進(jìn)行數(shù)據(jù)的傳輸、交換和處理時(shí)，安全性是一個(gè)重要的考慮因素，為此，許多與信息處理相關(guān)的設(shè)備(如防火墻、入侵監(jiān)測(cè)系統(tǒng)、路由器和服務(wù)器等)都會(huì)產(chǎn)生日志，其中記錄了設(shè)備上和網(wǎng)絡(luò)中每天發(fā)生的各種各樣的事情，可以通過對(duì)日志的查詢和統(tǒng)計(jì)來了解各個(gè)設(shè)備和整個(gè)網(wǎng)絡(luò)的狀況。但是如此海量的日志數(shù)據(jù)怎樣才能夠更好更快地統(tǒng)計(jì)分析出來是管理員面臨的一個(gè)難題，目前業(yè)界有SME\S0C\SM\SEM等日志管理產(chǎn)品，其中都涉及到日志采集和分析模塊，這些產(chǎn)品的日志大部分瓶頸都在分析服務(wù)器IO上，對(duì)海量日志的處理速度很慢，導(dǎo)致采集分析整體效率都不是很高，這無疑會(huì)影響上游使用日志的系統(tǒng)(前端應(yīng)用)，用戶體驗(yàn)不到及時(shí)性。同時(shí)，長(zhǎng)時(shí)間的海量日志處理，長(zhǎng)時(shí)間的處在IO峰值，甚至導(dǎo)致日志采集分析系統(tǒng)的崩盤，日志采集分析服務(wù)器的死機(jī)，嚴(yán)重影響系統(tǒng)的使用。所以，有必要提出一種新的技術(shù)，可以使分析服務(wù)器快速處理海量日志的同時(shí)減少分析服務(wù)器的負(fù)擔(dān)，提升整體日志采集分析性能，而且能夠保證數(shù)據(jù)庫中分析結(jié)果及時(shí)更新。

發(fā)明內(nèi)容
本發(fā)明的目的是為了克服現(xiàn)有技術(shù)的缺陷，提供一種大日志分析的方法及系統(tǒng)，使得日志分析效率和實(shí)時(shí)性都得到保證，同時(shí)數(shù)據(jù)庫中分析結(jié)果也能夠及時(shí)更新。

本發(fā)明提供的一種大日志分析的方法，具體流程為:首先是日志中心將大日志文件分成η個(gè)模塊，通過加密傳輸?shù)礁鱾€(gè)節(jié)點(diǎn)；其次是節(jié)點(diǎn)主機(jī)將日志分析處理，并將分析結(jié)果加密傳送到數(shù)據(jù)中心；最后是數(shù)據(jù)中心將各個(gè)節(jié)點(diǎn)的日志分析結(jié)果整理合并后存入數(shù)據(jù)庫中。其中，η取決于擁有的節(jié)點(diǎn)數(shù)。此外，本發(fā)明還提供了一種大日志分析的系統(tǒng)，該系統(tǒng)包括三大模塊，一是作業(yè)調(diào)度模塊，處理日志中心的源日志；二是任務(wù)追蹤模塊，分析節(jié)點(diǎn)中的日志；三是數(shù)據(jù)并集模塊，將數(shù)據(jù)中心的日志分析結(jié)果合并以及數(shù)據(jù)庫更新。本發(fā)明技術(shù)方案帶來的有益效果:通過本發(fā)明不但能夠減輕日志中心資源消耗，避免影響日志收集，保證日志收集質(zhì)量，而且能夠提高日志分析效率與實(shí)時(shí)性，保證數(shù)據(jù)庫中分析結(jié)果能及時(shí)更新。


為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其它的附圖。圖1是本發(fā)明實(shí)施例中日志統(tǒng)計(jì)分析的方法的網(wǎng)絡(luò)拓?fù)鋱D；圖2是本發(fā)明實(shí)施例中日志統(tǒng)計(jì)分析的系統(tǒng)的架構(gòu)圖。
具體實(shí)施例方式下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。本發(fā)明公開了一種大日志分析的方法，首先是日志中心將大日志文件分成η個(gè)模塊，通過加密傳輸?shù)礁鱾€(gè)節(jié)點(diǎn)；其次是節(jié)點(diǎn)主機(jī)將日志分析處理，并將分析結(jié)果加密傳送到數(shù)據(jù)中心；最后是數(shù)據(jù)中心將各個(gè)節(jié)點(diǎn)的日志分析結(jié)果整理合并后存入數(shù)據(jù)庫中。其中，η取決于擁有的節(jié)點(diǎn)數(shù)。如圖1所示為該發(fā)明的拓?fù)鋱D。此外，本發(fā)明還公開了一種大日志分析的系統(tǒng)，該系統(tǒng)包括三大模塊，一是作業(yè)調(diào)度模塊，處理日志中心的源日志，二是任務(wù)追蹤模塊，分析節(jié)點(diǎn)中的日志，三是數(shù)據(jù)并集模塊，將數(shù)據(jù)中心的日志分析結(jié)果合并以及數(shù)據(jù)庫更新。如圖2所示為該發(fā)明的架構(gòu)圖。1、在日志中心中，作業(yè)調(diào)度模塊會(huì)確定執(zhí)行計(jì)劃，把大日志切割成η個(gè)日志塊，并根據(jù)SSL協(xié)議對(duì)日志塊封裝加密后傳輸?shù)讲煌墓?jié)點(diǎn)。如果對(duì)日志塊分配節(jié)點(diǎn)失敗(如節(jié)點(diǎn)暫時(shí)連接不上或宕機(jī))，作業(yè)調(diào)度模塊會(huì)重新為日志塊分配節(jié)點(diǎn)。2、在節(jié)點(diǎn)中，任務(wù)跟 蹤模塊會(huì)實(shí)時(shí)監(jiān)聽日志中心發(fā)過來的日志塊，一旦節(jié)點(diǎn)接收到日志塊信息時(shí)，任務(wù)跟蹤模塊首先對(duì)日志塊進(jìn)行解密，然后對(duì)日志塊進(jìn)行分析，把分析結(jié)果進(jìn)行加密并把它發(fā)往數(shù)據(jù)中心。3、在數(shù)據(jù)中心中，數(shù)據(jù)并集模塊實(shí)時(shí)監(jiān)聽節(jié)點(diǎn)發(fā)過來的日志分析結(jié)果，一旦數(shù)據(jù)中心接收到日志分析結(jié)果，數(shù)據(jù)并集模塊對(duì)這分析結(jié)果進(jìn)行解密后合并，再更新到數(shù)據(jù)庫中。通過本發(fā)明不但能夠減輕日志中心資源消耗，避免影響日志收集，保證日志收集質(zhì)量，而且能夠提高日志分析效率與實(shí)時(shí)性，保證數(shù)據(jù)庫中分析結(jié)果能及時(shí)更新。以上對(duì)本發(fā)明實(shí)施例所提供的一種大日志分析的方法及系統(tǒng)進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式
及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。
權(quán)利要求
1.一種大日志分析的方法，其特征在于，該方法的具體流程為:首先是日志中心將大日志文件分成η個(gè)模塊，通過加密傳輸?shù)礁鱾€(gè)節(jié)點(diǎn)；其次是節(jié)點(diǎn)主機(jī)將日志分析處理，并將分析結(jié)果加密傳送到數(shù)據(jù)中心；最后是數(shù)據(jù)中心將各個(gè)節(jié)點(diǎn)的日志分析結(jié)果整理合并后存入數(shù)據(jù)庫中。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，η取決于擁有的節(jié)點(diǎn)數(shù)。
3.一種大日志分析的系統(tǒng)，其特征在于，該系統(tǒng)包括三大模塊，一是作業(yè)調(diào)度模塊，處理日志中心的源日志；二是任務(wù)追蹤模塊，分析節(jié)點(diǎn)中的日志；三是數(shù)據(jù)并集模塊，將數(shù)據(jù)中心的日志分析結(jié)果合并以及數(shù)據(jù)庫更新。
4.根據(jù)權(quán)利要求3所述的系統(tǒng)，其特征在于，在日志中心中，作業(yè)調(diào)度模塊會(huì)確定執(zhí)行計(jì)劃，把大日志切割成η個(gè)日志塊，并根據(jù)SSL協(xié)議對(duì)日志塊封裝加密后傳輸?shù)讲煌墓?jié)點(diǎn)。
5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，如果對(duì)日志塊分配節(jié)點(diǎn)失敗，例如，節(jié)點(diǎn)暫時(shí)連接不上或宕機(jī)，作業(yè)調(diào)度模塊會(huì)重新為日志塊分配節(jié)點(diǎn)。
6.根據(jù)權(quán)利要求3所述的系統(tǒng)，其特征在于，在節(jié)點(diǎn)中，任務(wù)跟蹤模塊會(huì)實(shí)時(shí)監(jiān)聽日志中心發(fā)過來的日志塊，一旦節(jié)點(diǎn)接收到日志塊信息時(shí)，任務(wù)跟蹤模塊首先對(duì)日志塊進(jìn)行解密，然后對(duì)日志塊進(jìn)行分析，把分析結(jié)果進(jìn)行加密并把它發(fā)往數(shù)據(jù)中心。
7.根據(jù)權(quán)利要求3所述的系統(tǒng)，其特征在于，在數(shù)據(jù)中心中，數(shù)據(jù)并集模塊實(shí)時(shí)監(jiān)聽節(jié)點(diǎn)發(fā)過來的日志分析結(jié)果，一旦數(shù)據(jù)中心接收到日志分析結(jié)果，數(shù)據(jù)并集模塊對(duì)這分析結(jié)果進(jìn)行解密后合并，再 更新到數(shù)據(jù)庫中。
全文摘要
本發(fā)明公開了一種大日志分析的方法，該方法首先是日志中心將大日志文件分成n個(gè)模塊，通過加密傳輸?shù)礁鱾€(gè)節(jié)點(diǎn)；其次是節(jié)點(diǎn)主機(jī)將日志分析處理，并將分析結(jié)果加密傳送到數(shù)據(jù)中心；最后是數(shù)據(jù)中心將各個(gè)節(jié)點(diǎn)的日志分析結(jié)果整理合并后存入數(shù)據(jù)庫中。此外，本發(fā)明還公開了一種大日志分析的系統(tǒng)。通過本發(fā)明不但能夠減輕日志中心資源消耗，避免影響日志收集，保證日志收集質(zhì)量，而且能夠提高日志分析效率與實(shí)時(shí)性，保證數(shù)據(jù)庫中分析結(jié)果能及時(shí)更新。
文檔編號(hào)H04L29/06GK103227730SQ20131013935
公開日2013年7月31日 申請(qǐng)日期2013年4月19日 優(yōu)先權(quán)日2013年4月19日
發(fā)明者柯宗貴, 柯宗慶, 楊育斌, 沈志亮 申請(qǐng)人:藍(lán)盾信息安全技術(shù)股份有限公司