一種復(fù)雜網(wǎng)絡(luò)體系下異構(gòu)安全日志信息的提取與分析方法
【技術(shù)領(lǐng)域】：
[0001] 本發(fā)明屬于信息安全技術(shù)領(lǐng)域，尤其涉及一種復(fù)雜網(wǎng)絡(luò)體系下異構(gòu)安全日志信息 的提取與分析方法。
【背景技術(shù)】：
[0002] 電力系統(tǒng)是國(guó)民經(jīng)濟(jì)和人民生活的重要基礎(chǔ)設(shè)施，其網(wǎng)絡(luò)和應(yīng)用系統(tǒng)的安全是電 力系統(tǒng)安全運(yùn)行及對(duì)社會(huì)可靠供電的保證，直接關(guān)系到我國(guó)各行各業(yè)的發(fā)展、社會(huì)的安定 和人民的生活水平。電力系統(tǒng)安全防護(hù)的主要目標(biāo)是防止關(guān)鍵業(yè)務(wù)信息系統(tǒng)數(shù)據(jù)或信息被 竊取或篡改，防止網(wǎng)絡(luò)被惡意滲透或監(jiān)聽(tīng)，確保不發(fā)生因信息安全引發(fā)的電網(wǎng)事故和大面 積停電事故，實(shí)現(xiàn)信息安全風(fēng)險(xiǎn)可控、能控、在控。國(guó)家非常重視電力系統(tǒng)的信息安全，建立 了電力系統(tǒng)信息安全縱深防御體系，部署了大量不同類(lèi)型的安全設(shè)備，各種設(shè)備的日志記 錄了設(shè)備運(yùn)行狀態(tài)，各類(lèi)用戶(hù)執(zhí)行的操作等等詳細(xì)信息。在目前的網(wǎng)絡(luò)環(huán)境中，各種設(shè)備的 日志已經(jīng)成為海量數(shù)據(jù)，SYSLOG作為主要的日志類(lèi)型，被各種操作系統(tǒng)，網(wǎng)絡(luò)設(shè)備和安全設(shè) 備廣泛支持，成為日志的重要標(biāo)準(zhǔn)，對(duì)于其他類(lèi)型的日志，也可以轉(zhuǎn)換為SYSLOG日志格式， 便于統(tǒng)一分析。
[0003] 由于不同類(lèi)型安全設(shè)備報(bào)送的SYSLOG日志格式千差萬(wàn)別，因此，需要對(duì)日志進(jìn)行 格式歸一化，才能夠?qū)θ罩具M(jìn)行規(guī)則處理分析和有效的統(tǒng)計(jì)分析。目前業(yè)界常用的安全日 志信息提取和分析方式是基于解析模板技術(shù)，每一個(gè)新的日志類(lèi)型都需要人工編寫(xiě)解析模 板，這種方式下項(xiàng)目實(shí)施成本高，且人工編寫(xiě)出錯(cuò)概率高，對(duì)復(fù)雜網(wǎng)絡(luò)環(huán)境SYSLOG信息提取 的適應(yīng)性差。

【發(fā)明內(nèi)容】
：
[0004] 本發(fā)明要解決的技術(shù)問(wèn)題:提供一種復(fù)雜網(wǎng)絡(luò)體系下異構(gòu)安全日志信息的提取與 分析方法，以解決現(xiàn)有技術(shù)存在的安全日志信息提取和分析方式是基于解析模板技術(shù)，每 一個(gè)新的日志類(lèi)型都需要人工編寫(xiě)解析模板，這種方式下項(xiàng)目實(shí)施成本高，且人工編寫(xiě)出 錯(cuò)概率高，對(duì)復(fù)雜網(wǎng)絡(luò)環(huán)境SYSLOG信息提取的適應(yīng)性差等技術(shù)問(wèn)題。
[0005] 本發(fā)明技術(shù)方案：
[0006] -種復(fù)雜網(wǎng)絡(luò)體系下異構(gòu)安全日志信息的提取與分析方法，它包括：
[0007] 步驟A、學(xué)習(xí)階段:持續(xù)采集異構(gòu)安全日志數(shù)據(jù)，采用分詞工具對(duì)日志數(shù)據(jù)結(jié)構(gòu)進(jìn) 行分拆，按照正則匹配對(duì)日志中指定位置的字段數(shù)據(jù)進(jìn)行內(nèi)容屬性定義，動(dòng)態(tài)構(gòu)建日志信 息提取決策樹(shù)，該決策樹(shù)信息隨著新的日志結(jié)構(gòu)的加入不斷更新；
[0008] 步驟B、緩存階段:對(duì)學(xué)習(xí)構(gòu)建的日志信息提取決策樹(shù)信息在計(jì)算機(jī)內(nèi)存中進(jìn)行緩 存，該緩存根據(jù)決策樹(shù)動(dòng)態(tài)學(xué)習(xí)過(guò)程實(shí)時(shí)更新；以文本形式存儲(chǔ)于硬盤(pán)，該存儲(chǔ)信息周期性 更新；
[0009] 步驟C、解析階段:新采集日志數(shù)據(jù)，根據(jù)日志數(shù)據(jù)信息提取決策樹(shù)進(jìn)行解析，按照 日志報(bào)送地址、日志類(lèi)型、日志各位置字段逐層解析，形成規(guī)范格式的安全日志信息數(shù)據(jù)。
[0010]它還包括:步驟D、人工優(yōu)化:用戶(hù)對(duì)日志信息提取決策樹(shù)中的內(nèi)容屬性定 [0011]義進(jìn)行人工設(shè)置，將經(jīng)過(guò)人工設(shè)置規(guī)范化后的安全日志信息存儲(chǔ)進(jìn)入數(shù)據(jù)庫(kù)
[0012] 系統(tǒng)。
[0013] 步驟1所述的學(xué)習(xí)階段，具體步驟包括：
[0014] 步驟Al、通過(guò)SYSLOG協(xié)議采集一條安全日志記錄，作為SYSLOG日志，通
[0015] 過(guò)對(duì)協(xié)議頭部分解析獲取該SYSLOG日志的報(bào)送設(shè)備IP，以報(bào)送設(shè)備IP作
[0016] 為決策樹(shù)一級(jí)節(jié)點(diǎn)；
[0017] 步驟A2、采用分詞工具對(duì)SYSLOG日志中代表原始日志的MSG字段進(jìn)行分詞，并按順 序?qū)Ψ衷~字段進(jìn)行索引；
[0018] 步驟A3、對(duì)各分詞字段進(jìn)行正則匹配分析，獲取各個(gè)分詞字段的內(nèi)容屬性；
[0019] 步驟A4、通過(guò)各分詞字段屬性和對(duì)應(yīng)索引計(jì)算"日志解析指紋"，將日志解析指紋 作為決策樹(shù)的二級(jí)節(jié)點(diǎn)；
[0020] 步驟A5、將各分詞字段的索引和內(nèi)容屬性作為決策樹(shù)的三級(jí)節(jié)點(diǎn)；
[0021 ] 步驟A6、不斷學(xué)習(xí)新的SYSLOG日志，動(dòng)態(tài)更新決策樹(shù)。
[0022] 所述計(jì)算日志解析指紋，其算法表達(dá)式為：
[0023] S0R0-S1R1-S2R2-S3R3· "SnRn
[0024] 式中=S1Q = O, 1，2,3···η，η是分詞字段總個(gè)數(shù))是各個(gè)分詞字段的索引；
[0025] R1Q = O, 1，2,3···η，η是分詞字段總個(gè)數(shù))是各個(gè)分詞字段對(duì)應(yīng)的內(nèi)容正則解析規(guī) 則。
[0026] 所述分詞工具為:采用以標(biāo)志切分為手段的基于字符串的分詞算法，具體工具是 采用開(kāi)源S tandar dAna I y ζ er分詞算法。
[0027]所述日志信息提取決策樹(shù)的結(jié)構(gòu)是：第一層級(jí)為報(bào)送SYSLOG日志的設(shè)備IP;第二 層級(jí)是日志類(lèi)型的解析指紋;第三層級(jí)是第二層級(jí)日志類(lèi)型的解析指紋對(duì)應(yīng)的解析內(nèi)容屬 性。
[0028]步驟B所述的日志信息提取決策樹(shù)信息在計(jì)算機(jī)內(nèi)存中進(jìn)行緩存，其緩存數(shù)據(jù)結(jié) 構(gòu)以多層HashMap嵌套的方式實(shí)現(xiàn)，日志信息提取決策樹(shù)在硬盤(pán)的存儲(chǔ)的文本格式以XML技 術(shù)存儲(chǔ)。
[0029]步驟C解析階段的具體步驟包括：
[0030]步驟Cl、采集SYSLOG日志數(shù)據(jù)，解析其報(bào)送設(shè)備IP信息，匹配日志數(shù)據(jù)信息提取決 策樹(shù)一級(jí)節(jié)點(diǎn)，定位該日志數(shù)據(jù)信息對(duì)應(yīng)的決策分支，如果匹配不上，則進(jìn)入步驟A學(xué)習(xí)階 段；
[0031 ] 步驟C2、采用分詞工具對(duì)SYSLOG日志數(shù)據(jù)中代表原始日志的MSG字段進(jìn)行分詞，并 按順序?qū)Ψ衷~結(jié)果進(jìn)行索引；
[0032] 步驟C3、對(duì)各分詞字段進(jìn)行正則匹配分析，獲取各個(gè)分詞字段的內(nèi)容屬性；
[0033] 步驟C4、計(jì)算獲得該日志的"日志解析指紋"，匹配日志信息提取決策樹(shù)二級(jí)節(jié)點(diǎn)， 定位該日志對(duì)應(yīng)的解析分支；
[0034]步驟C5、通過(guò)該日志分詞數(shù)據(jù)與決策樹(shù)三級(jí)節(jié)點(diǎn)的對(duì)應(yīng)，獲得對(duì)該日志數(shù)據(jù)的解 析結(jié)果。
[0035]本發(fā)明的有益效果：
[0036] 本發(fā)明采用將日志數(shù)據(jù)信息提取決策樹(shù)機(jī)制作為日志信息解析模型，該模型是由 持續(xù)的機(jī)器學(xué)習(xí)構(gòu)建，采用分詞技術(shù)和正則匹配技術(shù)構(gòu)建該學(xué)習(xí)模型;在日志解析階段，根 據(jù)自動(dòng)學(xué)習(xí)獲取的日志信息解析模型對(duì)新的日志樣本進(jìn)行解析，并提供統(tǒng)一格式的日志記 錄，從而實(shí)現(xiàn)了復(fù)雜網(wǎng)絡(luò)體系下異構(gòu)安全日志的自適應(yīng)提取與分析;解決了現(xiàn)有技術(shù)存在 的安全日志信息提取和分析方式是基于解析模板技術(shù)，每一個(gè)新的日志類(lèi)型都需要人工編 寫(xiě)解析模板，這種方式下項(xiàng)目實(shí)施成本高，且人工編寫(xiě)出錯(cuò)概率高，對(duì)復(fù)雜網(wǎng)絡(luò)環(huán)境SYSLOG 信息提取的適應(yīng)性差等技術(shù)問(wèn)題。
【具體實(shí)施方式】：
[0037] -種復(fù)雜網(wǎng)絡(luò)體系下異構(gòu)安全日志信息的提取與分析方法，它包括：
[0038]步驟A、學(xué)習(xí)階段:持續(xù)采集異構(gòu)安全日志數(shù)據(jù)，采用分詞工具對(duì)日志數(shù)據(jù)結(jié)構(gòu)進(jìn) 行分拆，按照正則匹配對(duì)日志中指定位置的字段數(shù)據(jù)進(jìn)行內(nèi)容屬性定義，動(dòng)態(tài)構(gòu)建日志信 息提取決策樹(shù)簡(jiǎn)稱(chēng)簡(jiǎn)稱(chēng)LIDT樹(shù)，該決策樹(shù)信息隨著新的日志結(jié)構(gòu)的加入不斷更新；
[0039]步驟B、緩存階段:對(duì)學(xué)習(xí)構(gòu)建的日志信息提取決策樹(shù)信息在計(jì)算機(jī)內(nèi)存中進(jìn)行緩 存，該緩存根據(jù)決策樹(shù)動(dòng)態(tài)學(xué)習(xí)過(guò)程實(shí)時(shí)更新；以文本形式存儲(chǔ)于硬盤(pán)，該存儲(chǔ)信息周期性 更新；
[0040]步驟C、解析階段:新采集日志數(shù)據(jù)，根據(jù)日志數(shù)據(jù)信息提取決策樹(shù)進(jìn)行解析，按照 日志報(bào)送地址、日志類(lèi)型、日志各位置字段逐層解析，形成規(guī)范格式的安全日志信息數(shù)據(jù)。 [0041 ] 它還包括：
[0042] 步驟D、人工優(yōu)化:用戶(hù)對(duì)日志信息提取決策樹(shù)中的內(nèi)容屬性定義進(jìn)行人工
[0043] 設(shè)置，將經(jīng)過(guò)人工設(shè)置規(guī)范化后的安全日志信息存儲(chǔ)進(jìn)入數(shù)據(jù)庫(kù)系統(tǒng)。
[0044] 用戶(hù)可以對(duì)日志信息提取決策樹(shù)中的內(nèi)容屬性定義進(jìn)行人工設(shè)置，以保證從異構(gòu) 安全日志提出的信息可讀性更強(qiáng)。最終經(jīng)過(guò)人工設(shè)置和規(guī)范格式化后的安全日志信息存儲(chǔ) 進(jìn)入數(shù)據(jù)庫(kù)系