專利名稱：一種海量日志分析系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明有關(guān)ー種日志分析系統(tǒng)及方法，特別是指ー種在大型復(fù)雜網(wǎng)絡(luò)中對海量日志分析的系統(tǒng)及方法。
背景技術(shù)：
當(dāng)前，針對網(wǎng)絡(luò)環(huán)境中關(guān)鍵信息資源的威脅數(shù)量和類型都在急劇上升，如何及時對網(wǎng)絡(luò)攻擊行為做出主動反應(yīng)，是網(wǎng)絡(luò)安全領(lǐng)域近年來的研究熱點。通過分析日志文件對網(wǎng)絡(luò)安全態(tài)勢進(jìn)行評估已得到越來越廣泛的認(rèn)可。然而，當(dāng)前的日志分析系統(tǒng)通常由日志采集代理和分析管理系統(tǒng)組成，可對數(shù)據(jù)量較小的日志進(jìn)行安全分析，但面對大型、復(fù)雜網(wǎng)絡(luò)中的海量日志文件，其以工具形態(tài)工作的方式無法較好地勝任采集與分析任務(wù)，并且缺乏對整體日志數(shù)據(jù)的綜合分析，無法使網(wǎng)絡(luò)成為ー個整體來應(yīng)對安全事件；而且大型網(wǎng)絡(luò)中，由于網(wǎng)絡(luò)的復(fù)雜性，由其他網(wǎng)絡(luò)安全設(shè)備、負(fù)載均衡設(shè)備帶來諸多的不確定因素，也需要采集、分析能力更為強(qiáng)勁，部署更為靈活的日志分析系統(tǒng)。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明的主要目的在于提供ー種在大型復(fù)雜網(wǎng)絡(luò)中對海量日志文件分析的系統(tǒng)及方法。為達(dá)到上述目的，本發(fā)明提供一種海量日志分析系統(tǒng)，其包括任務(wù)結(jié)點集群、管理結(jié)點和數(shù)據(jù)庫；其中該任務(wù)結(jié)點集群包括至少ー個任務(wù)結(jié)點，用于海量日志文件的分布式采集、存儲和分析，該管理結(jié)點用于制定采集策略，對所述任務(wù)結(jié)點集群實施調(diào)度管理，完成分布式存儲和分析，并由該管理結(jié)點將最終的日志分析結(jié)果和審計信息寫入所述數(shù)據(jù)庫。單個所述任務(wù)結(jié)點負(fù)責(zé)至少一個目標(biāo)對象的日志文件采集和本地存儲，并接受所述管理結(jié)點的調(diào)度完成分布式存儲和分析，所述任務(wù)結(jié)點的功能模塊，包括日志采集模塊、日志存儲模塊、日志預(yù)處理模塊、日志分析模塊和管理配置模塊，該日志存儲模塊包括具有本地使用空間的本地存儲管理模塊與具有分布式文件系統(tǒng)空間的分布式存儲管理模塊。所述管理結(jié)點是日志采集與分析的控制中心，該管理結(jié)點的功能模塊包括采集策略模塊、接收管理模塊、結(jié)點調(diào)度模塊和存儲管理模塊。每個所述任務(wù)結(jié)點通過所述配置管理模塊接收采集任務(wù)、設(shè)置采集的目標(biāo)對象，所述日志采集模塊采集日志文件，將采集的原始日志文件由所述本地存儲管理模塊存儲于本地存儲空間，所述分布式存儲管理模塊接受所述管理結(jié)點的調(diào)度，用于將管理結(jié)點分配的日志數(shù)據(jù)存儲至所述分布式文件系統(tǒng)空間，實現(xiàn)海量日志文件的分布式存儲；所述日志預(yù)處理模塊將采集并存儲于所述本地存儲空間中的日志文件進(jìn)行預(yù)處理；所述日志分析模塊組成的分布式分析系統(tǒng)，在所述管理結(jié)點的調(diào)度下分析存儲在所述分布式文件系統(tǒng)空間中的海量日志文件，識別安全事件，形成分布式分析結(jié)果；所述配置管理模塊接受管理結(jié)點的調(diào)度管理，接收下發(fā)的任務(wù)并將預(yù)處理后的日志文件提交給所述管理結(jié)點。
所述采集策略模塊制定采集方案，由所述結(jié)點調(diào)度模塊向所述任務(wù)結(jié)點集群下發(fā)采集任務(wù)并調(diào)度執(zhí)行；所述任務(wù)結(jié)點集群完成采集并提交后，所述接收管理模塊接收任務(wù)結(jié)點集群提交的日志文件，由所述結(jié)點調(diào)度模塊調(diào)度任務(wù)結(jié)點集群將日志文件分布式存儲及分析，并由所述接收管理模塊接收分析結(jié)果；所述存儲管理模塊將任務(wù)結(jié)點集群提交的分析結(jié)果存入所述數(shù)據(jù)庫。所述管理結(jié)點通過制定和下發(fā)的采集策略，將不同任務(wù)結(jié)點采集的屬于同一集群的日志完成合并后再分析，得到完整的集群日志分析結(jié)果。所述日志預(yù)處理模塊對日志文件的預(yù)處理為過濾和格式化處理，去除那些不能體現(xiàn)網(wǎng)絡(luò)安全的日志記錄，并將多類型日志文件進(jìn)行歸一化處理，統(tǒng)一文件格式。所述日志采集模塊按一次性采集、手動采集或定時采集方式采集日志文件。本發(fā)明還提供一種海量日志分析方法，該方法包括:
步驟1:由采集策略模塊制定采集方案，由結(jié)點調(diào)度模塊將采集任務(wù)下發(fā)至任務(wù)結(jié)點集群；
步驟2:配置管理模塊接受采集任務(wù)后，日志采集模塊采集日志文件，同時，本地存儲管理模塊將日志文件存儲至本地存儲空間中，日志預(yù)處理模塊將日志文件進(jìn)行預(yù)處理后，配置管理模塊向管理結(jié)點的接收管理模塊提交預(yù)處理后的日志文件；
步驟3:接收管理模塊接收任務(wù)結(jié)點集群提交的日志文件后，根據(jù)采集任務(wù)判斷是否需要進(jìn)行集群日志合井，若不需，轉(zhuǎn)到下一歩；若需，則將不同任務(wù)結(jié)點采集的同集群日志文件合并后輸出；
步驟4:結(jié)點調(diào)度模塊調(diào)度任務(wù)結(jié)點集群的分布式存儲管理模塊將預(yù)處理后的日志文件分片存儲于任務(wù)結(jié)點集群的分布式文件系統(tǒng)空間；
步驟5:結(jié)點調(diào)度模塊命令任務(wù)結(jié)點的日志分析模塊分析本節(jié)點分布式文件系統(tǒng)空間中的日志文件；
步驟6:配置管理模塊向管理結(jié)點的接收管理模塊提交分析結(jié)果；
步驟7:存儲管理模塊將分析結(jié)果統(tǒng)一存入數(shù)據(jù)庫，步驟結(jié)束。本發(fā)明可以在大型網(wǎng)絡(luò)環(huán)境中對海量日志進(jìn)行高效的分析和存儲，提高了利用日志進(jìn)行安全審計的可靠性和有效性。


圖1為本發(fā)明海量日志分析系統(tǒng)的組成示意 圖2為圖1所示系統(tǒng)的任務(wù)結(jié)點組成示意 圖3為圖1所示系統(tǒng)的管理結(jié)點組成示意 圖4為本發(fā)明海量日志分析系統(tǒng)分析流程示意圖。
具體實施例方式為便于對本發(fā)明的方法及系統(tǒng)以及達(dá)到的效果有進(jìn)ー步的了解，現(xiàn)結(jié)合附圖并舉較佳實施例詳細(xì)說明如下。圖1為本發(fā)明海量日志分析系統(tǒng)組成示意圖。如圖1所示，海量日志分析系統(tǒng)包括任務(wù)結(jié)點集群100、管理結(jié)點200和數(shù)據(jù)庫300 ;其中該任務(wù)結(jié)點集群100包括至少ー個任務(wù)結(jié)點101，用于海量日志文件的分布式采集、存儲和分析，該管理結(jié)點200用于制定采集策略，對任務(wù)結(jié)點集群100實施調(diào)度管理，完成分布式存儲和分析，并由管理結(jié)點200將最終的日志分析結(jié)果和審計信息寫入數(shù)據(jù)庫300。圖2為圖1所示海量日志分析系統(tǒng)的任務(wù)結(jié)點組成示意圖。本發(fā)明中的單個任務(wù)結(jié)點101負(fù)責(zé)ー個或多個目標(biāo)對象的日志文件采集和本地存儲，并接受管理結(jié)點200的調(diào)度完成分布式存儲和分析；如圖2所示，海量日志分析系統(tǒng)的任務(wù)結(jié)點101，其功能模塊，包括日志采集模塊Ml 1、日志存儲模塊M12、日志預(yù)處理模塊M13、日志分析模塊M14和管理配置模塊Ml5。該日志存儲模塊Ml2包括具有本地使用空間SI的本地存儲管理模塊M121與具有分布式文件系統(tǒng)空間S2的分布式存儲管理模塊M122。圖3為圖1所示海量日志分析系統(tǒng)的管理結(jié)點組成示意圖。如圖3所示，海量日志分析系統(tǒng)的管理結(jié)點200，其功能模塊，包括采集策略模塊M21、接收管理模塊M22、結(jié)點調(diào)度模塊M23和存儲管理模塊M24。所述任務(wù)結(jié)點集群100，用于執(zhí)行采集、存儲和分析任務(wù)。每個任務(wù)結(jié)點101通過配置管理模塊M15接收采集任務(wù)、設(shè)置采集的目標(biāo)對象后，日志采集模塊Mll按一次性采集、手動采集或定時采集等方式采集日志文件，原始日志文件由本地存儲管理模塊M121存儲于本地存儲空間SI，分布式存儲管理模塊M122接受所述管理結(jié)點200的結(jié)點調(diào)度模塊M23的調(diào)度，用于將管理結(jié)點200分配的日志數(shù)據(jù)存儲至分布式文件系統(tǒng)空間S2，實現(xiàn)海量日志文件的分布式存儲；日志預(yù)處理模塊M13將采集并存儲于本地存儲空間SI中的日志文件進(jìn)行過濾和格式化處理，去除那些不能體現(xiàn)網(wǎng)絡(luò)安全的日志記錄，如圖片、視頻等網(wǎng)絡(luò)資源的訪問記錄，并將多類型日志文件進(jìn)行歸一化處理，統(tǒng)一文件格式；日志分析模塊M14組成的分布式分析系統(tǒng)，將在管理結(jié)點200的結(jié)點調(diào)度模塊M23的調(diào)度下根據(jù)預(yù)設(shè)規(guī)則分析存儲在分布式文件系統(tǒng)空間S2中的海量日志文件，識別安全事件，形成分布式分析結(jié)果；所述配置管理模塊M15接受管理結(jié)點200的結(jié)點調(diào)度模塊M23的調(diào)度管理，接收下發(fā)的任務(wù)并將處理后的日志文件提交給管理結(jié)點200的接收管理模塊M22。所述管理結(jié)點200，是日志采集與分析的控制中心。通過采集策略模塊M21制定采集方案后，由結(jié)點調(diào)度模塊M23向任務(wù)結(jié)點集群100下發(fā)采集任務(wù)并調(diào)度執(zhí)行；待任務(wù)結(jié)點集群100完成采集并提交后，接收管理模塊M22接收任務(wù)結(jié)點集群100提交的日志文件，由結(jié)點調(diào)度模塊M23調(diào)度任務(wù)結(jié)點集群100將日志文件分布式存儲及分析，并由接收管理模塊M22接收分析結(jié)果；存儲管理模塊M24將任務(wù)結(jié)點集群100提交的分析結(jié)果存入數(shù)據(jù)庫300。管理結(jié)點200通過制定和下發(fā)的采集策略，可將不同任務(wù)結(jié)點101采集的屬于同一集群的日志完成合并后再分析，得到完整的集群日志分析結(jié)果。所述數(shù)據(jù)庫300，是海量日志分析結(jié)果的存儲中心，由管理結(jié)點200的存儲管理模塊M24將日志分析結(jié)果寫入數(shù)據(jù)庫。圖4為本發(fā)明海量日志文件分析流程示意圖。如圖4所示，海量日志文件分析流程如下:
步驟Al:由采集策略模塊M21制定采集方案，由結(jié)點調(diào)度模塊M23將采集任務(wù)下發(fā)至任務(wù)結(jié)點集群100 ；
步驟A2:配置管理模塊M15接受采集任務(wù)后，日志采集模塊Mll采集日志文件，同吋，本地存儲管理模塊M121將日志文件存儲至本地存儲空間SI中，日志預(yù)處理模塊M13將日志文件進(jìn)行預(yù)處理后，配置管理模塊M15向管理結(jié)點200的接收管理模塊M22提交預(yù)處理后的日志文件；
步驟A3:接收管理模塊M22接收任務(wù)結(jié)點集群100提交的日志文件后，根據(jù)采集任務(wù)判斷是否需要進(jìn)行集群日志合并，若不需，轉(zhuǎn)到下一歩；若需，則將不同任務(wù)結(jié)點101采集的同集群日志文件合并后輸出；
步驟A4:結(jié)點調(diào)度模塊M23調(diào)度任務(wù)結(jié)點集群100的分布式存儲管理模塊M122將預(yù)處理后的日志文件分片存儲于任務(wù)結(jié)點集群100的分布式文件系統(tǒng)空間S2 ；
步驟A5:結(jié)點調(diào)度模塊M23命令任務(wù)結(jié)點的日志分析模塊M14分析本節(jié)點分布式文件系統(tǒng)空間S2中的日志文件；
步驟A6:配置管理模塊M15向管理結(jié)點200的接收管理模塊M22提交分析結(jié)果；
步驟A7:存儲管理模塊M24將分析結(jié)果統(tǒng)一存入數(shù)據(jù)庫300，步驟結(jié)束?？傊景l(fā)明解決了大型網(wǎng)絡(luò)環(huán)境中海量日志的高效分析和存儲，提高了利用日志進(jìn)行安全審計的可靠性和有效性。以上所描述的實施例僅是本發(fā)明的較佳實施例，并非用于限定本發(fā)明的保護(hù)范圍。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護(hù)的范圍。
權(quán)利要求
1.一種海量日志分析系統(tǒng)，其特征在于，其包括任務(wù)結(jié)點集群、管理結(jié)點和數(shù)據(jù)庫；其中該任務(wù)結(jié)點集群包括至少ー個任務(wù)結(jié)點，用于海量日志文件的分布式采集、存儲和分析，該管理結(jié)點用于制定采集策略，對所述任務(wù)結(jié)點集群實施調(diào)度管理，完成分布式存儲和分祈，并由該管理結(jié)點將最終的日志分析結(jié)果和審計信息寫入所述數(shù)據(jù)庫。
2.如權(quán)利要求1所述的海量日志分析系統(tǒng)，其特征在于，單個所述任務(wù)結(jié)點負(fù)責(zé)至少一個目標(biāo)對象的日志文件采集和本地存儲，并接受所述管理結(jié)點的調(diào)度完成分布式存儲和分析，所述任務(wù)結(jié)點的功能模塊，包括日志采集模塊、日志存儲模塊、日志預(yù)處理模塊、日志分析模塊和管理配置模塊，該日志存儲模塊包括具有本地使用空間的本地存儲管理模塊與具有分布式文件系統(tǒng)空間的分布式存儲管理模塊。
3.如權(quán)利要求2所述的海量日志分析系統(tǒng)，其特征在干，所述管理結(jié)點是日志采集與分析的控制中心，該管理結(jié)點的功能模塊包括采集策略模塊、接收管理模塊、結(jié)點調(diào)度模塊和存儲管理模塊。
4.如權(quán)利要求2所述的海量日志分析系統(tǒng)，其特征在于，每個所述任務(wù)結(jié)點通過所述配置管理模塊接收采集任務(wù)、設(shè)置采集的目標(biāo)對象，所述日志采集模塊采集日志文件，將采集的原始日志文件由所述本地存儲管理模塊存儲于本地存儲空間，所述分布式存儲管理模塊接受所述管理結(jié)點的調(diào)度，用于將管理結(jié)點分配的日志數(shù)據(jù)存儲至所述分布式文件系統(tǒng)空間，實現(xiàn)海量日志文件的分布式存儲；所述日志預(yù)處理模塊將采集并存儲于所述本地存儲空間中的日志文件進(jìn)行預(yù)處理；所述日志分析模塊組成的分布式分析系統(tǒng)，在所述管理結(jié)點的調(diào)度下分析存儲在所述分布式文件系統(tǒng)空間中的海量日志文件，識別安全事件，形成分布式分析結(jié)果；所述配置管理模塊接受管理結(jié)點的調(diào)度管理，接收下發(fā)的任務(wù)并將預(yù)處理后的日志文件提交給所述管理結(jié)點。
5.如權(quán)利要求3所述的海量日志分析系統(tǒng)，其特征在干，所述采集策略模塊制定采集方案，由所述結(jié)點調(diào)度模塊向所述任務(wù)結(jié)點集群下發(fā)采集任務(wù)并調(diào)度執(zhí)行；所述任務(wù)結(jié)點集群完成采集并提交后，所述接收管理模塊接收任務(wù)結(jié)點集群提交的日志文件，由所述結(jié)點調(diào)度模塊調(diào)度任務(wù)結(jié)點集群將日`志文件分布式存儲及分析，并由所述接收管理模塊接收分析結(jié)果；所述存儲管理模塊將任務(wù)結(jié)點集群提交的分析結(jié)果存入所述數(shù)據(jù)庫。
6.如權(quán)利要求5所述的海量日志分析系統(tǒng)，其特征在于，所述管理結(jié)點通過制定和下發(fā)的采集策略，將不同任務(wù)結(jié)點采集的屬于同一集群的日志完成合并后再分析，得到完整的集群日志分析結(jié)果。
7.如權(quán)利要求4所述的海量日志分析系統(tǒng)，其特征在干，所述日志預(yù)處理模塊對日志文件的預(yù)處理為過濾和格式化處理，去除那些不能體現(xiàn)網(wǎng)絡(luò)安全的日志記錄，并將多類型日志文件進(jìn)行歸一化處理，統(tǒng)一文件格式。
8.如權(quán)利要求4所述的海量日志分析系統(tǒng)，其特征在于，所述日志采集模塊按一次性采集、手動采集或定時采集方式采集日志文件。
9.ー種利用權(quán)利要求3所述的海量日志分析系統(tǒng)進(jìn)行日志分析的方法，其特征在干，該方法包括: 步驟1:由采集策略模塊制定采集方案，由結(jié)點調(diào)度模塊將采集任務(wù)下發(fā)至任務(wù)結(jié)點集群； 步驟2:配置管理模塊接受采集任務(wù)后，日志采集模塊采集日志文件，同時，本地存儲管理模塊將日志文件存儲至本地存儲空間中，日志預(yù)處理模塊將日志文件進(jìn)行預(yù)處理后，配置管理模塊向管理結(jié)點的接收管理模塊提交預(yù)處理后的日志文件； 步驟3:接收管理模塊接收任務(wù)結(jié)點集群提交的日志文件后，根據(jù)采集任務(wù)判斷是否需要進(jìn)行集群日志合井，若不需，轉(zhuǎn)到下一歩；若需，則將不同任務(wù)結(jié)點采集的同集群日志文件合并后輸出； 步驟4:結(jié)點調(diào)度模塊調(diào)度任務(wù)結(jié)點集群的分布式存儲管理模塊將預(yù)處理后的日志文件分片存儲于任務(wù)結(jié)點集群的分布式文件系統(tǒng)空間； 步驟5:結(jié)點調(diào)度模塊命令任務(wù)結(jié)點的日志分析模塊分析本節(jié)點分布式文件系統(tǒng)空間中的日志文件； 步驟6:配置管理模塊向管理結(jié)點的接收管理模塊提交分析結(jié)果； 步驟7:存儲管理模塊將分析結(jié)果統(tǒng)一存入數(shù)據(jù)庫，步驟結(jié)束。
全文摘要
本發(fā)明公開了一種海量日志分析系統(tǒng)及方法，該系統(tǒng)包括任務(wù)結(jié)點集群、管理結(jié)點和數(shù)據(jù)庫；其中該任務(wù)結(jié)點集群包括至少一個任務(wù)結(jié)點，用于海量日志文件的分布式采集、存儲和分析，該管理結(jié)點用于制定采集策略，對所述任務(wù)結(jié)點集群實施調(diào)度管理，完成分布式存儲和分析，并由該管理結(jié)點將最終的日志分析結(jié)果和審計信息寫入所述數(shù)據(jù)庫。本發(fā)明可以在大型網(wǎng)絡(luò)環(huán)境中對海量日志進(jìn)行高效的分析和存儲，提高了利用日志進(jìn)行安全審計的可靠性和有效性。
文檔編號H04L12/24GK103138989SQ20131005833
公開日2013年6月5日 申請日期2013年2月25日 優(yōu)先權(quán)日2013年2月25日
發(fā)明者唐威, 景奕昕, 廖巍, 韓敏, 余鵬飛, 李璐 申請人:武漢華工安鼎信息技術(shù)有限責(zé)任公司