專(zhuān)利名稱(chēng)：大規(guī)模分布式入侵檢測(cè)系統(tǒng)的數(shù)據(jù)融合機(jī)制的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于網(wǎng)絡(luò)安全領(lǐng)域，具體涉及大規(guī)模分布式入侵檢測(cè)系統(tǒng)之中告警的一種實(shí)時(shí)融合機(jī)制。
國(guó)際性的一個(gè)網(wǎng)絡(luò)還意味著網(wǎng)絡(luò)的攻擊不僅僅來(lái)自本地網(wǎng)絡(luò)的用戶(hù)，它可以來(lái)自Internet上的任何一個(gè)機(jī)器，也就是說(shuō)，網(wǎng)絡(luò)安全所面臨的是一個(gè)國(guó)際化的挑戰(zhàn)。
自由性意味著網(wǎng)絡(luò)最初對(duì)用戶(hù)的使用并沒(méi)有提供任何的技術(shù)約束，用戶(hù)可以自由地訪(fǎng)問(wèn)網(wǎng)絡(luò)，自由地使用和發(fā)布各種類(lèi)型的信息。用戶(hù)只對(duì)自己的行為負(fù)責(zé)，而沒(méi)有任何的法律限制。
盡管開(kāi)放的、自由的、國(guó)際化的Internet的發(fā)展給政府機(jī)構(gòu)、企事業(yè)單位帶來(lái)了革命性的改革和開(kāi)放，使得他們能夠利用Internet提高辦事效率和市場(chǎng)反應(yīng)能力，以便更具競(jìng)爭(zhēng)力，通過(guò)Internet，他們可以從異地取回重要數(shù)據(jù)，同時(shí)又要面對(duì)網(wǎng)絡(luò)開(kāi)放帶來(lái)的數(shù)據(jù)安全的新挑戰(zhàn)和新危險(xiǎn)。如何保護(hù)企業(yè)的機(jī)密信息不受黑客和工業(yè)間諜的入侵，已成為政府機(jī)構(gòu)、企事業(yè)單位信息化健康發(fā)展所要考慮的重要事情之一。
高度發(fā)達(dá)的網(wǎng)絡(luò)伴隨著高風(fēng)險(xiǎn)，網(wǎng)絡(luò)安全問(wèn)題越來(lái)越受到人們的關(guān)注。已經(jīng)比較成熟的防火墻技術(shù)存在著弊端，比如后門(mén)、內(nèi)部攻擊、實(shí)時(shí)性以及對(duì)病毒的防范。入侵檢測(cè)系統(tǒng)(IDS，Intrusion Detection System)作為一種主動(dòng)防御策略，可以彌補(bǔ)防火墻的不足，為網(wǎng)絡(luò)安全提供實(shí)時(shí)的入侵檢測(cè)并采取相應(yīng)的防護(hù)手段。
隨著網(wǎng)絡(luò)規(guī)模的不斷擴(kuò)大，網(wǎng)絡(luò)攻擊手段也在不斷發(fā)展，例如分布式拒絕服務(wù)攻擊造成了巨大的經(jīng)濟(jì)損失并且以目前的技術(shù)手段難以防范，這時(shí)候，基于主機(jī)以及小規(guī)模網(wǎng)絡(luò)的入侵檢測(cè)系統(tǒng)顯示了其局限性，而將入侵檢測(cè)系統(tǒng)應(yīng)用于大規(guī)模高速網(wǎng)絡(luò)成為入侵檢測(cè)系統(tǒng)研究的新的立足點(diǎn)。為了能夠應(yīng)用于大規(guī)模高速網(wǎng)絡(luò)并檢測(cè)分布式攻擊，入侵檢測(cè)系統(tǒng)一般采用分層的分布式結(jié)構(gòu)，通過(guò)分散采集、分布處理和集中管理，滿(mǎn)足了大規(guī)模高速網(wǎng)絡(luò)的需求。我們稱(chēng)這種應(yīng)用于大規(guī)模高速網(wǎng)絡(luò)的入侵檢測(cè)系統(tǒng)為大規(guī)模分布式入侵檢測(cè)系統(tǒng)。本發(fā)明的目的本發(fā)明的目的在于提供一種數(shù)據(jù)融合機(jī)制，實(shí)現(xiàn)的目標(biāo)是產(chǎn)生大規(guī)模環(huán)境下的告警，同時(shí)提高單個(gè)入侵檢測(cè)的檢測(cè)率，降低它們的虛警率，最終為安全管理人員提供簡(jiǎn)練精確的告警。
在一個(gè)大型網(wǎng)絡(luò)中可以配置多個(gè)入侵檢測(cè)系統(tǒng)，每個(gè)入侵檢測(cè)系統(tǒng)負(fù)責(zé)網(wǎng)絡(luò)的一部分。為了獲得入侵的全局視圖，要求這些入侵檢測(cè)系統(tǒng)能夠協(xié)同檢測(cè)。采用協(xié)同檢測(cè)的方法可以把基于特征檢測(cè)和基于異常檢測(cè)的IDS(IntrusionDetection System)結(jié)合起來(lái)檢測(cè)入侵，能夠達(dá)到取長(zhǎng)補(bǔ)短的目的。多個(gè)系統(tǒng)協(xié)同檢測(cè)能夠得出全局的檢測(cè)結(jié)果，比起單個(gè)IDS的檢測(cè)結(jié)果，該結(jié)果更切實(shí)際、更準(zhǔn)確。發(fā)明的技術(shù)方案本發(fā)明提出一種大規(guī)模分布式網(wǎng)絡(luò)情況下的入侵檢測(cè)告警實(shí)時(shí)融合機(jī)制(如

圖1所示)，通過(guò)聚類(lèi)、合并和關(guān)聯(lián)三個(gè)步驟實(shí)現(xiàn)對(duì)告警的融合，目標(biāo)是產(chǎn)生大規(guī)模環(huán)境下的告警，同時(shí)提高單個(gè)入侵檢測(cè)的檢測(cè)率，降低它們的虛警率，最終為安全管理人員提供簡(jiǎn)練精確的告警。
圖1中提到的一些名詞，解釋如下低級(jí)告警IDS、防火墻、防病毒軟件或其他安全部件產(chǎn)生的告警；告警簇一組低級(jí)告警的集合，一個(gè)集合稱(chēng)為一個(gè)告警簇；同一告警簇中的低級(jí)告警對(duì)象彼此類(lèi)似，不同告警簇中的低級(jí)告警對(duì)象彼此相異。
中級(jí)告警告警簇合并形成的告警，一個(gè)告警簇對(duì)應(yīng)一個(gè)中級(jí)告警；高級(jí)告警經(jīng)過(guò)數(shù)據(jù)融合部件后形成的高層次的告警；聚類(lèi)將多個(gè)相似程度較高的低級(jí)告警聚類(lèi)形成一個(gè)或多個(gè)告警簇的過(guò)程稱(chēng)為聚類(lèi)；合并將一個(gè)告警簇變成一個(gè)中級(jí)告警的能力；合并功能的目的是創(chuàng)建新告警，它包含該告警簇中的各種有代表性的信息；關(guān)聯(lián)將多個(gè)中級(jí)告警關(guān)聯(lián)成一個(gè)高級(jí)告警的能力；入侵者通常不能只進(jìn)行一次攻擊就能達(dá)到要他要達(dá)到的惡意目的，傳統(tǒng)的IDS只檢測(cè)對(duì)應(yīng)入侵計(jì)劃步驟的基本攻擊，即低級(jí)告警，關(guān)聯(lián)功能的目標(biāo)是關(guān)聯(lián)告警從而識(shí)別入侵者當(dāng)前執(zhí)行的入侵計(jì)劃，向安全管理員提供更綜合的信息；聚類(lèi)模塊具有聚類(lèi)功能的模塊；合并模塊具有合并功能的模塊；關(guān)聯(lián)模塊具有關(guān)聯(lián)功能的模塊；下面詳細(xì)說(shuō)明聚類(lèi)、合并和關(guān)聯(lián)功能。
1.聚類(lèi)先介紹聚類(lèi)模塊，它是對(duì)不同IDS或其它安全部件產(chǎn)生的告警進(jìn)行聚類(lèi)，該模塊是用來(lái)檢測(cè)和聚類(lèi)不同IDS對(duì)同一個(gè)攻擊的告警。假設(shè)IDS、防火墻或其他安全部件產(chǎn)生的告警都符合IDMEF的格式；不同IDS或其他安全部件產(chǎn)生的低級(jí)告警將存放到聚類(lèi)模塊的緩沖數(shù)據(jù)庫(kù)中。當(dāng)新的低級(jí)告警到來(lái)的時(shí)候，要遍歷緩沖數(shù)據(jù)庫(kù)查找與新的告警具有連接關(guān)系的告警。關(guān)鍵問(wèn)題是定義兩個(gè)告警之間的相似關(guān)系，只有那些相似程度比較高的告警才進(jìn)行聚類(lèi)。對(duì)于入侵檢測(cè)中告警的相似關(guān)系計(jì)算，可以采用基于專(zhuān)家系統(tǒng)的方法和基于概率的方法。我們采用基于概率的方法。
基于概率的方法提供了一個(gè)統(tǒng)一的數(shù)學(xué)框架，對(duì)于那些非常匹配但不是完全匹配的告警進(jìn)行關(guān)聯(lián)。對(duì)于每個(gè)特征都定義一個(gè)相似函數(shù)，總的相似度是由相似期望值來(lái)度量，最小相似度可以由一些特定或者所有的特征來(lái)確定。對(duì)于那些合并的告警，它們的特征必須匹配，或者匹配程度滿(mǎn)足最小相似度。
我們處理的數(shù)據(jù)對(duì)象為初級(jí)告警，它們均是IDMEF中定義的Alert類(lèi)的實(shí)例。我們假設(shè)分析n個(gè)初級(jí)告警數(shù)據(jù)對(duì)象，每個(gè)對(duì)象可以用p個(gè)屬性變量來(lái)表示，如源地址、目的地址、協(xié)議類(lèi)型、時(shí)間、數(shù)量等等。這些數(shù)據(jù)結(jié)構(gòu)是關(guān)系表的形式，可以用n×p的數(shù)據(jù)矩陣來(lái)表示(如式1)xl1…xlf…xlp……………xi1…xif…xip……………xn1…xnf…xnp........(1)]]>相異度矩陣存儲(chǔ)n個(gè)低級(jí)告警對(duì)象兩兩之間的近似性，用一個(gè)n×n維矩陣表示(如式2)0d(2,1)0d(3,1)d(3,2)0………d(n,1)d(n,2)……0.......(2)]]>其中d(i，j)是低級(jí)告警對(duì)象i和對(duì)象j之間相異性的量化表示，通常它是一個(gè)非負(fù)數(shù)，當(dāng)對(duì)象i和j越相似或越接近，其值就越接近0；兩個(gè)對(duì)象越不同，其值越大。而且顯然，d(i，j)＝d(j，i)且d(i，i)＝0，因此相異度矩陣對(duì)角線(xiàn)的值全為0，左上角值不用再列出。
對(duì)于相異度的計(jì)算，我們做如下考慮，兩個(gè)初級(jí)告警對(duì)象的相異度由構(gòu)成它們的p個(gè)屬性的相異度計(jì)算得到。下面我們先分別介紹不同類(lèi)型屬性相似度的計(jì)算方法，然后我們會(huì)給出初級(jí)告警對(duì)象相異度的計(jì)算公式。
初級(jí)告警對(duì)象的屬性類(lèi)型可以有如下幾種數(shù)值型變量、布爾型變量、枚舉型變量。1)數(shù)值型變量數(shù)值型變量是一個(gè)連續(xù)的變量，如時(shí)間、數(shù)量。對(duì)于數(shù)值型變量可以采用如下幾種度量方法歐幾里得距離、曼哈坦距離和明考斯基距離，最常用的是歐幾里得距離，定義如下d(i,j)=|xi1-xj1|2+|xi2-xj2|2+…+|xip-xjp|2.......(3)]]>其中對(duì)象i＝(xi1，xi2，…，xip)，對(duì)象j＝(xj1，xj2…，xjp)，它們是兩個(gè)包含p維數(shù)值型變量的對(duì)象。
曼哈坦距離定義如下d(i，j)＝|xi1-xj1|+|xi2-xj2|+…+|xip-xjp|(4)明考斯基距離是上述兩種距離的概化描述，定義如下d(i,j)=|xi1-xj1|q+|xi2-xj2|q+…+|xip-xjp|q1/q......(5)]]>這里我們使用加權(quán)的歐幾里得距離來(lái)表示d(i,j)=w1|xi1-xj1|2+w2|xi2-xj2|2+…+wp|xip-xjp|2......(6)]]>其中wf表示不同屬性占的權(quán)重。2)布爾型變量布爾型變量只有兩個(gè)狀態(tài)0或1。評(píng)價(jià)兩個(gè)對(duì)象i和j之間相異度，我們采用著名的簡(jiǎn)單匹配系數(shù)法，定義如下d(i,j)=r+sq+r+s+t.......(7)]]>其中q是對(duì)象i和j都為1的變量的數(shù)目，t是對(duì)象i和j都為0的變量的數(shù)目，r是對(duì)象i值為1而對(duì)象j值為0的變量的數(shù)目，s是對(duì)象i值為0而對(duì)象j值為1的變量的數(shù)目。3)枚舉型變量枚舉型變量跟布爾型變量不同，有多個(gè)取值。兩個(gè)對(duì)象i，j之間的相異度可以用簡(jiǎn)單匹配的方法來(lái)計(jì)算d(i,j)=p-mp.........(8)]]>其中m是匹配的數(shù)目，即對(duì)象i和j取值相同的變量的數(shù)目，而p是全部枚舉型變量的數(shù)目。
初級(jí)告警對(duì)象相異度計(jì)算方法假設(shè)初級(jí)告警對(duì)象i，j分別包含p個(gè)不同類(lèi)型的屬性，對(duì)象i和對(duì)象j之間的相異度d(i，j)定義為d(i,j)=Σf=1pδij(f)w(f)dij(f)Σf=1pδij(f)........(9)]]>其中p為對(duì)象i和j中屬性的個(gè)數(shù)之和，f是p個(gè)屬性中的某一個(gè)。w(f)表示屬性f在對(duì)象相似度中的權(quán)值， 是一個(gè)指示項(xiàng)，它的取值為0或者1。 是對(duì)象i和對(duì)象j在f屬性上的相異度。
如果對(duì)象xif或者xjf至少缺少一個(gè)，即對(duì)于屬性f，低級(jí)告警i或者j沒(méi)有該屬性f，此時(shí)δij(f)=0]]>如果xif＝xjf＝0，且屬性f是不對(duì)稱(chēng)的二元變量，則指示項(xiàng)δij(f)=0]]>；否則δij(f)=1.]]>屬性f對(duì)i和j之間相異度的計(jì)算方式與它的具體類(lèi)型有關(guān)如果f是布爾型變量當(dāng)xif＝xjf時(shí)，dij(f)=0;]]>否則dij(f)=1;]]>如果f是數(shù)值型變量，dij(f)=|xif-xjf|maxhxhf-minhxhf]]>，其中h表示所有包含屬性f的對(duì)象；這樣，針對(duì)包含不同類(lèi)型的屬性變量的初級(jí)告警，它們之間的相異度便可以計(jì)算出來(lái)，相異度不大于某一設(shè)定的閾值的低級(jí)告警被分為一組，這樣聚類(lèi)模塊完成了對(duì)低級(jí)告警的分組，聚類(lèi)功能可以用下面的謂詞表示，cluster_alert(clusterid，alertid)。2.合并前面提到，聚類(lèi)模塊完成了對(duì)低級(jí)告警的分組，聚類(lèi)功能可以用下面的謂詞表示，cluster_alert(clusterid，alertid)。上式表明一個(gè)低級(jí)告警aleftid屬于告警簇clusterid。合并是對(duì)每一個(gè)告警簇生成一個(gè)中級(jí)告警，表示如下cluster_global_alert(clustered，alertid)。生成的中級(jí)告警要包含聚類(lèi)中告警簇的大部分信息。
下面我們給出合并聚類(lèi)，生成中級(jí)告警的過(guò)程。假設(shè)插入了一個(gè)新的低級(jí)告警alerti。存在兩種可能(1)如果告警簇中沒(méi)有與alerti相似的告警，就生成一個(gè)中級(jí)告警。這種情況下的中級(jí)告警就只有alerti。(2)如果alerti可以插入到已有的告警簇中，就要更新該告警簇和它所對(duì)應(yīng)的中級(jí)告警。并且在插入一個(gè)新的低級(jí)告警可能會(huì)導(dǎo)致幾個(gè)已有的告警簇合并成一個(gè)新的告警簇。例如，一個(gè)新的低級(jí)告警如果同時(shí)屬于兩個(gè)已知的告警簇，在插入新的低級(jí)告警后，需要對(duì)插入低級(jí)告警的兩個(gè)告警簇進(jìn)行合并，生成兩個(gè)新的中級(jí)告警，這時(shí)候兩個(gè)新的中級(jí)告警可能存在相似關(guān)系，這兩個(gè)中級(jí)告警可能屬于同一個(gè)告警簇，這時(shí)就出現(xiàn)多個(gè)告警簇合并成一個(gè)新的告警簇的情形。2.1對(duì)攻擊的Classifications屬性進(jìn)行合并對(duì)攻擊的Classifications屬性進(jìn)行合并的中心問(wèn)題就是生成告警的classification屬性的全局值。該屬性是描述與告警相關(guān)的攻擊。這種情況下，專(zhuān)家規(guī)則可以簡(jiǎn)單的定義為某個(gè)classification值是聚類(lèi)中要合并的所有告警的classification值。一定要避免冗余保證一個(gè)攻擊只出現(xiàn)一次。2.2合并攻擊的Sources/Targets屬性生成中級(jí)告警的Sources和Targets屬性的值，這些屬性描述了攻擊的源和目標(biāo)。給定兩個(gè)要合并的告警sourcessource1和source2，存在兩種情形source1和source2的節(jié)點(diǎn)地址和用戶(hù)名字、進(jìn)程名和服務(wù)名相同的情況下，就考慮對(duì)source1和source2進(jìn)行合并，在中級(jí)告警中生成唯一的source屬性。
source1和source2的節(jié)點(diǎn)地址和用戶(hù)名字、進(jìn)程名和服務(wù)名不同的情況下，要把source1和source2的信息都包含在中級(jí)告警的source屬性中。
Target的合并過(guò)程與source的合并過(guò)程非常相似。需要注意的是同一個(gè)source和target只能在中級(jí)告警的source屬性和target屬性中出現(xiàn)一次。2.3合并時(shí)間信息前面已經(jīng)提到，在DTD中IDMEF定義了三個(gè)時(shí)間屬性Detectiontime攻擊發(fā)生的時(shí)間。對(duì)Detectiontime的合并，定義了時(shí)間段[下限，上限]，下限是告警簇中Detectiontime最早的時(shí)間，上限是最晚的時(shí)間。下限用作中級(jí)告警的Detectiontime，上限添加到中級(jí)告警的附加數(shù)據(jù)屬性中去。
Createtime檢測(cè)到攻擊的時(shí)間。Createtime合并與Detectiontime的合并方法類(lèi)似。下限用作中級(jí)告警的Createtime，上限添加到中級(jí)告警的附加數(shù)據(jù)屬性中去。
Analyzertime協(xié)同系統(tǒng)發(fā)布告警的時(shí)間。約定為系統(tǒng)時(shí)鐘的時(shí)間，在中級(jí)告警的Analyzertime生成的時(shí)候協(xié)同系統(tǒng)必須參考系統(tǒng)時(shí)鐘的時(shí)間。3.關(guān)聯(lián)有兩種關(guān)聯(lián)方法當(dāng)安全管理員能辨別事件間的聯(lián)系時(shí)使用顯式關(guān)聯(lián)。該聯(lián)系可以是基于不同告警之間聯(lián)系知識(shí)的邏輯鏈接，也可以是根據(jù)信息系統(tǒng)組件拓?fù)浣Y(jié)構(gòu)的鏈路。
當(dāng)數(shù)據(jù)分析能得出事件間的映射關(guān)系時(shí)使用暗含關(guān)聯(lián)。這個(gè)方法主要基于告警的觀察組和他們間隱含的聯(lián)系。3.1顯式關(guān)聯(lián)顯式關(guān)聯(lián)通過(guò)使用謂詞attack_correlation(Attack1，Attack2)和alert_correlation(Alert1，Alert2)來(lái)實(shí)現(xiàn)。但這種方法存在一些缺陷，因?yàn)橛萌斯?lái)確定關(guān)聯(lián)規(guī)則相當(dāng)煩雜。3.2半顯式關(guān)聯(lián)關(guān)聯(lián)規(guī)則可以用Petri圖來(lái)表示，這些關(guān)聯(lián)規(guī)則形成一個(gè)關(guān)聯(lián)規(guī)則庫(kù)。當(dāng)該過(guò)程收到一個(gè)新的告警Alert1，它將做如下處理。
假設(shè)Alert1和Alert2關(guān)聯(lián)。在第一步中，我們檢查是否有其他告警存儲(chǔ)在數(shù)據(jù)庫(kù)中，并且其關(guān)聯(lián)也在關(guān)聯(lián)庫(kù)中。如果告警Alert2和Alert1潛在關(guān)聯(lián)，則用相應(yīng)的關(guān)聯(lián)規(guī)則檢查是否滿(mǎn)足關(guān)聯(lián)條件。結(jié)果形成一個(gè)告警對(duì)集合，這些告警對(duì)集合中的一個(gè)成員為Alert1。對(duì)于集合中的每個(gè)對(duì)，我們應(yīng)用一個(gè)算法來(lái)檢查這個(gè)對(duì)是否對(duì)應(yīng)一個(gè)現(xiàn)有的過(guò)程。如果不是，則生成一個(gè)新過(guò)程。例如，假設(shè)有一個(gè)存在三個(gè)告警(alert1，alert2，alert3)的過(guò)程。假設(shè)收到了alert4，在線(xiàn)關(guān)聯(lián)過(guò)程生成一個(gè)對(duì)(alert3，alert4)。此時(shí)，就生成了一個(gè)更長(zhǎng)的過(guò)程(alert1，alert2，alert3，alert4)。
對(duì)于每個(gè)連續(xù)的過(guò)程，在線(xiàn)關(guān)聯(lián)過(guò)程生成一個(gè)特殊的稱(chēng)作“高級(jí)告警”的告警，該告警完全符合IDMEF格式，該告警的“關(guān)聯(lián)告警”域?qū)?yīng)一個(gè)關(guān)聯(lián)告警列表(列表中元素有先后順序之分)，通過(guò)使用合并功能合并相關(guān)聯(lián)的告警中包含的數(shù)據(jù)從而生成告警中的其他域。
發(fā)明與現(xiàn)有技術(shù)相比具有的優(yōu)點(diǎn)和積極效果本發(fā)明主要是針對(duì)大規(guī)模分布式入侵檢測(cè)系統(tǒng)告警融合而提出的一種機(jī)制。大規(guī)模分布式入侵的特征主要有以下幾點(diǎn)涉及的范圍廣泛通常被攻擊者攻陷的主機(jī)遍布于不同子網(wǎng)中或不同地域，甚至是全球性的攻擊。
攻擊速度快攻擊者攻陷多主機(jī)后，攻擊的規(guī)模成倍增長(zhǎng)，攻擊的規(guī)模擴(kuò)展速度非常高。
數(shù)據(jù)流量大被攻陷主機(jī)同時(shí)發(fā)出攻擊行為時(shí)，網(wǎng)絡(luò)中的數(shù)據(jù)量非常龐大，甚至阻塞整個(gè)網(wǎng)絡(luò)。
分布式主要體現(xiàn)在對(duì)分布式攻擊的檢測(cè)以及數(shù)據(jù)的分布式采集。
由于大規(guī)模分布式入侵本身的特點(diǎn)，導(dǎo)致大規(guī)模分布式入侵檢測(cè)的工作并不能由一個(gè)簡(jiǎn)單的系統(tǒng)完成，而需要整個(gè)網(wǎng)絡(luò)中的安全部件相互協(xié)同工作來(lái)檢測(cè)，不同區(qū)域內(nèi)的入侵檢測(cè)系統(tǒng)協(xié)同工作進(jìn)行檢測(cè)。
本發(fā)明提出這種基于“聚類(lèi)——合并——關(guān)聯(lián)”三個(gè)步驟的數(shù)據(jù)融合機(jī)制，實(shí)現(xiàn)了不同的安全部件之間的協(xié)作，通過(guò)協(xié)作，可以獲得更準(zhǔn)確的高級(jí)告警。因?yàn)槿肭终咄ǔ２荒苤贿M(jìn)行一次攻擊就能達(dá)到要他要達(dá)到的惡意目的，傳統(tǒng)的IDS只檢測(cè)對(duì)應(yīng)入侵計(jì)劃步驟的基本攻擊，即低級(jí)告警，關(guān)聯(lián)功能的目標(biāo)是關(guān)聯(lián)告警從而識(shí)別入侵者當(dāng)前執(zhí)行的入侵計(jì)劃，向安全管理員提供更綜合的信息可以產(chǎn)生大規(guī)模環(huán)境下的告警，同時(shí)提高單個(gè)入侵檢測(cè)的檢測(cè)率，降低它們的虛警率，最終為安全管理人員提供簡(jiǎn)練精確的告警。
本發(fā)明提出的數(shù)據(jù)融合機(jī)制具有很好的擴(kuò)展性，非常適合大規(guī)模分布式入侵檢測(cè)系統(tǒng)的特點(diǎn)。針對(duì)不同的系統(tǒng)規(guī)?？梢圆捎貌煌瑪?shù)量的數(shù)據(jù)融合模塊，因?yàn)槲覀兊母呒?jí)告警和低級(jí)告警都是采用統(tǒng)一的格式，均符合IDMEF的Alert類(lèi)的定義，這樣一個(gè)數(shù)據(jù)融合模塊產(chǎn)生的高級(jí)告警可以作為另一個(gè)數(shù)據(jù)融合模塊的低級(jí)告警，這樣可以在更高層面上進(jìn)行進(jìn)一步的融合。
具體實(shí)施方式
中將舉一個(gè)三級(jí)數(shù)據(jù)融合模塊集成的例子(如圖2所示)。
1)小型網(wǎng)絡(luò)對(duì)于一個(gè)較小的網(wǎng)絡(luò)環(huán)境來(lái)說(shuō)，如小于100臺(tái)計(jì)算機(jī)的企業(yè)網(wǎng)，那么采用如圖1所示的一個(gè)數(shù)據(jù)融合部件就可以滿(mǎn)足要求。
2)大型網(wǎng)絡(luò)對(duì)于大規(guī)模的分布式網(wǎng)絡(luò)環(huán)境，如中國(guó)教育網(wǎng)，它擁有上百萬(wàn)臺(tái)計(jì)算機(jī)，那么部署數(shù)據(jù)融合模塊，需要作一些準(zhǔn)備工作第一步將按域?qū)W(wǎng)絡(luò)進(jìn)行劃分以網(wǎng)絡(luò)安全授權(quán)的區(qū)域性為原則，將一個(gè)大的網(wǎng)絡(luò)分為多個(gè)安全域，每個(gè)域中放置一個(gè)數(shù)據(jù)融合模塊；第二步，選取一種合適的方式對(duì)這些數(shù)據(jù)融合模塊進(jìn)行組織，建議采用樹(shù)形結(jié)構(gòu)的集成方式由底層向上，逐層實(shí)現(xiàn)。如圖所示將一個(gè)大規(guī)模網(wǎng)絡(luò)分成n個(gè)安全域，每個(gè)域中放置一個(gè)融合模塊，并且融合模塊采用三層樹(shù)型結(jié)構(gòu)，下層的告警作為上層融合模塊的輸入，上層融合模塊將產(chǎn)生更高一級(jí)的告警，如圖，共產(chǎn)生I級(jí)、II級(jí)和III級(jí)高級(jí)告警。
另，對(duì)本發(fā)明中提到的一些參數(shù)的設(shè)置可以作如下考慮式(9)中相異度d(i，j)定義中w(f)的一種分配方案可以是對(duì)數(shù)值型變量使用較高的權(quán)值如0.8，對(duì)布爾型變量使用較低的權(quán)限如0.2， 是一個(gè)指示項(xiàng)，它的取值為0或者1。
同時(shí)判斷低級(jí)告警是否能屬于一組，決定于設(shè)定的閾值，如果相異度不大于這個(gè)設(shè)定的閾值，那么這些低級(jí)告警可以被分為一組，因此這個(gè)閾值的設(shè)定對(duì)聚類(lèi)結(jié)果的影響很大，為了產(chǎn)生合理的閾值，閾值可以通過(guò)在具體的實(shí)驗(yàn)環(huán)境下對(duì)聚類(lèi)模塊進(jìn)行訓(xùn)練得到。
權(quán)利要求
1.一種大規(guī)模分布式網(wǎng)絡(luò)情況下的入侵檢測(cè)告警實(shí)時(shí)融合機(jī)制，通過(guò)“聚類(lèi)——合并——關(guān)聯(lián)”三個(gè)步驟實(shí)現(xiàn)對(duì)告警的融合，聚類(lèi)是通過(guò)計(jì)算低級(jí)告警的相異度，將多個(gè)相似程度較高的低級(jí)告警放到一起，形成一個(gè)或多個(gè)告警簇，合并是將一個(gè)告警簇變成一個(gè)新的中級(jí)告警，這個(gè)新告警包含原告警簇中的各種有代表性的信息，關(guān)聯(lián)是利用關(guān)聯(lián)規(guī)則將多個(gè)中級(jí)告警關(guān)聯(lián)成一個(gè)高級(jí)告警的過(guò)程，通過(guò)聚類(lèi)、合并、關(guān)聯(lián)過(guò)程后，最終生成高級(jí)告警，并提供給安全管理員。
2.如權(quán)利要求1所述的數(shù)據(jù)融合機(jī)制，定義的聚類(lèi)過(guò)程是通過(guò)計(jì)算低級(jí)告警的相異度，將多個(gè)相似程度較高的低級(jí)告警組織到一起，形成一個(gè)或多個(gè)告警簇，對(duì)于相異度的計(jì)算，采用基于概率的方法這里告警的形式符合IDMEF的格式，每一個(gè)低級(jí)告警由多個(gè)特征表示，對(duì)于每個(gè)特征都定義一個(gè)相似函數(shù)，對(duì)于n個(gè)初級(jí)告警數(shù)據(jù)對(duì)象，每個(gè)對(duì)象可以用p個(gè)屬性變量來(lái)表示，可以用n×p的數(shù)據(jù)矩陣來(lái)表示(如式1)xl1…xlf…xlp……………xi1…xif…xip……………xn1…xnf…xnp........(1)]]>相異度矩陣存儲(chǔ)n個(gè)低級(jí)告警對(duì)象兩兩之間的近似性，用一個(gè)n×n維矩陣表示(如式2)0d(2,1)0d(3,1)d(3,2)0………d(n,1)d(n,2)……0.......(2)]]>初級(jí)告警對(duì)象相異度計(jì)算方法假設(shè)初級(jí)告警對(duì)象i，j分別包含p個(gè)不同類(lèi)型的屬性，對(duì)象i和對(duì)象j之間的相異度d(i，j)定義為d(i,j)=Σf=1pδij(f)w(f)dij(f)Σf=1pδij(f)..........(9)]]>其中p為對(duì)象i和j中屬性的個(gè)數(shù)之和，f是p個(gè)屬性中的某一個(gè)，w(f)表示屬性f在對(duì)象相似度中的權(quán)值，可以反映出告警中不同屬性的重要程度，它是一個(gè)0到1之間的實(shí)數(shù)， 是一個(gè)指示項(xiàng)，它的取值為0或者1， 是對(duì)象i和對(duì)象j在f屬性上的相異度，如果對(duì)象xif或者xif至少缺少一個(gè)，即對(duì)于屬性f，低級(jí)告警i或者j沒(méi)有該屬性f，此時(shí)δij(f)=0]]>，如果xif＝xjf＝0，且屬性f是不對(duì)稱(chēng)的二元變量，則指示項(xiàng)δij(f)=0]]>，否則δij(f)=1,]]>屬性f對(duì)i和j之間相異度的計(jì)算方式與它的具體類(lèi)型有關(guān)如果f是布爾型變量當(dāng)xif＝xjf時(shí)，dij(f)=0,]]>否則dij(f)=1,]]>如果f是數(shù)值型變量，dij(f)=|xif-xjf|maxhxhf-minhxhf]]>，其中h表示所有包含屬性f的對(duì)象，這樣，針對(duì)包含不同類(lèi)型的屬性變量的初級(jí)告警，它們之間的相異度便可以計(jì)算出來(lái)，這是整個(gè)發(fā)明的關(guān)鍵點(diǎn)，相異度不大于某一設(shè)定的閾值的低級(jí)告警被分為一組，這樣聚類(lèi)模塊完成了對(duì)低級(jí)告警的分組，聚類(lèi)功能可以用下面的謂詞表示，cluster_alert(clusterid，alertid)。
3.如權(quán)利要求1所述的數(shù)據(jù)融合機(jī)制，定義的合并過(guò)程是將一個(gè)告警簇轉(zhuǎn)換成一個(gè)新的中級(jí)告警，聚類(lèi)模塊的謂詞表示是cluster_alert(clusterid，alerrid)，它表明一個(gè)低級(jí)告警alertid屬于告警簇clusterid，合并是對(duì)每一個(gè)告警簇生成一個(gè)中級(jí)告警，表示如下cluster_global_alert(clustered，alertid)，生成的中級(jí)告警要包含聚類(lèi)中告警簇的大部分信息。
4.如權(quán)利要求1所述的數(shù)據(jù)融合機(jī)制，定義的關(guān)聯(lián)過(guò)程是利用關(guān)聯(lián)規(guī)則將多個(gè)中級(jí)告警轉(zhuǎn)換成一個(gè)高級(jí)告警的過(guò)程，有兩種關(guān)聯(lián)方法當(dāng)安全管理員能辨別事件間的聯(lián)系時(shí)使用顯式關(guān)聯(lián)，此類(lèi)關(guān)聯(lián)需要管理員擁有先驗(yàn)知識(shí)，顯式關(guān)聯(lián)通過(guò)使用謂詞attack_correlation(Attack1，Attack2) 和alert_correlation(Alert1，Alert2)來(lái)實(shí)現(xiàn)，當(dāng)數(shù)據(jù)分析能得出事件間的映射關(guān)系時(shí)使用隱式關(guān)聯(lián)，關(guān)聯(lián)規(guī)則用有向Petri圖來(lái)表示，這些關(guān)聯(lián)規(guī)則形成一個(gè)關(guān)聯(lián)規(guī)則庫(kù)，當(dāng)該過(guò)程收到一個(gè)新的中級(jí)告警時(shí)，檢查是否有其他告警存儲(chǔ)在數(shù)據(jù)庫(kù)中，并且其關(guān)聯(lián)也在關(guān)聯(lián)庫(kù)中，如果與已出現(xiàn)的中級(jí)告警存在關(guān)聯(lián)關(guān)系，則用相應(yīng)的關(guān)聯(lián)規(guī)則判定是否滿(mǎn)足關(guān)聯(lián)條件，結(jié)果形成一個(gè)告警對(duì)集合，對(duì)于集合中的每個(gè)對(duì)，我們應(yīng)用匹配算法來(lái)檢查這個(gè)對(duì)是否對(duì)應(yīng)一個(gè)現(xiàn)有的高級(jí)告警的過(guò)程，如果不是，則生成一個(gè)新過(guò)程，否則就生成一個(gè)更長(zhǎng)的過(guò)程。
全文摘要
本發(fā)明為大規(guī)模分布式入侵檢測(cè)系統(tǒng)實(shí)時(shí)告警融合機(jī)制。在大規(guī)模高速網(wǎng)絡(luò)中，入侵檢測(cè)系統(tǒng)一般采用分層的分布式結(jié)構(gòu)，通過(guò)分散采集、分布處理和集中管理，滿(mǎn)足了大規(guī)模高速網(wǎng)絡(luò)的需求。在一個(gè)大型網(wǎng)絡(luò)中可以配置多個(gè)入侵檢測(cè)系統(tǒng)，每個(gè)入侵檢測(cè)系統(tǒng)負(fù)責(zé)網(wǎng)絡(luò)的一部分，還可以配置一些如防火墻等其它安全部件。為了獲得入侵的全局視圖，要求這些安全部件能夠協(xié)同工作。本發(fā)明提出一種大規(guī)模分布式網(wǎng)絡(luò)情況下的入侵檢測(cè)告警實(shí)時(shí)融合機(jī)制(如附圖所示)，通過(guò)“聚類(lèi)—合并—關(guān)聯(lián)”三個(gè)步驟實(shí)現(xiàn)對(duì)告警的融合，目標(biāo)是產(chǎn)生大規(guī)模環(huán)境下的告警，同時(shí)提高單個(gè)入侵檢測(cè)的檢測(cè)率，降低它們的虛警率，最終為安全管理人員提供簡(jiǎn)練精確的告警。
文檔編號(hào)G06F17/00GK1472916SQ0313744
公開(kāi)日2004年2月4日 申請(qǐng)日期2003年6月24日 優(yōu)先權(quán)日2003年6月24日
發(fā)明者呂慧勤, 楊義先 申請(qǐng)人:北京郵電大學(xué)