專利名稱：基于數(shù)據(jù)流行為分析的網(wǎng)絡訪問異常檢測裝置及方法
技術領域：
本發(fā)明涉及網(wǎng)絡技術領域，特別涉及網(wǎng)絡訪問異常檢測裝置及方法領域，具體是 指一種基于數(shù)據(jù)流行為分析的網(wǎng)絡訪問異常檢測裝置及方法。
背景技術：
目前，現(xiàn)有的網(wǎng)絡流流量分析技術分為以下幾類1、通過對網(wǎng)絡流量的總計，并設置閥值來判斷網(wǎng)絡流量是否有異常。例如，通過網(wǎng) 絡設備上的SNMP接口，定期獲取相關網(wǎng)口的數(shù)據(jù)流量，例如，單播包總包數(shù)，單播包總字節(jié) 數(shù)等等，并通過預設的閥值進行比較，判斷是否異常。2、通過對單個或數(shù)個連續(xù)的數(shù)據(jù)包進行分析，判斷數(shù)據(jù)包是否屬于異常流量。例 如，通過對數(shù)據(jù)包的協(xié)議、端口以及大小來進行判斷。例如，SQL Slammer蠕蟲是通過UDP 1434端口發(fā)送大小為376字節(jié)的數(shù)據(jù)包進行掃描來加以判斷。3、基于對歷史流量的分析，統(tǒng)計網(wǎng)絡流量的行為并進行預測，將一種數(shù)據(jù)流量分 析的方法應用到各類網(wǎng)絡設備中，該方法分析一段時期內(nèi)歷史數(shù)據(jù)流量，通過計算機算法 挖掘出流量的變化規(guī)律，同時對下一周期內(nèi)流量的情況進行預測，一旦實際測量值與預測 值產(chǎn)生較大的差異，則認為產(chǎn)生了異常的訪問流量。上述各種現(xiàn)有方法的缺點在于方法1只能對總流量的大小進行簡單識別，無法 區(qū)分這些流量中那部分是正常流量，哪部分是異常流量。方法2雖然可以識別出具體的異 常流量數(shù)據(jù)包，但是由于是通過預設的數(shù)據(jù)包特征模式，無法識別出新的變異后的異常流 量。方法3考慮到了流量的歷史訪問規(guī)律，能檢測出嚴重違背歷史經(jīng)驗的流量訪問突變，因 此并不需要知道所有可能導致流量異常的數(shù)據(jù)包的特征模式。但是，目前大部分屬于方法 3的數(shù)據(jù)流行為檢測技術，僅僅考慮了對數(shù)據(jù)流行為的統(tǒng)計，并未考慮一旦檢測到有異常數(shù) 據(jù)流之后，如何進一步的阻止相關的異常流量。同時，由于屬于方法3的這些技術是針對于 歷史數(shù)據(jù)流的變化規(guī)律進行統(tǒng)計，但未考慮到攻擊方可能會采用一個緩慢的不斷增加異常 流量的過程，即在這樣的情況中，緩慢增加的攻擊流量，會導致算法不斷的修正對歷史流量 規(guī)律的統(tǒng)計，從而不斷增加系統(tǒng)預測流量的大小，從而當異常流量達到顯著數(shù)量的情況下， 系統(tǒng)仍然無法進行檢測。所以，現(xiàn)有的方法都存在不同的缺陷，難以應用在大規(guī)模數(shù)據(jù)流量 的網(wǎng)絡訪問異常檢測之中。

發(fā)明內(nèi)容
本發(fā)明的目的是克服了上述現(xiàn)有技術中的缺點，提供一種能在大規(guī)模數(shù)據(jù)流量分 析的應用環(huán)境中快速高效地總結流量行為，識別異常流量，并有效避免無法檢測出緩慢異 常流量增加的情況，從而提高檢測準確性，且應用方式較為簡單，應用成本低廉，且適用范 圍廣泛的基于數(shù)據(jù)流行為分析的網(wǎng)絡訪問異常檢測裝置及方法。為了實現(xiàn)上述的目的，本發(fā)明的基于數(shù)據(jù)流行為分析的網(wǎng)絡訪問異常檢測裝置具 有如下構成
該裝置包括流量信息收集模塊、異常行為檢測模塊和異常流量處理模塊，所述的 流量信息收集模塊的輸入端連接該檢測裝置外部的路由設備，所述的流量信息收集模塊的 輸出端分別連接所述的異常行為檢測模塊和異常流量處理模塊的輸入端，所述的異常行為 檢測模塊的輸出端連接所述的異常流量處理模塊的輸入端，所述的異常流量處理模塊的輸 出端連接該檢測裝置外部的路由設備。本發(fā)明所提供的利用所述的裝置實現(xiàn)基于數(shù)據(jù)流行為分析的網(wǎng)絡訪問異常檢測 方法，其包括以下步驟(1)所述的流量信息收集模塊從外部路由設備獲得原始流量數(shù)據(jù)；(2)所述的流量信息收集模塊對原始流量數(shù)據(jù)進行過濾，將明顯異常的流量數(shù)據(jù) 發(fā)送至所述的異常流量處理模塊，并將經(jīng)過濾的流量數(shù)據(jù)發(fā)送至所述的異常行為檢測模 塊；(3)所述的異常行為檢測模塊根據(jù)一確定的檢測標準對所述的經(jīng)過濾的流量數(shù)據(jù) 進行檢測，并將檢測出的異常流量數(shù)據(jù)發(fā)送至所述的異常流量處理模塊；(4)所述的異常行為檢測模塊根據(jù)檢測結果自動更新所述的檢測標準；(5)所述的異常流量處理模塊根據(jù)所獲得的異常流量的流量信息向外部路由設備 發(fā)送流量阻斷指令。該基于數(shù)據(jù)流行為分析的網(wǎng)絡訪問異常檢測方法中，所述的原始流量數(shù)據(jù)為 netflow v5格式數(shù)據(jù)或sFlow格式數(shù)據(jù)。該基于數(shù)據(jù)流行為分析的網(wǎng)絡訪問異常檢測方法中，所述的步驟( 具體包括以 下步驟(21)所述的流量信息收集模塊對原始流量數(shù)據(jù)進行解析，獲得流量數(shù)據(jù)信息；(22)所述的流量信息收集模塊將明顯異常的原始流量數(shù)據(jù)的流量數(shù)據(jù)信息存入 一異常流量數(shù)據(jù)庫；(23)所述的流量信息收集模塊將其余的流量數(shù)據(jù)存入一待檢測流量數(shù)據(jù)庫。該基于數(shù)據(jù)流行為分析的網(wǎng)絡訪問異常檢測方法中，所述的流量數(shù)據(jù)信息包括源 IP地址、源端口、目的IP地址、目的端口、協(xié)議類型、端口號、字節(jié)數(shù)、數(shù)據(jù)包數(shù)及數(shù)據(jù)流產(chǎn) 生時間。該基于數(shù)據(jù)流行為分析的網(wǎng)絡訪問異常檢測方法中，所述的步驟C3)具體包括以 下步驟(31)所述的異常行為檢測模塊讀取所述的待檢測流量數(shù)據(jù)庫中的流量數(shù)據(jù)；(32)所述的異常行為檢測模塊基于前一周期內(nèi)一確定時間段的數(shù)據(jù)流量值生成 本周期內(nèi)對應時間段的流量數(shù)據(jù)的預測值；(33)所述的異常行為檢測模塊將本周期該時間段的預測值與本周期內(nèi)該時間段 的流量數(shù)據(jù)實際值比較，判斷兩者差距是否大于預設的閾值，若大于，則確定該流量數(shù)據(jù)為 異常流量數(shù)據(jù)，并進入步驟(34)，若不大于，則進入步驟；(34)所述的異常行為檢測模塊將該異常流量數(shù)據(jù)的信息存入所述的異常流量數(shù) 據(jù)庫，并進入步驟(5)。該基于數(shù)據(jù)流行為分析的網(wǎng)絡訪問異常檢測方法中，所述的步驟(3 具體是指設第m個周期的第i個時間段內(nèi)的實際數(shù)據(jù)流量值為T(i,m)，則根據(jù)以下公式得到
6在第m+1個周期內(nèi)對應的第i個時間段內(nèi)的預測數(shù)據(jù)流量值P(i,m+1)P(i,m+1) = a(i,m)+b(i,m)，其中a(i,m)=2S' (i,m)-S〃(i,m)，
權利要求
1.一種基于數(shù)據(jù)流行為分析的網(wǎng)絡訪問異常檢測裝置，其特征在于，所述的裝置包括 流量信息收集模塊、異常行為檢測模塊和異常流量處理模塊，所述的流量信息收集模塊的 輸入端連接該檢測裝置外部的路由設備，所述的流量信息收集模塊的輸出端分別連接所述 的異常行為檢測模塊和異常流量處理模塊的輸入端，所述的異常行為檢測模塊的輸出端連 接所述的異常流量處理模塊的輸入端，所述的異常流量處理模塊的輸出端連接該檢測裝置 外部的路由設備。
2.一種利用權利要求1所述的裝置實現(xiàn)基于數(shù)據(jù)流行為分析的網(wǎng)絡訪問異常檢測方 法，其特征在于，所述的方法包括以下步驟(1)所述的流量信息收集模塊從外部路由設備獲得原始流量數(shù)據(jù)；(2)所述的流量信息收集模塊對原始流量數(shù)據(jù)進行過濾，將明顯異常的流量數(shù)據(jù)發(fā)送 至所述的異常流量處理模塊，并將經(jīng)過濾的流量數(shù)據(jù)發(fā)送至所述的異常行為檢測模塊；(3)所述的異常行為檢測模塊根據(jù)一確定的檢測標準對所述的經(jīng)過濾的流量數(shù)據(jù)進行 檢測，并將檢測出的異常流量數(shù)據(jù)發(fā)送至所述的異常流量處理模塊；(4)所述的異常行為檢測模塊根據(jù)檢測結果自動更新所述的檢測標準；(5)所述的異常流量處理模塊根據(jù)所獲得的異常流量的流量信息向外部路由設備發(fā)送 流量阻斷指令。
3.根據(jù)權利要求2所述的基于數(shù)據(jù)流行為分析的網(wǎng)絡訪問異常檢測方法，其特征在 于，所述的原始流量數(shù)據(jù)為netflow v5格式數(shù)據(jù)或sFlow格式數(shù)據(jù)。
4.根據(jù)權利要求2所述的基于數(shù)據(jù)流行為分析的網(wǎng)絡訪問異常檢測方法，其特征在 于，所述的步驟( 具體包括以下步驟(21)所述的流量信息收集模塊對原始流量數(shù)據(jù)進行解析，獲得流量數(shù)據(jù)信息；(22)所述的流量信息收集模塊將明顯異常的原始流量數(shù)據(jù)的流量數(shù)據(jù)信息存入一異 常流量數(shù)據(jù)庫；(23)所述的流量信息收集模塊將其余的流量數(shù)據(jù)存入一待檢測流量數(shù)據(jù)庫。
5.根據(jù)權利要求4所述的基于數(shù)據(jù)流行為分析的網(wǎng)絡訪問異常檢測方法，其特征在 于，所述的流量數(shù)據(jù)信息包括源IP地址、源端口、目的IP地址、目的端口、協(xié)議類型、端口 號、字節(jié)數(shù)、數(shù)據(jù)包數(shù)及數(shù)據(jù)流產(chǎn)生時間。
6.根據(jù)權利要求4所述的基于數(shù)據(jù)流行為分析的網(wǎng)絡訪問異常檢測方法，其特征在 于，所述的步驟C3)具體包括以下步驟(31)所述的異常行為檢測模塊讀取所述的待檢測流量數(shù)據(jù)庫中的流量數(shù)據(jù)；(32)所述的異常行為檢測模塊基于前一周期內(nèi)一確定時間段的數(shù)據(jù)流量值生成本周 期內(nèi)對應時間段的流量數(shù)據(jù)的預測值；(33)所述的異常行為檢測模塊將本周期該時間段的預測值與本周期內(nèi)該時間段的流 量數(shù)據(jù)實際值比較，判斷兩者差距是否大于預設的閾值，若大于，則確定該流量數(shù)據(jù)為異常 流量數(shù)據(jù)，并進入步驟(34)，若不大于，則進入步驟；(34)所述的異常行為檢測模塊將該異常流量數(shù)據(jù)的信息存入所述的異常流量數(shù)據(jù)庫， 并進入步驟(5)。
7.根據(jù)權利要求6所述的基于數(shù)據(jù)流行為分析的網(wǎng)絡訪問異常檢測方法，其特征在 于，所述的步驟(32)具體是指設第m個周期的第i個時間段內(nèi)的實際數(shù)據(jù)流量值為T(i,m)，則根據(jù)以下公式得到在第 m+1個周期內(nèi)對應的第i個時間段內(nèi)的預測數(shù)據(jù)流量值P(i,m+1)P(i,m+1) = a(i，m)+b(i，m)，其中a(i,111)=2S'一 " (i，m) ° (i，m)，UO.( 》—U，0UJη) ~1[—OiS'(i，,m)與S“(i，m)分別為在第m個周期中第S'(i，,m)=α-T(i,m) + (1- a )S' (“―D，S"(i，,m)=α-S, (i，m)+(l_a ) S" (i，m—D，α為預設的預測敏感系數(shù)。
8.根據(jù)權利要求7所述的基于數(shù)據(jù)流行為分析的網(wǎng)絡訪問異常檢測方法，其特征在 于，在第1個周期中第i個時間段的預測參數(shù)S' (i,0)與S" (W)分別為S' (U) = S" (i, 0) = T(ijl)。
9.根據(jù)權利要求7所述的基于數(shù)據(jù)流行為分析的網(wǎng)絡訪問異常檢測方法，其特征在 于，步驟(3 具體包括以下步驟(33-1)所述的異常行為檢測模塊判斷|T(i,m)-P(i,m)|是否大于預設的閾值；(33-2)若大于，則確定第m個周期的第i個時間段的流量數(shù)據(jù)為異常流量數(shù)據(jù)，并進入 步驟(34)；(33-3)若不大于，則進入步驟G)。
10.根據(jù)權利要求9所述的基于數(shù)據(jù)流行為分析的網(wǎng)絡訪問異常檢測方法，其特征在 于，步驟(34)具體包括以下步驟(34-1)所述的異常行為檢測模塊依確定的選取規(guī)則采集所述的第m個周期的第i個時 間段的流量數(shù)據(jù)的流量數(shù)據(jù)信息；(34-2)所述的異常行為檢測模塊并將所采集的流量數(shù)據(jù)信息存入所述的異常流量數(shù) 據(jù)庫，并進入步驟(5)。
11.根據(jù)權利要求10所述的基于數(shù)據(jù)流行為分析的網(wǎng)絡訪問異常檢測方法，其特征在 于，所述的選取規(guī)則具體為以下之一(1)采集該時間段內(nèi)流量數(shù)據(jù)字節(jié)或數(shù)據(jù)包較大的數(shù)據(jù)流的流量數(shù)據(jù)信息；(2)采集非關鍵端口產(chǎn)生的數(shù)據(jù)流的流量數(shù)據(jù)信息；(3)綜合采集非關鍵端口產(chǎn)生的數(shù)據(jù)字節(jié)或數(shù)據(jù)包較大的數(shù)據(jù)流的流量數(shù)據(jù)信息。
12.根據(jù)權利要求7所述的基于數(shù)據(jù)流行為分析的網(wǎng)絡訪問異常檢測方法，其特征在 于，所述的步驟(4)具體是指所述的異常行為檢測模塊將第m+1個周期的第i個時間段的流量數(shù)據(jù)預測值P(i,m+1)設 置為P(i, m+1) — T(i，m) 0
13.根據(jù)權利要求4至12中任一項所述的基于數(shù)據(jù)流行為分析的網(wǎng)絡訪問異常檢測方 法，其特征在于，所述的步驟( 具體包括以下步驟(51)所述的異常流量處理模塊讀取所述的異常流量數(shù)據(jù)庫中的流量數(shù)據(jù)信息；(52)所述的異常流量處理模塊統(tǒng)計所述的流量數(shù)據(jù)信息中的外部IP地址、協(xié)議類型 及端口號；(53)所述的異常流量處理模塊向外部路由設備發(fā)送針對所述的外部IP地址的流量阻 斷指令。
全文摘要
本發(fā)明涉及一種基于數(shù)據(jù)流行為分析的網(wǎng)絡訪問異常檢測裝置，其包括流量信息收集模塊、異常行為檢測模塊和異常流量處理模塊，流量信息收集模塊的分別連接異常行為檢測模塊和異常流量處理模塊，異常行為檢測模塊連接異常流量處理模塊。本發(fā)明還涉及一種利用該裝置的方法，該方法先過濾掉明顯異常的流量數(shù)據(jù)，再利用一網(wǎng)絡行為模型對經(jīng)過濾的流量數(shù)據(jù)進行檢測，并自動更新網(wǎng)絡行為模型；最后根據(jù)檢測結果阻斷流量。利用本發(fā)明的裝置和方法能建立正常網(wǎng)絡行為模型，將該模型跟實時數(shù)據(jù)進行比較，以檢測實時流量是否異常；并動態(tài)修正網(wǎng)絡行為模型，分析異常流量來源，對異常流量進行阻斷，從而快速有效地識別異常流量，提高檢測的準確性。
文檔編號H04L12/26GK102130800SQ20111008301
公開日2011年7月20日 申請日期2011年4月1日 優(yōu)先權日2011年4月1日
發(fā)明者逯利軍, 錢培專 申請人:蘇州賽特斯網(wǎng)絡科技有限公司