專利名稱：Dpi和dfi相結(jié)合的網(wǎng)絡(luò)流量分類系統(tǒng)及分類方法
技術(shù)領(lǐng)域：
本發(fā)明涉及DPI和DFI相結(jié)合的網(wǎng)絡(luò)流量分類系統(tǒng)及分類方法，屬于網(wǎng)絡(luò)數(shù)據(jù)傳 輸領(lǐng)域。
背景技術(shù)：
隨著網(wǎng)絡(luò)應(yīng)用層出不窮，P2P、網(wǎng)絡(luò)游戲、IPTV、 WEBTV等新興業(yè)務(wù)，占用了互聯(lián)網(wǎng) 大部分帶寬，以BT和Edonkey為代表的P2P應(yīng)用己經(jīng)占據(jù)了整個(gè)互聯(lián)網(wǎng)流量的2/3以 上，運(yùn)營(yíng)商的基礎(chǔ)網(wǎng)絡(luò)建設(shè)陷入了 "擁塞-擴(kuò)容-再擁塞"的非正常局面，盈利能力相應(yīng) 降低。無(wú)法實(shí)現(xiàn)業(yè)務(wù)識(shí)別增加了運(yùn)營(yíng)商的運(yùn)營(yíng)成本，降低了客戶的滿意度。于是，如何 深度感知網(wǎng)絡(luò)應(yīng)用，提供網(wǎng)絡(luò)業(yè)務(wù)控制和管理手段，構(gòu)建可以運(yùn)營(yíng)、可以管理的和諧網(wǎng) 絡(luò)，對(duì)P2P有效限制，合理引導(dǎo)，化不利為我所用，己經(jīng)成為電信運(yùn)營(yíng)商目前亟需研究 的一個(gè)熱門課題。
基于以上原因，必須通過(guò)技術(shù)手段識(shí)別出不同的網(wǎng)絡(luò)數(shù)據(jù)流量，從而可以對(duì)其進(jìn)行 控制和管理。
目前識(shí)別網(wǎng)絡(luò)數(shù)據(jù)流業(yè)務(wù)的方法主要有以下幾種
(1) 基于端口的網(wǎng)絡(luò)數(shù)據(jù)流業(yè)務(wù)識(shí)別技術(shù)這種識(shí)別技術(shù)是通過(guò)各種不同的應(yīng)用在 IANA(Internet Assigned Numbers Authority)中注冊(cè)的不同端口號(hào)來(lái)進(jìn)行識(shí)別的。例 如檢測(cè)到端口號(hào)為80時(shí)，則認(rèn)為該應(yīng)用代表著普通上網(wǎng)應(yīng)用。而當(dāng)前網(wǎng)絡(luò)上的一些非 法應(yīng)用會(huì)采用隱藏或假冒端口號(hào)的方式躲避檢測(cè)和監(jiān)管，造成仿冒合法報(bào)文的數(shù)據(jù)流侵 蝕著網(wǎng)絡(luò)。比如新型的P2P協(xié)議所使用的端口是變化的，因此端口號(hào)識(shí)別的準(zhǔn)確率已經(jīng) 越來(lái)越低，該方法已經(jīng)越來(lái)越不適合對(duì)現(xiàn)有網(wǎng)絡(luò)數(shù)據(jù)流業(yè)務(wù)的識(shí)別。
(2) DPI (De印Packet Inspection)深度包檢測(cè)網(wǎng)絡(luò)數(shù)據(jù)流業(yè)務(wù)識(shí)別技術(shù)當(dāng)碰到 某些使用動(dòng)態(tài)端口的新型的協(xié)議時(shí)，采用基于端口的識(shí)別技術(shù)就會(huì)無(wú)能為力。DPI技術(shù) 除了對(duì)4層以下的基礎(chǔ)信息進(jìn)行分析外，還增加了應(yīng)用層分析，識(shí)別各種應(yīng)用及其內(nèi)容。 就是通過(guò)對(duì)一系列數(shù)據(jù)包的應(yīng)用層負(fù)載特征進(jìn)行分析，找出其應(yīng)用層的特征字，從而對(duì)各種業(yè)務(wù)進(jìn)行識(shí)別。這種方法在遇到應(yīng)用層數(shù)據(jù)加密的時(shí)候處理起來(lái)就會(huì)非常困難。
(3)DFI (De印Flow Inspection)深度流檢測(cè)網(wǎng)絡(luò)數(shù)據(jù)流業(yè)務(wù)識(shí)別技術(shù)當(dāng)DPI 識(shí)別技術(shù)遇到應(yīng)用層數(shù)據(jù)加密的時(shí)候，就很難通過(guò)分析應(yīng)用層數(shù)據(jù)的特征來(lái)對(duì)其進(jìn)行識(shí) 別。DFI技術(shù)是根據(jù)流的特征來(lái)對(duì)業(yè)務(wù)進(jìn)行識(shí)別的技術(shù)，即不同的應(yīng)用類型體現(xiàn)在會(huì)話 連接或數(shù)據(jù)流上的狀態(tài)各有不同。DFI的特點(diǎn)是對(duì)整個(gè)數(shù)據(jù)流的特征進(jìn)行分析，例如每 個(gè)流的平均包長(zhǎng)，每個(gè)包到達(dá)的時(shí)間間隔等。無(wú)須對(duì)應(yīng)用層數(shù)據(jù)進(jìn)行檢測(cè)，因而應(yīng)用層 數(shù)據(jù)加密與否對(duì)這種識(shí)別技術(shù)來(lái)講沒(méi)有區(qū)別。屬于同種類型業(yè)務(wù)的數(shù)據(jù)流的特征一般都 是非常接近的，例如QQ和MSN這兩種IM軟件的流量特征可能就非常接近，因此這種方 法的缺點(diǎn)是只能對(duì)網(wǎng)絡(luò)流量的幾個(gè)大類進(jìn)行區(qū)分。例如IM， P2P，WEB等。

發(fā)明內(nèi)容
發(fā)明目的
本發(fā)明要解決的技術(shù)問(wèn)題在于，針對(duì)基于端口識(shí)別技術(shù)的準(zhǔn)確率低，DPI和DFI技 術(shù)分別存在對(duì)應(yīng)用層數(shù)據(jù)加密的業(yè)務(wù)的識(shí)別非常困難，以及只能對(duì)網(wǎng)絡(luò)流量進(jìn)行大類區(qū) 分的缺陷，提出了將DPI和DFI相結(jié)合的網(wǎng)絡(luò)流量分類系統(tǒng)及分類方法。
技術(shù)方案-
本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是先對(duì)網(wǎng)絡(luò)流量進(jìn)行大類的區(qū)分，然后 構(gòu)造DPI網(wǎng)絡(luò)數(shù)據(jù)流業(yè)務(wù)識(shí)別系統(tǒng)，對(duì)應(yīng)用層沒(méi)有加密的業(yè)務(wù)進(jìn)行應(yīng)用層特征提取，將
提取到的特征放入特征庫(kù)中，然后以DPI能夠識(shí)別的協(xié)議的數(shù)據(jù)流作為DFI業(yè)務(wù)識(shí)別模 塊的樣本，對(duì)DFI進(jìn)行訓(xùn)練，訓(xùn)練完成以后將DFI模塊加在DPI業(yè)務(wù)識(shí)別系統(tǒng)后面，讓 DPI無(wú)法識(shí)別的數(shù)據(jù)流再經(jīng)過(guò)DFI模塊的識(shí)別，從而對(duì)DPI無(wú)法識(shí)別的數(shù)據(jù)流進(jìn)行大類 的區(qū)分。具體技術(shù)方案如下
本發(fā)明的DPI和DFI相結(jié)合的網(wǎng)絡(luò)流量分類系統(tǒng)，包括DPI業(yè)務(wù)識(shí)別系統(tǒng)和DFI流 量識(shí)別系統(tǒng)兩個(gè)模塊結(jié)合而成；
所述的DPI業(yè)務(wù)識(shí)別系統(tǒng)中，包括
A. 流表檢測(cè)模塊，判斷當(dāng)前的數(shù)據(jù)流是否為已經(jīng)標(biāo)記類型的數(shù)據(jù)流；
B. 數(shù)據(jù)流特征庫(kù)，存儲(chǔ)數(shù)據(jù)流的特征；
C. 流量識(shí)別模塊，根據(jù)數(shù)據(jù)流特征庫(kù)中的特征識(shí)別網(wǎng)絡(luò)流量代表的不同業(yè)務(wù)；D. 協(xié)議處理模塊，用于對(duì)具體業(yè)務(wù)的處理，以及對(duì)網(wǎng)絡(luò)大類的處理； 所述的DFI流量識(shí)別系統(tǒng)中，包括
E. 樣本獲取模塊，用于將DPI能夠精確識(shí)別的業(yè)務(wù)的流特征提取出來(lái)，分成不同的 類別，作為分類器訓(xùn)練模塊的訓(xùn)練樣本；
F. 分類器訓(xùn)練模塊，對(duì)樣本獲取模塊提供的樣本進(jìn)行訓(xùn)練獲得一個(gè)訓(xùn)練模型；
G. 分類器分類預(yù)測(cè)模塊，根據(jù)分類器訓(xùn)練模塊獲得的模型對(duì)其他數(shù)據(jù)進(jìn)行分類； 本發(fā)明還提供一種基于本發(fā)明的網(wǎng)絡(luò)流量分類方法，包括以下步驟
(a) 數(shù)據(jù)流先經(jīng)過(guò)DPI業(yè)務(wù)識(shí)別系統(tǒng)中的流表檢測(cè)模塊，流表檢測(cè)模塊檢測(cè)當(dāng)前 數(shù)據(jù)流是否在流表檢測(cè)模塊維護(hù)的狀態(tài)表中，當(dāng)該數(shù)據(jù)流在狀態(tài)表中，則流表檢測(cè)模塊 直接將當(dāng)前數(shù)據(jù)流標(biāo)記以后，發(fā)送至協(xié)議處理模塊；當(dāng)該數(shù)據(jù)流不在狀態(tài)表中，則流標(biāo) 檢測(cè)模塊將該數(shù)據(jù)流發(fā)送至流量識(shí)別模塊，進(jìn)入(b)步驟；
(b) 流量識(shí)別模塊檢査該數(shù)據(jù)流是否含有DPI業(yè)務(wù)識(shí)別系統(tǒng)中的數(shù)據(jù)流特征庫(kù)中 的任意一條特征；當(dāng)流量識(shí)別模塊在數(shù)據(jù)流特征庫(kù)中識(shí)別到與該數(shù)據(jù)流有匹配的流量特 征，則標(biāo)記當(dāng)前報(bào)文對(duì)應(yīng)的該數(shù)據(jù)流為特定的數(shù)據(jù)流，更新流表檢測(cè)模塊中維護(hù)的狀態(tài) 表，同時(shí)將當(dāng)前數(shù)據(jù)流標(biāo)記以后發(fā)送至協(xié)議處理模塊；當(dāng)流量識(shí)別模塊在數(shù)據(jù)流特征庫(kù) 中沒(méi)有識(shí)別到與該數(shù)據(jù)流匹配的流量特征，則將該數(shù)據(jù)流發(fā)送至DFI流量識(shí)別系統(tǒng)，進(jìn) 入(c)步驟；
(c) 流量識(shí)別模塊將能夠識(shí)別的數(shù)據(jù)流發(fā)送至DFI流量識(shí)別系統(tǒng)中的樣本獲取模 塊，樣本獲取模塊在線獲得該數(shù)據(jù)流的樣本文件以后，將該樣本文件發(fā)送至分類器訓(xùn)練 模塊進(jìn)行離線訓(xùn)練，獲得分類模型，分類器訓(xùn)練模塊將此分類模型發(fā)送至分類器分類預(yù) 測(cè)模塊；分類器分類預(yù)測(cè)模塊根據(jù)訓(xùn)練得到的分類模型對(duì)(b)步驟中流量識(shí)別模塊無(wú) 法識(shí)別的數(shù)據(jù)流進(jìn)行分類；
(d) 分類器分類預(yù)測(cè)模塊將分好類的數(shù)據(jù)流做好相應(yīng)標(biāo)記發(fā)送至協(xié)議處理模塊，協(xié) 議處理模塊根據(jù)以上步驟中對(duì)數(shù)據(jù)流的不同標(biāo)記，分別進(jìn)行具體業(yè)務(wù)或者針對(duì)不同大類 的處理。
在本發(fā)明所述的DPI業(yè)務(wù)識(shí)別系統(tǒng)中，所述數(shù)據(jù)流特征庫(kù)，包括網(wǎng)絡(luò)流量各個(gè)大類 中的部分業(yè)務(wù)的應(yīng)用層特征。例如屬于即時(shí)消息這一大類的業(yè)務(wù)有QQ和百度HI等，QQ的應(yīng)用層特征為數(shù)據(jù)包以0x02開(kāi)始，以0x03結(jié)束，百度HI的應(yīng)用層特征為前八個(gè) 字節(jié)為0x0000010031564d49。屬于P2P這一大類的業(yè)務(wù)有TTlive和Sopcast等，TTlive 的應(yīng)用層特征為每個(gè)流的第一個(gè)包的凈載荷長(zhǎng)度為52字節(jié)，前三個(gè)字節(jié)為OxffffOl, 最后兩個(gè)字節(jié)為0x0002， Sopcast的應(yīng)用層特征為第一個(gè)有凈載荷的數(shù)據(jù)包的特征字用 正則表達(dá)式表示為'DESCRIBE. *User-Agent:WMPlayer。
有益效果
本發(fā)明的DPI和DFI相結(jié)合的網(wǎng)絡(luò)流量分類系統(tǒng)及方法，先對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行DPI 識(shí)別，DPI無(wú)法識(shí)別的數(shù)據(jù)流再進(jìn)過(guò)DFI進(jìn)行分類，增加了對(duì)網(wǎng)絡(luò)流量進(jìn)行分類的準(zhǔn)確 性。


圖1是DPI識(shí)別模塊的結(jié)構(gòu)框圖； 圖2是DFI識(shí)別模塊的結(jié)構(gòu)框圖3是本發(fā)明DPI和DFI相結(jié)合的網(wǎng)絡(luò)流量分類方法的框圖； 圖4是本發(fā)明DPI和DFI相結(jié)合的網(wǎng)絡(luò)流量分類方法的流程圖。
具體實(shí)施例方式
下面結(jié)合附圖對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)的說(shuō)明。 .
如圖1所示，在本發(fā)明的DPI和DFI相結(jié)合的網(wǎng)絡(luò)流量分類系統(tǒng)的第一實(shí)施步驟中， 網(wǎng)絡(luò)流量識(shí)別系統(tǒng)連接到基于TCP/IP協(xié)議的網(wǎng)絡(luò)中，其中有一個(gè)流表檢測(cè)模塊， 一個(gè) 協(xié)議處理模塊， 一個(gè)流量識(shí)別模塊以及一個(gè)數(shù)據(jù)流特征庫(kù)。
數(shù)據(jù)流特征庫(kù)中包含有分別屬于幾個(gè)網(wǎng)絡(luò)流量大類的各種不同的業(yè)務(wù)。舉例如下
(1) 屬于IM (即時(shí)通訊)這一大類的有QQ和百度HI等，QQ的應(yīng)用層特征為數(shù)據(jù) 包以0x02開(kāi)始，以0x03結(jié)束，百度HI的應(yīng)用層特征為前八個(gè)字節(jié)為 0x0000010031564d49。
(2) 屬于P2P這一大類的業(yè)務(wù)有TTlive和Sopcast等，TTlive的應(yīng)用層特征為 每個(gè)流的第一個(gè)包的凈載荷長(zhǎng)度為52字節(jié)，前三個(gè)字節(jié)為0xffff01，最后兩個(gè)字節(jié)為0x0002， Sopcast的應(yīng)用層特征為第一個(gè)有凈載荷的數(shù)據(jù)包的特征字用正則表達(dá)式表示 為'DESCRIBE. *User-Agent:WMPlayer。
數(shù)據(jù)流特征庫(kù)中存儲(chǔ)有上述各類業(yè)務(wù)的特征。
流表檢測(cè)模塊維護(hù)一張狀態(tài)表，表中信息包括數(shù)據(jù)流的五元組(源ip地址，目的 ip地址，源端口，目的端口，協(xié)議號(hào))以及所屬協(xié)議類型的ID，網(wǎng)絡(luò)數(shù)據(jù)流進(jìn)入以后 首先將自己的五元組與狀態(tài)表中的信息比對(duì)，査看是否在該狀態(tài)表中，若在該狀態(tài)表中 則將其用所屬協(xié)議類型的ID標(biāo)注后送入?yún)f(xié)議處理模塊。
例如狀態(tài)表中維護(hù)的一條信息格式如下表第二行
源ip地址目的ip地址源端口目的端口協(xié)議類型協(xié)議ID
119.147.18.4710.8.7,43800040000x115
其中119. 147. 18. 47是源ip地址，10. 8. 7. 43是目的ip地址，8000是源端口 ， 4000 是目的端口， 0x11是協(xié)議號(hào)(UDP協(xié)議)，5是可以自己定義的協(xié)議ID，比如我們把QQ 的協(xié)議ID定為5，那么5就代表QQ的數(shù)據(jù)流。 一旦有新數(shù)據(jù)流進(jìn)入流表檢測(cè)模塊，首 先將自己的五元組與表中的信息的前五項(xiàng)(五元組)進(jìn)行比對(duì)，如果發(fā)現(xiàn)狀態(tài)表中存在 有自己的五元組，則將該數(shù)據(jù)流用協(xié)議ID進(jìn)行標(biāo)注后送入?yún)f(xié)議處理模塊，若在狀態(tài)表 中沒(méi)有發(fā)現(xiàn)與自己五元組匹配的記錄則進(jìn)入流量識(shí)別模塊。
流量識(shí)別模塊先對(duì)網(wǎng)絡(luò)數(shù)據(jù)流應(yīng)用層數(shù)據(jù)進(jìn)行分析，并將其應(yīng)用層特征與數(shù)據(jù)流特 征庫(kù)中的特征進(jìn)行比對(duì)，若應(yīng)用層數(shù)據(jù)的特征字符串符合數(shù)據(jù)流特征庫(kù)中的一個(gè)或者多 個(gè)特征，則流量識(shí)別模塊將其標(biāo)記為對(duì)應(yīng)的協(xié)議ID，并且將該流量更新到流表檢測(cè)模 塊，若在數(shù)據(jù)流特征庫(kù)中不存在與其特征字符串匹配的特征，則數(shù)據(jù)流量識(shí)別模塊不對(duì) 其進(jìn)行標(biāo)記，而是將其送入DFI識(shí)別模塊，由DFI識(shí)別模塊對(duì)其進(jìn)行進(jìn)一步識(shí)別。
數(shù)據(jù)流特征庫(kù)中存放有事先已經(jīng)識(shí)別的業(yè)務(wù)的應(yīng)用層特征字，比如bitspirit的應(yīng) 用層前20個(gè)字節(jié)恒為0xl3426974546f7272656e742070726f746f636f6c ， PP點(diǎn)點(diǎn)通下 載文件時(shí)應(yīng)用層前5個(gè)字節(jié)恒為0x3c00000001。流量識(shí)別模塊就是通過(guò)與庫(kù)中特征比 對(duì)來(lái)判斷數(shù)據(jù)流是否能夠識(shí)別以及屬于何種協(xié)議。
如圖2所示，是DPI和DFI相結(jié)合的網(wǎng)絡(luò)流量分類系統(tǒng)中的DFI部分的結(jié)構(gòu)框圖， 其中主要有樣本獲取模塊，分類器訓(xùn)練模塊，和分類器分類預(yù)測(cè)模塊，樣本獲取模塊將 圖1中的流量識(shí)別模塊能夠準(zhǔn)確識(shí)別的數(shù)據(jù)流作為樣本，將其歸入之前分好的幾個(gè)網(wǎng)絡(luò)流量的大類中，并從中提取出所需要的流特征，比如QQ是流量識(shí)別模塊能夠準(zhǔn)確識(shí)別
的，并且QQ屬于IM (即時(shí)通訊)這一大類，那么每個(gè)QQ網(wǎng)絡(luò)數(shù)據(jù)流都可以作為一個(gè) IM這一大類的樣本。同樣我們也能對(duì)百度HI進(jìn)行準(zhǔn)確識(shí)別，并且百度HI也屬于IM這 一大類，那么每個(gè)百度HI網(wǎng)絡(luò)數(shù)據(jù)流也可以作為一個(gè)IM這一大類的樣本。獲得樣本后 我們計(jì)算出每個(gè)樣本的流特征，比如該流的平均包長(zhǎng)，包的平均時(shí)間間隔等，并對(duì)這個(gè) 樣本進(jìn)行標(biāo)記以確定其所屬的大類。采用同樣的方法我們可以通過(guò)對(duì)TTlive和Sopcast 網(wǎng)絡(luò)數(shù)據(jù)流提取出P2P這一個(gè)大類的樣本，以及其他幾個(gè)大類的樣本，將所有這些樣本 集中在一起我們就可以獲得一個(gè)樣本文件。其文件格式如下表
所屬大類ID 特征索引特征值特征索引 特征值 ...........1 1: 譲 20.005 ..........
2 1: 450 20.03 ..........
1 1: 950 20.006 ..........
3 1: 100 20.07 ..........
該文件中每一行都代表一個(gè)樣本，每列的第一個(gè)字符表示該行樣本所屬的大類，例
如我們把P2P這一大類用1這個(gè)ID表示，把IM (即時(shí)通訊)這一大類用2表示，把WEB 應(yīng)用這一大類用3表示，那么這個(gè)文件的第一行和第三行表示是P2P的樣本數(shù)據(jù)，第二 行表示是IM (即時(shí)通訊)的樣本數(shù)據(jù)，第四行表示是WEB應(yīng)用的樣本數(shù)據(jù)。文件每一 行的大類ID后面是特征索引和該特征的值，例如我們把流的平均包長(zhǎng)這一流特征用1 索引，把包到達(dá)的平均時(shí)間間隔用2索引，那么代表第一行就表明這一樣本數(shù)據(jù)的平均 包長(zhǎng)為1000，包到達(dá)的平均時(shí)間間隔為0.005。每個(gè)流的特征肯定不止兩項(xiàng)，其他特征 這里不再列出。樣本獲取模塊的作用就是從流量識(shí)別模塊能夠準(zhǔn)確識(shí)別的數(shù)據(jù)流中提取 其流特征，將該特征以樣本文件的形式保存。
分類器訓(xùn)練模塊通過(guò)對(duì)樣本獲取模塊獲取的樣本的訓(xùn)練獲得一個(gè)預(yù)測(cè)模型。 分類器分類預(yù)測(cè)模塊通過(guò)預(yù)測(cè)模型對(duì)流量識(shí)別模塊無(wú)法識(shí)別的流量進(jìn)行分類。 圖3是DPI識(shí)別模塊和DFI識(shí)別模塊的結(jié)合，可以將其分成在線和離線兩個(gè)大類， 流表檢測(cè)模塊，協(xié)議處理模塊，流量識(shí)別模塊，數(shù)據(jù)流特征庫(kù)，樣本獲取模塊，分類器 分類預(yù)測(cè)模塊是在線的，分類器訓(xùn)練模塊是離線的。在進(jìn)行在線的分類之前，需要先進(jìn) 行樣本獲取和分類器訓(xùn)練生成一個(gè)分類模型的過(guò)程，這時(shí)候流量識(shí)別模塊將能夠準(zhǔn)確識(shí)別的數(shù)據(jù)流直接送入樣本獲取模塊。
樣本獲取模塊在線獲得樣本文件以后可以對(duì)分類器進(jìn)行離線訓(xùn)練，獲得分類模型，
當(dāng)DPI系統(tǒng)中的流量識(shí)別模塊無(wú)法識(shí)別時(shí)，再經(jīng)過(guò)DFI系統(tǒng)的分類器分類預(yù)測(cè)模塊，分
類器分類預(yù)測(cè)模塊根據(jù)訓(xùn)練得到的分類模型對(duì)流量識(shí)別模塊無(wú)法識(shí)別數(shù)據(jù)流進(jìn)行分類。 圖4是本發(fā)明DPI和DFI相結(jié)合的網(wǎng)絡(luò)流量分類方法的流程圖。 該流程圖是在線分類時(shí)網(wǎng)絡(luò)數(shù)據(jù)的處理過(guò)程，其前提是分類器已經(jīng)訓(xùn)練完成并且獲
得了分類模型。
首先，在網(wǎng)絡(luò)流量到達(dá)時(shí)，首先到達(dá)流表檢測(cè)模塊，根據(jù)報(bào)文中的報(bào)頭檢測(cè)當(dāng)前 報(bào)文是否已經(jīng)標(biāo)記。若當(dāng)前報(bào)文對(duì)應(yīng)數(shù)據(jù)流的類型已經(jīng)標(biāo)記，則使用與類型對(duì)應(yīng)的方式 處理當(dāng)前數(shù)據(jù)流。若當(dāng)前報(bào)文對(duì)應(yīng)數(shù)據(jù)流的類型沒(méi)有標(biāo)記，則進(jìn)入流量識(shí)別模塊進(jìn)行識(shí) 別判斷，流量識(shí)別模塊識(shí)別的依據(jù)就是圖1中的數(shù)據(jù)流特征庫(kù)，若流量識(shí)別模塊能夠識(shí) 別則更新流表檢測(cè)模塊，以便使屬于同一流量的報(bào)文在流表檢測(cè)時(shí)就能檢測(cè)出來(lái)。若流 量識(shí)別模塊無(wú)法識(shí)別，則進(jìn)入分類器分類預(yù)測(cè)模塊，分類器分類預(yù)測(cè)模塊根據(jù)DFI離線 訓(xùn)練得到的分類模型對(duì)無(wú)法識(shí)別的流量進(jìn)行分類。由于所有網(wǎng)絡(luò)數(shù)據(jù)流量必然屬于幾個(gè) 大類中的一類，所以在這里所有DPI的流量識(shí)別模塊無(wú)法識(shí)別的流量都被按大類進(jìn)行了 分類。分類完成以后送入?yún)f(xié)議處理模塊，協(xié)議處理模塊根據(jù)類別的不同分別進(jìn)行處理。 這里的協(xié)議處理模塊包含兩大處理對(duì)象， 一個(gè)是對(duì)具體業(yè)務(wù)的處理，另外一個(gè)是對(duì)網(wǎng)絡(luò) 大類的處理。
通過(guò)上述方式處理網(wǎng)絡(luò)流量，比單純地使用DPI或者DFI來(lái)得全面，它能夠?qū)?yīng)用 層沒(méi)有加密的業(yè)務(wù)進(jìn)行精確地識(shí)別，也能夠?qū)?yīng)用層加密的業(yè)務(wù)進(jìn)行大類的區(qū)分。
權(quán)利要求
1、DPI和DFI相結(jié)合的網(wǎng)絡(luò)流量分類系統(tǒng)，其特征在于包括DPI業(yè)務(wù)識(shí)別系統(tǒng)和DFI流量識(shí)別系統(tǒng)兩個(gè)模塊結(jié)合而成；所述的DPI業(yè)務(wù)識(shí)別系統(tǒng)中，包括A.流表檢測(cè)模塊，判斷當(dāng)前的數(shù)據(jù)流是否為已經(jīng)標(biāo)記類型的數(shù)據(jù)流；B.數(shù)據(jù)流特征庫(kù)，存儲(chǔ)數(shù)據(jù)流的特征；C.流量識(shí)別模塊，根據(jù)數(shù)據(jù)流特征庫(kù)中的特征識(shí)別網(wǎng)絡(luò)流量代表的不同業(yè)務(wù)；D.協(xié)議處理模塊，用于對(duì)具體業(yè)務(wù)的處理，以及對(duì)網(wǎng)絡(luò)大類的處理；所述的DFI流量識(shí)別系統(tǒng)中，包括E.樣本獲取模塊，用于將DPI能夠精確識(shí)別的業(yè)務(wù)的流特征提取出來(lái)，分成不同的類別，作為分類器訓(xùn)練模塊的訓(xùn)練樣本；F.分類器訓(xùn)練模塊，對(duì)樣本獲取模塊提供的樣本進(jìn)行訓(xùn)練獲得一個(gè)訓(xùn)練模型；G.分類器分類預(yù)測(cè)模塊，根據(jù)分類器訓(xùn)練模塊獲得的模型對(duì)其他數(shù)據(jù)進(jìn)行分類。
2、 一種基于權(quán)利要求1所述的DPI和DFI相結(jié)合的網(wǎng)絡(luò)流量分類系統(tǒng)的網(wǎng)絡(luò)流量分類方法，包括以下步驟(a) 數(shù)據(jù)流先經(jīng)過(guò)DPI業(yè)務(wù)識(shí)別系統(tǒng)中的流表檢測(cè)模塊，流表檢測(cè)模塊檢測(cè)當(dāng)前 數(shù)據(jù)流是否在流表檢測(cè)模塊維護(hù)的狀態(tài)表中，當(dāng)該數(shù)據(jù)流在狀態(tài)表中，則流表檢測(cè)模塊 直接將當(dāng)前數(shù)據(jù)流標(biāo)記以后，發(fā)送至協(xié)議處理模塊；當(dāng)該數(shù)據(jù)流不在狀態(tài)表中，則流標(biāo) 檢測(cè)模塊將該數(shù)據(jù)流發(fā)送至流量識(shí)別模塊，進(jìn)入(b)步驟；(b) 流量識(shí)別模塊檢查該數(shù)據(jù)流是否含有DPI業(yè)務(wù)識(shí)別系統(tǒng)中的數(shù)據(jù)流特征庫(kù)中 的任意一條特征；當(dāng)流量識(shí)別模塊在數(shù)據(jù)流特征庫(kù)中識(shí)別到與該數(shù)據(jù)流有匹配的流量特 征，則標(biāo)記當(dāng)前報(bào)文對(duì)應(yīng)的該數(shù)據(jù)流為特定的數(shù)據(jù)流，更新流表檢測(cè)模塊中維護(hù)的狀態(tài) 表，同時(shí)將當(dāng)前數(shù)據(jù)流標(biāo)記以后發(fā)送至協(xié)議處理模塊；當(dāng)流量識(shí)別模塊在數(shù)據(jù)流特征庫(kù) 中沒(méi)有識(shí)別到與該數(shù)據(jù)流匹配的流量特征，則將該數(shù)據(jù)流發(fā)送至DFI流量識(shí)別系統(tǒng)，進(jìn) 入(c)步驟；(c) 流量識(shí)別模塊將能夠識(shí)別的數(shù)據(jù)流發(fā)送至DFI流量識(shí)別系統(tǒng)中的樣本獲取模 塊，樣本獲取模塊在線獲得該數(shù)據(jù)流的樣本文件以后，將該樣本文件發(fā)送至分類器訓(xùn)練模塊進(jìn)行離線訓(xùn)練，獲得分類模型，分類器訓(xùn)練模塊將此分類模型發(fā)送至分類器分類預(yù) 測(cè)模塊；分類器分類預(yù)測(cè)模塊根據(jù)訓(xùn)練得到的分類模型對(duì)(b)步驟中流量識(shí)別模塊無(wú) 法識(shí)別的數(shù)據(jù)流進(jìn)行分類；(d)分類器分類預(yù)測(cè)模塊將分好類的數(shù)據(jù)流做好相應(yīng)標(biāo)記發(fā)送至協(xié)議處理模塊，協(xié) 議處理模塊根據(jù)以上步驟中對(duì)數(shù)據(jù)流的不同標(biāo)記，分別進(jìn)行具體業(yè)務(wù)或者針對(duì)不同大類 的處理。
全文摘要
本發(fā)明公開(kāi)了一種DPI和DFI相結(jié)合的網(wǎng)絡(luò)流量分類系統(tǒng)及分類方法，包括DPI業(yè)務(wù)識(shí)別系統(tǒng)和DFI流量識(shí)別系統(tǒng)兩個(gè)模塊結(jié)合而成；其中DPI模塊又包括流表檢測(cè)模塊和流量識(shí)別模塊；DFI模塊包括樣本獲取模塊，分類器訓(xùn)練模塊和分類器分類預(yù)測(cè)模塊。樣本獲取模塊將DPI中的流量識(shí)別模塊能夠準(zhǔn)確識(shí)別的數(shù)據(jù)流劃分成幾個(gè)大類，并且將其作為樣本對(duì)分類器訓(xùn)練模塊進(jìn)行訓(xùn)練，獲得能對(duì)網(wǎng)絡(luò)流量進(jìn)行大類區(qū)分的分類模型，然后DPI的流量識(shí)別模塊無(wú)法識(shí)別的流量再通過(guò)DFI的分類器分類預(yù)測(cè)模塊就能達(dá)到對(duì)DPI無(wú)法識(shí)別的流量進(jìn)行大類區(qū)分的目的。本發(fā)明比單純地使用DPI或者DFI更全面，能夠?qū)?yīng)用層沒(méi)有加密的業(yè)務(wù)進(jìn)行精確地識(shí)別，也能夠?qū)?yīng)用層加密的業(yè)務(wù)進(jìn)行大類的區(qū)分。
文檔編號(hào)H04L12/26GK101645806SQ20091003464
公開(kāi)日2010年2月10日 申請(qǐng)日期2009年9月4日 優(yōu)先權(quán)日2009年9月4日
發(fā)明者梁 王, 裴文江 申請(qǐng)人:東南大學(xué)