一種基于哈希壓縮算法的網(wǎng)絡(luò)流量監(jiān)控方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于哈希壓縮算法的網(wǎng)絡(luò)流量監(jiān)控方法，屬于網(wǎng)絡(luò)通信技術(shù)領(lǐng)域。特別適用于在FPGA片內(nèi)實現(xiàn)對不超過2K條IP數(shù)據(jù)流進行識別以及匹配查找，同時完成流量統(tǒng)計監(jiān)控功能。
【背景技術(shù)】
[0002]隨著網(wǎng)絡(luò)技術(shù)的深入發(fā)展以及網(wǎng)絡(luò)規(guī)模的不斷擴大，流量激增問題也日益突出。為了可以監(jiān)控網(wǎng)絡(luò)運行，及時發(fā)現(xiàn)網(wǎng)絡(luò)中存在的異常流量問題，需要一種穩(wěn)定、及時、可靠的網(wǎng)絡(luò)流量監(jiān)控方法。目前，基于IP數(shù)據(jù)流的網(wǎng)絡(luò)流量監(jiān)控方法在硬件實現(xiàn)上通常采用外置TCAM或者DDR進行流識別以及流量統(tǒng)計。該方法雖然滿足了對網(wǎng)絡(luò)中IP數(shù)據(jù)流的快速識別和流量統(tǒng)計的要求，但是帶來了功耗加大、成本增加等問題。尤其是在一些網(wǎng)絡(luò)規(guī)模不大的專網(wǎng)應(yīng)用中，該方法造成了硬件資源及成本的極大浪費。因此，在一些網(wǎng)絡(luò)規(guī)模不大的專網(wǎng)應(yīng)用領(lǐng)域需要一種適用于在FPGA片內(nèi)實現(xiàn)，同時不用占用太多存儲器資源，能夠快速實現(xiàn)IP數(shù)據(jù)流識別以及流量統(tǒng)計的網(wǎng)絡(luò)流量監(jiān)控方法。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的是提供一種在網(wǎng)絡(luò)規(guī)模不大的專網(wǎng)中，適用于在FPGA片內(nèi)實現(xiàn)的網(wǎng)絡(luò)流量監(jiān)控方法，該方法具有占用資源少、硬件成本低等特點，可對IP數(shù)據(jù)流進行快速識別以及流量統(tǒng)計。
[0004]本發(fā)明的實現(xiàn)方案是基于哈希壓縮算法實現(xiàn)對IP數(shù)據(jù)流的快速識別和匹配;本發(fā)明以接收到IP報文的五元組作為流標識，并將該流標識通過哈希壓縮算法，減少其位長度，從而確定哈希查找表的入口地址，大大節(jié)省了哈希表所占用的存儲器空間；同時由于采用了哈希桶解決哈希沖突問題，因此降低了沖突解決的復(fù)雜度，減少了查表命中時間。
[0005]為了實現(xiàn)所述發(fā)明目的，本發(fā)明由以下技術(shù)方案實現(xiàn):
[0006]—種基于哈希壓縮算法的網(wǎng)絡(luò)流量監(jiān)控方法，其特征在于包括如下步驟:
[0007]第(I)步:將IP報文中的目的IP地址、源IP地址、目的端口號、源端口號以及協(xié)議類型字段提取出來作為流標識，送入哈希壓縮算法模塊進行處理；
[0008]第(2)步:哈希壓縮算法模塊以流標識作為關(guān)鍵字，通過HASH函數(shù)得到哈希表入口索引地址，進行哈希表匹配查找；
[0009]第(3)步:每個哈希表入口地址對應(yīng)一個桶深為4個表項的哈希桶，在得到哈希表入口地址后，進入其對應(yīng)的哈希桶中以流標識為匹配對象進行匹配查找;如果哈希桶中存在匹配項，進入第(4)步;如果哈希桶中不存在匹配項，進入第(5)步；
[0010]第(4)步:當哈希桶中存在匹配項時，將匹配項中的流量統(tǒng)計表地址提取出來，進入流量統(tǒng)計表進行流量統(tǒng)計更新，轉(zhuǎn)入第(6)步；
[0011]第(5)步:當哈希桶中不存在匹配項且哈希桶中表項未被占滿時，按照表項0、1、2、3的優(yōu)先級順序在未被占用的表項中新建匹配項，并在新建匹配項中分配新的流量統(tǒng)計表地址，同時在該地址對應(yīng)的流量統(tǒng)計表中新建流量統(tǒng)計信息，轉(zhuǎn)入第(6)步；
[0012]第(6)步:為了防止哈希桶占用溢出情況的發(fā)生，對哈希表的表項建立老化刪除機制;每隔2秒對流量統(tǒng)計表進行一次輪詢，當流量統(tǒng)計表中有表項中的字節(jié)統(tǒng)計數(shù)2秒內(nèi)沒有增加時，其對應(yīng)哈希表中的表項將進行刪除操作；同時釋放該流標識所占用的流量統(tǒng)計表地址；
[0013]完成基于哈希壓縮算法的網(wǎng)絡(luò)流量監(jiān)控方法。
[0014]其中，第(2)步中哈希壓縮算法模塊中的HASH函數(shù)選用CRC-12算法實現(xiàn)，CRC-12算法的計算多項式為xl2+xll+x3+x+l;其中，x為多項式因子。
[0015]與現(xiàn)有技術(shù)相比，本發(fā)明提供的基于哈希壓縮算法的網(wǎng)絡(luò)流量監(jiān)控方法占用存儲器資源少，硬件成本低;該方法以接收到IP報文的五元組作為流標識，并將該流標識通過哈希壓縮算法，減少其位長度，大大節(jié)省了哈希表所占用的存儲器空間；同時采用哈希桶解決匹配沖突問題，提高了 IP數(shù)據(jù)流匹配查找性能，減少了查表命中時間；該方法適合于對低功耗、低成本和穩(wěn)定性要求高的專網(wǎng)通信應(yīng)用領(lǐng)域。
【附圖說明】
[0016]圖1是本發(fā)明的原理不意圖；
[0017]圖2是流標識的提取示意圖；
[0018]圖3是本發(fā)明中哈希表的結(jié)構(gòu)示意圖；
[0019]圖4是本發(fā)明中流量統(tǒng)計表的結(jié)構(gòu)示意圖。
【具體實施方式】
[0020]下面結(jié)合附圖1-4對本發(fā)明作詳細說明。
[0021]如圖1所示，一種基于哈希壓縮算法的網(wǎng)絡(luò)流量監(jiān)控方法，其特征在于包括如下步驟:
[0022]第(I)步:將IP報文中的目的IP地址(32bit)、源IP地址(32bit)、目的端口號(16bit)、源端口號(I6bit)以及協(xié)議類型字段(8bit)提取出來作為流標識(104bit)，送入哈希壓縮算法模塊進行處理；
[0023]如圖2所示，以一條IPV4TCP數(shù)據(jù)數(shù)報文為例，其流標識為:{192，168，I，25，192，160，1，30，80，69，6}；
[0024]第(2)步:哈希壓縮算法模塊以流標識(104bit)作為關(guān)鍵字，通過HASH函數(shù)得到哈希表入口索引地址(12bit)，進行哈希表匹配查找；哈希壓縮算法模塊中的HASH函數(shù)選用CRC-12算法實現(xiàn);該CRC-12算法的計算多項式為xl2+xl 1+χ3+χ+1;其中，X為多項式因子；
[0025]第(3)步:每個哈希表入口地址對應(yīng)一個桶深為4個表項的哈希桶，在得到哈希表入口地址后，進入其對應(yīng)的哈希桶中以流標識為匹配對象進行匹配查找，該哈希表的結(jié)構(gòu)如圖3所示；如果哈希桶中存在匹配項，進入第(4)步；如果哈希桶中不存在匹配項，進入第
(5)步;
[0026]第(4)步:當哈希桶中存在匹配項時，將匹配項中的流量統(tǒng)計表地址提取出來，進入流量統(tǒng)計表進行流量統(tǒng)計更新，轉(zhuǎn)入第(6)步;該流量統(tǒng)計表的結(jié)構(gòu)如圖4所示；
[0027]第(5)步:當哈希桶中不存在匹配項且哈希桶中表項未被占滿時，按照表項0、1、2、3的優(yōu)先級順序在未被占用的表項中新建匹配項，并在新建匹配項中分配新的流量統(tǒng)計表地址，同時在該地址對應(yīng)的流量統(tǒng)計表中新建流量統(tǒng)計信息，轉(zhuǎn)入第(6)步；
[0028]第(6)步:為了防止哈希桶占用溢出情況的發(fā)生，對哈希表的表項建立老化刪除機制;每隔2秒對流量統(tǒng)計表進行一次輪詢，當流量統(tǒng)計表中有表項中的字節(jié)統(tǒng)計數(shù)2秒內(nèi)沒有增加時，其對應(yīng)哈希表中的表項將進行刪除操作；同時釋放該流標識所占用的流量統(tǒng)計表地址；
[0029]完成基于哈希壓縮算法的網(wǎng)絡(luò)流量監(jiān)控方法。
[0030]以上結(jié)合附圖詳細說明了本發(fā)明，但是本領(lǐng)域的普通技術(shù)人員應(yīng)當明白，說明書是用于解釋權(quán)利要求的，本發(fā)明的保護范圍以權(quán)利要求為準，在本發(fā)明的基礎(chǔ)上，任何所做的修改都應(yīng)當在所要求的保護范圍內(nèi)。
【主權(quán)項】
1.一種基于FPGA的哈希壓縮實現(xiàn)方法，其特征在于包括如下步驟: 第(I)步:將IP報文中的目的IP地址、源IP地址、目的端口號、源端口號以及協(xié)議類型字段提取出來作為流標識，送入哈希壓縮算法模塊進行處理； 第(2)步:哈希壓縮算法模塊以流標識作為關(guān)鍵字，通過HASH函數(shù)得到哈希表入口索引地址，進行哈希表匹配查找； 第(3)步:每個哈希表入口地址對應(yīng)一個桶深為4個表項的哈希桶，在得到哈希表入口地址后，進入其對應(yīng)的哈希桶中以流標識為匹配對象進行匹配查找；如果哈希桶中存在匹配項，進入第(4)步;如果哈希桶中不存在匹配項，進入第(5)步； 第(4)步:當哈希桶中存在匹配項時，將匹配項中的流量統(tǒng)計表地址提取出來，進入流量統(tǒng)計表進行流量統(tǒng)計更新，轉(zhuǎn)入第(6)步； 第(5)步:當哈希桶中不存在匹配項且哈希桶中表項未被占滿時，按照表項0、1、2、3的優(yōu)先級順序在未被占用的表項中新建匹配項，并在新建匹配項中分配新的流量統(tǒng)計表地址，同時在該地址對應(yīng)的流量統(tǒng)計表中新建流量統(tǒng)計信息，轉(zhuǎn)入第(6)步； 第(6)步:為了防止哈希桶占用溢出情況的發(fā)生，對哈希表的表項建立老化刪除機制；每隔2秒對流量統(tǒng)計表進行一次輪詢，當流量統(tǒng)計表中有表項中的字節(jié)統(tǒng)計數(shù)2秒內(nèi)沒有增加時，其對應(yīng)哈希表中的表項將進行刪除操作；同時釋放該流標識所占用的流量統(tǒng)計表地址； 完成基于哈希壓縮算法的網(wǎng)絡(luò)流量監(jiān)控方法。2.根據(jù)權(quán)利要求1所述的所述的一種基于哈希壓縮算法的網(wǎng)絡(luò)流量監(jiān)控方法，其特征在于:第(2)步中哈希壓縮算法模塊中的HASH函數(shù)選用CRC-12算法實現(xiàn)，CRC-12算法的計算多項式為xl2+xll+x3+x+l;其中，X為多項式因子。
【專利摘要】本發(fā)明涉及一種基于FPGA的哈希壓縮實現(xiàn)方法，屬于網(wǎng)絡(luò)通信技術(shù)領(lǐng)域。該發(fā)明提供了一種基于FPGA的哈希壓縮實現(xiàn)方法，所述方法以接收到IP報文的五元組作為流標識，并將該流標識通過哈希壓縮算法，減少其位長度，從而確定哈希查找表的入口地址，同時每個入口地址配置相應(yīng)數(shù)量的哈希桶，用于解決哈希沖突；在哈希查找匹配命中后，得到該流標識對應(yīng)的流量統(tǒng)計表地址，進行流量統(tǒng)計更新操作。本發(fā)明提供的方法通過哈希壓縮算法，將待匹配流標識的關(guān)鍵字位寬大大減少，從而節(jié)省了存儲器資源；同時由于采用了哈希桶解決哈希沖突問題，降低了沖突解決的復(fù)雜度，減少了查表命中時間。
【IPC分類】H04L12/26
【公開號】CN105515919
【申請?zhí)枴緾N201610038717
【發(fā)明人】李淵, 李文江, 劉詠荷, 郝曉鵬
【申請人】中國電子科技集團公司第五十四研究所
【公開日】2016年4月20日
【申請日】2016年1月20日