專利名稱：一種基于ip地址屬性的用戶行為監(jiān)控系統(tǒng)與方法
技術(shù)領(lǐng)域：
本發(fā)明涉及網(wǎng)絡(luò)通信安全與用戶行為監(jiān)控領(lǐng)域，特別是涉及一種基于IP地址屬性的用戶行為監(jiān)控系統(tǒng)與方法。
背景技術(shù)：
互聯(lián)網(wǎng)應(yīng)用已成為人們?nèi)粘Ｉ畹闹匾绞?，?guó)外已經(jīng)就用戶的網(wǎng)絡(luò)行為展開 了許多專門的研究。早在1994年1月，美國(guó)就有機(jī)構(gòu)對(duì)萬(wàn)維網(wǎng)用戶及其使用行為進(jìn)行初 步的統(tǒng)計(jì)分析，隨著時(shí)間的推移，研究越來(lái)越深入，逐步采用問(wèn)卷調(diào)查、用戶觀察、訪談、小 組討論、出聲思考法、實(shí)驗(yàn)和系統(tǒng)日志分析等多種方法，探討各類網(wǎng)絡(luò)用戶行為的表現(xiàn)、策 略以及影響因素，并構(gòu)建了專門的網(wǎng)絡(luò)行為模式。對(duì)網(wǎng)絡(luò)用戶行為的研究有很大一部分 是針對(duì)特定用戶群體開展的，而且研究的用戶群體以教育界的教師和學(xué)生為主。蒂洛森 (Tillotson)等人對(duì)多倫多大學(xué)的學(xué)生及教工使用網(wǎng)絡(luò)的情形進(jìn)行了調(diào)查和分析，包括確 定誰(shuí)是因特網(wǎng)的用戶，他們?cè)谛詣e和學(xué)歷上是否存在差異，上網(wǎng)地點(diǎn)，用因特網(wǎng)來(lái)查找些什 么，對(duì)查找結(jié)果是否滿意，對(duì)學(xué)校提供的上網(wǎng)設(shè)施是否滿意，對(duì)改進(jìn)系統(tǒng)的建議等。我國(guó)對(duì)網(wǎng)絡(luò)用戶行為的研究還在起步階段，主要的研究方法還是對(duì)站點(diǎn)服務(wù)器的 各種日志的原始數(shù)據(jù)進(jìn)行分析。挖掘網(wǎng)絡(luò)用戶在進(jìn)行瀏覽、查詢、檢索等動(dòng)作時(shí)的行為特 征。其主要工作也集中在入侵檢測(cè)分析，網(wǎng)絡(luò)模型復(fù)雜現(xiàn)象的分析、網(wǎng)絡(luò)用戶行為審計(jì)等方 面。根據(jù)網(wǎng)絡(luò)用戶行為的分析方法和分類標(biāo)準(zhǔn)上的不同，在網(wǎng)絡(luò)行為的分類上主要有 一下四種1)基于應(yīng)用層方法互聯(lián)網(wǎng)實(shí)驗(yàn)室就中國(guó)目前互聯(lián)網(wǎng)用戶群進(jìn)行研究，并從應(yīng)用 角度對(duì)網(wǎng)絡(luò)用戶行為進(jìn)行了分析和分類。以互聯(lián)網(wǎng)實(shí)驗(yàn)室把網(wǎng)絡(luò)用戶行為劃分為基礎(chǔ)網(wǎng)絡(luò) 行為和擴(kuò)展網(wǎng)絡(luò)行為，進(jìn)而把所有網(wǎng)絡(luò)行為分成五大類，即信息獲取類、溝通交流類、休閑 娛樂(lè)類、電子服務(wù)類、電子商務(wù)類。但這種分類方法主要是通過(guò)計(jì)算機(jī)網(wǎng)上自動(dòng)搜尋、網(wǎng)上 聯(lián)機(jī)，電話抽樣、相關(guān)單位上報(bào)數(shù)據(jù)等方式進(jìn)行，還屬于人工統(tǒng)計(jì)范疇。2)基于地址端口的分類方法在入侵檢測(cè)領(lǐng)域，在網(wǎng)絡(luò)層就源地址、端口和目的 地址、端口的不同組合對(duì)網(wǎng)絡(luò)用戶行為進(jìn)行分類研究，把網(wǎng)絡(luò)用戶分為正常行為和異常行 為。但是這種方法的出發(fā)點(diǎn)是關(guān)注異常的攻擊行為，對(duì)網(wǎng)絡(luò)用戶的正常行為特征沒(méi)有進(jìn)行 過(guò)多的關(guān)注和分析。3)基于IP連接關(guān)系分類方法主要通過(guò)網(wǎng)絡(luò)層源端IP地址于目的端IP地址的 不同組合對(duì)用戶進(jìn)行分類。把網(wǎng)絡(luò)用戶行為從宏觀上分為單IP對(duì)單IP的訪問(wèn)、單IP對(duì) 多IP的訪問(wèn)、多IP對(duì)單IP的訪問(wèn)、多IP對(duì)多IP的訪問(wèn)。這種分類方法僅僅是通過(guò)連接 關(guān)系來(lái)分類，其信息源并沒(méi)有實(shí)際的物理意義。4)基于網(wǎng)絡(luò)測(cè)量的分類方法這類方法主要通過(guò)測(cè)量用戶使用網(wǎng)絡(luò)時(shí)產(chǎn)生的流 量大小將用戶分為平均每天使用網(wǎng)絡(luò)8個(gè)小時(shí)以上的用戶，平均每天使用網(wǎng)絡(luò)8-4個(gè)小時(shí) 的用戶，平均每天使用網(wǎng)絡(luò)4-1個(gè)小時(shí)的用戶以及平均每天使用網(wǎng)絡(luò)一個(gè)小時(shí)以下的用戶，這種分類方法只能分辨出用戶使用網(wǎng)絡(luò)的頻繁程度，但是對(duì)具體的服務(wù)類型沒(méi)有涉及。為更方便的比較以上分類方法，下面以表1的形式簡(jiǎn)單給出各網(wǎng)絡(luò)行為分類方法 比較結(jié)果。綜上所述，針對(duì)目前用戶行為分類研究的不足，為了實(shí)現(xiàn)大規(guī)模網(wǎng)絡(luò)中復(fù)雜用戶 行為的建模和分類，分析用戶行為之間的內(nèi)在關(guān)聯(lián)，為大規(guī)模網(wǎng)絡(luò)用戶行為分類與監(jiān)控提 供科學(xué)依據(jù)。表1用戶分類方法的比較
分類方法信息源分類目的評(píng)價(jià)基于應(yīng)用層的方法各種統(tǒng)計(jì)數(shù)據(jù)預(yù)測(cè)網(wǎng)絡(luò)發(fā)展方向分類工作量巨大基于地址端口地址、端口信息入侵檢測(cè)只適用于異常用戶基于網(wǎng)絡(luò)層IP對(duì)應(yīng)關(guān)系檢測(cè)相似用戶數(shù)據(jù)源沒(méi)有實(shí)際的物理意義基于網(wǎng)絡(luò)測(cè)量網(wǎng)絡(luò)流量用戶監(jiān)控分類過(guò)于簡(jiǎn)單通過(guò)研究發(fā)現(xiàn)，網(wǎng)絡(luò)中10 %以下的IP地址承載著網(wǎng)絡(luò)中90 %以上的流量，這些IP 地址被稱為顯著IP地址。如果對(duì)這些IP地址的網(wǎng)絡(luò)行為進(jìn)行有效的監(jiān)控則可以追蹤到用 戶的絕大多數(shù)訪問(wèn)網(wǎng)絡(luò)時(shí)的行為。通過(guò)對(duì)這些行為的統(tǒng)計(jì)和分析，并提出一套有效的行為 刻畫方法，有助于實(shí)現(xiàn)對(duì)用戶主體行為的監(jiān)控和對(duì)用戶進(jìn)行更為復(fù)雜和細(xì)致的分類。綜上所述，本發(fā)明提出基于行為圖譜的用戶行為分析方法。該分析方法是在IP地 址屬性的基礎(chǔ)上，為網(wǎng)絡(luò)用戶構(gòu)建各種行為圖譜，通過(guò)對(duì)用戶行為圖譜的分析，實(shí)現(xiàn)用戶行 為的周期性、關(guān)聯(lián)性、聚集性、遷移性等特征的分析，實(shí)現(xiàn)一種高效的用戶行為分析方法。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于IP地址屬性的用戶行為監(jiān)控系統(tǒng)與監(jiān)控方法。為達(dá)到上述目的，本發(fā)明的系統(tǒng)包括以下模塊離線基礎(chǔ)數(shù)據(jù)獲取模塊該模塊用于從被監(jiān)控網(wǎng)絡(luò)出口路由器處，截獲并存儲(chǔ)網(wǎng) 絡(luò)中的NetFlow信息，獲取包括網(wǎng)絡(luò)流的源IP地址、目的IP地址、目的端口、訪問(wèn)時(shí)間等關(guān) 鍵網(wǎng)絡(luò)流信息，并將所獲取的網(wǎng)絡(luò)流信息存入數(shù)據(jù)庫(kù)中，此部分?jǐn)?shù)據(jù)集稱為離線數(shù)據(jù)集，主 要為顯著IP地址的獲取提供數(shù)據(jù)源；顯著IP地址屬性庫(kù)建立模塊以所捕獲的離線數(shù)據(jù)源為基礎(chǔ)，通過(guò)分析網(wǎng)絡(luò)連接 數(shù)、數(shù)據(jù)量、數(shù)據(jù)包個(gè)數(shù)的特點(diǎn)，結(jié)合二八定理，獲取網(wǎng)絡(luò)中承載著眾多流量的IP地址，建 立顯著IP地址庫(kù)，并同時(shí)分析這些IP地址在服務(wù)類型、地理位置、ISP類型方面的信息，從 而建立IP地址屬性數(shù)據(jù)庫(kù)；在線數(shù)據(jù)實(shí)時(shí)分析模塊該模塊用于從網(wǎng)絡(luò)中實(shí)時(shí)獲取流量，并同時(shí)將所獲取的 IP地址與顯著IP地址屬性庫(kù)中的IP地址相匹配，實(shí)現(xiàn)用戶訪問(wèn)行為類型的獲取，并根據(jù)用 戶的分類結(jié)果，建立多種網(wǎng)絡(luò)用戶的行為圖譜，對(duì)用戶的訪問(wèn)行為進(jìn)行可視化分析；數(shù)據(jù)中心模塊該模塊存放兩種數(shù)據(jù)IP地址屬性庫(kù)和用戶行為信息庫(kù)，IP地址屬性庫(kù)存放著監(jiān)控網(wǎng)絡(luò)中的顯著IP地址和顯著IP地址所能提供的服類型、地理位置等屬 性信息，用戶行為信息庫(kù)存放著用戶的訪問(wèn)行為類特征，包括所訪問(wèn)的服務(wù)類型、物理位 置、訪問(wèn)時(shí)間、訪問(wèn)所產(chǎn)生的流量信息等；用戶行為分析模塊該模塊根據(jù)所建立網(wǎng)絡(luò)用戶行為圖譜特征、行為遷移圖譜等放映用戶行為特征的圖譜，分析挖掘網(wǎng)絡(luò)用戶行為的興趣所在，為網(wǎng)絡(luò)管理、網(wǎng)絡(luò)信息推送、網(wǎng)絡(luò)資源配置方面提供幫助。本發(fā)明的監(jiān)控方法包括以下步驟步驟1 將顯著IP地址定義為承載著網(wǎng)絡(luò)中90%以上網(wǎng)絡(luò)流量的IP地址，顯著IP 地址庫(kù)的建立采用被動(dòng)監(jiān)聽(tīng)和主動(dòng)探測(cè)的方式獲取，被動(dòng)監(jiān)聽(tīng)方式通過(guò)在路由器處收集流 量數(shù)據(jù)，通過(guò)統(tǒng)計(jì)IP地址在數(shù)據(jù)包數(shù)目、網(wǎng)絡(luò)流條數(shù)、字節(jié)量等方面的排序，取占上述統(tǒng)計(jì) 量90%的IP地址，稱此部分IP地址為基于被動(dòng)監(jiān)聽(tīng)方法獲取的顯著IP地址；主動(dòng)探測(cè)方 法通過(guò)收集當(dāng)前網(wǎng)絡(luò)中的知名服務(wù)和知名網(wǎng)站，知名服務(wù)為當(dāng)前網(wǎng)絡(luò)中經(jīng)常應(yīng)用的服務(wù)， 如搜索、新聞等，而提供這些知名服務(wù)的網(wǎng)站則稱為知名網(wǎng)站。通過(guò)DNS域名解析服務(wù)查詢 出知名網(wǎng)站域名所對(duì)應(yīng)的IP地址，采用這種方法獲取的IP地址稱為基于主動(dòng)監(jiān)控方法獲 取的顯著IP地址。通過(guò)采用以上兩種方法相結(jié)合，可以有效的建立顯著IP地址庫(kù)；步驟2 建立顯著IP地址屬性庫(kù)，對(duì)于IP地址，定義兩個(gè)主要屬性和三個(gè)度量屬性IP屬性定義1 服務(wù)類型，定義為該IP地址所提供的應(yīng)用類型，將服務(wù)類型分為 體育類、財(cái)經(jīng)類、視頻類、電子產(chǎn)品類、下載類、工作類、軍事類、音樂(lè)類、博客空間類、電子郵 件類、社區(qū)類、搜索引擎類、生活信息類、汽車類、文學(xué)小說(shuō)類、溝通交友類、新聞?lì)?、電子?務(wù)類、游戲類等；IP屬性定義2 地域特性，定義為該IP地址所處的物理地址，IP地址的物理地址具體到省級(jí)單位；為了量化用戶對(duì)不同IP地址的訪問(wèn)頻繁度和訪問(wèn)量，定義三個(gè)度量屬性度量屬性1 會(huì)話數(shù)，定義為在規(guī)定時(shí)間內(nèi)該IP地址被網(wǎng)絡(luò)用戶群訪問(wèn)的次數(shù)；度量屬性2 流量大小，定義為在規(guī)定時(shí)間內(nèi)該IP地址與網(wǎng)絡(luò)用戶群交互數(shù)據(jù)的總字節(jié)數(shù)；度量屬性3 包個(gè)數(shù)，定義為在規(guī)定時(shí)間內(nèi)該IP地址被網(wǎng)絡(luò)用戶群訪問(wèn)時(shí)所產(chǎn)生的數(shù)據(jù)包量；步驟3 結(jié)合IP地址屬性庫(kù)，建立用戶訪問(wèn)行為的多種行為圖譜；使用基于IP地 址屬性的網(wǎng)絡(luò)行為圖譜作為用戶行為可視化建模方法，通過(guò)分析行為圖譜之間的特性遷移 實(shí)現(xiàn)用戶群體的識(shí)別和監(jiān)控；步驟4:依據(jù)所建立的行為圖譜，分析用戶行為的聚集性、周期性、遷移性、關(guān)聯(lián)性 等方面的特征，實(shí)現(xiàn)當(dāng)前用戶的需求分析，進(jìn)一步實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)用戶行為的監(jiān)督和管理；步驟5 =IP地址屬性庫(kù)的更新 IP地址訪問(wèn)數(shù)據(jù)表更新，在內(nèi)存中維持一張IP地址表，根據(jù)NetFlow數(shù)據(jù)情況，對(duì) IP訪問(wèn)數(shù)據(jù)進(jìn)行實(shí)時(shí)更新，具體方法為如果IP地址在表中存在，則更新相應(yīng)的屬性值，否 貝IJ，則添加新項(xiàng)。


圖1 基于行為圖譜的用戶行為監(jiān)控系統(tǒng)架構(gòu)圖2 網(wǎng)絡(luò)數(shù)據(jù)采集機(jī)存儲(chǔ)圖3 顯著IP地址庫(kù)更新方法圖4 用戶訪問(wèn)行為類型庫(kù)建立方法圖5 用戶行為圖譜形成方法圖6 用戶行為圖譜呈現(xiàn)方法圖7 用戶行為遷移圖譜呈現(xiàn)方法圖8 用戶行為地域圖譜呈現(xiàn)方法
具體實(shí)施例方式參見(jiàn)圖1所示，一種基于IP地址屬性的網(wǎng)絡(luò)用戶行為監(jiān)控系統(tǒng)，是由數(shù)據(jù)獲取模 塊、顯著IP地址及其屬性建立模塊、用戶行為類別和圖譜建立模塊和用戶行為分析模塊四 部分構(gòu)成。首先數(shù)據(jù)獲取模塊通過(guò)實(shí)時(shí)捕獲路由器產(chǎn)生的NetFlow統(tǒng)計(jì)的數(shù)據(jù)包，并按照 NetFlow協(xié)議格式進(jìn)行協(xié)議分析，得到NetFlow記錄(協(xié)議號(hào)，包數(shù)，字節(jié)數(shù)，源IP地址，源 端口，目的IP地址，目的端口)。在本發(fā)明中，為了盡可能高的提升系統(tǒng)運(yùn)行、計(jì)算效率和 跨平臺(tái)設(shè)計(jì)，采用了基于Jpcap的NetFlow收集方法。隨后將所收集到的網(wǎng)絡(luò)流量數(shù)據(jù)存 入數(shù)據(jù)庫(kù)中，在數(shù)據(jù)存儲(chǔ)中，采用每5分鐘建立一張新表的方法。由于數(shù)據(jù)量巨大，數(shù)據(jù)庫(kù) 中最多只存放500張表，當(dāng)數(shù)據(jù)庫(kù)中的Netflow表超過(guò)500張時(shí)，則按建立順序刪除較早的 表。其中數(shù)據(jù)采集及存儲(chǔ)的具體實(shí)施流程方式參見(jiàn)圖2。
其次，顯著IP地址及其屬性庫(kù)建立模塊首先按照所收集到的數(shù)據(jù)，按照三個(gè)度量 屬性(連接數(shù)、字節(jié)量和數(shù)據(jù)包個(gè)數(shù))進(jìn)行排序，按照網(wǎng)絡(luò)監(jiān)控的原則，選擇占三個(gè)度量屬 性總量的90%的所有IP地址為顯著IP地址，綜合考慮三種度量屬性，建立基于被動(dòng)監(jiān)聽(tīng)的 顯著IP地址屬性庫(kù)。由主動(dòng)監(jiān)聽(tīng)所獲得的顯著IP地址，則直接添加到顯著IP地址數(shù)據(jù)庫(kù) 中。綜合上述兩種方法，形成顯著IP地址數(shù)據(jù)庫(kù)。顯著IP地址隨著時(shí)間的推移，會(huì)發(fā)生變 化，故本發(fā)明同時(shí)給出了顯著IP地址庫(kù)的更新方法，具體實(shí)施方式
如圖3所示。顯著IP地址屬性庫(kù)的建立首先要實(shí)現(xiàn)顯著IP地址服務(wù)類型的標(biāo)定，本發(fā)明根據(jù) 網(wǎng)絡(luò)所能提供的服務(wù)，并按照服務(wù)的特點(diǎn)進(jìn)行了分類，將網(wǎng)絡(luò)服務(wù)分類19類，具體如下所 示訪問(wèn)行為類型1 體育類(sports)，其訪問(wèn)的顯著IP地址主要有新浪體育、搜狐體 育、體壇網(wǎng)等和體育有關(guān)的網(wǎng)站。訪問(wèn)行為類型2 財(cái)經(jīng)類(finance)，其訪問(wèn)的顯著IP地址主要包括東方財(cái)富、金 融界、百度財(cái)經(jīng)、騰訊財(cái)經(jīng)等財(cái)經(jīng)類網(wǎng)站。訪問(wèn)行為類型3 視頻類(video)，其訪問(wèn)的顯著IP地址主要包括優(yōu)酷、土豆、酷6 等在線視頻類網(wǎng)站。訪問(wèn)行為類型4 電子產(chǎn)品類(印roduct)，其訪問(wèn)的顯著IP地址主要包括新蛋、京 東在線等在線數(shù)碼購(gòu)物網(wǎng)站。訪問(wèn)行為類型5 下載類(download)，其訪問(wèn)的顯著IP地址主要包括迅雷、電驢、華軍等下載類的網(wǎng)站。訪問(wèn)行為類型6 工作類(job)，其訪問(wèn)的顯著IP地址主要包括中華英才網(wǎng)、智聯(lián) 招聘、51job、前程無(wú)憂等網(wǎng)站。訪 問(wèn)行為類型7 軍事類(military)，其訪問(wèn)的顯著IP地址主要包括中華軍 事網(wǎng)，鳳凰軍事網(wǎng)，國(guó)防部等網(wǎng)站。訪問(wèn)行為類型8 音樂(lè)類(music)，其訪問(wèn)的顯著IP地址主要包括藍(lán)蓮花音樂(lè)臺(tái)、 一聽(tīng)音樂(lè)網(wǎng)、百度MP3等網(wǎng)站。訪問(wèn)行為類型9 博客空間(blog)，其訪問(wèn)的顯著IP地址主要包括QQ空間，百度 空間，網(wǎng)易博客、新浪博客等網(wǎng)站。訪問(wèn)行為類型10 電子郵件(email)，其訪問(wèn)的顯著IP地址主要包括163郵箱、雅 虎郵箱、谷歌郵箱等網(wǎng)站。訪問(wèn)行為類型11 社區(qū)類(community)，其訪問(wèn)的顯著IP地址主要包括兵馬俑 BBS、天涯社區(qū)、貓撲等網(wǎng)站。訪問(wèn)行為類型12 搜索引擎(searctuengine)，其訪問(wèn)的顯著IP地址主要包括百 度、谷歌、騰訊搜搜等網(wǎng)站。訪問(wèn)行為類型13 生活(life)，其訪問(wèn)的顯著IP地址主要包括搜房網(wǎng)、同城網(wǎng)以 及百姓網(wǎng)等網(wǎng)站。訪問(wèn)行為類型14 汽車(auto)，其訪問(wèn)的顯著IP地址主要包括太平洋汽車、易車 網(wǎng)、汽車之家等網(wǎng)站。訪問(wèn)行為類型15 文學(xué)小說(shuō)(literature)，其訪問(wèn)的顯著IP地址主要包括起點(diǎn)、 小說(shuō)閱讀網(wǎng)、紅袖添香等網(wǎng)站。訪問(wèn)行為類型16 溝通交友(communication)，其訪問(wèn)的顯著IP地址主要包括 QQ、人人網(wǎng)、開心網(wǎng)、世紀(jì)佳緣等網(wǎng)站。訪問(wèn)行為類型17 新聞?lì)?news)，其訪問(wèn)的顯著IP地址主要包括新浪新聞，騰訊 新聞、南方周末等網(wǎng)站。訪問(wèn)行為類型18 電子商務(wù)(ebusiness)，其訪問(wèn)的顯著IP地址主要包括淘寶網(wǎng)、 支付寶、百度有吧、騰訊拍拍等網(wǎng)站。訪問(wèn)行為類型19 游戲類(game)，其訪問(wèn)的顯著IP地址主要包括 魔獸世界、網(wǎng)易 游戲、騰訊游戲等知名游戲的官方網(wǎng)站。而對(duì)于顯著IP地址屬性的地理位置屬性，本發(fā)明采用精確到省級(jí)單位的定位方 法，實(shí)現(xiàn)IP地址物理位置的定位。經(jīng)過(guò)建立顯著IP地址及其屬性庫(kù)，可以實(shí)時(shí)監(jiān)控網(wǎng)絡(luò)中用戶的訪問(wèn)行為特征，其 實(shí)施方式如圖4所示。首先實(shí)時(shí)捕獲網(wǎng)絡(luò)中用戶訪問(wèn)的目的IP地址，通過(guò)和顯著IP地址庫(kù) 中的IP地址進(jìn)行比對(duì)，如果匹配成功，則表明該次訪問(wèn)為顯著訪問(wèn)，同時(shí)標(biāo)定其訪問(wèn)行為 類型，否則丟棄。通過(guò)這種實(shí)時(shí)監(jiān)控，獲取用戶的訪問(wèn)行為類型數(shù)據(jù)和訪問(wèn)整體狀態(tài)數(shù)據(jù)。再者，用戶行為圖譜建立模塊根據(jù)所建立的網(wǎng)絡(luò)用戶訪問(wèn)行為類型庫(kù)，繪制網(wǎng)絡(luò) 用戶行為圖譜。為了使用戶行為圖譜能夠更清晰和直觀的反映網(wǎng)絡(luò)用戶的訪問(wèn)行為，本發(fā) 明使用紅、綠、藍(lán)三種不同的顏色來(lái)刻畫用戶的訪問(wèn)行為的度量特征，紅色代筆訪問(wèn)行為的 字節(jié)數(shù)據(jù)量，藍(lán)色代表訪問(wèn)行為的數(shù)據(jù)包數(shù)，綠色代表用戶訪問(wèn)行為的連接數(shù)。同時(shí)采用數(shù)據(jù)點(diǎn)的數(shù)量多少表示這次訪問(wèn)量的大小，具體實(shí)施步驟如圖5所示。根據(jù)以上著色方法，本 發(fā)明提出了三種網(wǎng)絡(luò)用戶行為圖譜，具體如下所述1)用戶訪問(wèn)行為空間圖譜的構(gòu)建，根據(jù)所獲取的用戶行為訪問(wèn)數(shù)據(jù)類型，采用時(shí) 間(每天24小時(shí))和訪問(wèn)行為類(19類)，構(gòu)建19X24的用戶行為圖譜空間，按照用戶在某 時(shí)刻所訪問(wèn)的行為類，進(jìn)行空間布點(diǎn)和著色，實(shí)現(xiàn)網(wǎng)絡(luò)用戶行為空間圖譜的建立，用以反映 用戶訪問(wèn)行為的分布特征，具體實(shí)施方法和呈現(xiàn)方式如圖6所示。
2)用戶訪問(wèn)行為遷移圖譜的構(gòu)建，根據(jù)所獲取的用戶行為訪問(wèn)數(shù)據(jù)類型，采用時(shí) 間(每天24小時(shí))和訪問(wèn)行為類(19類)，構(gòu)建19X24的用戶行為遷移空間，按照用戶訪問(wèn) 類型在隨著時(shí)間的遷移所發(fā)生的變化，構(gòu)建用戶行為遷移特征，采用線型圖，描述用戶訪問(wèn) 行為隨著時(shí)間的變化關(guān)系，其具體實(shí)施方法和呈現(xiàn)方式如圖7所示。3)用戶訪問(wèn)行為地域圖譜構(gòu)建，網(wǎng)絡(luò)用戶訪問(wèn)行為圖譜的構(gòu)建，根據(jù)所獲取的用 戶行為訪問(wèn)數(shù)據(jù)類型，采用時(shí)間(每天24小時(shí))和訪問(wèn)行為類(19類)，構(gòu)建19X24的用戶 行為地域空間，按照用戶在某時(shí)刻所訪問(wèn)的地理位置，進(jìn)行空間布點(diǎn)和著色，實(shí)現(xiàn)網(wǎng)絡(luò)用戶 地域圖譜的建立，用以反映用戶訪問(wèn)行為在物理位置空間的分布特征，具體實(shí)施方法和呈 現(xiàn)方式如圖8所示。上述三種類型的行為圖譜，由不同的角度呈現(xiàn)了用戶的訪問(wèn)行為特征，至此，用戶 行為圖譜構(gòu)建完成，在此基礎(chǔ)上，用戶行為分析模塊，可以實(shí)現(xiàn)網(wǎng)絡(luò)用戶行為的周期性、聚 集性、遷移性、突發(fā)性等多方面的特征進(jìn)行測(cè)量和分析，實(shí)現(xiàn)網(wǎng)絡(luò)用戶行為的有效監(jiān)管和控 制。
權(quán)利要求
一種基于IP地址屬性的用戶行為監(jiān)控系統(tǒng)，其特征在于，包括以下模塊離線基礎(chǔ)數(shù)據(jù)獲取模塊該模塊用于從被監(jiān)控網(wǎng)絡(luò)出口路由器處，截獲并存儲(chǔ)網(wǎng)絡(luò)中的NetFlow信息，獲取包括網(wǎng)絡(luò)流的源IP地址、目的IP地址、目的端口、訪問(wèn)時(shí)間的關(guān)鍵網(wǎng)絡(luò)流信息，并將所獲取的網(wǎng)絡(luò)流信息存入數(shù)據(jù)庫(kù)中，此部分?jǐn)?shù)據(jù)集稱為離線數(shù)據(jù)集，為顯著IP地址的獲取提供數(shù)據(jù)源；顯著IP地址屬性庫(kù)建立模塊以所捕獲的離線數(shù)據(jù)源為基礎(chǔ)，通過(guò)分析網(wǎng)絡(luò)連接數(shù)、數(shù)據(jù)量、數(shù)據(jù)包個(gè)數(shù)的特點(diǎn)，結(jié)合二八定理，獲取網(wǎng)絡(luò)中承載著眾多流量的IP地址，建立顯著IP地址庫(kù)，并同時(shí)分析這些IP地址在服務(wù)類型、地理位置、ISP類型方面的信息，從而建立IP地址屬性數(shù)據(jù)庫(kù)；在線數(shù)據(jù)實(shí)時(shí)分析模塊該模塊用于從網(wǎng)絡(luò)中實(shí)時(shí)獲取流量，并同時(shí)將所獲取的IP地址與顯著IP地址屬性庫(kù)中的IP地址相匹配，實(shí)現(xiàn)用戶訪問(wèn)行為類型的獲取，并根據(jù)用戶的分類結(jié)果，建立多種網(wǎng)絡(luò)用戶的行為圖譜，對(duì)用戶的訪問(wèn)行為進(jìn)行可視化分析；數(shù)據(jù)中心模塊該模塊存放兩種數(shù)據(jù)IP地址屬性庫(kù)和用戶行為信息庫(kù)，IP地址屬性庫(kù)存放著監(jiān)控網(wǎng)絡(luò)中的顯著IP地址和顯著IP地址所能提供的服類型、地理位置屬性信息，用戶行為信息庫(kù)存放著用戶的訪問(wèn)行為類特征，包括所訪問(wèn)的服務(wù)類型、物理位置、訪問(wèn)時(shí)間、訪問(wèn)所產(chǎn)生的流量信息；用戶行為分析模塊該模塊根據(jù)所建立網(wǎng)絡(luò)用戶行為圖譜特征、行為遷移圖譜等放映用戶行為特征的圖譜，分析挖掘網(wǎng)絡(luò)用戶行為的興趣所在，為網(wǎng)絡(luò)管理、網(wǎng)絡(luò)信息推送、網(wǎng)絡(luò)資源配置方面提供幫助。
2.一種如權(quán)利要求1所述的基于IP地址屬性的用戶行為監(jiān)控系統(tǒng)的監(jiān)控方法，其特征 在于，包括以下步驟步驟1 將顯著IP地址定義為承載著網(wǎng)絡(luò)中90%以上網(wǎng)絡(luò)流量的IP地址，顯著IP地 址庫(kù)的建立采用被動(dòng)監(jiān)聽(tīng)和主動(dòng)探測(cè)的方式獲取，被動(dòng)監(jiān)聽(tīng)方式通過(guò)在路由器處收集流量 數(shù)據(jù)，通過(guò)統(tǒng)計(jì)IP地址在數(shù)據(jù)包數(shù)目、網(wǎng)絡(luò)流條數(shù)、網(wǎng)絡(luò)字節(jié)量方面的排序，取占上述統(tǒng)計(jì) 量90%的IP地址，稱此部分IP地址為基于被動(dòng)監(jiān)聽(tīng)方法獲取的顯著IP地址；主動(dòng)探測(cè)方 法通過(guò)收集當(dāng)前網(wǎng)絡(luò)中的知名服務(wù)和知名網(wǎng)站，知名服務(wù)為當(dāng)前網(wǎng)絡(luò)中經(jīng)常應(yīng)用的服務(wù)， 而提供這些知名服務(wù)的網(wǎng)站則稱為知名網(wǎng)站；通過(guò)DNS域名解析服務(wù)查詢出知名網(wǎng)站域名 所對(duì)應(yīng)的IP地址，采用這種方法獲取的IP地址稱為基于主動(dòng)監(jiān)控方法獲取的顯著IP地 址，通過(guò)采用以上兩種方法相結(jié)合，可以有效的建立顯著IP地址庫(kù)；步驟2 建立顯著IP地址屬性庫(kù)，對(duì)于IP地址，定義兩個(gè)主要屬性和三個(gè)度量屬性 IP屬性定義1 服務(wù)類型，定義為該IP地址所提供的應(yīng)用類型，將服務(wù)類型分為體 育類、財(cái)經(jīng)類、視頻類、電子產(chǎn)品類、下載類、工作類、軍事類、音樂(lè)類、博客空間類、電子郵件 類、社區(qū)類、搜索引擎類、生活信息類、汽車類、文學(xué)小說(shuō)類、溝通交友類、新聞?lì)悺㈦娮由虅?wù) 類、游戲類等；IP屬性定義2 地域特性，定義為該IP地址所處的物理地址，IP地址的物理地址具體 到省級(jí)單位；為了量化用戶對(duì)不同IP地址的訪問(wèn)頻繁度和訪問(wèn)量，定義三個(gè)度量屬性， 度量屬性1 會(huì)話數(shù)，定義為在規(guī)定時(shí)間內(nèi)該IP地址被網(wǎng)絡(luò)用戶群訪問(wèn)的次數(shù)； 度量屬性2 流量大小，定義為在規(guī)定時(shí)間內(nèi)該IP地址與網(wǎng)絡(luò)用戶群交互數(shù)據(jù)的總字節(jié)數(shù)；度量屬性3 包個(gè)數(shù)，定義為在規(guī)定時(shí)間內(nèi)該IP地址被網(wǎng)絡(luò)用戶群訪問(wèn)時(shí)所產(chǎn)生的數(shù) 據(jù)包量；步驟3 結(jié)合IP地址屬性庫(kù)，建立用戶訪問(wèn)行為的多種行為圖譜；使用基于IP地址屬 性的網(wǎng)絡(luò)行為圖譜作為用戶行為可視化建模方法，通過(guò)分析行為圖譜的特征實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)用 戶的識(shí)別和監(jiān)控；步驟4:依據(jù)所建立的行為圖譜，分析用戶行為的聚集性、周期性、遷移性、關(guān)聯(lián)性等方 面的特征，實(shí)現(xiàn)當(dāng)前用戶的需求分析，進(jìn)一步實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)用戶行為的監(jiān)督和管理，并為網(wǎng)絡(luò) 信息推送、網(wǎng)絡(luò)資源配置方面提供幫助；步驟5 =IP地址屬性庫(kù)的更新，IP地址訪問(wèn)數(shù)據(jù)表更新，在內(nèi)存中維持一張IP地址表， 根據(jù)NetFlow數(shù)據(jù)情況，對(duì)IP訪問(wèn)數(shù)據(jù)進(jìn)行實(shí)時(shí)更新，具體方法為如果最新獲取的IP地 址在表中存在，則更新相應(yīng)的屬性值，否則，則添加新項(xiàng)。
全文摘要
一種基于IP地址屬性的用戶行為監(jiān)控系統(tǒng)與方法，通過(guò)離線基礎(chǔ)數(shù)據(jù)獲取模塊、在線數(shù)據(jù)實(shí)時(shí)分析模塊、數(shù)據(jù)中心和分析模塊四部分協(xié)同工作完成用戶行為的監(jiān)控。首先提出顯著IP地址的概念，并采用主被動(dòng)監(jiān)控相結(jié)合的方法實(shí)現(xiàn)顯著IP地址的獲取。隨后，提出將服務(wù)類型和地理位置作為IP地址的屬性，并結(jié)合所篩選的顯著IP地址構(gòu)建IP地址屬性信息庫(kù)。為了綜合反映網(wǎng)絡(luò)用戶行為的特征，可以采用多種行為圖譜描述用戶行為在時(shí)間和空間上的特征，在建立行為圖譜的基礎(chǔ)上，可以實(shí)現(xiàn)用戶行為聚集性、關(guān)聯(lián)性、相似性、周期性、遷移性等特征的分析，進(jìn)一步了解網(wǎng)絡(luò)用戶的需求和訪問(wèn)特征，有效加強(qiáng)對(duì)網(wǎng)絡(luò)訪問(wèn)的監(jiān)管。
文檔編號(hào)H04L12/26GK101990003SQ20101051707
公開日2011年3月23日 申請(qǐng)日期2010年10月22日 優(yōu)先權(quán)日2010年10月22日
發(fā)明者萬(wàn)陽(yáng), 李佳楠, 李衛(wèi), 王平輝, 秦濤, 管曉宏, 黃求真 申請(qǐng)人:西安交通大學(xué)