一種分析數(shù)據(jù)的系統(tǒng)及方法
【技術領域】
[0001]本發(fā)明涉及互聯(lián)網(wǎng)技術領域，具體涉及一種分析數(shù)據(jù)的系統(tǒng)及方法。
【背景技術】
[0002]隨著信息技術的發(fā)展，大量非結構數(shù)據(jù)信息(后文稱為大數(shù)據(jù))應運而生，為了彌補傳統(tǒng)方法無法處理如此量大且非結構的大數(shù)據(jù)的缺陷，人們研宄出了云計算，以云計算為基礎的信息存儲、分享和挖掘手段，可以便宜、有效地將這些大量、高速、多變化的終端大數(shù)據(jù)存儲下來，并隨時進行分析和計算。
[0003]大數(shù)據(jù)的核心是預測，即數(shù)據(jù)的基本用途為信息的收集和處理提供了依據(jù)，通常被稱為人工智能中的一部分，而數(shù)據(jù)通常都是為了某個特定的目的而收集，例如，商店為了會計核算而收集銷售數(shù)據(jù)。然而，當前云計算方法的統(tǒng)計都存在采樣的和統(tǒng)計集的單一性，例如，Google公司只能統(tǒng)計用戶通過Google服務器的數(shù)據(jù)，而沒辦法統(tǒng)計用戶訪問百度服務器的數(shù)據(jù)，也沒有辦法得知用戶一段時間內(nèi)在淘寶上的購物數(shù)據(jù)，因此這種大數(shù)據(jù)的統(tǒng)計和分析只能單一的分析某一類型的數(shù)據(jù)，并不能反映所有用戶的需求。
[0004]因此，如何能快速全面實現(xiàn)大數(shù)據(jù)分析和統(tǒng)計，以使統(tǒng)計結果更具有說服力成為本領域技術人員面臨的一大難題。

【發(fā)明內(nèi)容】

[0005]針對上述問題，本發(fā)明提出一種獲取數(shù)據(jù)的系統(tǒng)及方法，通過構建一包括用戶終端設備、路由器和/或交換機、服務器的獲取數(shù)據(jù)的系統(tǒng)，所述用戶終端設備通過所述路由器和/或交換機與所述服務器實現(xiàn)數(shù)據(jù)交互；路由器和/或交換機中包括篩選模塊和存儲模塊，并設置一分析模塊與存儲模塊連接，篩選模塊根據(jù)預設的篩選條件，對所述用戶終端設備訪問服務器的數(shù)據(jù)進行篩選，并將符合篩選條件的數(shù)據(jù)存儲至存儲模塊中，分析模塊對存儲至存儲模塊中的數(shù)據(jù)進行大數(shù)據(jù)分析，該技術方案具體為:
[0006]一種分析數(shù)據(jù)的系統(tǒng)，應用于互連網(wǎng)中，其中，所述系統(tǒng)包括:
[0007]用戶終端設備；
[0008]路由器和/或交換機，所述路由器和所述交換機均包括篩選模塊；
[0009]服務器，所述用戶終端設備通過所述路由器和/或交換機與所述服務器實現(xiàn)數(shù)據(jù)交互；
[0010]分析模塊，與所述存儲模塊連接；
[0011]其中，設定一篩選條件于存儲模塊中，所述篩選模塊根據(jù)所述篩選條件，對所述用戶終端設備訪問所述服務器的數(shù)據(jù)進行篩選，并將符合所述篩選條件的數(shù)據(jù)存儲至所述存儲模塊中，所述分析模塊對所述存儲于存儲模塊中的符合篩選條件的數(shù)據(jù)進行分析和統(tǒng)
i+o
[0012]上述的分析數(shù)據(jù)的系統(tǒng)，其中，所述分析模塊包含一計算模塊，以統(tǒng)計滿足所述篩選條件的數(shù)據(jù)的數(shù)量。
[0013]上述的分析數(shù)據(jù)的系統(tǒng)，其中，所述路由器和/或交換機位于所述互聯(lián)網(wǎng)的核心層O
[0014]一種分析數(shù)據(jù)的方法，該方法上述的分析數(shù)據(jù)的系統(tǒng)，其中，所述方法包括:
[0015]步驟S1、制定篩選條件，并將其存儲于存儲模塊，所述篩選條件包括統(tǒng)計集的內(nèi)容和統(tǒng)計信息的內(nèi)容；
[0016]步驟S2、獲得數(shù)據(jù)的帶有數(shù)據(jù)包頭的數(shù)據(jù)包；
[0017]步驟S3、匹配所述統(tǒng)計集的內(nèi)容與所述數(shù)據(jù)包；
[0018]步驟S4、匹配所述統(tǒng)計信息的內(nèi)容與所述數(shù)據(jù)包；
[0019]步驟S5、將所述數(shù)據(jù)包中與統(tǒng)計集的內(nèi)容及統(tǒng)計信息的內(nèi)容均匹配的數(shù)據(jù)存儲于存儲模塊，生成分析報告。
[0020]上述的方法，其中，通過硬件在交換機和/或路由器中配置及匹配所述統(tǒng)計集的內(nèi)容及統(tǒng)計信息的內(nèi)容。
[0021]上述的方法，其中，在CPU參與下通過軟件配置匹配所述統(tǒng)計集的內(nèi)容及統(tǒng)計信息的內(nèi)容。
[0022]本發(fā)明具有的優(yōu)點以及利用本發(fā)明達到的有益效果:
[0023]使用路由器或者交換機來實現(xiàn)數(shù)據(jù)分析和統(tǒng)計的方法，數(shù)據(jù)統(tǒng)計范圍更廣，統(tǒng)計結果更具有說服力，且比傳統(tǒng)的在服務器內(nèi)部做大數(shù)據(jù)分析統(tǒng)計成本更低。
【附圖說明】
[0024]通過閱讀參照以下附圖對非限制性實施例所作的詳細描述，本發(fā)明及其特征、夕卜形和優(yōu)點將會變得更明顯。在全部附圖中相同的標記指示相同的部分。并未刻意按照比例繪制附圖，重點在于示出本發(fā)明的主旨。
[0025]圖1傳統(tǒng)的在服務器級做大數(shù)據(jù)分析和統(tǒng)計示意圖；
[0026]圖2本發(fā)明在網(wǎng)絡傳輸級利用路由器或交換機實現(xiàn)大數(shù)據(jù)分析和統(tǒng)計示意圖；
[0027]圖3互聯(lián)網(wǎng)主要層次示意圖；
[0028]圖4利用匯聚層路由器和交換機實現(xiàn)大數(shù)據(jù)分析和統(tǒng)計的結構示意圖；
[0029]圖5本發(fā)明使用核心層路由器或交換機實現(xiàn)大數(shù)據(jù)分析和統(tǒng)計的方法示意圖；
[0030]圖6路由器或交換機接收并轉發(fā)數(shù)據(jù)包的方法流程示意圖。
【具體實施方式】
[0031]下面結合附圖和具體實施例對本發(fā)明作進一步說明，顯然，所描述的實例僅僅是本發(fā)明一部分實例，而不是全部的實例?；诒景l(fā)明匯總的實例，本領域普通技術人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有實例，都屬于本發(fā)明保護的范圍。
[0032]需要說明的是，在不沖突的情況下，本發(fā)明中的實例及實例中的特征可以相互自由組合。
[0033]以下將結合附圖對本發(fā)明的實例做具體闡釋。
[0034]參見圖1所述結構，在服務器中做數(shù)據(jù)統(tǒng)計，其中服務器A和服務器B是兩家不同的提供數(shù)據(jù)中心服務的公司的服務器，如在服務器A內(nèi)部的進行大數(shù)據(jù)統(tǒng)計則只能記錄和分析用戶訪問到服務器A而生成的數(shù)據(jù)信息，而無法得知用戶訪問到服務器B的數(shù)據(jù)信息。而本發(fā)明采用路由器和/或交換機來實現(xiàn)大數(shù)據(jù)分析和統(tǒng)計的方法，如圖2所示，在路由器和/或交換機中做大數(shù)據(jù)的統(tǒng)計和分析，可以實現(xiàn)大范圍的數(shù)據(jù)統(tǒng)計和分析，例如通過配置核心層中的交換機設備，從而可以統(tǒng)計到用戶訪問服務器A而生成的數(shù)據(jù)，也可以統(tǒng)計到用戶訪問服務器B而生成的數(shù)據(jù)，范圍更廣，統(tǒng)計數(shù)據(jù)更具說服力。
[0035]參見圖2所示結構，為本發(fā)明公開的獲取數(shù)據(jù)的系統(tǒng)，應用于互連網(wǎng)中，其中，該系統(tǒng)包括:
[0036]若干用戶終端設備；
[0037]路由器和/或交換機，路由器和交換機均包括篩選模塊；
[0038]服務器，用戶終端設備通過路由器和/或交換機與服務器實現(xiàn)數(shù)據(jù)交互；
[0039]分析模塊，與存儲模塊連接；
[0040]其中，設定一篩選條件于存儲模塊中，篩選模塊根據(jù)篩選條件，對用戶終端設備訪問服務器的數(shù)據(jù)進行篩選，并將符合篩選條件的數(shù)據(jù)存儲至存儲模塊中，分析模塊對存儲于存儲模塊中的符合篩選條件的數(shù)據(jù)進行分析和統(tǒng)計。
[0041]作為本發(fā)明一個優(yōu)選實施例，用戶終端設備包括但不僅限于電腦、手機和pad。
[0042]作為本發(fā)明一個優(yōu)選實施例，分析模塊包含一計算模塊，以統(tǒng)計滿足篩選條件的數(shù)據(jù)的數(shù)量。
[0043]作為本發(fā)明一個優(yōu)選實施例，路由器和/或交換機位于互聯(lián)網(wǎng)的核心層。
[0044]參見圖3所示結構，該路由器和/或交換機可以布置在互聯(lián)網(wǎng)的核心層、接入層或者匯聚層。
[0045]其中核心層包括若干核心層交換機，核心層高速轉發(fā)通信，提供快速、可靠的骨干傳輸結構，因此，核心層交換機應該擁有更高的可靠性、性能和吞吐量；核心層的功能主要是實現(xiàn)骨干網(wǎng)絡之間的優(yōu)化傳輸，骨干層設計任務的重點通常是冗余能力、可靠性和高速的傳輸，核心層還可包括若干核心層路由器。
[0046]接入層包括若干接入層交換機，為終端用戶連接到網(wǎng)絡提供接口，為用戶提供了在本地網(wǎng)段訪問應用系統(tǒng)的能力，主要解決相鄰用戶之間的互訪需求，并且為這些訪問提供足夠的帶寬，該接入層還應當適當負責一些用戶管理功能(如地址認證、用戶認證、計費管理等)以及用戶信息收集工作(如用戶的IP地址、MAC地址、訪問日志等)。接入層還可包括若干接入層路由器。
[0047]匯聚層包括若干匯聚層交換機，匯聚層交換機位于核心層交換機與匯聚層交換機之間，為多臺接入層交換機提供匯聚點，能夠處理來自接收層的所有通信量，并提供到核心層的上行鏈路，因此，匯聚層的交換機與接入層交換機比較，需要更高的性能，更少的接口和更高的交換速率。
[0048]本發(fā)明通過配置位于接入層的交換機或路由器，或者位于匯聚層的交換機或路由器，或者位于核心層的交換機或路由器來實現(xiàn)大數(shù)據(jù)的分析和統(tǒng)計，由于位于核心層的交換機較匯聚層的交換機和接入層的交換機具有更高的性能、更少的接口和更高的交換速率。
[0049]對比圖3和圖4，圖3中是配置核心層的交換機和/或路由器以實現(xiàn)大數(shù)據(jù)分析和統(tǒng)計的功能，圖4是配置匯聚層的交換機和/或路由器以實現(xiàn)大數(shù)據(jù)分析和統(tǒng)計的功能。
[0050]作為本發(fā)明一個優(yōu)選實施例，配置核心層的交換機或路由器，參見圖3所示，如果配置區(qū)域A和區(qū)域B中所有核心層的交換機和路由器使其能夠進行數(shù)據(jù)統(tǒng)計和分析，那么用戶A訪問區(qū)域B中的所有網(wǎng)絡必定會被區(qū)域A和區(qū)域B核心層的交換機或路由器記錄下來，同樣，用戶B訪問區(qū)域A中的所有網(wǎng)絡也必定會被區(qū)域A和區(qū)域B核心層的交換機或路由器記錄下來。
[0051]如果僅配置區(qū)域A和區(qū)域B所有匯聚層的交換機和路由器使其能夠進行數(shù)據(jù)統(tǒng)計和分析，如圖4所示，如果用戶A訪問區(qū)域B核心層的網(wǎng)絡，而區(qū)域B中匯聚層的交換機和路由器就無法統(tǒng)計到，因為其不經(jīng)過區(qū)域B匯聚層的交換機或路由器，因此統(tǒng)計集也就不全面。同理，對接入層來說也是一樣。因此使用核心層的交換機和路由器做大數(shù)據(jù)分析和統(tǒng)計，統(tǒng)計范圍最廣。