用于電信中的可擴縮分布式網(wǎng)絡(luò)業(yè)務(wù)分析的方法
【專利摘要】用于執(zhí)行分布式數(shù)據(jù)聚合的示例性方法包括接收只來自網(wǎng)絡(luò)的第一部分的互聯(lián)網(wǎng)協(xié)議（IP）業(yè)務(wù)。所述方法還包括利用大數(shù)據(jù)工具生成來自網(wǎng)絡(luò)的第一部分的IP業(yè)務(wù)的概要，其中來自網(wǎng)絡(luò)的第二部分的IP業(yè)務(wù)的概要由第二網(wǎng)絡(luò)裝置利用它的本地大數(shù)據(jù)工具生成。所述方法包括將網(wǎng)絡(luò)的第一部分的IP業(yè)務(wù)的概要發(fā)送給第三網(wǎng)絡(luò)裝置，以使得第三網(wǎng)絡(luò)裝置利用它的本地大數(shù)據(jù)工具基于從第一和第二網(wǎng)絡(luò)裝置接收的概要生成網(wǎng)絡(luò)的第一和第二部分的IP業(yè)務(wù)的概要，從而允許以分布式方式表征網(wǎng)絡(luò)中的IP業(yè)務(wù)。
【專利說明】用于電信中的可擴縮分布式網(wǎng)絡(luò)業(yè)務(wù)分析的方法
[0001]相關(guān)申請的交叉引用
本申請主張2014年I月22日申請的美國臨時申請?zhí)?1 /930295的權(quán)益，該美國臨時申請由此以引用的方式并入本文。
技術(shù)領(lǐng)域
[0002]本發(fā)明的實施例涉及分組網(wǎng)絡(luò)的領(lǐng)域;更具體來說，涉及在分布式網(wǎng)絡(luò)體系結(jié)構(gòu)中利用大數(shù)據(jù)工具進行網(wǎng)絡(luò)業(yè)務(wù)聚合。
【背景技術(shù)】
[0003]在電信領(lǐng)域中，連續(xù)不斷地以非常高的速度從大量節(jié)點(例如，消費型裝置、路由器、服務(wù)器、基站等)生成網(wǎng)絡(luò)業(yè)務(wù)。如本文中所使用，電信領(lǐng)域是指互聯(lián)網(wǎng)服務(wù)提供商(ISP)的聯(lián)網(wǎng)領(lǐng)域。網(wǎng)絡(luò)業(yè)務(wù)分析對于理解網(wǎng)絡(luò)的行為以及優(yōu)化網(wǎng)絡(luò)和應(yīng)用的性能都是基本和關(guān)鍵的。網(wǎng)絡(luò)業(yè)務(wù)分析在標識對網(wǎng)絡(luò)的攻擊和允許網(wǎng)絡(luò)管理員采取合適的安全措施中也起著重要的作用。為了應(yīng)對高容量的高速業(yè)務(wù)數(shù)據(jù)，可在電信領(lǐng)域中應(yīng)用大數(shù)據(jù)技術(shù)來幫助發(fā)展網(wǎng)絡(luò)業(yè)務(wù)分析。如本文中所使用，大數(shù)據(jù)技術(shù)/分許是指處理/表征大數(shù)據(jù)(即，高容量、高速且多品種的數(shù)據(jù))的技術(shù)。但是，當(dāng)前的大數(shù)據(jù)技術(shù)主要起源于互聯(lián)網(wǎng)領(lǐng)域。如本文中所使用，互聯(lián)網(wǎng)領(lǐng)域是指諸如Google、Yahoo、Facebook、Twitter等的內(nèi)容提供商的聯(lián)網(wǎng)領(lǐng)域。這些內(nèi)容提供商在集中式數(shù)據(jù)中心中聚合和處理人為生成的內(nèi)容。由于電信和互聯(lián)網(wǎng)領(lǐng)域中的數(shù)據(jù)屬性之間存在根本差別，所以那些技術(shù)對于電信領(lǐng)域來說是次優(yōu)的。
[0004]維持網(wǎng)絡(luò)的正常操作是電信領(lǐng)域中最關(guān)心的問題。運行數(shù)據(jù)分析不應(yīng)使網(wǎng)絡(luò)操作降級、擾亂網(wǎng)絡(luò)操作、或危害網(wǎng)絡(luò)操作。將所有業(yè)務(wù)數(shù)據(jù)上載到少數(shù)幾個集中式數(shù)據(jù)中心本身需要顯著的網(wǎng)絡(luò)資源。這種規(guī)模的數(shù)據(jù)聚合會危害網(wǎng)絡(luò)的利用。
[0005]在電信領(lǐng)域中，是機器而不是個人用戶以非常高的速度自動且連續(xù)地生成數(shù)據(jù)。為了增加實際價值，如果不能更快的話，那么數(shù)據(jù)收集和分析必須至少能夠跟上數(shù)據(jù)生成。這種規(guī)模的集中式數(shù)據(jù)處理會造成長時間滯后，由此會使得分析結(jié)果無關(guān)痛癢，例如在檢測蠕蟲和DDoS攻擊時。

【發(fā)明內(nèi)容】

[0006]利用大數(shù)據(jù)工具以分布式方式聚合互聯(lián)網(wǎng)協(xié)議(IP)業(yè)務(wù)的示例性方法包括在網(wǎng)絡(luò)中通信地耦合到第二網(wǎng)絡(luò)裝置的第一網(wǎng)絡(luò)裝置，其中第一和第二網(wǎng)絡(luò)裝置通信地耦合到第三網(wǎng)絡(luò)裝置。根據(jù)一個實施例，由第一網(wǎng)絡(luò)裝置執(zhí)行的示例性方法包括接收只來自網(wǎng)絡(luò)的第一部分的IP業(yè)務(wù)，其中來自網(wǎng)絡(luò)的第二部分的IP業(yè)務(wù)由第二網(wǎng)絡(luò)裝置接收。在一個實施例中，所述方法包括利用大數(shù)據(jù)工具生成來自網(wǎng)絡(luò)的第一部分的IP業(yè)務(wù)的概要，其中來自網(wǎng)絡(luò)的第二部分的IP業(yè)務(wù)的概要由第二網(wǎng)絡(luò)裝置利用它的本地大數(shù)據(jù)工具生成。在至少一個實施例中，所述方法包括將網(wǎng)絡(luò)的第一部分的IP業(yè)務(wù)的概要發(fā)送到第三網(wǎng)絡(luò)裝置，以使得第三網(wǎng)絡(luò)裝置利用它的本地大數(shù)據(jù)工具基于來自第一網(wǎng)絡(luò)裝置的概要和來自第二網(wǎng)絡(luò)裝置的概要生成網(wǎng)絡(luò)的第一和第二部分的IP業(yè)務(wù)的概要，從而允許在第一、第二和第三網(wǎng)絡(luò)裝置之間以分布式方式表征網(wǎng)絡(luò)中的IP業(yè)務(wù)。
[0007]在一個實施例中，生成來自網(wǎng)絡(luò)的第一部分的IP業(yè)務(wù)的概要包括:對于IP業(yè)務(wù)的每個IP數(shù)據(jù)，從接收的IP數(shù)據(jù)存取字段集合。生成概要還包括:基于來自字段集合的一個或多個字段確定密鑰字段;以及基于來自字段集合的一個或多個字段確定值字段。
[0008]在本發(fā)明的一個方面中，生成來自網(wǎng)絡(luò)的第一部分的IP業(yè)務(wù)的概要還包括:基于密鑰字段將IP數(shù)據(jù)的集合分區(qū)成多個群組，以使得每個群組包括唯一密鑰(unique key)和來自具有相同密鑰字段的一個或多個IP數(shù)據(jù)的一個或多個值。
[0009]在至少一個實施例中，生成來自網(wǎng)絡(luò)的第一部分的IP業(yè)務(wù)的概要還包括:對于每個群組，聚合多個值以便生成聚合值，其中聚合值指示由對應(yīng)密鑰字段的值字段指示的多個唯一值。
[0010]利用大數(shù)據(jù)工具以分布式方式聚合互聯(lián)網(wǎng)協(xié)議(IP)業(yè)務(wù)的示例性方法包括在網(wǎng)絡(luò)中通信地耦合到第二網(wǎng)絡(luò)裝置和第三網(wǎng)絡(luò)裝置的第一網(wǎng)絡(luò)裝置。根據(jù)一個實施例，由第一網(wǎng)絡(luò)裝置執(zhí)行的示例性方法包括從第二網(wǎng)絡(luò)裝置接收網(wǎng)絡(luò)的第一部分的互聯(lián)網(wǎng)協(xié)議(IP)業(yè)務(wù)的概要，其中網(wǎng)絡(luò)的第一部分的IP業(yè)務(wù)的概要由第二網(wǎng)絡(luò)裝置利用它的本地大數(shù)據(jù)工具生成。
[0011]在一個實施例中，所述方法包括從第三網(wǎng)絡(luò)裝置接收網(wǎng)絡(luò)的第二部分的IP業(yè)務(wù)的概要，其中網(wǎng)絡(luò)的第二部分的IP業(yè)務(wù)的概要由第三網(wǎng)絡(luò)裝置利用它的本地大數(shù)據(jù)工具生成。在本發(fā)明的一個方面中，所述方法還包括:利用大數(shù)據(jù)工具基于來自第二網(wǎng)絡(luò)裝置的概要和來自第三網(wǎng)絡(luò)裝置的概要生成網(wǎng)絡(luò)的第一和第二部分的IP業(yè)務(wù)的概要，從而允許在第一、第二和第三網(wǎng)絡(luò)裝置之間以分布式方式表征網(wǎng)絡(luò)中的IP業(yè)務(wù)。在一個實施例中，所述方法包括將網(wǎng)絡(luò)的第一和第二部分的IP業(yè)務(wù)的概要提供給用戶，以使得用戶可以確定所述網(wǎng)絡(luò)中是否存在異常。
【附圖說明】
[0012]附圖的各圖中舉例而非限制性地示出本發(fā)明的實施例，圖中類似參考數(shù)字指示類似元素。
[0013]圖1是示出在集中式數(shù)據(jù)中心聚合數(shù)據(jù)的常規(guī)網(wǎng)絡(luò)的框圖。
[0014]圖2是示出根據(jù)一個實施例在分布式體系結(jié)構(gòu)中聚合數(shù)據(jù)的網(wǎng)絡(luò)的框圖。
[0015]圖3是示出根據(jù)一個實施例用于聚合數(shù)據(jù)的數(shù)據(jù)處理單元模塊的框圖。
[0016]圖4是示出根據(jù)一個實施例用于聚合數(shù)據(jù)的方法的流程圖。
[0017]圖5是示出根據(jù)一個實施例用于聚合數(shù)據(jù)的方法的流程圖。
[0018]圖6A是示出根據(jù)一個實施例用于聚合數(shù)據(jù)的偽代碼的圖。
[0019]圖6B是示出根據(jù)一個實施例用于聚合數(shù)據(jù)的偽代碼的圖。
[0020]圖7A是示出根據(jù)一個實施例用于聚合數(shù)據(jù)的偽代碼的圖。
[0021 ]圖7B是示出根據(jù)一個實施例用于聚合數(shù)據(jù)的偽代碼的圖。
[0022]圖8A是示出根據(jù)一個實施例用于聚合數(shù)據(jù)的偽代碼的圖。
[0023]圖SB是示出根據(jù)一個實施例用于聚合數(shù)據(jù)的偽代碼的圖。
[0024]圖9A是示出根據(jù)一個實施例用于聚合數(shù)據(jù)的偽代碼的圖。
[0025]圖9B是示出根據(jù)一個實施例用于聚合數(shù)據(jù)的偽代碼的圖。
[0026]圖1OA是示出根據(jù)一個實施例用于聚合數(shù)據(jù)的偽代碼的圖。
[0027]圖1OB是示出根據(jù)一個實施例用于聚合數(shù)據(jù)的偽代碼的圖。
[0028]圖11是示出用于將分析從集中式網(wǎng)絡(luò)映射到DPU的分布式網(wǎng)絡(luò)的一般設(shè)計模式的框圖。
[0029]圖12是示出可與本發(fā)明的一個實施例一起使用的數(shù)據(jù)處理系統(tǒng)的示例的框圖。
【具體實施方式】
[0030]在以下描述中，闡述了眾多具體細節(jié)，例如邏輯實現(xiàn)、操作碼、用于指定操作數(shù)的部件、資源分區(qū)/共享/復(fù)制實現(xiàn)、系統(tǒng)組件的類型和相互關(guān)系、以及邏輯分區(qū)/集成選擇，以便更充分地理解本發(fā)明。但是，本領(lǐng)域技術(shù)人員將明白，沒有這些具體細節(jié)也可實踐本發(fā)明。在其它情況下，沒有詳細示出控制結(jié)構(gòu)、門級電路和全軟件指令序列，以免使本發(fā)明模糊。借助于包含的描述，本領(lǐng)域技術(shù)人員將能夠在無需過多試驗的情況下實現(xiàn)合適的功能性。
[0031]本說明書中提到“一個實施例”、“實施例”、“示例實施例”等時表示，所描述的實施例可包括特定特征、結(jié)構(gòu)或特性，但不是每個實施例都一定包含該特定特征、結(jié)構(gòu)或特性。而且，這些短語不一定指相同實施例。此外，當(dāng)結(jié)合一個實施例描述特定特征、結(jié)構(gòu)或特性時，認為本領(lǐng)域技術(shù)人員知道結(jié)合其它實施例實現(xiàn)該特征、結(jié)構(gòu)或特性，而不管是否有明確描述。
[0032]在以下描述和權(quán)利要求書中，可使用術(shù)語“耦合”和“連接”及其派生詞。應(yīng)理解，這些術(shù)語不是要彼此同義的?！榜詈稀庇糜谥甘緝蓚€或兩個以上元件彼此共同協(xié)作或交互，這兩個或兩個以上元件可以或者可以不彼此直接物理或電接觸。“連接”用于指示在彼此耦合的兩個或兩個以上元件之間建立通信。
[0033]本發(fā)明的不同實施例可利用軟件、固件和/或硬件的不同組合來實現(xiàn)。因此，圖中示出的技術(shù)可利用在一個或多個電子裝置(例如，端站、網(wǎng)絡(luò)裝置)上存儲和執(zhí)行的代碼和數(shù)據(jù)來實現(xiàn)。這些電子裝置利用計算機可讀介質(zhì)存儲并(在內(nèi)部和/或通過網(wǎng)絡(luò)與其它電子裝置)傳達代碼和數(shù)據(jù)，計算機可讀介質(zhì)可以是例如非暫時性計算機可讀存儲介質(zhì)(例如，磁盤、光盤、隨機存取存儲器、只讀存儲器、閃速存儲器裝置、相變存儲器)和暫時性計算機可讀傳輸介質(zhì)(例如，電、光、聲或其它形式的傳播信號，如載波、紅外信號、數(shù)字信號)。另夕卜，這些電子裝置通常包括耦合到一個或多個其它組件的一個或多個處理器的集合，所述一個或多個其它組件可以是例如一個或多個存儲裝置(非暫時性機器可讀存儲介質(zhì))、用戶輸入/輸出裝置(例如，鍵盤、觸摸屏、和/或顯示器)、以及網(wǎng)絡(luò)連接。處理器集合與其它組件的耦合通常通過一個或多個總線和橋接器(又稱為總線控制器)。因此，給定電子裝置的存儲裝置通常存儲代碼和/或數(shù)據(jù)以便在該電子裝置的一個或多個處理器的集合上執(zhí)行。
[0034]如本文中所使用，網(wǎng)絡(luò)裝置或計算裝置(例如，路由器、交換機、橋接器)是一臺包括硬件和軟件的聯(lián)網(wǎng)設(shè)備，它通信地互連網(wǎng)絡(luò)上的其它設(shè)備(例如，其它網(wǎng)絡(luò)裝置、端站)。一些網(wǎng)絡(luò)裝置是對多個聯(lián)網(wǎng)功能(例如，路由、橋接、交換、第2層聚合、會話邊界控制、服務(wù)質(zhì)量、和/或訂戶管理)提供支持和/或?qū)Χ鄠€應(yīng)用服務(wù)(例如，數(shù)據(jù)、語音和視頻)提供支持的“多服務(wù)網(wǎng)絡(luò)裝置”。訂戶端站(例如，服務(wù)器、工作站、膝上型計算機、上網(wǎng)本、掌上電腦、移動電話、智能電話、多媒體電話、互聯(lián)網(wǎng)協(xié)議語音(VOIP)電話、用戶設(shè)備、終端、便攜式媒體播放器、GPS單元、游戲系統(tǒng)、機頂盒)訪問在互聯(lián)網(wǎng)上提供的內(nèi)容/服務(wù)、和/或在敷設(shè)在(例如，穿隧通過)互聯(lián)網(wǎng)上的虛擬專用網(wǎng)絡(luò)(VPN)上提供的內(nèi)容/服務(wù)。這些內(nèi)容和/或服務(wù)通常由屬于服務(wù)或內(nèi)容提供商的一個或多個端站(例如，服務(wù)器端站)或參與對等(P2P)月艮務(wù)的端站提供，并且可包括例如公共網(wǎng)頁(例如，免費內(nèi)容、店面、搜索服務(wù))、私人網(wǎng)頁(例如，提供email服務(wù)的用戶名/密碼訪問的網(wǎng)頁)、和/或VPN上的公司網(wǎng)絡(luò)。通常，訂戶端站(例如，通過(有線或無線地)耦合到接入網(wǎng)絡(luò)的客戶駐地設(shè)備)耦合到邊緣網(wǎng)絡(luò)裝置，邊緣網(wǎng)絡(luò)裝置(例如，通過一個或多個核心網(wǎng)絡(luò)裝置)耦合到其它邊緣網(wǎng)絡(luò)裝置，這些其它邊緣網(wǎng)絡(luò)裝置耦合到其它端站(例如，服務(wù)器端站)。
[0035]當(dāng)前的大數(shù)據(jù)技術(shù)起源于互聯(lián)網(wǎng)公司，尤其是Google、Yahoo、Facebook、LinkedIn和Twitter，并且主要在這些互聯(lián)網(wǎng)公司中得到發(fā)展。他們的主要業(yè)務(wù)是聚合用戶生成的內(nèi)容，并通過例如將廣告與用戶數(shù)據(jù)相關(guān)聯(lián)來為內(nèi)容增加與他們的用戶基礎(chǔ)成比例的價值。他們的商業(yè)模式符合他們只在少數(shù)幾個數(shù)據(jù)中心中集中地聚合和處理數(shù)據(jù)。過去十年間那些互聯(lián)網(wǎng)公司的快速成長見證了大數(shù)據(jù)技術(shù)在他們領(lǐng)域中的適用性。
[0036]—般來說，當(dāng)前的大數(shù)據(jù)技術(shù)假設(shè)，可在少數(shù)幾個數(shù)據(jù)中心中低成本地及時聚合和處理數(shù)據(jù)。盡管這對于用戶生成的內(nèi)容是合理的，但是對于網(wǎng)絡(luò)業(yè)務(wù)分析則是次優(yōu)的。在互聯(lián)網(wǎng)上，一個字節(jié)的用戶生成的內(nèi)容可引發(fā)數(shù)百個字節(jié)的網(wǎng)絡(luò)流量來傳送該內(nèi)容。當(dāng)將所有那些業(yè)務(wù)字節(jié)上載到數(shù)據(jù)中心時，又可生成數(shù)千個新字節(jié)，如此循環(huán)往復(fù)。關(guān)于將所有網(wǎng)絡(luò)業(yè)務(wù)聚合到一個或少數(shù)幾個數(shù)據(jù)中心以便處理所有數(shù)據(jù)的帶寬利用和時間簡直成本太尚了 O
[0037]最近出現(xiàn)利用分布式觸發(fā)機制進行網(wǎng)絡(luò)業(yè)務(wù)分析的方法。例如，“In-NetworkPCAand Anomaly Detect1n”(Ling Huang, XuanLong Nguyen , Minos Garofalakis，Anthony Joseph, Michael Jordan and Nina Taft.1n Advances in NeuralInformat1n Processing Systems (NIPS) 19.Vancouver, B.C, December 2006)(下文稱為“參考文獻I”)、“Toward Sophisticated Detect1n With Distributed Triggers”(Ling Huang, Minos Garofalakis, Joseph Hellerstein, Anthony D.Joseph andNina Taft.1n SIGCOMM 2006 Workshop on Mining Network Data (MineNet_06))(下文稱為“參考文南犬2，，WPuCommunicat1n-EfTicient Tracking of Distributed CumulativeTriggers”(Ling Huang, Minos Garofalakis, Anthony D.Joseph and Nina Taft.1nProceedings of the Internat1nal Conference on Distributed Computing Systems(ICDCS，07).Toronto, Canada, June 2007)(下文稱為“參考文獻3”)。參考文獻I提出在分布式服務(wù)器的集合上運行的基于主成分分析(PCA)的異常檢測器。它描述了將信息周期性地發(fā)送到協(xié)調(diào)器以便進行準確全局檢測的自適應(yīng)方法。參考文獻2設(shè)計了一種在PCA框架下檢測不尋常業(yè)務(wù)模式的分布式協(xié)議。參考文獻3研究了分布式觸發(fā)器方法中的通信開銷和檢測精度之間的權(quán)衡。
[0038]這些參考文獻并沒有利用大數(shù)據(jù)技術(shù)。而是，它們精心地制作在互聯(lián)網(wǎng)上的選定節(jié)點處執(zhí)行的分布式算法或協(xié)議。因此，所述方法對于分析的數(shù)量不可擴縮，因為每個方法必須個別地制作和開發(fā)。大數(shù)據(jù)技術(shù)可適于以更具原則性的方式系統(tǒng)地解決網(wǎng)絡(luò)業(yè)務(wù)分析問題，但是當(dāng)前的大數(shù)據(jù)技術(shù)的逐字應(yīng)用可能不那么有效。將描述，可利用(擴展的)大數(shù)據(jù)技術(shù)在不同分析上應(yīng)用類似的編程模式。這些模式可推廣到新一代分布式大數(shù)據(jù)平臺，以便使大范圍網(wǎng)絡(luò)業(yè)務(wù)分析的開發(fā)和部署自動化。
[0039]圖1是示出用于聚合用戶生成的數(shù)據(jù)的常規(guī)體系結(jié)構(gòu)的框圖。如本文中所使用，聚合是指基于某個預(yù)定準則(密鑰)收集數(shù)據(jù)和/或?qū)?shù)據(jù)分組，以便可以在一個數(shù)據(jù)中心中表征數(shù)據(jù)。圖1示出包括網(wǎng)絡(luò)裝置110-113的網(wǎng)絡(luò)100(例如，蜂窩網(wǎng)絡(luò))，每個網(wǎng)絡(luò)裝置通信地耦合到一個或多個本地用戶端點(UE)，例如膝上型計算機、移動裝置等(未示出)。在圖1中，網(wǎng)絡(luò)裝置110-111通信地耦合到網(wǎng)絡(luò)裝置114，網(wǎng)絡(luò)裝置112-113通信地耦合到網(wǎng)絡(luò)裝置115，而網(wǎng)絡(luò)裝置114和115通信地彼此耦合。常規(guī)地，將用戶生成的數(shù)據(jù)全都發(fā)送到集中式數(shù)據(jù)中心(例如，數(shù)據(jù)中心1I )，在集中式數(shù)據(jù)中心中將它們?nèi)烤酆?。因此，?dāng)在網(wǎng)絡(luò)業(yè)務(wù)分析中直接應(yīng)用這種設(shè)置時，例如，通過網(wǎng)絡(luò)裝置110將通信地耦合到網(wǎng)絡(luò)裝置110的UE處生成的用戶數(shù)據(jù)發(fā)送到數(shù)據(jù)中心101，并且通過網(wǎng)絡(luò)裝置111將通信地耦合到網(wǎng)絡(luò)裝置111的UE處生成的用戶數(shù)據(jù)發(fā)送到數(shù)據(jù)中心101，依此類推。一旦完成所有數(shù)據(jù)的聚合，數(shù)據(jù)中心101便將結(jié)果提供給用戶。
[0040]如上所述，利用大數(shù)據(jù)工具在集中式數(shù)據(jù)中心聚合用戶生成的數(shù)據(jù)是合理的。但是，在集中式數(shù)據(jù)中心聚合巨量的機器生成的數(shù)據(jù)在成本和帶寬利用方面就不太有效了。本發(fā)明通過提供以分布式方式利用大數(shù)據(jù)技術(shù)來在網(wǎng)絡(luò)中的多個節(jié)點處聚合網(wǎng)絡(luò)業(yè)務(wù)、以使得業(yè)務(wù)聚合可分布在網(wǎng)絡(luò)中的節(jié)點之間的機制而克服這些限制。
[0041]圖2是示出根據(jù)一個實施例以分布式方式聚合網(wǎng)絡(luò)業(yè)務(wù)的網(wǎng)絡(luò)200的框圖。網(wǎng)絡(luò)200與網(wǎng)絡(luò)100類似。例如，網(wǎng)絡(luò)裝置210-211通信地耦合到網(wǎng)絡(luò)裝置214，網(wǎng)絡(luò)裝置212-213通信地耦合到網(wǎng)絡(luò)裝置215，而網(wǎng)絡(luò)裝置214和215通信地彼此耦合。但是，差別在于，在網(wǎng)絡(luò)200中，不在集中式數(shù)據(jù)中心聚合業(yè)務(wù)數(shù)據(jù)。根據(jù)一個實施例，網(wǎng)絡(luò)200分區(qū)成多個邏輯網(wǎng)絡(luò)部分。例如，網(wǎng)絡(luò)裝置210可代表網(wǎng)絡(luò)200的第一部分，網(wǎng)絡(luò)裝置211可代表網(wǎng)絡(luò)200的第二部分，等等。如本文中所使用，“代表”網(wǎng)絡(luò)的一部分是指傳送和接收屬于網(wǎng)絡(luò)的這部分的網(wǎng)絡(luò)裝置的業(yè)務(wù)。每個網(wǎng)絡(luò)部分通信地耦合到包含用于聚合來自相應(yīng)網(wǎng)絡(luò)部分的數(shù)據(jù)的大數(shù)據(jù)工具的網(wǎng)絡(luò)裝置。這些聚合網(wǎng)絡(luò)裝置的中間結(jié)果還可通過更高級聚合網(wǎng)絡(luò)裝置進一步處理/聚合。因此，取代在集中式數(shù)據(jù)中心執(zhí)行數(shù)據(jù)聚合，本發(fā)明提供利用數(shù)據(jù)聚合網(wǎng)絡(luò)裝置的層級在數(shù)據(jù)來源處或附近執(zhí)行數(shù)據(jù)聚合的機制。
[0042]圖2示出數(shù)據(jù)聚合網(wǎng)絡(luò)裝置230-234的層級。每個聚合網(wǎng)絡(luò)裝置包括相應(yīng)的數(shù)據(jù)處理單元(DPU)模塊。例如，網(wǎng)絡(luò)裝置230包括DPU 250，網(wǎng)絡(luò)裝置231包括DPU 251，網(wǎng)絡(luò)裝置232包括DPU 252，網(wǎng)絡(luò)裝置233包括DPU 253，并且網(wǎng)絡(luò)裝置234包括DPU 254。
[0043]數(shù)據(jù)聚合網(wǎng)絡(luò)裝置230-234可通信地耦合到接收和聚合IP業(yè)務(wù)的網(wǎng)絡(luò)的任何網(wǎng)絡(luò)裝置。因此，在所示示例中，網(wǎng)絡(luò)裝置210-215可以是任何類型的聯(lián)網(wǎng)裝置，包括但不限于無線電基站、WiFi接入點、路由器、集線器、網(wǎng)關(guān)等。應(yīng)了解，網(wǎng)絡(luò)裝置210-215、230-234可以是相同或不同類型的網(wǎng)絡(luò)裝置。
[0044]聚合網(wǎng)絡(luò)裝置的層級(S卩，網(wǎng)絡(luò)裝置230-234的位置)是舉例而非限制性地示出的。本領(lǐng)域技術(shù)人員將意識到，取決于負載平衡、通信成本等，網(wǎng)絡(luò)裝置230-234可以按照其它配置部署。如本文中所使用，負載平衡是指確保在網(wǎng)絡(luò)裝置之間交換的業(yè)務(wù)平衡以防止大部分業(yè)務(wù)轉(zhuǎn)向特定網(wǎng)絡(luò)裝置或特定群組的網(wǎng)絡(luò)裝置的概念。如本文中所使用，通信成本是指業(yè)務(wù)從第一網(wǎng)絡(luò)裝置行進到第二網(wǎng)絡(luò)裝置所花費的時間。通信成本也可指在網(wǎng)絡(luò)裝置之間通信的業(yè)務(wù)量。
[0045]圖2舉例而非限制性地示出聚合來自代表網(wǎng)絡(luò)的第一部分的網(wǎng)絡(luò)裝置210的網(wǎng)絡(luò)業(yè)務(wù)的網(wǎng)絡(luò)裝置230、聚合來自代表網(wǎng)絡(luò)的第二部分的網(wǎng)絡(luò)裝置211的網(wǎng)絡(luò)業(yè)務(wù)的網(wǎng)絡(luò)裝置231、聚合來自代表網(wǎng)絡(luò)的第三部分的網(wǎng)絡(luò)裝置212的網(wǎng)絡(luò)業(yè)務(wù)的網(wǎng)絡(luò)裝置232、以及聚合來自代表網(wǎng)絡(luò)的第四部分的網(wǎng)絡(luò)裝置213的網(wǎng)絡(luò)業(yè)務(wù)的網(wǎng)絡(luò)裝置233。因此，網(wǎng)絡(luò)裝置230-233可理解為是聚合網(wǎng)絡(luò)裝置的層級的第一級。圖2還示出，通過網(wǎng)絡(luò)裝置234聚合網(wǎng)絡(luò)裝置230-233的中間聚合結(jié)果。因此，網(wǎng)絡(luò)裝置234可理解為是層級的第二級。應(yīng)了解，在不偏離本發(fā)明的更廣范圍和精神的情況下，可增加層級的更多級。
[0046]根據(jù)一個實施例，DPU 250-254負責(zé)聚合和處理由網(wǎng)絡(luò)的較小部分(part/port1n)(例如，部署在建筑物中的無線局域網(wǎng)(WLAN)或城市市中心中的蜂窩網(wǎng)絡(luò))生成的網(wǎng)絡(luò)業(yè)務(wù)數(shù)據(jù)。待由DPU聚合的網(wǎng)絡(luò)的部分可由地理區(qū)域或管理域確定。
[0047]在本發(fā)明的一個方面中，每個DHJ執(zhí)行一個或多個大數(shù)據(jù)工具(例如，Hadoop和Spark)和一個或多個分析算法以便處理它的輸入數(shù)據(jù)集并生成某個輸出數(shù)據(jù)。輸入數(shù)據(jù)集可來自網(wǎng)絡(luò)的一個部分(下游)的輸出，并且可經(jīng)由諸如超文本傳輸協(xié)議(HTTP)、HTTPSecure (HTTPS)、可擴縮標記語言(XML)、JavaScript對象表示法(JSON)等的某個協(xié)議將輸出數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)的另一個部分(上游)以作為輸入。
[0048]應(yīng)明白，DPU是能夠處理大數(shù)據(jù)(S卩，高容量、高速且多品種的數(shù)據(jù))的計算機構(gòu)的抽象。DPU可以是例如具有多個并行核或處理器的一個計算機、或通過快速網(wǎng)絡(luò)互連的這些計算機的一個集群/數(shù)據(jù)中心。每個計算機/處理器具有它自己的處理單元(用于執(zhí)行代碼以便處理數(shù)據(jù))和存儲/存儲器單元(用于存儲數(shù)據(jù)和結(jié)果)。在大數(shù)據(jù)技術(shù)中，通常是其中一個處理器/計算機充當(dāng)接觸點，它接受輸入數(shù)據(jù)，在處理器/計算機的整個集合中分配數(shù)據(jù)和工作負載，收集來自那些節(jié)點的結(jié)果，并將結(jié)果提供給其它DPU或應(yīng)用。
[0049]根據(jù)一個實施例，DPU可以按層級體系結(jié)構(gòu)進行組織:網(wǎng)絡(luò)邊緣附近(或生成數(shù)據(jù))的DPU將原始輸入數(shù)據(jù)變換為中間結(jié)果，中間結(jié)果上載到上游DPU并變換為更高級結(jié)果。最后，將最終結(jié)果報告給用戶或反饋回來以便控制網(wǎng)絡(luò)。中間結(jié)果只是顯著減少的量的較低級輸入數(shù)據(jù)的概要。
[0050]在一個實施例中，DPU可形成獨立的數(shù)據(jù)處理網(wǎng)絡(luò)。備選地或另外地，DPU可作為IP網(wǎng)絡(luò)(例如，蜂窩網(wǎng)絡(luò))的一部分集成到其中。例如，在圖2中，網(wǎng)絡(luò)裝置230-234可形成獨立的數(shù)據(jù)處理網(wǎng)絡(luò)，或者它們可以是IP或蜂窩網(wǎng)絡(luò)的一部分。當(dāng)獨立時，DPU和它所服務(wù)的網(wǎng)絡(luò)的這部分之間的數(shù)據(jù)傳輸/通信的成本比將數(shù)據(jù)上載到另一個DPU低得多。當(dāng)集成時，DPU嵌入或附連到路由器、網(wǎng)關(guān)、基站等，以便處理它所生成的數(shù)據(jù)。例如，網(wǎng)絡(luò)裝置230-233可分別作為網(wǎng)絡(luò)裝置210-213的一部分集成。DPU部署的配置/密度取決于性能和成本之間的權(quán)衡。
[0051]在一個實施例中，每個DPU的源與匯可根據(jù)諸如負載平衡和數(shù)據(jù)可用性的因素動態(tài)地改變。配置可作為分析應(yīng)用的一部分經(jīng)由例如提供的庫的應(yīng)用編程接口(API)進行管理，或通過管理所有DPU并將分析代碼動態(tài)地指派給DPU的平臺(如OS)調(diào)度代碼進行。
[0052]如上所述，利用大數(shù)據(jù)技術(shù)分布式地實現(xiàn)若干個網(wǎng)絡(luò)業(yè)務(wù)分析是新穎的。將詳細描述，一般模式是將代碼分配給所涉及的DPU的網(wǎng)絡(luò)，以使得最低級的DPU聚合和處理原始感知數(shù)據(jù)，較高級的DI3U聚合和處理來自較低級DPU的中間結(jié)果，依此類推，直到最頂級的DHJ產(chǎn)生最終結(jié)果為止。
[0053]圖3是示出根據(jù)一個實施例的DPU 300的框圖。例如，DPU 300可作為DPU 250-254的一部分實現(xiàn)，DHJ 250-254可作為軟件、固件、硬件或其任意組合來實現(xiàn)。根據(jù)一個實施例，DPU 300包括用于交換網(wǎng)絡(luò)業(yè)務(wù)的網(wǎng)絡(luò)接口 313。例如，網(wǎng)絡(luò)接口 313可用于接收原始網(wǎng)絡(luò)業(yè)務(wù)和/或來自較低級DPU的中間聚合結(jié)果。網(wǎng)絡(luò)接口 313還可用于將中間聚合結(jié)果傳送到較高級DPU，和/或?qū)⒆罱K聚合結(jié)果傳送到用戶/管理員。
[0054]根據(jù)一個實施例，DPU300包括用于開發(fā)大數(shù)據(jù)分析的大數(shù)據(jù)工具310(例如，Hadoop、Spark等)C3Hadoop是當(dāng)前用于開發(fā)大數(shù)據(jù)分析的行業(yè)標準平臺C3Hadoop堆桟由一套開源工具組成，這套開源工具包括Hadoop分布式文件系統(tǒng)(HDFS)、另一種資源協(xié)調(diào)者(丫八1^)、]\&^)1^(11106、!1；[￥6、冊386和]\&1110111:。]^1(10(^將故障看作是正常而不是例外，并在商用計算機的大集群上構(gòu)建大規(guī)模并行/分布式計算應(yīng)用。大型輸入數(shù)據(jù)集分成64兆字節(jié)(MB)或128MB塊，每個塊均在集群中的那些計算機的若干個計算機上復(fù)制。它的編程抽象允許用戶指定“映射(map)”和“縮減(reduce)”任務(wù)。取決于數(shù)據(jù)局部性和數(shù)據(jù)相依性，調(diào)度器在運行時將輸入數(shù)據(jù)集分區(qū)并在計算機上引發(fā)那些任務(wù)以便處理數(shù)據(jù)。如果一些計算機發(fā)生故障或者數(shù)據(jù)丟失，那么在其它計算機上重新開始對應(yīng)任務(wù)以便實現(xiàn)容錯。
[0055]Hadoop堆桟最初是Google開發(fā)的類似堆桟(它不是開源的)的開源重實現(xiàn)。最近有若干個開源項目可改善Hadoop堆桟的性能。最著名的是Berkeley Data Analytic Stack(BDAS，伯克利數(shù)據(jù)分析堆桟)，它包括諸如Tachyon、Mesos、Spark、Shark、GraphX、Stream和MLBase的工具。BDAS集中在存儲器中優(yōu)化上:在主要存儲器中緩存輸入數(shù)據(jù)集的一部分，并比Hadoop中的面向磁盤的數(shù)據(jù)處理快得多地進行處理。
[0056]如上所述，Spark是BDAS平臺的一部分。它的主要編程抽象是彈性分布式數(shù)據(jù)集(RDD)，它在集群的選定節(jié)點上分配主要存儲器的區(qū)塊，并將輸入或輸出數(shù)據(jù)集(例如，大型磁盤文件)分發(fā)到那些區(qū)塊中。在RDD/Spark中會自動處理容錯。在本描述中，由于它簡潔明了，所以利用Spark的Scala API來介紹分析算法和偽代碼。應(yīng)明白，本發(fā)明不限于此。本領(lǐng)域技術(shù)人員將意識到，可利用其它大數(shù)據(jù)工具來實現(xiàn)本描述中所述的算法。
[0057]在一個實施例中，DHJ300包括用于利用大數(shù)據(jù)工具310實現(xiàn)大數(shù)據(jù)分析的API311。在至少一個實施例中，DPU 300包括網(wǎng)絡(luò)業(yè)務(wù)分析模塊312，模塊312包括用于利用大數(shù)據(jù)工具310經(jīng)由API 311聚合/表征網(wǎng)絡(luò)業(yè)務(wù)的一個或多個算法。在所示實施例中，網(wǎng)絡(luò)業(yè)務(wù)分析模塊312包括算法320-324，下文將進一步詳細地對它們進行描述。
[0058]圖4是示出根據(jù)一個實施例用于執(zhí)行分布式數(shù)據(jù)聚合的方法400的流程圖。例如，方法400可由諸如網(wǎng)絡(luò)裝置230(例如，網(wǎng)絡(luò)裝置230的DPU 250)的第一網(wǎng)絡(luò)裝置執(zhí)行，它可作為軟件、固件、硬件或其任意組合來實現(xiàn)。
[0059]現(xiàn)在參考圖4，在框405，第一網(wǎng)絡(luò)裝置接收只來自網(wǎng)絡(luò)的第一部分的IP業(yè)務(wù)，其中來自網(wǎng)絡(luò)的第二部分的IP業(yè)務(wù)由第二網(wǎng)絡(luò)裝置(例如，網(wǎng)絡(luò)裝置231)接收，其中第一和第二網(wǎng)絡(luò)裝置通信地耦合到第三網(wǎng)絡(luò)裝置(例如，網(wǎng)絡(luò)裝置234)。例如，網(wǎng)絡(luò)裝置230接收來自代表網(wǎng)絡(luò)的第一部分的網(wǎng)絡(luò)裝置210的IP業(yè)務(wù)，而網(wǎng)絡(luò)裝置231接收來自代表網(wǎng)絡(luò)的第二部分的網(wǎng)絡(luò)裝置211的IP業(yè)務(wù)。
[0060]在框410，第一網(wǎng)絡(luò)裝置利用大數(shù)據(jù)工具(例如，hadoop、Spark等)生成來自網(wǎng)絡(luò)的第一部分的IP業(yè)務(wù)的概要，其中來自網(wǎng)絡(luò)的第二部分的IP業(yè)務(wù)的概要由第二網(wǎng)絡(luò)裝置利用它的本地大數(shù)據(jù)工具生成。例如，網(wǎng)絡(luò)裝置230利用大數(shù)據(jù)工具分析和聚合從網(wǎng)絡(luò)裝置210接收的IP業(yè)務(wù)。聚合的性質(zhì)和生成的概要的類型取決于將要執(zhí)行的分析(例如，分析算法320-324) ο下文將進一步詳細描述分析。
[0061]在框415，第一網(wǎng)絡(luò)裝置將網(wǎng)絡(luò)的第一部分的IP業(yè)務(wù)的概要發(fā)送到第三網(wǎng)絡(luò)裝置，以使得第三網(wǎng)絡(luò)裝置利用它的本地大數(shù)據(jù)工具基于來自第一網(wǎng)絡(luò)裝置的概要和來自第二網(wǎng)絡(luò)裝置的概要生成網(wǎng)絡(luò)的第一和第二部分的IP業(yè)務(wù)的概要，從而允許在第一、第二和第三網(wǎng)絡(luò)裝置之間以分布式方式聚合/表征網(wǎng)絡(luò)中的IP業(yè)務(wù)。
[0062]圖5是示出根據(jù)一個實施例用于執(zhí)行分布式數(shù)據(jù)聚合的方法500的框圖。例如，方法500可由諸如網(wǎng)絡(luò)裝置234(例如，網(wǎng)絡(luò)裝置234的DPU 254)的第一網(wǎng)絡(luò)裝置執(zhí)行，它可作為軟件、固件、硬件或其任意組合實現(xiàn)。
[0063]現(xiàn)在參考圖5，在框505，第一網(wǎng)絡(luò)裝置從第二網(wǎng)絡(luò)裝置(例如，網(wǎng)絡(luò)裝置230)接收網(wǎng)絡(luò)的第一部分的IP業(yè)務(wù)的概要，其中網(wǎng)絡(luò)的第一部分的IP業(yè)務(wù)的概要由第二網(wǎng)絡(luò)裝置利用它的本地大數(shù)據(jù)工具生成。
[0064]在框510，第一網(wǎng)絡(luò)裝置從第三網(wǎng)絡(luò)裝置(例如，網(wǎng)絡(luò)裝置231)接收網(wǎng)絡(luò)的第二部分的IP業(yè)務(wù)的概要，其中網(wǎng)絡(luò)的第二部分的IP業(yè)務(wù)的概要由第三網(wǎng)絡(luò)裝置利用它的本地大數(shù)據(jù)工具生成。
[0065]在框515，第一網(wǎng)絡(luò)裝置利用大數(shù)據(jù)工具基于來自第二網(wǎng)絡(luò)裝置的概要和來自第三網(wǎng)絡(luò)裝置的概要生成網(wǎng)絡(luò)的第一和第二部分的IP業(yè)務(wù)的概要，從而允許在第一、第二和第三網(wǎng)絡(luò)裝置之間以分布式方式聚合/表征網(wǎng)絡(luò)中的IP業(yè)務(wù)。在框520，第一網(wǎng)絡(luò)裝置將網(wǎng)絡(luò)的第一和第二部分的IP業(yè)務(wù)的概要提供給用戶，以使得用戶可以確定網(wǎng)絡(luò)中是否存在異常。
[0066]分析模塊
現(xiàn)在將論述網(wǎng)絡(luò)業(yè)務(wù)分析模塊320-324的各種實施例。本文中所論述的模塊是為了說明的目的，而不是要限制本發(fā)明。本領(lǐng)域技術(shù)人員將意識到，在不偏離本發(fā)明的更廣范圍和精神的情況下，可包含其它分析模塊以作為DPU 300的一部分。
[0067]計數(shù)業(yè)務(wù)和分布式拒絕服務(wù)(DDoS)攻擊檢測模塊
圖6A和6B分別是示出用于在集中式和分布式體系結(jié)構(gòu)中執(zhí)行計數(shù)業(yè)務(wù)/分布式拒絕服務(wù)(DDoS)攻擊檢測的偽代碼的圖。圖6A是示出根據(jù)一個實施例用于集中式體系結(jié)構(gòu)的偽代碼600的圖。例如，偽代碼600可作為計數(shù)業(yè)務(wù)/ DDoS攻擊檢測模塊320的一部分實現(xiàn)，模塊320可作為軟件、固件、硬件或其任意組合來實現(xiàn)。
[0068]在DDoS攻擊中，攻擊者通過利用多個主機滲透受害者的資源，以便針對單個受害者啟動協(xié)同攻擊。它消耗遠程主機和/或網(wǎng)絡(luò)的資源以試圖拒絕使用那些資源來使用戶合法化。通過利用現(xiàn)有軟件缺陷，它可使得遠程主機死機或性能顯著降級。
[0069]在一個實施例中，通過對在固定時間窗口向一個目的地或目的地的集合發(fā)送業(yè)務(wù)的裝置的源IP地址的相異(即，唯一)數(shù)量計數(shù)來檢測DDoS攻擊。其目的是標識從多于某個數(shù)量的相異源接收業(yè)務(wù)的目的地的集合。這透露可能的受害者集合。
[0070]如圖6A所示，偽代碼600假設(shè)，在分布式數(shù)據(jù)結(jié)構(gòu)(S卩，在Spark的術(shù)語中的彈性分布式數(shù)據(jù)集(RDD)MpTuples中加載討論中的輸入原始數(shù)據(jù)集。例如，輸入原始數(shù)據(jù)集可包含在從DPU所代表的網(wǎng)絡(luò)的這部分接收的IP業(yè)務(wù)中。每個元組為具有若干個屬性的IPPacket類型。通過執(zhí)行操作605，該模塊首先從描述IP分組的每個輸入元組提取目的地(dst)和源(src)地址的密鑰-值對。然后，通過執(zhí)行操作610，該模塊按照密鑰(S卩，dst)將所有這些對分組，以使得在所得分布式數(shù)據(jù)結(jié)構(gòu)中，每個元組具有密鑰(dst)和用于將分組發(fā)送給該dst的源的序列。再次，通過執(zhí)行操作615，對于每個dst，它對序列中有多少個唯一源進行計數(shù)。最后，通過執(zhí)行操作620，該模塊按照唯一計數(shù)將結(jié)果排序，并輸出具有最大女個數(shù)量的源的前I個目的地。
[0071]圖6B是示出根據(jù)一個實施例用于在分布式體系結(jié)構(gòu)中執(zhí)行計數(shù)業(yè)務(wù)/DDoS攻擊檢測的偽代碼601的圖。例如，偽代碼601可作為計數(shù)業(yè)務(wù)/ DDoS攻擊檢測模塊320的一部分實現(xiàn)。偽代碼601執(zhí)行與偽代碼600所執(zhí)行的操作類似的操作，不同之處在于，將偽代碼601分區(qū)，以使得它可由多個網(wǎng)絡(luò)裝置的多個DHJ以分布式方式執(zhí)行。例如，偽代碼601的片段602的操作可由低級DHJ執(zhí)行，而偽代碼601的片段603的操作可由高級DPU執(zhí)行。
[0072]在分布式體系結(jié)構(gòu)中，每個低級DPUi采取輸入原始數(shù)據(jù)集ipTuples」，并與集中式體系結(jié)構(gòu)類似地處理數(shù)據(jù)。將數(shù)據(jù)集的所得概要dstCountsj上載到高級DPU。有N個這樣的低級DPU。然后，通過執(zhí)行操作625，高級DPU聚合所接收的所有N個dstCounts」以作為它的輸入。所得分布式數(shù)據(jù)結(jié)構(gòu)包括(dst，count)的所有對，它們在每個源DPU的輸出中是唯一的，但是當(dāng)從多個源DPU聚合時關(guān)于dst則不再相異。作為操作630的一部分，如果存在多個計數(shù)值(即，源)，那么通過對于每個唯一密鑰(即，dst)應(yīng)用與“redUCeByKey(_+_)”類似的操作符，模塊計算所有這些計數(shù)值(即，源)的總和。因此，每個結(jié)果對是每個dst的唯一源的數(shù)量。最后，將前女個目的地提供給用戶，以使得用戶可以確定是否存在可能的DDoS攻擊。
[0073]現(xiàn)在將舉例說明用于執(zhí)行計數(shù)業(yè)務(wù)/DDoS攻擊檢測的分布式體系結(jié)構(gòu)。在以下示例中假設(shè)，片段602分別由網(wǎng)絡(luò)裝置230和231的DPU 250和251執(zhí)行。該示例還假設(shè)，片段603由網(wǎng)絡(luò)裝置234的DPU 254執(zhí)行。
[0074]假設(shè)，DPU250接收了原始IP數(shù)據(jù)，并且通過執(zhí)行操作605將ipTuples變換為以下值:
{DST-10, SRC-20}，{DST-1I， SRC-21}，和{DST-10, SRC-20}ο
[0075]在通過DPU 250執(zhí)行片段602之后，發(fā)送給DPU 254的dstCountsjS:
{DST-10, 2}和{DST-11, 1}，
它們指示，對于密鑰DST-10有兩個唯一源，并且對于密鑰DST-1I有一個唯一源。
[0076]假設(shè)，DPU251接收了原始IP數(shù)據(jù)，并且通過執(zhí)行操作605將ipTuples變換為以下值:
{DST-10, SRC-30},{DST-11, SRC-31}，和{DST-12, SRC-32}0
[0077]在通過DPU 251執(zhí)行片段602之后，發(fā)送給DPU 254的dstCountsjS:
{DST-10, 1}，{DST-11, 1}，和{DST-12, 8}，
它們指示，對于密鑰DST-10有一個唯一源，對于密鑰DST-1I有一個唯一源，并且對于密鑰DST-12有八個唯一源。
[0078]假設(shè)，DPU 254接收了來自DPU 250和251的dstCount_i。在執(zhí)行操作625之后，輸入包含以下值:
{DST-10, 2}，{DST-11, I},{DST-10, I},{DST-11, 1}，和{DST-12, 8}0
[0079]注意，密鑰dst不是唯一的。但是，在執(zhí)行操作630之后，DPU254將輸入縮減為以下dstCount對:
{DST-10, 3}，{DST-11, 2}，和{DST-12, 8}0
[0080]根據(jù)一個實施例，DPU254執(zhí)行操作635以便按計數(shù)的降序?qū)stCount排序，并將排序后的如下dstCount對提供給用戶:
{DST-12, 8MDST-10, 3}，和{DST-11, 2}，
它們指示，對于密鑰DST-12有8個唯一源，對于密鑰DST-10有3個唯一源，并且對于密鑰DST-1I有2個唯一源。
[0081]流大小分布判定
圖7A和7B分別是示出用于在集中式和分布式體系結(jié)構(gòu)中執(zhí)行流大小分布判定的偽代碼的圖。圖7A是示出根據(jù)一個實施例用于集中式體系結(jié)構(gòu)的偽代碼700的圖。例如，偽代碼700可作為流大小分布判定模塊321的一部分實現(xiàn)，模塊321可作為軟件、固件、硬件或其任意組合來實現(xiàn)。
[0082]知道網(wǎng)絡(luò)中的流大小的分布對于網(wǎng)絡(luò)運營商理解他們的網(wǎng)絡(luò)資源使用、表征業(yè)務(wù)需求、檢測業(yè)務(wù)異常和執(zhí)行更好的業(yè)務(wù)工程機制是有用的。例如，互聯(lián)網(wǎng)服務(wù)提供商(ISP)可利用流分布來推斷他們的網(wǎng)絡(luò)的使用。它可用于計費、定價、基礎(chǔ)設(shè)施工程、資源規(guī)劃。它還可用于推斷應(yīng)用的類型，例如有多少業(yè)務(wù)正在使用通常是長流的流播視頻，有多少業(yè)務(wù)正在使用IP語音。此外，網(wǎng)絡(luò)中的故障或性能問題可能會造成網(wǎng)絡(luò)中的流大小分布突然變化。因此，可利用流大小分布信息來作為故障檢測的另一個來源。
[0083 ]例如，給定流大小s或流大小范圍[..s2]，可計算在固定時間間隔Tft大小與s匹配或大小大于■^并且小于的流的數(shù)量。這些認知有助于了解網(wǎng)絡(luò)中的不同大小的流(例如，大象流、老鼠流等)的分布。
[0084]如圖7A所示，集中式體系結(jié)構(gòu)假設(shè)，在分布式數(shù)據(jù)結(jié)構(gòu)ipTuples中加載輸入數(shù)據(jù)集。每個元組為具有若干個屬性的IPPacket類型。對于每個元組，構(gòu)造一對流(例如，具有屬性81'0、(181:、81'0口01'1:、(18丨口01'1:和協(xié)議的流類型)和分組有效負載的大小。然后，應(yīng)用操作符reduceByKey，它對于每個唯一流計算所有有效負載大小(單位為字節(jié))的總和。結(jié)果是分布式數(shù)據(jù)結(jié)構(gòu)flowBytes，其中每個元組是具有字節(jié)大小的流。最后，可按照更粗的粒度(例如，>1GB、100KB-1GB、10KB-100KB、1KB-10KB、〈1KB)將流字節(jié)分類。此外，可輸出按照某個順序或期望的范圍分類的流。
[0085]圖7B是示出根據(jù)一個實施例用于在分布式體系結(jié)構(gòu)中執(zhí)行流大小分布判定的偽代碼701的圖。例如，偽代碼701可作為流大小分布判定模塊321的一部分實現(xiàn)。偽代碼701執(zhí)行與偽代碼700所執(zhí)行的操作類似的操作，不同之處在于，將偽代碼701分區(qū)，以使得它可由多個網(wǎng)絡(luò)裝置的多個DPU以分布式方式執(zhí)行。例如，偽代碼701的片段702的操作可由低級DHJ執(zhí)行，而偽代碼701的片段703的操作可由高級DPU執(zhí)行。
[0086]如圖7B所示，分布式體系結(jié)構(gòu)假設(shè)，存在N個低級DHJ和一個高級DPU。每個低級DPU_i與集中式版本類似地處理它的輸入數(shù)據(jù)集ipTuplesj。將輸出概要f 1wBytesj上載到高級DPU。高級DHJ在一個分布式數(shù)據(jù)結(jié)構(gòu)中聚合這N個下游概要fl0WByteS_i(i=l，2，.., N)以作為輸入。然后，它對輸入應(yīng)用reduceByKey操作符以便計算每個相異流的流字節(jié)的總和。最后，將所得f I owBy t e s分類并輸出。
[0087]現(xiàn)在將舉例說明用于執(zhí)行流大小分布判定的分布式體系結(jié)構(gòu)。在以下示例中假設(shè)，片段702分別由網(wǎng)絡(luò)裝置230和231的DPU 250和251執(zhí)行。該示例還假設(shè)，片段703由網(wǎng)絡(luò)裝置234的DPU 254執(zhí)行。
[0088]假設(shè)，DPU250接收了原始IP數(shù)據(jù)，并在執(zhí)行映射操作之后將ipTuples變換為以下值:
{FL0W-10, 100}，{FL0W-20, 200}，和{FL0W-10， 500}。
[0089]在DPU250執(zhí)行隨后的reduceByKey操作之后，發(fā)送給DPU 254的flowBytes_iS: {FL0W-10, 600}和{FL0W-20, 200}，
它們指示，在由網(wǎng)絡(luò)裝置230和DPU 250監(jiān)測的網(wǎng)絡(luò)的這部分中，存在兩個相異流，一個流由密鑰FL0W-10標識，另一個流由密鑰FL0W-20標識，它們分別占了600字節(jié)和200字節(jié)業(yè)務(wù)。
[0090]假設(shè)，DPU251接收了原始IP數(shù)據(jù)，并且在執(zhí)行映射操作之后將ipTuples變換為以下值:
{FL0W-10, 300}，{FL0W-30, 100}，和{FL0W-30， 150}。
[0091 ]在DPU 252執(zhí)行隨后的reduceByKey操作之后，發(fā)送給DPU 254的flowBytes_iS: {FL0W-10, 300}和{FL0W-30, 250}，
它們指示，在由網(wǎng)絡(luò)裝置231和DPU 251監(jiān)測的網(wǎng)絡(luò)的這部分中，存在兩個相異流，一個流由密鑰FL0W-10標識，另一個流由密鑰FL0W-30標識，它們分別占了 300字節(jié)和250字節(jié)。
[0092]假設(shè)，DPU 254接收了來自DPU 250和251的fIwoBytesj。在執(zhí)行代碼片段703中的合并操作之后，輸入包含以下值:
{FLOff-lO, 600},{FL0ff-20, 200}，{FL0W-10， 300}，和{FL0W-30， 250}。
[0093]注意，這些流密鑰不是唯一的。但是，在執(zhí)行片段703中的隨后的reduceByKey操作之后，DPU 254將輸入縮減為以下f1wBytes對:
{FLOff-lO, 900},{FL0ff-20, 200}，和{FL0W-30， 250}。
[0094]然后，DPU254將根據(jù)某個選擇準則輸出那些對。例如，如果用戶想要看到大小大于512字節(jié)的流，那么將只示出FL0W-10。
[0095]層級大流量對象檢測
圖8A和SB分別是示出用于在集中式和分布式體系結(jié)構(gòu)中執(zhí)行層級大流量對象(HHH，hierarchical heavy hitter)檢測的偽代碼的圖。圖8A是示出根據(jù)一個實施例用于集中式體系結(jié)構(gòu)的偽代碼800的圖。例如，偽代碼800可作為HHH檢測模塊322的一部分實現(xiàn)，模塊322可作為軟件、固件、硬件或其任意組合實現(xiàn)。
[0096]幾乎實時地檢測高容量業(yè)務(wù)集群在諸如流量監(jiān)測、記賬和網(wǎng)絡(luò)異常檢測的各種網(wǎng)絡(luò)管理任務(wù)中都是重要的。大流量對象通常具層級性，這意味著可在IP地址的不同聚合級處對它進行定義。它也可以是多維的，因為可從諸如IP地址、端口號和協(xié)議的不同IP報頭字段的組合定義大流量對象檢測。利用單個服務(wù)器檢查聚合體的所有可能組合以便檢測所有大流量對象是具有挑戰(zhàn)性的，因為計算和存儲資源存在限制。
[0097]如本文中所使用，大流量對象是占鏈路集合中的總測量業(yè)務(wù)的至少女比例的流集合，它們可以用分組、字節(jié)、連接等度量。大流量對象可以是個別流或連接、或多個流/連接的聚合。聚合體中的每個流本身不一定是大流量對象。可在諸如IP流的源IP地址、目的地IP地址、源端口、目的地端口和協(xié)議字段的一個或多個維度上定義聚合。
[0098]層級大流量對象(HHH)定義為是在排除任何HHH子代之后貢獻大量業(yè)務(wù)(例如，鏈路容量的至少I分數(shù)或所有網(wǎng)絡(luò)業(yè)務(wù)的I分數(shù))的最長IP前綴。
[0099]HHH問題的簡單的解決方案是在單個機器中在樹中的所有葉節(jié)點的業(yè)務(wù)計數(shù)上運行離線算法。但是，這種方法緩慢并且對于大業(yè)務(wù)大小不可擴縮。
[0100]如圖8A所示，集中式體系結(jié)構(gòu)假設(shè)，在分布式數(shù)據(jù)結(jié)構(gòu)ipTuples中加載輸入數(shù)據(jù)集。為簡單起見，只考慮每個分組的src和dst地址。假設(shè)，函數(shù)dissect(src, dst)產(chǎn)生src和dst IP地址的前綴的層級組合的集合。例如，對于一對IPv4地址，有16種組合。然后，對于每個所得對，生成有效負載字節(jié)的數(shù)量(Ien)并將對和數(shù)量存儲在分布式數(shù)據(jù)結(jié)構(gòu)hhh中。f IatMap操作符簡單地在一個數(shù)據(jù)結(jié)構(gòu)hhh中組合所有所得對。接著，應(yīng)用操作符reduceByKey來計算每個地址前綴對的有效負載字節(jié)的數(shù)量的總和，由此表示一個潛在的大流量對象。最后，通過例如按大小將這些對排序、以便排除不重要的子代來輸出具有某種進一步變換的hhh。
[0101]圖SB是示出根據(jù)一個實施例用于在分布式體系結(jié)構(gòu)中執(zhí)行HHH檢測的偽代碼801的圖。例如，偽代碼801可作為HHH檢測模塊322的一部分實現(xiàn)。偽代碼801執(zhí)行與偽代碼800所執(zhí)行的操作類似的操作，不同之處在于，將偽代碼801分區(qū)，以使得它可由多個網(wǎng)絡(luò)裝置的多個DPU以分布式方式執(zhí)行。例如，偽代碼801的片段802的操作可由低級DPU執(zhí)行，而偽代碼801的片段803的操作可由高級DPU執(zhí)行。
[0102]如圖8B所示，分布式體系結(jié)構(gòu)假設(shè)，存在N個低級DHJ和一個高級DPU。每個低級DPU_i與集中式版本中類似地處理它的輸入數(shù)據(jù)集ipTup les_i。在高級DPU處聚合所得hhh_i，由此簡單地應(yīng)用操作符reduceByKey來計算每個相異地址對的有效負載大小的總和。最后，如同集中式版本中一樣，在某種進一步變換之后，輸出所得hhh。
[0103]現(xiàn)在將舉例說明用于執(zhí)行HHH檢測的分布式體系結(jié)構(gòu)。在以下示例中假設(shè)，片段802分別由網(wǎng)絡(luò)裝置230和231的DPU 250和251執(zhí)行。該示例還假設(shè)，片段803由網(wǎng)絡(luò)裝置234的DPU 254執(zhí)行。
[0104]假設(shè)，DPU250接收了原始IP數(shù)據(jù)，并且ipTuples包含以下值(為簡潔起見，每個元組中只有字段src、dst和len，而省略了其它字段):
{(1.2.3.4.5.6.7.8, 100)}。
[0105]調(diào)用函數(shù)dissect(1.2.3.4.5.6.7.8)得到IP地址前綴對的以下16種組合:
{(1.2.3.4, 5.6.7.8), (1.2.3.4, 5.6.7), (1.2.3.4, 5.6), (1.2.3.4, 5)，(1.2.3, 5.6.7.8), (1.2.3, 5.6.7), (1.2.3, 5.6), (1.2.3, 5)，(1.2, 5.6.7.8),(1.2, 5.6.7), (1.2, 5.6), (1.2, 5)， (I, 5.6.7.8), (I, 5.6.7), (I, 5.6), (I,5)}。
[0106]相應(yīng)地，隨后的映射操作得到以下16個元組，它們將有效負載大小100關(guān)聯(lián)到每一對src和dst前綴:
{((1.2.3.4, 5.6.7.8), 100)，((1.2.3.4, 5.6.7), 100)，((1.2.3.4, 5.6),100)， ((1.2.3.4, 5)， 100)， ((1.2.3, 5.6.7.8), 100)， ((1.2.3, 5.6.7), 100)，((1.2.3, 5.6), 100)， ((1.2.3, 5)， 100)， ((1.2, 5.6.7.8), 100)， ((1.2, 5.6.7),100)，((1.2, 5.6), 100)，((1.2, 5)，100)，((I, 5.6.7.8), 100)，((I, 5.6.7),100)， ((I, 5.6), 100)， ((I, 5)， 100)}。
[0107]對以上集合應(yīng)用操作flatMap將產(chǎn)生相同集合，因為在該簡單示例中只有一個輸入集合。如果有兩個或兩個以上集合，那么flatMap結(jié)果將是所有那些集合的并集。注意，這里，密鑰是(src, dst)前綴對。由于每個密鑰都是唯一的，所以在應(yīng)用操作reduceByKey之后，所得集合hhh_i也與以上集合相同。然后，將該集合發(fā)送到DPU 254。
[0108]假設(shè)DPU251接收了原始IP數(shù)據(jù)，并且ipTuples包含以下值(為簡潔起見，每個元組中只有字段src、dst和len，而省略了其它字段):
{(1.2.3.4.5.6.7.8, 300)}。
[0109]與上文類似，在應(yīng)用flatMap和reduceByKey操作之后，所得hhh_i集合包含以下16個密鑰-值對:
{((1.2.3.5, 5.6.7.8), 300)，((1.2.3.5, 5.6.7), 300)，((1.2.3.5, 5.6),300)， ((1.2.3.5, 5)， 300), ((1.2.3, 5.6.7.8), 300), ((1.2.3, 5.6.7), 300)，((1.2.3, 5.6), 300)， ((1.2.3, 5)， 300)， ((1.2, 5.6.7.8), 300)， ((1.2, 5.6.7),300)，((1.2, 5.6), 300)，((1.2, 5)，300)，((I, 5.6.7.8), 300)，((I, 5.6.7),300)， ((I, 5.6), 300), ((I, 5)， 300)}。
[0110]在將以上兩個hhh_i集合發(fā)送到DPU254之后，應(yīng)用代碼片段803中的合并操作將得到這兩個集合的并集。
[0?11 ]然后，通過應(yīng)用片段803中的操作reduceByKey，將生成如下所得集合hhh，它計算具有相同密鑰的對中的大小的總和:
{((1.2.3.4, 5.6.7.8), 100)，((1.2.3.4, 5.6.7), 100)，((1.2.3.4, 5.6),100)， ((1.2.3.4, 5)， 100)， ((1.2.3.5, 5.6.7.8), 300)， ((1.2.3.5, 5.6.7),300)， ((1.2.3.5, 5.6), 300), ((1.2.3.5, 5)， 300), ((1.2.3, 5.6.7.8), 400)，((1.2.3, 5.6.7) , 400)，((1.2.3, 5.6), 400)，((1.2.3, 5)，400)，((1.2,
5.6.7.8),400)， ((1.2, 5.6.7), 400)， ((1.2, 5.6), 400)， ((1.2, 5)， 400)， ((I,
5.6.7.8),400)， ((I, 5.6.7), 400)， ((I, 5.6), 400)， ((I, 5)， 400)}。
[0112]在最終輸出中，在清除地址前綴組合中的不重要的子代之后，將以更簡明且有意義的方式將以上集合呈現(xiàn)給用戶。一個可能的輸出是{((1.2.3.4，5.6.7.8), 400)}，它指示域1.2.3中的源地址一共將400個字節(jié)的數(shù)據(jù)發(fā)送到目的地地址5.6.7.8。因此，IP域
1.2.3是潛在的大流量對象。
[0113]超級傳播者檢測/蠕蟲檢測
圖9A和9B分別是示出用于在集中式和分布式體系結(jié)構(gòu)中執(zhí)行超級傳播者/蠕蟲檢測的偽代碼的圖。圖9A是示出根據(jù)一個實施例用于集中式體系結(jié)構(gòu)的偽代碼900的圖。例如，偽代碼900可作為超級傳播者檢測模塊323的一部分實現(xiàn)。圖9B是示出根據(jù)一個實施例用于分布式體系結(jié)構(gòu)的偽代碼901的圖。例如，偽代碼901可作為超級傳播者檢測模塊323的一部分實現(xiàn)。偽代碼901執(zhí)行與偽代碼900所執(zhí)行的操作類似的操作，不同之處在于，將偽代碼901分區(qū)，以使得它可由多個網(wǎng)絡(luò)裝置的多個DPU以分布式方式執(zhí)行。例如，偽代碼901的片段902的操作可由低級DPU執(zhí)行，而偽代碼901的片段903的操作可由高級DPU執(zhí)行。
[0114]諸如DDoS攻擊和蠕蟲攻擊的互聯(lián)網(wǎng)攻擊的嚴重程度日益增加。網(wǎng)絡(luò)安全監(jiān)測可在防御和抑制這種大規(guī)?；ヂ?lián)網(wǎng)攻擊中起著重要的作用。它可用于標識被攻擊的行為不當(dāng)?shù)闹鳈C或受害者，并且可用于開發(fā)合適的過濾器以便自動阻斷攻擊業(yè)務(wù)。例如，執(zhí)行快速掃描以便傳播蠕蟲的被入侵主機通常在短時間內(nèi)形成到不同目的地的不尋常的大量連接。標識的潛在攻擊者可用于觸發(fā)網(wǎng)絡(luò)日志系統(tǒng)以便記錄攻擊者業(yè)務(wù)以進行攻擊的詳細的實時和事后分析，并且還可用于幫助開發(fā)實時阻斷隨后的攻擊業(yè)務(wù)的過濾器。
[0115]在進行快速掃描以便實現(xiàn)蠕蟲傳播的期間，被入侵的主機可能會試圖連接到大量不同主機以便傳播蠕蟲。如果主機A在固定時間間隔謂月間將業(yè)務(wù)發(fā)送到多于女個唯一目的地，那么將主機A定義為是超級傳播者。到^力對于算法是可配置參數(shù)。如果在時間窗口內(nèi)源形成到相同目的地的多個連接或?qū)⒍鄠€分組發(fā)送到相同目的地，那么該源-目的地連接只計一次。這是因為，存在合法通信模式，其中在諸如網(wǎng)頁下載的時間窗口內(nèi)，源形成到相同目的地的數(shù)次連接。
[0116]通過實時標識在短時間內(nèi)形成不尋常的大量不同連接的任何源IP地址，網(wǎng)絡(luò)監(jiān)測節(jié)點可標識可能是超級傳播者的主機，并且可采取合適的措施。檢測超級傳播者對于停止蠕蟲傳播很重要。因此，早期檢測它們至關(guān)重要。在一個實施例中，給定分組序列，我們想要設(shè)計實時標識在時間窗口內(nèi)哪些源IP地址接觸了大量不同主機的有效監(jiān)測機制。這在高速監(jiān)測節(jié)點上是很大的難題，因為每分鐘可能有數(shù)百萬的合法流通過，并且攻擊業(yè)務(wù)可能只是極小的一部分。
[0117]分別如圖9A和9B所示用于執(zhí)行超級傳播者和蠕蟲檢測的集中式和分布式體系結(jié)構(gòu)與計數(shù)業(yè)務(wù)/DDoS檢測模塊320的相應(yīng)體系結(jié)構(gòu)類似。差別在于，在模塊323中，利用源IP地址(sr c )而不是目的地IP地址(ds t)作為密鑰。
[0118]業(yè)務(wù)流變化檢測
圖1OA和1B分別是示出用于在集中式和分布式體系結(jié)構(gòu)中執(zhí)行業(yè)務(wù)流變化檢測的偽代碼的圖。圖1OA是示出根據(jù)一個實施例用于集中式體系結(jié)構(gòu)的偽代碼1000的圖。例如，偽代碼1000可作為業(yè)務(wù)流變化檢測模塊324的一部分實現(xiàn)。圖1OB是示出根據(jù)一個實施例用于分布式體系結(jié)構(gòu)的偽代碼1001的圖。例如，偽代碼1001可作為業(yè)務(wù)流變化檢測模塊324的一部分實現(xiàn)。偽代碼1001執(zhí)行與偽代碼1000所執(zhí)行的操作類似的操作，不同之處在于，將偽代碼1001分區(qū)，以使得它可由多個網(wǎng)絡(luò)裝置的多個DPU以分布式方式執(zhí)行。例如，偽代碼1001的片段1002的操作可由低級DPU執(zhí)行，而偽代碼1001的片段1003的操作可由高級DPU執(zhí)行。
[0119]各種攻擊的檢測通常將業(yè)務(wù)看作是流的合集，并在業(yè)務(wù)模式和量方面尋找重大變化。給定現(xiàn)今的業(yè)務(wù)量和鏈路速度，檢測方法必須能夠處理潛在數(shù)百萬或更多的同步網(wǎng)絡(luò)流。
[0120]根據(jù)業(yè)務(wù)變化檢測模塊324的一個實施例，該模塊將數(shù)據(jù)項的序列分解成兩個時間上相鄰的窗口。我們感興趣的是在第一窗口相對于第二窗口采取的信號大小顯著不同的密鑰。該模塊通過基于過去的業(yè)務(wù)歷史導(dǎo)出正常行為的模型并查找不符合該模型的大約數(shù)分鐘到數(shù)小時的短期行為的顯著變化來檢測業(yè)務(wù)異常。
[0121]如圖1OA所示，該模塊按照相同時間間隔長度(例如，10分鐘)的時間窗口將輸入數(shù)據(jù)集分區(qū)。在RDD中加載每個時間窗口的數(shù)據(jù)。對于任意兩個連續(xù)時間窗口 ipTuples(k)和ipTuples (k+Ι )，調(diào)用(與上述用于判定流大小分布的算法類似的)算法來計算流字節(jié)，分別得到flowBytes(k)和flowBytes(k+l)。然后，通過flowChanges(k, k+1) = flowBytes(k+I )-f 1wBytes (k)計算delta。計算與集合差類似:對于出現(xiàn)在f 1wBytes (k+1)中但沒有出現(xiàn)在f 1wBytes(k)中的每個新流，字節(jié)為正；對于出現(xiàn)在f 1wBytes(k)中但沒有出現(xiàn)在fl0WBytes(k+l)中的每個流，字節(jié)為負;對于出現(xiàn)在兩者中的每個流，字節(jié)差可為正、負或零。最后，該模塊按照某個準則、例如按照絕對變化量的降序輸出感興趣的那些變化。
[0122]如圖1OB所示，由于flowBytes和flowChanges的計算是交換式的，所以它可與上文所述的其它四類分析(模塊320-323)類似地實現(xiàn)。低級DPU將計算的f 1wChanges上載到高級DPU，而高級DPU接著聚合所有N個;flowChanges，并應(yīng)用reduceByKey操作符。
[0123]現(xiàn)在將舉例說明用于執(zhí)行業(yè)務(wù)流變化檢測的分布式體系結(jié)構(gòu)。在以下示例中假設(shè)，片段1002分別由網(wǎng)絡(luò)裝置230和231的DPU 250和251執(zhí)行。該示例還假設(shè)，片段1003由網(wǎng)絡(luò)裝置234的DPU 254執(zhí)行。
[0124]假設(shè)，DPU250在時間窗口k中接收了原始IP數(shù)據(jù)，并將ipTupleS_250(k)變換為具有以下值的flowBytes(k):
{(FLOff-lO, 600)，(FL0W-20, 200)}。
[0125]假設(shè)，DPU 250在下一個時間窗口k+1中接收了原始IP數(shù)據(jù)，并將ipTuples_250(k+I)變換為具有以下值的flowBytes(k+l):
{(FLOff-lO, 300)，(FL0W-30， 250)}。
[0126]在時間窗口k+1結(jié)束時，DPU 250計算具有以下值的差flowChanges_250(k+l，k)=flowBytes(k+l) - flowBytes(k):
{(FLOff-lO, -300)，(FL0W-20， -200),(FL0W-30, 250)},
其中，與上一個時間窗口相比，F(xiàn)L0W-10的大小減小300字節(jié)，F(xiàn)L0W-20的大小減小200字節(jié)，而FL0W-30的大小增加250字節(jié)。
[0127]假設(shè)，DPU251在時間窗口k中接收了原始IP數(shù)據(jù)，并將ipTupleS_251(k)變換為具有以下值的flowBytes(k):
{(FLOff-lO, 200)， (FL0W-20, 100)}。
[0128]假設(shè)，DPU 251在下一個時間窗口k+1中接收了原始IP數(shù)據(jù)，并將ipTuples_251(k+I)變換為具有以下值的flowBytes(k+l):
{(FL0W-20, 600), (FL0W-40, 200)}。
[0129]在時間窗口k+1結(jié)束時，DPU 251計算具有以下值的差flowChanges_251(k+l)=flowBytes(k+l) - flowBytes(k):
{(FLOff-lO, -200)， (FL0W-20, 500)， (FL0W-40, 200)}，
其中，與上一個時間窗口相比，F(xiàn)L0W-10的大小減小200字節(jié)，F(xiàn)L0W-20的大小增加500字節(jié)，并且FL0W-40的大小增加200字節(jié)。
[0130]將以上兩個流變化flowChanges_250和flowChanges_251分別從DPU 250和DPU251發(fā)送到DPU 254 JPU 254聚合這兩個輸入數(shù)據(jù)集，并且并集輸入包括以下值:
{(FLOff-lO, -300), (FL0W-20, -200), (FL0W-30, 250)， (FLOff-lO, -200)，(FL0W-20, 500), (FL0W-40, 200)}。
[0131 ] 然后，DPU 254對輸入應(yīng)用操作reduceByKey，由此得到如下聚合的flowChanges(k, k+1):
{(FLOff-lO, -500)， (FL0W-20, 300)， (FL0W-30, 250)， (FL0W-40, 200)}。
[0132]最后，DPU 254根據(jù)某個用戶定義的準則輸出這些流變化。例如，按照絕對值的前4個流變化將是降序的？1/)胃-10小11)￥-20小11)￥-30和?11)￥-40。[ΟΙ33]圖11是不出在將上述每個分析映射到DPU的分布式網(wǎng)絡(luò)時的一般設(shè)計模式的框圖。當(dāng)利用某種大數(shù)據(jù)技術(shù)(例如，Spark/BDAS)時，每個分析的實現(xiàn)在商用計算機的集群上變得非常簡便。集中式體系結(jié)構(gòu)在不同分析之間非常類似:加載輸入數(shù)據(jù)集;應(yīng)用用戶定義的映射和縮減函數(shù)，它們分別從輸入數(shù)據(jù)集提取密鑰-值對并對每個密鑰聚合這些值;然后將結(jié)果輸出到用戶或存儲系統(tǒng)。對于每種類型的分析，差別主要在于用戶定義的映射、縮減和輸出函數(shù)中。在每種情況的分布式體系結(jié)構(gòu)中，低級DHJ的代碼與它的集中式版本幾乎相同，不同之處在于，通過將結(jié)果上載到更高級DPU來取代結(jié)果輸出。此外，在每種情況的分布式體系結(jié)構(gòu)中，高級DHJ的代碼也幾乎相同:它聚合來自所有較低級DPU的中間結(jié)果，并應(yīng)用操作符reduceByKey來計算每個不同密鑰的對應(yīng)計數(shù)(例如，流id)的總和。此外，在每種情況的分布式體系結(jié)構(gòu)中，較高級DPU可容易地用多于兩級(它作為示例給出)的更多級擴展。下一級DPU只是通過聚合來自它的較低級DPU的中間結(jié)果、應(yīng)用操作符reduceByKey、然后將結(jié)果上載到另一個更高級的DPU來以相同方式工作。在最高級，除了聚合和縮減較低級結(jié)果之外，最終結(jié)果的輸出正好與集中式體系結(jié)構(gòu)中相同，例如按照密鑰將結(jié)果排序，或者按照值范圍或閾值選擇結(jié)果。
[0134]以上模式對可擴縮網(wǎng)絡(luò)業(yè)務(wù)分析的全局范圍的平臺的設(shè)計具有以下含義。利用用戶定義的映射、縮減和輸出函數(shù)，如同其它領(lǐng)域中的當(dāng)前大數(shù)據(jù)分析那樣在一個集中式數(shù)據(jù)中心或少數(shù)幾個數(shù)據(jù)中心中快速地實現(xiàn)一定范圍的網(wǎng)絡(luò)業(yè)務(wù)分析是可能的。此外，在網(wǎng)絡(luò)裝置的網(wǎng)絡(luò)上快速地重新實現(xiàn)這些網(wǎng)絡(luò)業(yè)務(wù)分析并將它們部署到這樣的數(shù)據(jù)處理網(wǎng)絡(luò)上也是可能的。在數(shù)據(jù)源附近處理原始數(shù)據(jù)，并且只將數(shù)據(jù)的概要上載到上級DPU。該實現(xiàn)具有高得多的帶寬效率和快得多的響應(yīng)。此外，將遵循以上模式的網(wǎng)絡(luò)業(yè)務(wù)分析從集中式(或體系結(jié)構(gòu)不可知的)體系結(jié)構(gòu)自動轉(zhuǎn)化為分布式體系結(jié)構(gòu)也是可能的。以此方式，取決于諸如數(shù)據(jù)大小、資源的可用性、網(wǎng)絡(luò)鏈路質(zhì)量、成本和對等待時間的要求的因素，可在一定范圍的體系結(jié)構(gòu)選項上自動執(zhí)行分析。那些選項包括:增加任意級DPU，調(diào)整DPU的數(shù)量和位置，改變DPU之間的連接。
[0135]圖12是示出可與本發(fā)明的一個實施例一起使用的數(shù)據(jù)處理系統(tǒng)的示例的框圖。例如，系統(tǒng)1200可代表用于執(zhí)行上文所描述的任何過程或方法的上述任何數(shù)據(jù)處理系統(tǒng)。系統(tǒng)1200可代表桌面型計算機、膝上型計算機、平板電腦、服務(wù)器、移動電話、媒體播放器、個人數(shù)字助理(PDA)、個人通信器、游戲裝置、網(wǎng)絡(luò)路由器或集線器、無線接入點(AP)或中繼器、機頂盒、或其組合。
[0136]參考圖12，在一個實施例中，系統(tǒng)1200包括處理器1201和外圍接口 1202，外圍接口1202在本文中又稱為芯片組，它經(jīng)由總線或互連將包括存儲器1203和裝置1205-1208在內(nèi)的各種組件耦合到處理器1201。處理器1201可代表其中包含單個處理器核或多個處理器核的單個處理器或多個處理器。處理器1201可代表一個或多個通用處理器，例如微處理器、中央處理單元(CPU)等。更具體來說，處理器1201可以是復(fù)雜指令集計算(CISC)微處理器、精簡指令集計算(RISC)微處理器、超長指令字(VLIW)微處理器、或?qū)崿F(xiàn)其它指令集的處理器、或?qū)崿F(xiàn)指令集的組合的處理器。處理器1201也可以是一個或多個專用處理器，例如專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、數(shù)字信號處理器(DSP)、網(wǎng)絡(luò)處理器、圖形處理器、網(wǎng)絡(luò)處理器、通信處理器、密碼處理器、協(xié)處理器、嵌入式處理器、或能夠處理指令的任何其它類型的邏輯。處理器1201配置成執(zhí)行指令以便執(zhí)行本文中所論述的操作和步驟。
[0137]外圍接口 1202可包括存儲器控制器集線器(MCH)和輸入輸出控制器集線器(ICH)。外圍接口 1202可包括與存儲器1203通信的存儲器控制器(未示出)。外圍接口 1202還可包括與圖形子系統(tǒng)1204通信的圖形接口，圖形子系統(tǒng)1204可包括顯示器控制器和/或顯示裝置。外圍接口 1202可經(jīng)由加速圖形端口(AGP)、外圍組件互連(PCI)express總線或其它類型的互連與圖形裝置1204通信。
[0138]MCH有時稱為北橋，而ICH有時稱為南橋。如本文中所使用，術(shù)語MCH、ICH、北橋和南橋旨在廣泛地解釋為涵蓋功能包括向處理器傳遞中斷信號的各種芯片。在一些實施例中，MCH可與處理器1201集成。在這種配置中，外圍接口 1202作為執(zhí)行MCH和ICH的一些功能的接口芯片操作。此外，圖形加速器可集成在MCH或處理器1201內(nèi)。
[0139]存儲器1203可包括一個或多個易失性存儲(或存儲器)裝置，例如隨機存取存儲器(RAM)、動態(tài)RAM(DRAM)、同步DRAM(SDRAM)、靜態(tài)RAM(SRAM)或其它類型的存儲裝置。存儲器1203可存儲包括由處理器1201或任何其它裝置執(zhí)行的指令序列的信息。例如，可在存儲器1203中加載并由處理器1201執(zhí)行各種操作系統(tǒng)、裝置驅(qū)動器、固件(例如，輸入輸出基本系統(tǒng)或B1S)和/或應(yīng)用的可執(zhí)行代碼和/或數(shù)據(jù)。操作系統(tǒng)可以是任何種類的操作系統(tǒng)，例如Microsoft ? 的 Windows ? 操作系統(tǒng)、Apple 的Mac 0S?/i0S?、Google? 的 Andro id ?、Linux?、Unix?、或諸如VxWorks的其它實時或嵌入式操作系統(tǒng)。
[0140]外圍接口1202可提供到諸如包括無線收發(fā)器1205、輸入裝置1206、音頻10裝置1207和其它10裝置1208的裝置1205-1208的10裝置的接口。無線收發(fā)器1205可以是WiFi收發(fā)器、紅外收發(fā)器、藍牙收發(fā)器、WiMax收發(fā)器、無線蜂窩電話收發(fā)器、衛(wèi)星收發(fā)器(例如，全球定位系統(tǒng)(GPS)收發(fā)器)或其組合。輸入裝置1206可包括鼠標、觸摸板、觸敏屏(它可與顯示裝置1204集成)、諸如觸筆的指向裝置、和/或鍵盤(例如，物理鍵盤或作為觸敏屏的一部分顯示的虛擬鍵盤)。例如，輸入裝置1206可包括耦合到觸摸屏的觸摸屏控制器。觸摸屏和觸摸屏控制器可例如利用多個觸敏技術(shù)(包括但不限于電容式、電阻式、紅外和聲表面波技術(shù))以及其它接近傳感器陣列或用于確定與觸摸屏的一個或多個接觸點的其它元件中的任一個檢測其接觸和移動或間歇。
[0141]音頻101207可包括揚聲器和/或麥克風(fēng)以便于語音啟用的功能，例如語音識別、語音復(fù)制、數(shù)字記錄和/或電話功能。其它可選裝置1208可包括存儲裝置(例如，硬盤驅(qū)動器、閃速存儲器裝置)、通用串行總線(USB)端口、并行端口、串行端口、打印機、網(wǎng)絡(luò)接口、總線橋接器(例如，PC1-PCI橋接器)、傳感器(例如，運動傳感器、光傳感器、接近傳感器等)或其組合?？蛇x裝置1208還可包括成像處理子系統(tǒng)(例如，相機)，它用于促進相機功能(例如，記錄照片和視頻剪輯)，它可包括光學(xué)傳感器，例如電荷耦合裝置(CCD)或互補金屬-氧化物半導(dǎo)體(CMOS)光學(xué)傳感器。
[0142]注意，盡管圖12示出數(shù)據(jù)處理系統(tǒng)的各種組件，但是它不是要代表互連這些組件的任何特定體系結(jié)構(gòu)或方式;因為這些細節(jié)與本發(fā)明的實施例無密切關(guān)系。還將明白，具有更少組件或可能更多組件的網(wǎng)絡(luò)計算機、手持式計算機、移動電話和其它數(shù)據(jù)處理系統(tǒng)也可與本發(fā)明的實施例一起使用。
[0143]上文用計算機存儲器內(nèi)的數(shù)據(jù)位上的事務(wù)的算法和符號表示介紹了以上詳細描述的一些部分。這些算法描述和表示是數(shù)據(jù)處理領(lǐng)域中的技術(shù)人員用來向本領(lǐng)域中的其它技術(shù)人員最有效地傳達他們的工作實質(zhì)的方式。算法在這里一般視為是導(dǎo)致期望結(jié)果的事務(wù)的獨立序列。這些事務(wù)是需要物理操縱物理量的事務(wù)。通常但不一定，這些量采用能夠存儲、傳送、組合、比較以及以其它方式進行操縱的電或磁信號的形式。主要出于常用的原因，有時將這些信號稱為位、值、元素、符號、字符、項、數(shù)字等經(jīng)證實是便利的。
[0144]但是，應(yīng)記住，所有這些和類似術(shù)語都將與合適的物理量相關(guān)聯(lián)，并且它們只是應(yīng)用于這些量的便利標記。除非另外特別指出，否則從以上論述顯而易見，將明白，在本描述中，利用諸如“處理”、或“計算”、或“演算”、或“確定”、或“顯示”等術(shù)語的論述是指操縱表示為計算機系統(tǒng)的寄存器和存儲器內(nèi)的物理(如電子)量的數(shù)據(jù)并將這些數(shù)據(jù)變換為類似地表示為計算機系統(tǒng)的存儲器、或寄存器或其它這樣的信息存儲、傳輸或顯示裝置內(nèi)的物理量的其它數(shù)據(jù)的計算機系統(tǒng)或類似電子計算裝置的動作和過程。
[0145]本文中介紹的算法和顯示并非與任何特定計算機或其它設(shè)備固有地相關(guān)。各種通用系統(tǒng)可與根據(jù)本文中的教導(dǎo)的程序一起使用，或者構(gòu)造更專門的設(shè)備來執(zhí)行所需方法事務(wù)可證實是便利的。各種這些系統(tǒng)的所需結(jié)構(gòu)將從以上描述顯而易見。另外，沒有參考任何特定編程語言來描述本發(fā)明的實施例。將明白，可使用各種編程語言來實現(xiàn)本文中所描述的本發(fā)明的實施例的教導(dǎo)。
[0146]在以上說明書中，參考本發(fā)明的特定示例性實施例描述了本發(fā)明的實施例。將顯而易見，在不偏離隨附權(quán)利要求所述的本發(fā)明的更廣精神和范圍的情況下，可對其進行各種修改。因此，說明書和附圖應(yīng)視為是說明性意義而不是限制性意義。
[0147]在整篇描述中，通過流程圖介紹了本發(fā)明的實施例。將明白，這些流程圖中所描述的事務(wù)順序和事務(wù)只是為了說明的目的，而不是要限制本發(fā)明。本領(lǐng)域技術(shù)人員將意識到，在不偏離隨附權(quán)利要求所述的本發(fā)明的更廣精神和范圍的情況下，可對這些流程圖進行各種改變。
【主權(quán)項】
1.一種在網(wǎng)絡(luò)中的第一網(wǎng)絡(luò)裝置(230)中的方法，所述網(wǎng)絡(luò)包括通信地耦合到第三網(wǎng)絡(luò)裝置(234)的所述第一網(wǎng)絡(luò)裝置(230)和第二網(wǎng)絡(luò)裝置(231)，所述方法用于通過利用大數(shù)據(jù)工具(310)以分布式方式聚合所述網(wǎng)絡(luò)中的互聯(lián)網(wǎng)協(xié)議(IP)業(yè)務(wù)，所述方法包括: 接收只來自所述網(wǎng)絡(luò)的第一部分(210)的IP業(yè)務(wù)，其中來自所述網(wǎng)絡(luò)的第二部分(211)的IP業(yè)務(wù)由所述第二網(wǎng)絡(luò)裝置(231)接收； 利用大數(shù)據(jù)工具(310)生成來自所述網(wǎng)絡(luò)的所述第一部分的IP業(yè)務(wù)的概要，其中來自所述網(wǎng)絡(luò)的第二部分的IP業(yè)務(wù)的概要由所述第二網(wǎng)絡(luò)裝置利用它的本地大數(shù)據(jù)工具生成； 將所述網(wǎng)絡(luò)的所述第一部分的IP業(yè)務(wù)的概要發(fā)送到所述第三網(wǎng)絡(luò)裝置(234)，使得所述第三網(wǎng)絡(luò)裝置利用它的本地大數(shù)據(jù)工具(310)基于來自所述第一網(wǎng)絡(luò)裝置的概要和來自所述第二網(wǎng)絡(luò)裝置的概要生成所述網(wǎng)絡(luò)的所述第一和第二部分的IP業(yè)務(wù)的概要，從而允許在所述第一、第二和第三網(wǎng)絡(luò)裝置之間以分布式方式聚合所述網(wǎng)絡(luò)中的IP業(yè)務(wù)。2.如權(quán)利要求1所述的方法，其中生成來自所述網(wǎng)絡(luò)的所述第一部分的IP業(yè)務(wù)的概要包括: 對于所述IP業(yè)務(wù)的每個IP數(shù)據(jù)，從所述接收的IP數(shù)據(jù)存取字段集合； 基于來自所述字段集合的一個或多個字段確定密鑰字段；以及 基于來自所述字段集合的一個或多個字段確定值字段。3.如權(quán)利要求2所述的方法，其中生成來自所述網(wǎng)絡(luò)的所述第一部分的IP業(yè)務(wù)的概要還包括: 基于所述密鑰字段將所述字段集合分區(qū)成多個群組，以使得每個群組包括唯一密鑰字段和來自具有相同密鑰字段的一個或多個IP數(shù)據(jù)的一個或多個值字段。4.如權(quán)利要求3所述的方法，其中生成來自所述網(wǎng)絡(luò)的所述第一部分的IP業(yè)務(wù)的概要還包括: 對于每個群組，聚合所述值字段以便生成聚合值，其中所述聚合值指示由所述對應(yīng)密鑰字段的所述值字段指示的多個唯一值。5.如權(quán)利要求3所述的方法，其中生成來自所述網(wǎng)絡(luò)的所述第一部分的IP業(yè)務(wù)的概要還包括: 對于每個群組，聚合所述值字段以便生成聚合值，其中所述聚合值指示由所述對應(yīng)密鑰字段的所述值字段指示的值的總和。6.如權(quán)利要求3所述的方法，其中生成來自所述網(wǎng)絡(luò)的所述第一部分的IP業(yè)務(wù)的概要還包括: 對于每個群組，聚合所述值字段以便生成聚合值，其中所述聚合值指示由所述對應(yīng)密鑰字段的所述值字段指示的值的最大值。7.如權(quán)利要求3所述的方法，其中生成來自所述網(wǎng)絡(luò)的所述第一部分的IP業(yè)務(wù)的概要還包括: 對于每個群組，聚合所述值字段以便生成聚合值，其中所述聚合值指示由所述對應(yīng)密鑰字段的所述值字段指示的值的最小值。8.如權(quán)利要求3所述的方法，其中生成來自所述網(wǎng)絡(luò)的所述第一部分的IP業(yè)務(wù)的概要還包括: 對于每個群組，聚合所述值字段以便生成聚合值，其中所述聚合值指示由所述對應(yīng)密鑰字段的所述值字段指示的值的平均值。9.如權(quán)利要求1所述的方法，其中所述第一、第二和第三網(wǎng)絡(luò)裝置在地理上是分散的。10.如權(quán)利要求1所述的方法，其中所述第一、第二和第三網(wǎng)絡(luò)裝置的所述大數(shù)據(jù)工具是 Hadoop 和Spark 之一。11.如權(quán)利要求1所述的方法，其中基于通信成本確定分別由所述第一和第二網(wǎng)絡(luò)裝置處理的所述網(wǎng)絡(luò)的所述第一和第二部分。12.—種在網(wǎng)絡(luò)中的第一網(wǎng)絡(luò)裝置(234)中的方法，所述網(wǎng)絡(luò)包括通信地耦合到第二網(wǎng)絡(luò)裝置(230)和第三網(wǎng)絡(luò)裝置(231)的所述第一網(wǎng)絡(luò)裝置，所述方法用于通過利用大數(shù)據(jù)工具(310)以分布式方式聚合所述網(wǎng)絡(luò)中的互聯(lián)網(wǎng)協(xié)議(IP)業(yè)務(wù)，所述方法包括: 從所述第二網(wǎng)絡(luò)裝置(230)接收所述網(wǎng)絡(luò)的第一部分(210)的IP業(yè)務(wù)的概要，其中所述網(wǎng)絡(luò)的所述第一部分的IP業(yè)務(wù)的概要由所述第二網(wǎng)絡(luò)裝置利用它的本地大數(shù)據(jù)工具(310)生成； 從所述第三網(wǎng)絡(luò)裝置(231)接收所述網(wǎng)絡(luò)的第二部分(211)的IP業(yè)務(wù)的概要，其中所述網(wǎng)絡(luò)的所述第二部分的IP業(yè)務(wù)的概要由所述第三網(wǎng)絡(luò)裝置利用它的本地大數(shù)據(jù)工具(310)生成； 利用大數(shù)據(jù)工具(310)基于來自所述第二網(wǎng)絡(luò)裝置的概要和來自所述第三網(wǎng)絡(luò)裝置的概要生成所述網(wǎng)絡(luò)的所述第一 (210)和第二部分(211)的IP業(yè)務(wù)的概要，從而允許在所述第一、第二和第三網(wǎng)絡(luò)裝置之間以分布式方式聚合所述網(wǎng)絡(luò)中的IP業(yè)務(wù);以及 將所述網(wǎng)絡(luò)的所述第一和第二部分的IP業(yè)務(wù)的概要提供給用戶，以使得所述用戶可以確定所述網(wǎng)絡(luò)中是否存在異常。13.如權(quán)利要求12所述的方法，其中所述第一、第二和第三網(wǎng)絡(luò)裝置處的所述大數(shù)據(jù)工具是 Hadoop 和Spark 之一。14.一種在網(wǎng)絡(luò)中的第一網(wǎng)絡(luò)裝置(230)，所述網(wǎng)絡(luò)包括通信地耦合到第三網(wǎng)絡(luò)裝置(234)的所述第一網(wǎng)絡(luò)裝置(230)和第二網(wǎng)絡(luò)裝置(231)，所述第一網(wǎng)絡(luò)裝置(230)通過利用大數(shù)據(jù)工具(310)以分布式方式聚合所述網(wǎng)絡(luò)中的互聯(lián)網(wǎng)協(xié)議(IP)業(yè)務(wù)，所述第一網(wǎng)絡(luò)裝置包括: 網(wǎng)絡(luò)接口，配置成通過所述網(wǎng)絡(luò)交換業(yè)務(wù)；以及 耦合到所述網(wǎng)絡(luò)接口的數(shù)據(jù)處理單元(DHJ)模塊，配置成: 接收只來自所述網(wǎng)絡(luò)的第一部分(210)的IP業(yè)務(wù)，其中來自所述網(wǎng)絡(luò)的第二部分(211)的IP業(yè)務(wù)由所述第二網(wǎng)絡(luò)裝置(231)接收， 利用大數(shù)據(jù)工具(310)生成來自所述網(wǎng)絡(luò)的所述第一部分的IP業(yè)務(wù)的概要，其中來自所述網(wǎng)絡(luò)的第二部分的IP業(yè)務(wù)的概要由所述第二網(wǎng)絡(luò)裝置利用它的本地大數(shù)據(jù)工具生成，以及 將所述網(wǎng)絡(luò)的所述第一部分的IP業(yè)務(wù)的概要發(fā)送到所述第三網(wǎng)絡(luò)裝置(234)，以使得所述第三網(wǎng)絡(luò)裝置利用它的本地大數(shù)據(jù)工具(310)基于來自所述第一網(wǎng)絡(luò)裝置的概要和來自所述第二網(wǎng)絡(luò)裝置的概要生成所述網(wǎng)絡(luò)的所述第一和第二部分的IP業(yè)務(wù)的概要，從而允許在所述第一、第二和第三網(wǎng)絡(luò)裝置之間以分布式方式聚合所述網(wǎng)絡(luò)中的IP業(yè)務(wù)。15.如權(quán)利要求14所述的第一網(wǎng)絡(luò)裝置，其中生成來自所述網(wǎng)絡(luò)的所述第一部分的IP業(yè)務(wù)的概要包括: 對于所述IP業(yè)務(wù)的每個IP數(shù)據(jù)，從所述接收的IP數(shù)據(jù)存取字段集合； 基于來自所述字段集合的一個或多個字段確定密鑰字段；以及 基于來自所述字段集合的一個或多個字段確定值字段。16.如權(quán)利要求15所述的第一網(wǎng)絡(luò)裝置，其中生成來自所述網(wǎng)絡(luò)的所述第一部分的IP業(yè)務(wù)的概要還包括: 基于所述密鑰字段將所述字段集合分區(qū)成多個群組，以使得每個群組包括唯一密鑰字段和來自具有相同密鑰字段的一個或多個IP數(shù)據(jù)的一個或多個值字段。17.如權(quán)利要求16所述的第一網(wǎng)絡(luò)裝置，其中生成來自所述網(wǎng)絡(luò)的所述第一部分的IP業(yè)務(wù)的概要還包括: 對于每個群組，聚合所述值字段以便生成聚合值，其中所述聚合值指示所述對應(yīng)密鑰值的多個唯一值字段。18.如權(quán)利要求16所述的第一網(wǎng)絡(luò)裝置，其中生成來自所述網(wǎng)絡(luò)的所述第一部分的IP業(yè)務(wù)的概要還包括: 對于每個群組，聚合所述值字段以便生成聚合值，其中所述聚合值指示由所述對應(yīng)密鑰字段的所述值字段指示的值的總和。19.如權(quán)利要求16所述的第一網(wǎng)絡(luò)裝置，其中生成來自所述網(wǎng)絡(luò)的所述第一部分的IP業(yè)務(wù)的概要還包括: 對于每個群組，聚合所述值字段以便生成聚合值，其中所述聚合值指示由所述對應(yīng)密鑰字段的所述值字段指示的值的最大值。20.如權(quán)利要求16所述的第一網(wǎng)絡(luò)裝置，其中生成來自所述網(wǎng)絡(luò)的所述第一部分的IP業(yè)務(wù)的概要還包括: 對于每個群組，聚合所述值字段以便生成聚合值，其中所述聚合值指示由所述對應(yīng)密鑰字段的所述值字段指示的值的最小值。21.如權(quán)利要求16所述的第一網(wǎng)絡(luò)裝置，其中生成來自所述網(wǎng)絡(luò)的所述第一部分的IP業(yè)務(wù)的概要還包括: 對于每個群組，聚合所述值字段以便生成聚合值，其中所述聚合值指示由所述對應(yīng)密鑰字段的所述值字段指示的值的平均值。22.如權(quán)利要求14所述的第一網(wǎng)絡(luò)裝置，其中所述第一、第二和第三網(wǎng)絡(luò)裝置在地理上是分散的。23.如權(quán)利要求14所述的第一網(wǎng)絡(luò)裝置，其中所述第一、第二和第三網(wǎng)絡(luò)裝置處的所述大數(shù)據(jù)工具是Hadoop和Spark之一。24.如權(quán)利要求14所述的第一網(wǎng)絡(luò)裝置，其中基于通信成本確定分別由所述第一和第二網(wǎng)絡(luò)裝置處理的所述網(wǎng)絡(luò)的所述第一和第二部分。25.一種在網(wǎng)絡(luò)中的第一網(wǎng)絡(luò)裝置(234)，所述網(wǎng)絡(luò)包括通信地耦合到第二網(wǎng)絡(luò)裝置(230)和第三網(wǎng)絡(luò)裝置(231)的所述第一網(wǎng)絡(luò)裝置，所述第一網(wǎng)絡(luò)裝置通過利用大數(shù)據(jù)工具(310)以分布式方式聚合所述網(wǎng)絡(luò)中的互聯(lián)網(wǎng)協(xié)議(IP)業(yè)務(wù)，所述第一網(wǎng)絡(luò)裝置包括: 網(wǎng)絡(luò)接口，配置成通過所述網(wǎng)絡(luò)交換業(yè)務(wù)；以及 耦合到所述網(wǎng)絡(luò)接口的數(shù)據(jù)處理單元(DHJ)模塊，配置成: 從所述第二網(wǎng)絡(luò)裝置(230)接收所述網(wǎng)絡(luò)的第一部分(210)的IP業(yè)務(wù)的概要，其中所述網(wǎng)絡(luò)的所述第一部分的IP業(yè)務(wù)的概要由所述第二網(wǎng)絡(luò)裝置利用它的本地大數(shù)據(jù)工具(310)生成， 從所述第三網(wǎng)絡(luò)裝置(231)接收所述網(wǎng)絡(luò)的第二部分(211)的IP業(yè)務(wù)的概要，其中所述網(wǎng)絡(luò)的所述第二部分的IP業(yè)務(wù)的概要由所述第三網(wǎng)絡(luò)裝置利用它的本地大數(shù)據(jù)工具(310)生成， 利用大數(shù)據(jù)工具(310)基于來自所述第二網(wǎng)絡(luò)裝置的概要和來自所述第三網(wǎng)絡(luò)裝置的概要生成所述網(wǎng)絡(luò)的所述第一 (210)和第二部分(211)的IP業(yè)務(wù)的概要，從而允許在所述第一、第二和第三網(wǎng)絡(luò)裝置之間以分布式方式聚合所述網(wǎng)絡(luò)中的IP業(yè)務(wù)，以及 將所述網(wǎng)絡(luò)的所述第一和第二部分的IP業(yè)務(wù)的概要提供給用戶，以使得所述用戶可以確定所述網(wǎng)絡(luò)中是否存在異常。26.如權(quán)利要求25所述的第一網(wǎng)絡(luò)裝置，其中所述第一、第二和第三網(wǎng)絡(luò)裝置處的所述大數(shù)據(jù)工具是Hadoop和Spark之一。
【文檔編號】H04L29/06GK105917632SQ201580005584
【公開日】2016年8月31日
【申請日】2015年1月16日
【發(fā)明人】D.李, 張穎
【申請人】瑞典愛立信有限公司