用于處理網(wǎng)絡(luò)元數(shù)據(jù)的改進(jìn)的流式處理方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]一般來說，本發(fā)明涉及網(wǎng)絡(luò)監(jiān)視及事件管理。更特定來說，其涉及通過網(wǎng)絡(luò)監(jiān)視活動獲得的網(wǎng)絡(luò)元數(shù)據(jù)的處理及所述元數(shù)據(jù)的隨后處理，此可有效導(dǎo)致以及時方式向元數(shù)據(jù)的消費(fèi)方報告有用信息。
【背景技術(shù)】
[0002]網(wǎng)絡(luò)監(jiān)視為企業(yè)及服務(wù)提供商通常使用的關(guān)鍵信息技術(shù)(IT)功能，其涉及監(jiān)視在內(nèi)部網(wǎng)絡(luò)上發(fā)生的活動以找到與性能、行為不當(dāng)主機(jī)、可疑用戶活動等等相關(guān)的問題。由于由多種網(wǎng)絡(luò)裝置提供的信息使網(wǎng)絡(luò)監(jiān)視成為可能。所述信息通常已被稱為網(wǎng)絡(luò)元數(shù)據(jù)，即，描述網(wǎng)絡(luò)上的活動的一類信息，其對通過網(wǎng)絡(luò)傳輸?shù)氖Ｓ嘈畔⑵鹧a(bǔ)充及互補(bǔ)作用。
[0003]系統(tǒng)日志為通常用于網(wǎng)絡(luò)監(jiān)視的一種類型的網(wǎng)絡(luò)元數(shù)據(jù)。系統(tǒng)日志為用于記錄程序消息的標(biāo)準(zhǔn)且為原本不能夠通信的裝置提供了向管理員通知問題或性能的手段。系統(tǒng)日志通常用于計算機(jī)系統(tǒng)管理及安全審核以及廣義信息性、分析及調(diào)試消息。其由跨越多種平臺的多種裝置(如打印機(jī)及路由器)及接收器支持。因此，系統(tǒng)日志可用以將來自許多不同類型的系統(tǒng)的日志數(shù)據(jù)集成到中央存儲庫中。
[0004]近來，被各種供應(yīng)商稱為NetFlow、jFlow、sFlow等等的另一類型的網(wǎng)絡(luò)元數(shù)據(jù)已被引入作為標(biāo)準(zhǔn)網(wǎng)絡(luò)流量的一部分(下文通常稱為“NetFlow”)。NetFlow是已成為流量監(jiān)視的工業(yè)標(biāo)準(zhǔn)的用于收集IP流量信息的網(wǎng)絡(luò)協(xié)議。可由(例如)路由器、交換機(jī)、防火墻、入侵檢測系統(tǒng)(IDS)、入侵保護(hù)系統(tǒng)(IPS)、網(wǎng)絡(luò)地址轉(zhuǎn)換(NAT)實體及許多其它裝置的多種網(wǎng)絡(luò)裝置產(chǎn)生NetFlow。然而，直到最近，NetFlow網(wǎng)絡(luò)元數(shù)據(jù)僅被用于事后網(wǎng)絡(luò)監(jiān)督目的，例如網(wǎng)絡(luò)拓?fù)浒l(fā)現(xiàn)、定位網(wǎng)絡(luò)吞吐量瓶頸、服務(wù)水平協(xié)定(SLA)有效性檢查等等。NetFlow元數(shù)據(jù)的此類有限使用可通常歸因于由網(wǎng)絡(luò)裝置產(chǎn)生的信息的高容量及高遞送速率、信息源的多樣性及將額外信息流集成到現(xiàn)有事件分析器中的整體復(fù)雜性。更特定來說，在實時設(shè)定中NetFlow元數(shù)據(jù)產(chǎn)生方通常已產(chǎn)生比消費(fèi)方能夠分析及使用的信息更多的信息。舉例來說，連接到網(wǎng)絡(luò)上的大型交換機(jī)或路由器的單個介質(zhì)可能每秒產(chǎn)生400，000條NetFlow記錄。
[0005]現(xiàn)今的系統(tǒng)日志收集器、系統(tǒng)日志分析器、安全信息管理(SM)系統(tǒng)、安全事件管理(SEM)系統(tǒng)、安全信息及事件管理(SIEM)系統(tǒng)等等(下文統(tǒng)稱為“SIEM系統(tǒng)”)要么不能夠接收及分析NetFlow，要么限于處理NetFlow數(shù)據(jù)包中所含有的基本信息，要么以比通常產(chǎn)生NetFlow數(shù)據(jù)包的速率低很多的速率處理此類數(shù)據(jù)包。
[0006]可靠的網(wǎng)絡(luò)監(jiān)視協(xié)議(例如，NetFlow v9 (RFC 3954)及IPFIX (RFC 5101及相關(guān)的IETF RFC))的出現(xiàn)顯著擴(kuò)大了在網(wǎng)絡(luò)安全及智能網(wǎng)絡(luò)管理領(lǐng)域中使用網(wǎng)絡(luò)元數(shù)據(jù)的機(jī)會。同時，由于上文所識別的約束，現(xiàn)今的SIEM系統(tǒng)對網(wǎng)絡(luò)監(jiān)視信息的利用一般不超出僅報告所觀測到的字節(jié)及數(shù)據(jù)包計數(shù)的范圍。

【發(fā)明內(nèi)容】

[0007]網(wǎng)絡(luò)管理者及網(wǎng)絡(luò)安全專業(yè)人員不斷地面對且力圖解決業(yè)界中通常被稱為“大數(shù)據(jù)”的問題。由所述大數(shù)據(jù)問題產(chǎn)生的一些難點(diǎn)包括不能夠分析及存儲通常以不同格式及結(jié)構(gòu)存在的大量機(jī)器產(chǎn)生的數(shù)據(jù)。通常經(jīng)歷的問題可總結(jié)如下:
[0008]1.要實時分析太多數(shù)據(jù)以及時洞察網(wǎng)絡(luò)條件。
[0009]2.數(shù)據(jù)以不同格式從網(wǎng)絡(luò)上的不同裝置類型到達(dá)，使來自不同裝置類型的數(shù)據(jù)的相關(guān)變得困難且緩慢；以及
[0010]3.要存儲太多數(shù)據(jù)(舉例來說，用于后期分析及/或用于符合數(shù)據(jù)保持要求)。
[0011]本發(fā)明通過提供實時分析大量元數(shù)據(jù)、在單一監(jiān)視系統(tǒng)中將大量元數(shù)據(jù)轉(zhuǎn)化成允許與其它數(shù)據(jù)便捷地相關(guān)的通用格式及通過實時數(shù)據(jù)減少技術(shù)(例如，數(shù)據(jù)包有效性檢查、篩選、聚合及重復(fù)數(shù)據(jù)刪除)使傳入數(shù)據(jù)的量的大幅減小的能力來提供能夠解決與大數(shù)據(jù)相關(guān)聯(lián)的全部上文識別的問題的系統(tǒng)及方法。
[0012]本發(fā)明的實施例能夠核對網(wǎng)絡(luò)元數(shù)據(jù)的傳入數(shù)據(jù)包的有效性且丟棄格式錯誤或不適當(dāng)消息。實施例還能夠?qū)崟r檢查且篩選網(wǎng)絡(luò)元數(shù)據(jù)的傳入數(shù)據(jù)包以識別它們的信息內(nèi)容及段的相關(guān)方面，或投送傳入網(wǎng)絡(luò)元數(shù)據(jù)的不同流以用于本發(fā)明的處理引擎內(nèi)的差異化處理。此類差異化處理中包含了通過基于能夠由網(wǎng)絡(luò)管理者配置并在傳入消息的早期檢查期間確定的標(biāo)準(zhǔn)丟棄特定消息或選定的消息流來減小輸出元數(shù)據(jù)流量的機(jī)會。此使網(wǎng)絡(luò)管理者能夠持續(xù)不斷地或響應(yīng)于特定網(wǎng)絡(luò)條件臨時地使網(wǎng)絡(luò)分析集中。例如，網(wǎng)絡(luò)管理者可選擇集中精力于系統(tǒng)內(nèi)僅由網(wǎng)絡(luò)上的邊緣裝置產(chǎn)生的網(wǎng)絡(luò)元數(shù)據(jù)以調(diào)查可能的入侵事件。
[0013]本發(fā)明的實施例進(jìn)一步能夠進(jìn)一步聚合包含于網(wǎng)絡(luò)元數(shù)據(jù)的傳入數(shù)據(jù)包中的信息內(nèi)容，且使用捕獲相同信息但產(chǎn)生比原始元數(shù)據(jù)流小很多的下游顯示、分析及存儲要求的一個或少很多的其它數(shù)據(jù)包取代大量相關(guān)數(shù)據(jù)包。
[0014]本發(fā)明的實施例進(jìn)一步能夠?qū)τ删W(wǎng)絡(luò)裝置產(chǎn)生的正常元數(shù)據(jù)流的內(nèi)容進(jìn)行重復(fù)數(shù)據(jù)刪除。因為傳入流量通常在網(wǎng)絡(luò)內(nèi)通過一系列網(wǎng)絡(luò)裝置投送到其目的裝置，且因為各網(wǎng)絡(luò)裝置通常對于橫穿其的每一流產(chǎn)生網(wǎng)絡(luò)元數(shù)據(jù)，所以產(chǎn)生促成業(yè)界中的大數(shù)據(jù)問題的顯著量的冗余元數(shù)據(jù)。
[0015]本發(fā)明涉及能夠接收呈多種數(shù)據(jù)格式的任意結(jié)構(gòu)的數(shù)據(jù)(舉例來說，網(wǎng)絡(luò)或機(jī)器產(chǎn)生的元數(shù)據(jù))、有效處理所述網(wǎng)絡(luò)元數(shù)據(jù)，且以多種數(shù)據(jù)格式轉(zhuǎn)發(fā)所接收到的網(wǎng)絡(luò)元數(shù)據(jù)及/或從原始網(wǎng)絡(luò)元數(shù)據(jù)派生出的網(wǎng)絡(luò)元數(shù)據(jù)的系統(tǒng)及方法。可由多種網(wǎng)絡(luò)裝置(例如，路由器、交換機(jī)、防火墻、入侵檢測系統(tǒng)(IDS)、入侵保護(hù)系統(tǒng)(IPS)、網(wǎng)絡(luò)地址轉(zhuǎn)換(NAT)實體及許多其它裝置)產(chǎn)生網(wǎng)絡(luò)元數(shù)據(jù)。以包含(但不限于)NetFlow及其變體(舉例來說，jFlow, cflowd、sFlow、IPFIX)、SNMP, SMTP、系統(tǒng)日志等等的許多格式產(chǎn)生所述網(wǎng)絡(luò)元數(shù)據(jù)信息。本文所描述的方法及系統(tǒng)能夠以包含(但不限于)NetFlow及其版本(jFlow、cflowd、sFlow、IPFIX)、SNMP, SMTP、系統(tǒng)日志、OpenFlow等等的許多格式輸出網(wǎng)絡(luò)元數(shù)據(jù)信息。另夕卜，本發(fā)明的實施例能夠以足以允許提供實時或近實時網(wǎng)絡(luò)服務(wù)的速率輸出選定類型的網(wǎng)絡(luò)元數(shù)據(jù)信息。結(jié)果，所述系統(tǒng)能夠在具有網(wǎng)絡(luò)元數(shù)據(jù)的N(N多I)個產(chǎn)生方及原始或派生網(wǎng)絡(luò)元數(shù)據(jù)的M(M多I)個消費(fèi)方的部署中提供有意義的服務(wù)。可了解，本發(fā)明的特定實施例與RFC 5982中所反映的IPFIX中介器的定義相符。
[0016]本發(fā)明的實施例提供用于識別接收到的網(wǎng)絡(luò)元數(shù)據(jù)的性質(zhì)、特性及/或類型(“類”)且將接收到的信息組織成類別或類的方法及系統(tǒng)。當(dāng)與NetFlow v9及基于模板且可具有廣泛多樣的內(nèi)容及用途的類似消息相關(guān)聯(lián)使用時，此可特別有用。當(dāng)被歸類或分類后，可進(jìn)一步根據(jù)零、一或多個類特定處理規(guī)則或根據(jù)默認(rèn)處理規(guī)則(“策略”)處理每一個別類成員實例。本發(fā)明的此方面使得能夠細(xì)粒度處理無限多種網(wǎng)絡(luò)元數(shù)據(jù)類型。
[0017]通過在操作的早期階段識別傳入的網(wǎng)絡(luò)元數(shù)據(jù)的類，實施例能夠有效組織網(wǎng)絡(luò)元數(shù)據(jù)的處理，且在適當(dāng)?shù)沫h(huán)境中，通過篩選、合并及/或消除系統(tǒng)管理員不感興趣的網(wǎng)絡(luò)元數(shù)據(jù)部分來減少所需要的處理量，借此有助于系統(tǒng)的實時或近實時操作且潛在減少網(wǎng)絡(luò)元數(shù)據(jù)收集器處的存儲要求。舉例來說，當(dāng)特定量的網(wǎng)絡(luò)流量橫穿網(wǎng)絡(luò)中的多個裝置時，可從每一所橫穿裝置產(chǎn)生含有冗余信息的網(wǎng)絡(luò)元數(shù)據(jù)。取決于SIEM系統(tǒng)內(nèi)定義的監(jiān)視的焦點(diǎn)或區(qū)域，可希望從被轉(zhuǎn)發(fā)到SIEM系統(tǒng)的元數(shù)據(jù)流篩選、聚合、合并或消除含有冗余信息的元數(shù)據(jù)記錄?？梢霃尼槍λ鯯IEM系統(tǒng)的網(wǎng)絡(luò)元數(shù)據(jù)的某些類移除冗余而同時對于針對收集器的所述流保存全部此類元數(shù)據(jù)的策略。
[0018]因此，應(yīng)了解，可以支持及/或與操作于網(wǎng)絡(luò)內(nèi)的SIEM系統(tǒng)及/或元數(shù)據(jù)收集器的策略或焦點(diǎn)區(qū)域合作的方式定義由本發(fā)明的實施例實施的策略。
[0019]為網(wǎng)絡(luò)管理及安全目的，可引入為了檢測可能指示安全攻擊的重要或不平常網(wǎng)絡(luò)事件、報告網(wǎng)絡(luò)上的流量尖峰、檢測網(wǎng)絡(luò)上的攻擊、促進(jìn)更好使用網(wǎng)絡(luò)資源及/或識別網(wǎng)絡(luò)上運(yùn)行的應(yīng)用程序的目的的策略。策略可為通用或基于時間的，且可將其應(yīng)用到通過網(wǎng)絡(luò)的特定類或子組的網(wǎng)絡(luò)元數(shù)據(jù)。本發(fā)明的實施例預(yù)期設(shè)置與多個策略模塊合作操作的多條工作線程以增加系統(tǒng)吞吐量及性能。
[0020]可引入經(jīng)特殊化或經(jīng)調(diào)節(jié)以與特定類或子類的網(wǎng)絡(luò)元數(shù)據(jù)一起使用的工作線程以進(jìn)一步提升系統(tǒng)性能及吞吐量。此類特殊化工作線程及策略模塊可并行對網(wǎng)絡(luò)元數(shù)據(jù)流的不同部分執(zhí)行處理操作以提升系統(tǒng)性能及吞吐量。此外，響應(yīng)于巨量的特定類或子類的網(wǎng)絡(luò)元數(shù)據(jù)，特殊化工作線程及/或策略模塊的多個實例可被實例化以并行操作以進(jìn)一步提升系統(tǒng)性能及吞吐量。
[0021]舉例來說，本發(fā)明的實施例提供檢測駐留在內(nèi)部網(wǎng)絡(luò)上的外部控制的網(wǎng)絡(luò)主機(jī)(“僵尸網(wǎng)絡(luò)構(gòu)件”)的獨(dú)特能力。考慮由中央控制器(“僵尸網(wǎng)絡(luò)主站”)操作的受感染的網(wǎng)絡(luò)主機(jī)。通常，檢測網(wǎng)絡(luò)主機(jī)上的惡性內(nèi)容需要在那個主機(jī)上安裝專用的插件模塊。此方法無法防備不可由任何基于主機(jī)的手段檢測到的復(fù)雜惡意代理(“rootkit”)。本發(fā)明的實施例引入能夠識別內(nèi)部網(wǎng)絡(luò)上的僵尸網(wǎng)絡(luò)主站與僵尸網(wǎng)絡(luò)構(gòu)件之間的通信動作且向安全系統(tǒng)通知所述動作的策略。
[0022]由于網(wǎng)絡(luò)元數(shù)據(jù)信息的使用，由本發(fā)明提供的智能實現(xiàn)比暴露到網(wǎng)絡(luò)流量的類似目的裝置所提供的智能高的可信度。舉例來說，暴露到惡意流量的內(nèi)嵌入侵檢測系統(tǒng)(IDS)或入侵檢測系統(tǒng)(IPS)的安全可能受到危害或遭受拒絕服務(wù)(DoS)攻擊，而本發(fā)明可部署在此類攻擊者無法訪問的內(nèi)部網(wǎng)絡(luò)上。
[0023]此外，本發(fā)明