自動(dòng)日志傳感器調(diào)諧的制作方法
【專利摘要】本發(fā)明涉及一種用于自動(dòng)調(diào)諧一組收集器和/或傳感器的處理，包括：在集合框架中由第一傳感器收集第一機(jī)器數(shù)據(jù)；在集合框架中由第一收集器處理第一機(jī)器數(shù)據(jù)以產(chǎn)生第一收集的機(jī)器數(shù)據(jù)；對(duì)第一收集的機(jī)器數(shù)據(jù)執(zhí)行分析以生成分析輸出；以及至少部分基于所述分析輸出，調(diào)諧第一傳感器和第一收集器中的至少一個(gè)。
【專利說明】自動(dòng)日志傳感器調(diào)諧

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種對(duì)于搜索簇如何調(diào)諧和收集來自不同源的數(shù)據(jù)用于進(jìn)一步分析。

【背景技術(shù)】
[0002]在計(jì)算機(jī)日志管理和智能中，日志分析(或系統(tǒng)與網(wǎng)絡(luò)日志分析)是一組用于提供對(duì)計(jì)算機(jī)生成的記錄(也稱為日志或?qū)徲?jì)跟蹤記錄)的認(rèn)識(shí)(insight)的技術(shù)。創(chuàng)建這些記錄的處理被稱之為數(shù)據(jù)登錄。人們進(jìn)行日志分析的原因如下:(i)遵循安全策略、(ii)遵循審計(jì)、(iii)系統(tǒng)故障診斷(troubleshooting)、(iv)法庭所需(forensics)、和/或安全事故響應(yīng)。日志由網(wǎng)路設(shè)備、操作系統(tǒng)、應(yīng)用或其他可編程設(shè)備發(fā)出。按照時(shí)間順序的消息流可構(gòu)成日志。日志有時(shí)被導(dǎo)入文件并存儲(chǔ)在盤中，或者作為“網(wǎng)絡(luò)流”被導(dǎo)入日志收集器。日志消息:(i)是針對(duì)其源(例如，應(yīng)用)的內(nèi)部狀態(tài)被解釋；以及(ii)宣告關(guān)于安全或關(guān)于操作的事件(例如，系統(tǒng)錯(cuò)誤)。日志通常由軟件開發(fā)者創(chuàng)建用來幫助調(diào)試軟件應(yīng)用的操作。日志分析解釋應(yīng)用、賣主(vendor)、系統(tǒng)或配置(其中每一個(gè)可以具有其用于生成日志的形式和格式)的上下文中的消息，從而在來自不同日志源的消息之間進(jìn)行有用的比較。
[0003]一些與登錄相關(guān)的功能包括:(i)模式識(shí)別是一種選擇輸入消息并將它們與模式書進(jìn)行比較以便以不同方式進(jìn)行你個(gè)過濾或處理的功能；(ii)規(guī)范化是將消息部分轉(zhuǎn)換成相同格式的功能(例如共同的數(shù)據(jù)格式或規(guī)范化的IP地址)分類和加標(biāo)簽就是采用不同類別對(duì)消息進(jìn)行排序或者采用不同關(guān)鍵詞為它們加標(biāo)簽以便隨后使用(例如，過濾或顯示)；以及(iv)相關(guān)性分析是一種從不同系統(tǒng)收集消息并找到屬于同一事件的所有消息(例如，在諸如網(wǎng)絡(luò)設(shè)備、防火墻、服務(wù)器等的不同系統(tǒng)上由預(yù)謀(malic1us)活動(dòng)產(chǎn)生的消息)。
[0004]調(diào)試日志由一個(gè)企業(yè)(enterprise)的多個(gè)組件創(chuàng)建,這些組件包括:(i)系統(tǒng)、
(ii)交換器、(iii)網(wǎng)絡(luò)、以及(iv)軟件。在典型的日志分析環(huán)境中，從該企業(yè)的每個(gè)組件發(fā)出的日志與中心搜索簇同步。通過被稱為“傳感器”的程序執(zhí)行這種調(diào)試日志的收集。傳感器從某些企業(yè)組件收集機(jī)器數(shù)據(jù)。收集器由企業(yè)部署來收集、聚集、擴(kuò)充、和/或分配機(jī)器數(shù)據(jù)，其包括日志、移動(dòng)事務(wù)、和/或來自多個(gè)傳感器的其他文件。收集器在其不可用時(shí)可以委派或切換給(failover)另一個(gè)收集器。簇分析(通常稱為“聚類”)是以這樣的方式對(duì)對(duì)象集合進(jìn)行分組的任務(wù)，所述方式使得處于相同組(稱為“簇”)中的對(duì)象彼此之間比與處于其他組(簇)中的那些對(duì)象之間更相似。調(diào)試搜索簇就是與異常系統(tǒng)條件相關(guān)聯(lián)的對(duì)象的組。
[0005]集合框架管理這些傳感器以便基于來自各種源的所收集數(shù)據(jù)采取措施。例如，集合框架操作以使得所收集數(shù)據(jù)與對(duì)應(yīng)的調(diào)試搜索簇同步。


【發(fā)明內(nèi)容】

[0006]本發(fā)明提供了一種方法，包括:在集合框架中由第一傳感器收集第一機(jī)器數(shù)據(jù)；在集合框架中由第一收集器處理第一機(jī)器數(shù)據(jù)以產(chǎn)生第一收集的機(jī)器數(shù)據(jù)；對(duì)第一收集的機(jī)器數(shù)據(jù)執(zhí)行分析以生成分析輸出；以及至少部分基于所述分析輸出，調(diào)諧下述第一傳感器和第一收集器中的至少一個(gè)。

【專利附圖】

【附圖說明】
[0007]圖1是根據(jù)本發(fā)明的網(wǎng)絡(luò)連接的計(jì)算機(jī)系統(tǒng)的第一實(shí)施例的示意圖；
[0008]圖2是顯示至少部分由第一實(shí)施例的網(wǎng)絡(luò)連接的計(jì)算機(jī)系統(tǒng)執(zhí)行的第一方法的流程圖；
[0009]圖3是第一實(shí)施例的網(wǎng)絡(luò)連接的計(jì)算機(jī)系統(tǒng)的一部分的示意圖；
[0010]圖4是根據(jù)本發(fā)明的日志分析系統(tǒng)的框圖；
[0011]圖5是顯示至少部分由第一實(shí)施例的日志分析系統(tǒng)執(zhí)行的第二方法的流程圖；
[0012]圖6是根據(jù)本發(fā)明的邏輯分析系統(tǒng)的第二實(shí)施例的框圖；
[0013]圖7是根據(jù)本發(fā)明的邏輯分析系統(tǒng)的第三實(shí)施例的框圖；
[0014]圖8是用于基于管道編程模型提供分析的系統(tǒng)的實(shí)施方式的實(shí)例的框圖；
[0015]圖9是用于基于管道編程模型執(zhí)行分析的核心處理模塊的實(shí)施方式的實(shí)例的框圖；
[0016]圖10是用于基于管道編程模型執(zhí)行分析的附加細(xì)節(jié)的實(shí)施方式的實(shí)例的框圖；
[0017]圖11是根據(jù)本主題的實(shí)施例的用于基于管道編程模型執(zhí)行分析的管理HTTP請(qǐng)求腳本代碼輸入以及管道HTTP響應(yīng)可視數(shù)據(jù)輸出的實(shí)現(xiàn)方式的實(shí)例；
[0018]圖12是根據(jù)本發(fā)明的第三方法的流程圖；
[0019]圖13是根據(jù)本發(fā)明的第四方法的流程圖；
[0020]圖14是根據(jù)本發(fā)明的第五方法的流程圖。

【具體實(shí)施方式】
[0021]本詳細(xì)描述部分被劃分為以下幾個(gè)子部分:(i)硬件和軟件環(huán)境、(ii)第一實(shí)施例、(iii)進(jìn)一步評(píng)論和/或?qū)嵤├?、?iv)定義。
[0022]1.硬件和軟件環(huán)境
[0023]所屬【技術(shù)領(lǐng)域】的技術(shù)人員知道，本發(fā)明的各個(gè)方面可以實(shí)現(xiàn)為系統(tǒng)、方法或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明的各個(gè)方面可以具體實(shí)現(xiàn)為以下形式，即:完全的硬件實(shí)施方式、完全的軟件實(shí)施方式(包括固件、駐留軟件、微代碼等)，或硬件和軟件方面結(jié)合的實(shí)施方式，這里可以統(tǒng)稱為“電路”、“模塊”或“系統(tǒng)”。此外，在一些實(shí)施例中，本發(fā)明的各個(gè)方面還可以實(shí)現(xiàn)為在一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)程序產(chǎn)品的形式，該計(jì)算機(jī)可讀介質(zhì)中包含計(jì)算機(jī)可讀的程序代碼/指令。
[0024]可以采用一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)的任意組合。計(jì)算機(jī)可讀介質(zhì)可以是計(jì)算機(jī)可讀信號(hào)介質(zhì)或者計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)例如可以是一但不限于——電、磁、光、電磁、紅外線、或半導(dǎo)體的系統(tǒng)、裝置或器件，或者任意以上的組合。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的更具體的例子(非窮舉的列表)包括:具有一個(gè)或多個(gè)導(dǎo)線的電連接、便攜式計(jì)算機(jī)盤、硬盤、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、可擦式可編程只讀存儲(chǔ)器(EPR0M或閃存)、光纖、便攜式緊湊盤只讀存儲(chǔ)器(CD-ROM)、光存儲(chǔ)器件、磁存儲(chǔ)器件、或者上述的任意合適的組合。在本文件中，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是任何包含或存儲(chǔ)程序的有形介質(zhì)，該程序可以被指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用。
[0025]計(jì)算機(jī)可讀的信號(hào)介質(zhì)可以包括在基帶中或者作為載波一部分傳播的數(shù)據(jù)信號(hào)，其中承載了計(jì)算機(jī)可讀的程序代碼。這種傳播的數(shù)據(jù)信號(hào)可以采用多種形式，包括——但不限于——電磁信號(hào)、光信號(hào)或上述的任意合適的組合。計(jì)算機(jī)可讀的信號(hào)介質(zhì)還可以是計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)以外的任何計(jì)算機(jī)可讀介質(zhì)，該計(jì)算機(jī)可讀介質(zhì)可以發(fā)送、傳播或者傳輸用于由指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用的程序。
[0026]計(jì)算機(jī)可讀介質(zhì)上包含的程序代碼可以用任何適當(dāng)?shù)慕橘|(zhì)傳輸，包括一但不限于一無線、有線、光纜、RF等等，或者上述的任意合適的組合。
[0027]可以以一種或多種程序設(shè)計(jì)語言的任意組合來編寫用于執(zhí)行本發(fā)明操作的計(jì)算機(jī)程序代碼，所述程序設(shè)計(jì)語言包括面向?qū)ο蟮某绦蛟O(shè)計(jì)語言一諸如Java(注意:術(shù)語“Java”可能在全世界的各個(gè)地區(qū)享有商標(biāo)權(quán)，這里僅僅用于在該商標(biāo)權(quán)可能存在的范圍指示該標(biāo)識(shí)所能恰當(dāng)表明的產(chǎn)品和服務(wù))、Smalltalk、C++等，還包括常規(guī)的過程式程序設(shè)計(jì)語言一諸如“C”語言或類似的程序設(shè)計(jì)語言。程序代碼可以完全地在用戶計(jì)算機(jī)上執(zhí)行、部分地在用戶計(jì)算機(jī)上執(zhí)行、作為一個(gè)獨(dú)立的軟件包執(zhí)行、部分在用戶計(jì)算機(jī)上部分在遠(yuǎn)程計(jì)算機(jī)上執(zhí)行、或者完全在遠(yuǎn)程計(jì)算機(jī)或服務(wù)器上執(zhí)行。在涉及遠(yuǎn)程計(jì)算機(jī)的情形中，遠(yuǎn)程計(jì)算機(jī)可以通過任意種類的網(wǎng)絡(luò)一包括局域網(wǎng)(LAN)或廣域網(wǎng)(WAN) —連接到用戶計(jì)算機(jī)，或者，可以連接到外部計(jì)算機(jī)(例如利用因特網(wǎng)服務(wù)提供商來通過因特網(wǎng)連接)。
[0028]下面將參照根據(jù)本發(fā)明實(shí)施例的方法、裝置(系統(tǒng))和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或框圖描述本發(fā)明。應(yīng)當(dāng)理解，流程圖和/或框圖的每個(gè)方框以及流程圖和/或框圖中各方框的組合，都可以由計(jì)算機(jī)程序指令實(shí)現(xiàn)。這些計(jì)算機(jī)程序指令可以提供給通用計(jì)算機(jī)、專用計(jì)算機(jī)或其它可編程數(shù)據(jù)處理裝置的處理器，從而生產(chǎn)出一種機(jī)器，使得這些計(jì)算機(jī)程序指令在通過計(jì)算機(jī)或其它可編程數(shù)據(jù)處理裝置的處理器執(zhí)行時(shí)，產(chǎn)生了實(shí)現(xiàn)流程圖和/或框圖中的一個(gè)或多個(gè)方框中規(guī)定的功能/動(dòng)作的裝置。
[0029]也可以把這些計(jì)算機(jī)程序指令存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中，這些指令使得計(jì)算機(jī)、其它可編程數(shù)據(jù)處理裝置、或其他設(shè)備以特定方式工作，從而，存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中的指令就產(chǎn)生出包括實(shí)現(xiàn)流程圖和/或框圖中的一個(gè)或多個(gè)方框中規(guī)定的功能/動(dòng)作的指令的制造品(article of manufacture)。
[0030]計(jì)算機(jī)程序指令還可以被加載到計(jì)算機(jī)、其他可編程數(shù)據(jù)處理裝置或其他設(shè)備以便使得一系列可操作步驟在計(jì)算機(jī)、其他可編程數(shù)據(jù)處理裝置或其他設(shè)備上執(zhí)行，以便產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，使得在計(jì)算機(jī)、其他可編程數(shù)據(jù)處理裝置或其他設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖和/或框圖框或塊中所說明的功能/動(dòng)作的處理。
[0031]現(xiàn)在將參照附圖詳細(xì)描述根據(jù)本發(fā)明的用于軟件和/或方法的可能硬件和軟件環(huán)境的實(shí)施例。圖1是功能框圖，圖釋了網(wǎng)絡(luò)連接的計(jì)算機(jī)系統(tǒng)100的各種部分，包括:月艮務(wù)器計(jì)算機(jī)子系統(tǒng)102 ;客戶計(jì)算機(jī)子系統(tǒng)104、106、108、110、112 ;通訊網(wǎng)絡(luò)114 ;服務(wù)器計(jì)算機(jī)200 ;通訊單元202 ;處理器裝置(set) 204 ;輸入/輸入(I/O)接口裝置(set) 206 ；內(nèi)存器件208 ;持久存儲(chǔ)器件210 ;顯示器件212 ;外設(shè)器件214 ;隨機(jī)存取存儲(chǔ)器(RAM) 230 ；高速緩沖存儲(chǔ)器件232 ;以及程序300。
[0032]服務(wù)器計(jì)算機(jī)子系統(tǒng)102在多個(gè)方面代表本發(fā)明中的各種計(jì)算機(jī)子系統(tǒng)。因此，將在下面幾段中闡述計(jì)算機(jī)子系統(tǒng)102的幾個(gè)部分。
[0033]服務(wù)器計(jì)算機(jī)子系統(tǒng)102可以是膝上計(jì)算機(jī)、平板計(jì)算機(jī)、上網(wǎng)本(netbook)計(jì)算機(jī)、個(gè)人計(jì)算機(jī)(PC)、臺(tái)式機(jī)、個(gè)人數(shù)字助理、智能電話、或能夠經(jīng)由網(wǎng)絡(luò)114與客戶子系統(tǒng)進(jìn)行通信的任何可編程電子設(shè)備。程序300收集機(jī)器可讀指令和/或數(shù)據(jù)，其用于創(chuàng)建、管理以及控制下面將在本詳細(xì)描述部分的第一實(shí)施例字部分中詳細(xì)闡述的某些軟件功能。
[0034]服務(wù)器計(jì)算機(jī)子系統(tǒng)102能夠經(jīng)由網(wǎng)絡(luò)114與其它計(jì)算機(jī)子系統(tǒng)進(jìn)行通信(參見圖1)。網(wǎng)絡(luò)114例如可以是局域網(wǎng)(LAN)、諸如英特網(wǎng)的廣域網(wǎng)(WAN)、或兩者的組合，并且可以包括有線、無線、光線連接。通常，網(wǎng)絡(luò)114可以是將支持服務(wù)器和客戶子系統(tǒng)之間的通訊的連接和協(xié)議的任何組合。
[0035]應(yīng)該理解的是，圖1僅僅提供了一種實(shí)施方式的圖釋(即，系統(tǒng)100)，并且不意味著對(duì)其中可以實(shí)現(xiàn)不同實(shí)施例的環(huán)境的任何限制。尤其是面對(duì)當(dāng)前以及可預(yù)見的未來在云計(jì)算、分布式計(jì)算、較小計(jì)算設(shè)備、網(wǎng)絡(luò)通訊等等方面的進(jìn)步，可以對(duì)所描述的環(huán)境進(jìn)行多種修改。
[0036]服務(wù)器計(jì)算機(jī)子系統(tǒng)102顯示為具有多個(gè)雙向箭頭的框。這些雙向箭頭(沒有獨(dú)立的參考標(biāo)記)代表通信結(jié)構(gòu)，其提供了子系統(tǒng)102的各個(gè)組件之間的通信。該通信結(jié)構(gòu)可以采用被設(shè)計(jì)用來在處理器(諸如微處理器、通信和網(wǎng)絡(luò)處理器等等)、系統(tǒng)存儲(chǔ)器、夕卜設(shè)以及系統(tǒng)內(nèi)的其他硬件組件之間傳遞數(shù)據(jù)和/或控制信息的任何架構(gòu)來實(shí)現(xiàn)。例如，該通信結(jié)構(gòu)至少部分采用一條或剁掉總線來實(shí)現(xiàn)。
[0037]存儲(chǔ)器208和持久存儲(chǔ)器210為計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。通常存儲(chǔ)器208可包括任何適當(dāng)?shù)囊资曰蚍且资杂?jì)算機(jī)可讀存儲(chǔ)介質(zhì)。還應(yīng)該注意到，現(xiàn)在和/或在較近的未來，(i)外部器件214能夠供應(yīng)用于子系統(tǒng)102的一些或全部?jī)?nèi)存；和/或(ii)在子系統(tǒng)102之外的器件能夠提供用于子系統(tǒng)102的內(nèi)容。
[0038]程序300存儲(chǔ)在持久存儲(chǔ)器210中，用于由一個(gè)或多個(gè)相應(yīng)計(jì)算機(jī)處理器204通常通過存儲(chǔ)器208的一個(gè)或多個(gè)內(nèi)存進(jìn)行存取或執(zhí)行。持久存儲(chǔ)器210:(i)至少比傳送中的信號(hào)更持久；(ii)將程序存儲(chǔ)在游行介質(zhì)(諸如磁疇或光疇)上；(iii)與永久存儲(chǔ)器相比明顯不持久?；蛘?，數(shù)據(jù)存儲(chǔ)器可以提持久存儲(chǔ)器210提供的存儲(chǔ)類型更持久或永久。
[0039]程序300可以包括機(jī)器可讀和可執(zhí)行指令和/或?qū)嵸|(zhì)數(shù)據(jù)(即，存儲(chǔ)在數(shù)據(jù)庫中的數(shù)據(jù)類型)兩者。在這種具體實(shí)施例中，持久存儲(chǔ)器210包括磁硬盤驅(qū)動(dòng)。為了對(duì)多種可能的變化形式進(jìn)行命名，持久存儲(chǔ)器210可以包括固態(tài)硬驅(qū)、半導(dǎo)體存儲(chǔ)器件、只讀存儲(chǔ)器(ROM)、可擦除可編程只讀存儲(chǔ)器(EPROM)、閃存、或能夠存儲(chǔ)程序指令或數(shù)字信息的任何其他計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
[0040]持久存儲(chǔ)器210所使用的介質(zhì)也可以是可移除的。例如，移動(dòng)硬盤可用于持久存儲(chǔ)器210。其它實(shí)例包括:光盤和磁盤、指狀驅(qū)動(dòng)盤、以及被插入驅(qū)動(dòng)器中用于轉(zhuǎn)移到也是持久存儲(chǔ)器210的部分的另一個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上的智能卡。
[0041]在這些實(shí)例中，通訊單元202提供與子系統(tǒng)102之外的其他數(shù)據(jù)處理系統(tǒng)或設(shè)備之間的通信，諸如客戶子系統(tǒng)104、106、108、110、112。在這些實(shí)例中，通訊單元202包括一個(gè)或多個(gè)網(wǎng)絡(luò)接口卡。通訊單元202可以通過使用武力和無線通信連接之一或兩者提供通訊。此處所討論的任何軟件模塊都可以通過通訊單元(諸如，通訊單元202)下載到持久存儲(chǔ)器件(諸如持久存儲(chǔ)器件210)中.
[0042]I/O接口裝置206容許采用可以與服務(wù)器計(jì)算機(jī)200進(jìn)行你個(gè)本地?cái)?shù)據(jù)通訊連接的其他器件輸入和輸出數(shù)據(jù)。例如，I/o接口裝置206提供到外設(shè)裝置214的連接。外設(shè)裝置214p通常包括諸如鍵盤、鍵區(qū)、觸屏、和/或一些其他適當(dāng)?shù)妮斎朐O(shè)備的器件。外設(shè)裝置214還可以包括便攜式計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，諸如，例如，指狀驅(qū)動(dòng)盤、便攜式光盤或磁盤、以及存儲(chǔ)卡。用于實(shí)現(xiàn)本發(fā)明的實(shí)施例的軟件和數(shù)據(jù)，例如程序300，可以存儲(chǔ)在這種便攜式計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上。在這些實(shí)施例中，相關(guān)的軟件可以(可以不)全部或部分經(jīng)由I/O接口裝置206加載到持久存儲(chǔ)器件20上。I/O接口裝置還與顯示器件按212進(jìn)行數(shù)據(jù)通訊連接。
[0043]顯示設(shè)備212提供了將數(shù)據(jù)顯示給用戶的機(jī)構(gòu)，并且可以例如為計(jì)算機(jī)監(jiān)視器或智能電話顯示屏。
[0044]此處所描述的程序基于在本發(fā)明的具體實(shí)施例中被實(shí)現(xiàn)的應(yīng)用被標(biāo)識(shí)。不過，應(yīng)該理解到，此處的任何特定的程序術(shù)語僅僅是為了方便使用，因此，本發(fā)明不應(yīng)僅僅限于在由這些屬于所標(biāo)識(shí)和/或暗示的具體應(yīng)用中的用途。
[0045]I1.第一實(shí)施例
[0046]初步提示:附圖中的流程圖和框圖顯示了根據(jù)本發(fā)明的多個(gè)實(shí)施例的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品的可能實(shí)現(xiàn)的體系架構(gòu)、功能和操作。在這點(diǎn)上，流程圖或框圖中的每個(gè)方框可以代表一個(gè)模塊、程序段或代碼的一部分，所述模塊、程序段或代碼的一部分包含一個(gè)或多個(gè)用于實(shí)現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應(yīng)當(dāng)注意，在有些作為替換的實(shí)現(xiàn)中，方框中所標(biāo)注的功能也可以以不同于附圖中所標(biāo)注的順序發(fā)生。例如，兩個(gè)連續(xù)的方框?qū)嶋H上可以基本并行地執(zhí)行，它們有時(shí)也可以按相反的順序執(zhí)行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個(gè)方框、以及框圖和/或流程圖中的方框的組合，可以用執(zhí)行規(guī)定的功能或動(dòng)作的專用的基于硬件的系統(tǒng)來實(shí)現(xiàn)，或者可以用專用硬件與計(jì)算機(jī)指令的組合來實(shí)現(xiàn)。
[0047]圖2所示的是描繪根據(jù)本發(fā)明的方法的流程圖240。圖3所示的程序300，用于執(zhí)行流程圖240中的至少一些方法步驟?，F(xiàn)在將在下面的段落過程中通過擴(kuò)展的參見圖2 (用于方法步驟框)和圖3 (用于軟件框)討論該方法和相關(guān)軟件。
[0048]在步驟S255處開始處理，其中包括第一收集器355a和第二收集器355b的收集器框架355收集被感測(cè)的數(shù)據(jù)。此處所使用的“被感測(cè)的數(shù)據(jù)”是所述收集器框架中的傳感器所接收或感測(cè)的機(jī)器數(shù)據(jù)。在本實(shí)施例中，出錯(cuò)報(bào)告提示收集器框架中的收集器355a收集感測(cè)數(shù)據(jù)?！氨桓袦y(cè)的數(shù)據(jù)”的收集由收集器框架中的收集器來執(zhí)行。由收集器所收集的機(jī)器數(shù)據(jù)在此被稱為“收集器數(shù)據(jù)”?！氨桓袦y(cè)的數(shù)據(jù)”和“收集器數(shù)據(jù)”兩者在此被稱為“被收集的數(shù)據(jù)”?；蛘撸桓袦y(cè)的數(shù)據(jù)被定期收集，或者其連續(xù)地被收集。在有些實(shí)施例中，收集器在初始設(shè)置值上操作，其中所有被感測(cè)的數(shù)據(jù)被收集?；蛘撸瑑H有某些被指定的被感測(cè)的數(shù)據(jù)由收集器收集。所述被感測(cè)的數(shù)據(jù)包括:(i)使用(usage)數(shù)據(jù)、(ii)輸出數(shù)據(jù)、
(iii)調(diào)試日志、(iv)應(yīng)用日志、(V)移動(dòng)事務(wù)、以及(vi)其它機(jī)器數(shù)據(jù)文件。在本公開的該實(shí)施例中，收集器數(shù)據(jù)存儲(chǔ)為分布的搜索簇。在本公開的一個(gè)實(shí)施例中，收集器框架使得所述收集器數(shù)據(jù)與各種分布搜索簇同步?；蛘?，收集器數(shù)據(jù)作為數(shù)據(jù)集存儲(chǔ)在持久存儲(chǔ)器210中。或者，收集器數(shù)據(jù)存儲(chǔ)在任何非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中。
[0049]處理前進(jìn)到步驟S260，其中分析模塊360對(duì)所述分布搜索簇應(yīng)用分析，以便確定傳感器調(diào)諧動(dòng)作作為增強(qiáng)數(shù)據(jù)獲取策略的部分。在該實(shí)施例中，報(bào)警條件提示來自步驟S255的收集器轉(zhuǎn)移到分析模塊?；蛘?，分析模塊基于(i)定時(shí)、(ii)所存儲(chǔ)的內(nèi)存尺寸、和/或(iii)基于用戶要求接收收集器數(shù)據(jù)。在該實(shí)施例中，分析引擎響應(yīng)于所給定的報(bào)警條件學(xué)習(xí)或獲取關(guān)于將采用何種調(diào)諧措施的知識(shí)。或者，收集器和/或傳感器被調(diào)諧為根號(hào)地對(duì)它們提出的報(bào)警條件作出響應(yīng)。
[0050]在本實(shí)施例中，基于管道編程模型進(jìn)行分析。在本詳細(xì)說明書的下面第IV部分中可以找到分析管道的闡述和實(shí)例分析平臺(tái)。或者，其他類型數(shù)據(jù)分析提供對(duì)分析引擎的附加支持，用于確定傳感器的調(diào)諧動(dòng)作。其他分析方法包括:(i)趨勢(shì)分析、以及(ii)對(duì)由被收集的數(shù)據(jù)所識(shí)別的某些條件應(yīng)用預(yù)定義算法。
[0051]此處描述的分析模塊的操作可以實(shí)時(shí)進(jìn)行，以便容許復(fù)雜數(shù)據(jù)搜索的提示可視化、數(shù)據(jù)操縱、以及分析數(shù)據(jù)可視化。為了本說明目的，實(shí)時(shí)應(yīng)該包括就提供用于所描述的主題的用戶可接受的信息處理的合理的響應(yīng)時(shí)間而言足夠短的周期的任何時(shí)間幀。此外，術(shù)語“實(shí)時(shí)”應(yīng)該包括通常所稱的“接近實(shí)時(shí)(“near real time) ”，其通常意味著任何時(shí)間幀，其具有足夠短的時(shí)段以便能夠提供用于所描述的主題的用戶可接受的隨選信息處理的合理響應(yīng)時(shí)間(例如，在不到一秒或在幾秒內(nèi))。這些術(shù)語，盡管很難精確定義，但是是本領(lǐng)域的普通技術(shù)人員所熟知的。
[0052]處理前進(jìn)到步驟S265，其中收集調(diào)諧模塊365根據(jù)分析輸出采取調(diào)諧動(dòng)作來調(diào)諧收集器和/或傳感器。收集器和/或傳感器的初始調(diào)諧通過收集器框架工作所采用的收集器和傳感器的范式進(jìn)行。因此，作為初始步驟，不改變機(jī)器數(shù)據(jù)的集合。被感測(cè)的某種類型的數(shù)據(jù)的結(jié)合基于網(wǎng)絡(luò)或計(jì)算機(jī)系統(tǒng)內(nèi)所報(bào)告的錯(cuò)誤的類型而改變。在數(shù)據(jù)集合中的這種改變由分析引擎來驅(qū)動(dòng)，所述分析引擎理解出現(xiàn)了某種類型的錯(cuò)誤或者大概要出現(xiàn)某種類型的錯(cuò)誤，并且指令收集器框架進(jìn)行調(diào)諧。
[0053]在收集器框架中，收集器為傳感器之上的一級(jí)。收集器收集、聚合、擴(kuò)充和/或分配由收集器所收集的被感測(cè)的數(shù)據(jù)。調(diào)諧動(dòng)作包括:(i)增加登錄活動(dòng)、(?)配置所述收集器、和/或(iii)過濾在收集器層所接收的被感測(cè)的數(shù)據(jù)。在該實(shí)施例中，收集器調(diào)諧動(dòng)作響應(yīng)于來自收集器框架中的分析平臺(tái)的同步指令通過同步級(jí)別改變而實(shí)施?；蛘?，調(diào)諧動(dòng)作通過所討論的軟件應(yīng)用來實(shí)施。采用一些調(diào)諧動(dòng)作以便，除了初始數(shù)據(jù)集合設(shè)置之外或替代初始數(shù)據(jù)設(shè)置地，收集高級(jí)信息。
[0054]處理前進(jìn)到步驟S270，其中，搜索簇模塊375通過具有被調(diào)諧傳感器和/或收集器的集合框架收集高級(jí)信息。響應(yīng)于分析引擎的調(diào)諧動(dòng)作而收集的高級(jí)信息可以包括:(i)專用設(shè)備數(shù)據(jù)、(?)專用源數(shù)據(jù)、(iii)本機(jī)日志、(iv)優(yōu)選類型數(shù)據(jù)、(v)開發(fā)API日志、(vi)附加信息、(vii)上下文信息、和/或(viii)相關(guān)數(shù)據(jù)。
[0055]采取調(diào)諧動(dòng)作的決定由收集調(diào)諧模塊365響應(yīng)于分析引擎輸出而做出。因?yàn)檫@種安排，收集器框架的傳感器和/或收集器構(gòu)成了傾瀉端點(diǎn)而無需它們對(duì)它們自身確定在檢測(cè)到相似情況時(shí)要做什么。具有算法來搜索出或找到需要調(diào)諧的異常情況的是分析引擎。每次在通過應(yīng)用分析例程識(shí)別特定情況時(shí)，都需要調(diào)諧傳感器和/或收集器。
[0056]一旦收集到足夠高級(jí)的信息，則傳感器和收集器返回到默認(rèn)配置調(diào)諧。在該實(shí)施例中，返回到默認(rèn)調(diào)諧是基于預(yù)訂時(shí)間段的?；蛘?，一旦分析引擎已經(jīng)接收到閾值量的高級(jí)信息，則調(diào)諧還原回到默認(rèn)配置。
[0057]處理前進(jìn)到步驟S275，其中，搜索簇模塊375準(zhǔn)備用于顯示和/或使用的高級(jí)信息。在有些實(shí)施例中，將高級(jí)信息提供給分析引擎用于進(jìn)一步分析以便生成一種方案?？蛇x擇地，產(chǎn)生的高級(jí)信息報(bào)告包括:(i)高級(jí)信息、和/或(ii)被感測(cè)的數(shù)據(jù)。下面的討論提供了關(guān)于實(shí)施方式的細(xì)節(jié)以及系統(tǒng)調(diào)諧傳感器的集合框架的使用用途。
[0058]II1.進(jìn)一步評(píng)論和/或?qū)嵤├?br> [0059]如圖4所示，本發(fā)明的一些實(shí)施例使用日志分析數(shù)據(jù)集合框架400，這將在下面進(jìn)一步闡述。本發(fā)明的一些實(shí)施例涉及對(duì)于搜索簇如何調(diào)諧以及收集來自不同日志源的數(shù)據(jù)用于進(jìn)一步分析。，
[0060]本發(fā)明的一些實(shí)施例認(rèn)識(shí)到集合框架管理傳感器以便對(duì)被感測(cè)的數(shù)據(jù)有效地采取措施，諸如使得所收集的數(shù)據(jù)與搜索簇同步。
[0061]本公開的一些實(shí)施例認(rèn)識(shí)到所述集合框架對(duì)日志分析平臺(tái)是至關(guān)重要的，因?yàn)樵谄渲屑峡蚣艿拇忠黄鸸ぷ饕员闾幚韥碜圆煌愋偷臄?shù)據(jù)生成實(shí)體調(diào)用源的信息的集合框架或傳感器中可能存在故障。
[0062]本公開的一些實(shí)施例認(rèn)識(shí)到，對(duì)于日志分析系統(tǒng)，所捕獲的數(shù)據(jù)是密鑰(key)。不過，與(i)存儲(chǔ)所收集的數(shù)據(jù)、(ii)計(jì)算需要存儲(chǔ)的功率相關(guān)聯(lián)的成本索引以及提供用于數(shù)據(jù)收集驅(qū)動(dòng)效率數(shù)據(jù)收集技術(shù)的可搜索輸入項(xiàng)。
[0063]本公開的一些實(shí)施例通過其中僅有相關(guān)數(shù)據(jù)被收集和索引用于進(jìn)一步分析或分析的應(yīng)用的進(jìn)程提供非常有效的數(shù)據(jù)收集。
[0064]本公開的一些實(shí)施例認(rèn)識(shí)到當(dāng)前感測(cè)和收集框架的問題包括:(i)沒有分析整個(gè)方案的健康狀態(tài)的能力、以及(ii)沒有調(diào)諧傳感器以便優(yōu)選被收集數(shù)據(jù)的類型的能力。
[0065]例如，計(jì)算機(jī)程序網(wǎng)關(guān)識(shí)別到，存在服務(wù)超時(shí)，但是服務(wù)端點(diǎn)僅僅從所有服務(wù)端點(diǎn)收集錯(cuò)誤和警告。在故障時(shí)，如果存在指示在后臺(tái)數(shù)據(jù)庫中出現(xiàn)錯(cuò)誤導(dǎo)致服務(wù)超時(shí)的一些信息量，則不會(huì)獲得收集觸發(fā)該數(shù)據(jù)失敗的相關(guān)分量的信息。例如有幫助的信息會(huì)是來自導(dǎo)致數(shù)據(jù)庫失敗的應(yīng)用的專門查詢。
[0066]本公開的一些實(shí)施例提供了高級(jí)方法來通過實(shí)時(shí)地快速應(yīng)用對(duì)被感測(cè)的數(shù)據(jù)的分析調(diào)諧集合框架的傳感器。調(diào)諧所述傳感器以便收集各種類型的高級(jí)信息的所獲得的分析組件執(zhí)行支持的評(píng)估。
[0067]本公開的一些實(shí)施例使得分析平臺(tái)執(zhí)行聯(lián)系分析腳本或方法，以便評(píng)價(jià)出現(xiàn)的感興趣的新事件。在有些實(shí)施例中，腳本的實(shí)施方式為分析平臺(tái)中的警告形式。例如，警告可能正監(jiān)視具體服務(wù)器的“錯(cuò)誤”或“報(bào)警”事件。警告查詢代表在分析平臺(tái)中是否出現(xiàn)這樣的情況。當(dāng)所配置的警告被識(shí)別時(shí)，通過收集器框架發(fā)送腳本化的反饋以便自動(dòng)調(diào)諧正從指定源捕獲的數(shù)據(jù)。
[0068]初始調(diào)諧是收集器框架一起工作的傳感器的更進(jìn)一步的配置。因此，作為初始步驟，沒有被感測(cè)的數(shù)據(jù)或日志改變。某寫類型的被感測(cè)的數(shù)據(jù)的收集基于所報(bào)告的錯(cuò)誤類型或系統(tǒng)狀態(tài)而改變。該改變由理解該種類型的系統(tǒng)條件(錯(cuò)誤、暫停、警告、超時(shí)等等)已經(jīng)出現(xiàn)或大概要出現(xiàn)并指令收集器框架調(diào)諧指令的分析引擎所驅(qū)動(dòng)。
[0069]圖4是根據(jù)本發(fā)明實(shí)施例的日志分析系統(tǒng)400的框圖。日志分析系統(tǒng)包括:源模塊402、傳感器模塊404、日志分析平臺(tái)430、收集器模塊406、收集器同步子模塊416、分析節(jié)點(diǎn)模塊408、警告子模塊418、分析管道子模塊428、索引API子模塊438、搜索簇存儲(chǔ)410、錯(cuò)誤事件警告412以及警告動(dòng)作414。
[0070]警告被配置為監(jiān)視在具體主機(jī)名稱上是否存在任何錯(cuò)誤。警告插敘看起來如下:
[0071]Severity:Error AND Hostname:product1n*
[0072]在日志分析系統(tǒng)400中，收集器框架的默認(rèn)設(shè)置僅僅是用于捕獲來自所有生產(chǎn)服務(wù)器的錯(cuò)誤和報(bào)警。錯(cuò)誤事件412由主機(jī)名稱=聲場(chǎng)019上的生成應(yīng)用服務(wù)器拋出。這觸發(fā)了警告動(dòng)作414以便運(yùn)行分析腳本，其評(píng)估用于調(diào)諧所有日志到下一個(gè)小時(shí)的Logger.DEBUG級(jí)別的需要，使得事件的列表在所有生產(chǎn)服務(wù)器上被監(jiān)視。用于該例子的警告動(dòng)作顯示如下:
[0073]Sensor_Product1n019 log_level = Logger.DEBUG
[0074]通過執(zhí)行運(yùn)行各種搜索算法以識(shí)別存在用于改變調(diào)試級(jí)別以便進(jìn)一步評(píng)價(jià)所述情況的需要，確定將登錄器級(jí)別改變?yōu)檎{(diào)試。因此，通過執(zhí)行基于通過警告被識(shí)別的情形確定要采取的行動(dòng)的分析管道或腳本，動(dòng)態(tài)改變被收集到基于搜索的分析平臺(tái)的數(shù)據(jù)的類型。
[0075]這些動(dòng)作作為對(duì)索引API請(qǐng)求的響應(yīng)通過分析平臺(tái)430被發(fā)送會(huì)收集器同步416。
[0076]本公開的一些實(shí)施例可以一個(gè)或多個(gè)以下優(yōu)點(diǎn):⑴僅僅存儲(chǔ)相關(guān)數(shù)據(jù)、(ii)僅僅存儲(chǔ)來自具體服務(wù)器的數(shù)據(jù)、(iii)僅僅存儲(chǔ)來自相關(guān)服務(wù)器的數(shù)據(jù)、(iv)僅僅存儲(chǔ)來自具體日志的數(shù)據(jù)、(V)僅僅存儲(chǔ)來自相關(guān)日志的數(shù)據(jù)、(vi)提供來自具體服務(wù)器的可搜索數(shù)據(jù)、(vii)提供來自相關(guān)服務(wù)器的可搜索數(shù)據(jù)、(viii)提供來自相關(guān)日志的可搜索數(shù)據(jù)、(ix)提供來自具體日志的可搜索數(shù)據(jù)、(X)確定默認(rèn)收集級(jí)別不足的情況存在、(xi)確定對(duì)識(shí)別情形應(yīng)該收集什么附加信息、(xii)調(diào)諧客戶端感測(cè)，以便提供用于識(shí)別情形的附加信息、(xiii)確定對(duì)于識(shí)別情形應(yīng)該收集什么上下文信息、(xiv)調(diào)諧客戶端感測(cè)以便提供用于識(shí)別情形的上下文信息、(XV)有效執(zhí)行用于輸入數(shù)據(jù)的分析內(nèi)容、以及(xvi)快速執(zhí)行分析內(nèi)容以便在錯(cuò)誤出現(xiàn)時(shí)捕獲瞬態(tài)數(shù)據(jù)。
[0077]圖5是根據(jù)本公開的實(shí)施例的進(jìn)程500事件的流程圖，其使得日志和數(shù)據(jù)的收集的自動(dòng)基于警告的調(diào)諧能夠進(jìn)行。進(jìn)程500包括被采取來使用分析管道的基于警告的執(zhí)行而自動(dòng)調(diào)諧傳感器級(jí)別。
[0078]處理開始于步驟S502并繼續(xù)到步驟S504，其中收集器同步收集最小數(shù)據(jù)以便識(shí)別警告情形。
[0079]處理前進(jìn)到步驟S506，其中設(shè)置警告用于監(jiān)視所收集數(shù)據(jù)中的事件。警告的例子為用于生產(chǎn)服務(wù)器上的錯(cuò)誤的警告。
[0080]處理前進(jìn)到步驟S508，其中所收集的數(shù)據(jù)包括與警告情形匹配的輸入事件。
[0081]處理前進(jìn)到步驟S510，其中分析引擎，諸如分析管道，處理所收集數(shù)據(jù)。
[0082]處理前進(jìn)到步驟S512，其中分析引擎根據(jù)錯(cuò)誤通做知識(shí)處理所收集數(shù)據(jù)。
[0083]處理前進(jìn)到步驟S514，其中由分析引擎確定是否采取傳感器調(diào)諧動(dòng)作，如果沒有采取動(dòng)作，則結(jié)束處理。
[0084]如果將采取傳感器調(diào)諧動(dòng)作，則處理前進(jìn)到步驟S516，其中采取傳感器調(diào)諧動(dòng)作。傳感器調(diào)諧動(dòng)作包括:(i)改變?nèi)罩炯?jí)別、(ii)改變數(shù)據(jù)捕獲范圍、(iii)調(diào)諧客戶端感測(cè)以便提供用于識(shí)別情形的附加信息、(iv)調(diào)諧客戶端感測(cè)以便提供用于識(shí)別情形的上下文信息。
[0085]處理在步驟S518處結(jié)束。
[0086]本公開的一些實(shí)施例能夠利用諸如Flume (注:術(shù)語“Flume”可能屬于全世界各個(gè)法域中的商標(biāo)權(quán)，其在此僅僅被用于指通過在這種商標(biāo)權(quán)存在的范圍被這種標(biāo)記適當(dāng)命名的產(chǎn)品或服務(wù))的分析平臺(tái)和集合框架實(shí)現(xiàn)。本公開的一些實(shí)施例執(zhí)行步驟S504和S516作為Flume中的同步碼(Sync Code)。而且，使用分析平臺(tái)的一些實(shí)施例將步驟S506、S510和S512處理為該平臺(tái)的固有部分。
[0087]下面使用情況介紹其中可能應(yīng)用本公開的一些實(shí)施例的環(huán)境。
[0088]第一種使用情況是銀行業(yè)務(wù)網(wǎng)關(guān)環(huán)境，其中網(wǎng)關(guān)存儲(chǔ)不同類型日志。這些日志通常有網(wǎng)關(guān)設(shè)備在網(wǎng)關(guān)級(jí)別或系統(tǒng)(domain)級(jí)別提供。
[0089]當(dāng)商業(yè)交易失敗時(shí)，顧客通常需要關(guān)于被登錄到各種保障人員可搜索的持久存儲(chǔ)器中的商業(yè)交易的所有信息。對(duì)銀行而言，存儲(chǔ)流經(jīng)不同系統(tǒng)的所有商業(yè)交易數(shù)據(jù)并不是可行方案。因此，從網(wǎng)關(guān)分析前景來說，開發(fā)的系統(tǒng)專用(domain-specific)日志和網(wǎng)關(guān)專用日志的不同級(jí)別的自動(dòng)調(diào)諧將是分廠有價(jià)值的。
[0090]第二種使用情況是移動(dòng)設(shè)備環(huán)境,其中現(xiàn)有的(off-the-shelf)分析平臺(tái)使用專門的移動(dòng)平臺(tái)存儲(chǔ)所有設(shè)備專用(device-specific)信息。例如,應(yīng)用開發(fā)者的應(yīng)用在具體設(shè)備上的具體OS (操作系統(tǒng))版本上失敗，諸如在Nexus上的安卓(Android) 4.1版。(注意，術(shù)語“Android”和/或“Nexus”可能在全世界的各個(gè)法域都具有商標(biāo)權(quán)，此處只用于指代采用此標(biāo)記在這種商標(biāo)權(quán)可能存在的范圍內(nèi)適當(dāng)?shù)孛a(chǎn)品或服務(wù))。日志分析平臺(tái)的分析內(nèi)容可以識(shí)別這種類型的故障并調(diào)諧專用于所有版本上的Nexus設(shè)備的客戶庫，使得應(yīng)用開發(fā)者或惡足夠的信息來識(shí)別該問題的根本原因。
[0091]本公開的一些實(shí)施例披露了一種方法和裝置，其中分析內(nèi)容被執(zhí)行一遍改變由傳感器設(shè)置的數(shù)據(jù)集合。
[0092]本公開的一些實(shí)施例披露一種方法,通過該方法，可以識(shí)別一種情形以便觸發(fā)用于執(zhí)行的分析內(nèi)容以便修改傳感器數(shù)據(jù)集合級(jí)別。
[0093]本公開的一些實(shí)施例披露可以中框架，通過該框架，數(shù)據(jù)集合級(jí)別基于分析內(nèi)容或管道設(shè)置的動(dòng)作而被自動(dòng)改變。管道是一種順序程序，其通常采用腳本化語言，諸如ΡΥΤΗ0Ν，來編寫，其可以搜索、修改/評(píng)價(jià)和可視化存儲(chǔ)在分布式搜索簇中的數(shù)據(jù)。(注意，術(shù)語PYTHON”可能在全世界的各個(gè)法域都具有商標(biāo)權(quán)，此處只用于指代采用此標(biāo)記在這種商標(biāo)權(quán)可能存在的范圍內(nèi)適當(dāng)?shù)孛a(chǎn)品或服務(wù))。
[0094]本公開的一些實(shí)施例涉及更有效率地調(diào)諧采集進(jìn)入大數(shù)據(jù)分析引擎的大數(shù)據(jù):存儲(chǔ)在分布式搜索簇中的海量數(shù)據(jù)的⑴存儲(chǔ)、(ii)索弓1、(iii)處理以及(iv)分析。
[0095]本公開的一些實(shí)施例認(rèn)識(shí)到，時(shí)常有不同類型的數(shù)據(jù)被扔入大數(shù)據(jù)分析引擎以便進(jìn)行索引和存儲(chǔ)。在大多數(shù)情況下該數(shù)據(jù)周期性地被分析以便分析不同的情況和見識(shí)。
[0096]本公開的一些實(shí)施例能夠同步和有效地控制被收集的數(shù)據(jù)量。圖6中圖釋了該數(shù)據(jù)集合(也被稱為數(shù)據(jù)采集)。
[0097]圖6是根據(jù)本發(fā)明的一個(gè)實(shí)施例的日志分析平臺(tái)600的框圖。日志分析平臺(tái)包括:事件數(shù)據(jù)源602、收集器層604、過濾的事件數(shù)據(jù)606、分析引擎620、搜集簇存儲(chǔ)器622、分析管道624以及分析輸出數(shù)據(jù)626。
[0098]數(shù)據(jù)602的過剩對(duì)分布式大數(shù)據(jù)分析引擎620而言是噪聲。本公開的一些實(shí)施例通過以下方式提供了高效分析內(nèi)容執(zhí)行:(i)過濾正確內(nèi)容采集以便收集過濾的事件數(shù)據(jù)606，(ii)通過(a)規(guī)定分析、(b)說明性分析以及(c)預(yù)測(cè)性分析將分析內(nèi)容應(yīng)用到該過濾的事件數(shù)據(jù)以便獲得見解和可視化，以及(iii)通過調(diào)諧數(shù)據(jù)采集指令到返回(a)調(diào)諧指令、(b)配置指令以及(c)過濾選項(xiàng)到收集器層604來增強(qiáng)分析能容執(zhí)行。收集調(diào)諧的數(shù)據(jù)以便派生更好的分析方案。
[0099]本公開的一些實(shí)施例通過在大數(shù)據(jù)分析引擎中執(zhí)行分析內(nèi)容以便提供增強(qiáng)的數(shù)據(jù)米集策略。
[0100]本公開的一些實(shí)施例通過著眼于最小數(shù)據(jù)集以及基于初始分析的輸出增強(qiáng)用于附加和相關(guān)數(shù)據(jù)的數(shù)據(jù)采集來在分析中獲得高級(jí)優(yōu)化。
[0101]在架構(gòu)體系中，基于分析內(nèi)容的結(jié)果和找到分析內(nèi)容通過數(shù)據(jù)收集器的調(diào)諧和配置策略可以優(yōu)化和增強(qiáng)大數(shù)據(jù)分析引擎的整體性能。
[0102]本公開的一些實(shí)施例認(rèn)識(shí)到在將自動(dòng)的大數(shù)據(jù)分析引入收集日志數(shù)據(jù)的領(lǐng)域方面的價(jià)值，其中收集器和同步描述了數(shù)據(jù)被收集以及被自動(dòng)饋送到分析執(zhí)行組件(已知為管道)的方式。
[0103]從收集器的角度看每個(gè)收集級(jí)別可以具有將被收集的預(yù)定數(shù)據(jù)集。例如在對(duì)于具體操作系統(tǒng)或設(shè)備類型不能正確其作用的移動(dòng)應(yīng)用情況下，本公開的一些實(shí)施例收集:(i)本機(jī)日志、(ii)開發(fā)API日志、以及(iii)形成完整數(shù)據(jù)集的應(yīng)用日志。本公開的一些實(shí)施例在這種數(shù)據(jù)及收集指令被賦予收集器之前執(zhí)行自動(dòng)的大數(shù)據(jù)分析。
[0104]本公開的一些實(shí)施例通過同步級(jí)別設(shè)置集合級(jí)別。在每次執(zhí)行分析管道時(shí)可以做到這一點(diǎn)，其(i)在大數(shù)據(jù)及之間執(zhí)行搜索，(ii)到達(dá)邏輯結(jié)果以及(iii)執(zhí)行用于收集器的同步指令以便改變其應(yīng)該收集的數(shù)據(jù)集。
[0105]在登錄活動(dòng)方面的增加是用于數(shù)據(jù)集合的改變指令的一種類型。不過，收集器層在不改變正運(yùn)行的軟件程序的現(xiàn)有性能(behav1r)的情況下處理已經(jīng)正被傳感器捕獲的數(shù)據(jù)。
[0106]本公開的一些實(shí)施例使用收集器框架、或者包括收集器層的框架，作為在代理器(agent)、傳感器等的頂部上的數(shù)據(jù)集集合的下一級(jí)別。收集器框架中的收集器與多個(gè)代理器一起工作。收集器框架構(gòu)建為跨多個(gè)代理器的數(shù)據(jù)收集器下一級(jí)別，并且提供對(duì)不同數(shù)據(jù)存儲(chǔ)API的同步能力。收集器引入的架構(gòu)有點(diǎn)包括但不限于:(i)緩沖、(ii)切換(failover), (iii)對(duì)不同數(shù)據(jù)格式的支持、以及(iv)對(duì)多個(gè)數(shù)據(jù)同步的支持。流行出現(xiàn)的收集器層的商業(yè)實(shí)例包括:Scribe、Kafka、Flume、以及Loggregator。(注意:術(shù)語“Scribe”、“Kafka”、“Flume”和/或“Loggregator”可能在全世界的各個(gè)法域都具有商標(biāo)權(quán)，此處只用于指代采用此標(biāo)記在這種商標(biāo)權(quán)可能存在的范圍內(nèi)適當(dāng)?shù)孛a(chǎn)品或服務(wù)。)
[0107]本公開的一些實(shí)施例在收集器層處提供指令用于修改數(shù)據(jù)集的集合。圖7是根據(jù)本發(fā)明一個(gè)實(shí)施例的收集器框架700的框圖。圖7中顯示了一個(gè)實(shí)例，其中收集器702在出現(xiàn)故障時(shí)接管收集器704.收集器可以聚合多個(gè)數(shù)據(jù)集并提供諸如用于日志文件706、數(shù)據(jù)庫觸發(fā)器708、本機(jī)二進(jìn)制710以及虛擬機(jī)器統(tǒng)計(jì)712的不同類型的同步。
[0108]本公開的一些實(shí)施例提供對(duì)在分布式系統(tǒng)上日益增長(zhǎng)的大數(shù)據(jù)的彈性比例的的需要，這種大數(shù)據(jù)是傳統(tǒng)數(shù)據(jù)庫不能處理的。
[0109]本公開的一些實(shí)施例對(duì)可獲得數(shù)據(jù)應(yīng)用分析，以用于(i)故障預(yù)測(cè)、以及(ii)收集器框架的數(shù)據(jù)集集合調(diào)諧的調(diào)節(jié)。
[0110]本公開的一些實(shí)施例包括分析中樞，其提供成為管道的編程模型，其形成用于提供對(duì)跨不同類型數(shù)據(jù)源收集的數(shù)據(jù)的分析能力的基礎(chǔ)。
[0111]本公開的一些實(shí)施例應(yīng)用該分析層的結(jié)果來調(diào)諧用于數(shù)據(jù)集集合的收集器同步層。
[0112]本發(fā)明的一些實(shí)施例具有收集器框架，其每次在通過應(yīng)用分析例程而識(shí)別具體條件時(shí)必須被重新調(diào)諧。在這種情況下，分析引擎具有搜出和找到需要重新調(diào)諧的異常的算法。
[0113]IV.管道分析平臺(tái)的進(jìn)一步描述
[0114]此處描述的主題提供了基于管道編程模型的分析。本技術(shù)引入了在此稱為“管道”的概念。如此處所描述的，管道代表一種邏輯構(gòu)造，其包括定義在支持編程/腳本化語言句法(例如PYTHON，盡管許多其他句法也可以)中的搜索和可視化指令。(注意:術(shù)語“PYTHON”可能在全世界的各個(gè)法域都具有商標(biāo)權(quán)，此處只用于指代采用此標(biāo)記在這種商標(biāo)權(quán)可能存在的范圍內(nèi)適當(dāng)?shù)孛a(chǎn)品或服務(wù))。此處了描述了新的“管道編程模型”。管道編程模型提供了一種架構(gòu)體系，其定義和執(zhí)行具有順序搜索的“管道”、所搜索數(shù)據(jù)的修改/凈化、以及使用單一線程請(qǐng)求/響應(yīng)范例的數(shù)據(jù)的可視化。因此，管道編程模型使用單一超文本協(xié)議(HTTP)請(qǐng)求、在HTTP服務(wù)器處的單一 HTTP線程的操作、以及自服務(wù)器的通過單一服務(wù)器HTTP線程的單一 HTTP響應(yīng)提供了對(duì)數(shù)據(jù)的若干分析操作的分隔化處理以及分析操作結(jié)果的返回。
[0115]此處所描述的“管道化HTTP請(qǐng)求”代表一種HTTP請(qǐng)求，其包括/涵蓋腳本化代碼，其被HTTP服務(wù)器請(qǐng)求在所述單一操作線程下針對(duì)數(shù)據(jù)集被執(zhí)行。腳本語言的執(zhí)行可以通過單一操作線程在與所述腳本化代碼相關(guān)聯(lián)的本地腳本語言運(yùn)行時(shí)間中進(jìn)行。此處所描述的“管道化HTTP響應(yīng)”代表一種HTTP響應(yīng)，其包括/涵蓋由單一 HTTP線程所返回的腳本化代碼的執(zhí)行結(jié)果，該單一 HTTP線程響應(yīng)于接收到管道化HTTP請(qǐng)求而創(chuàng)建。所述腳本化代碼可以包括腳本化句法，其可執(zhí)行以便進(jìn)行搜索功能、數(shù)據(jù)操縱功能、以及數(shù)據(jù)可視化功能。因此，此處描述的管道編程模型提供了一種用于數(shù)據(jù)分析的綜合方案，其可以改善用于數(shù)據(jù)集的數(shù)據(jù)分析，該數(shù)據(jù)集包括大型分布式數(shù)據(jù)集。
[0116]此處利用網(wǎng)應(yīng)用作為源平臺(tái)的例子，如上所述和下面更詳細(xì)的描述，在該源平臺(tái)中可以實(shí)現(xiàn)管道編程模型，并且其中用戶可以配置和發(fā)出用于分析的管道化HTTP請(qǐng)求。中間件分析平臺(tái)在此被利用作為目標(biāo)平臺(tái)，在該目標(biāo)平臺(tái)中，可以實(shí)現(xiàn)管道編程模型，并且在其中可以執(zhí)行管道化HTTP請(qǐng)求?？梢岳斫獾氖?，其它平臺(tái)可能性也是存在的，其可以被用作源和目標(biāo)平臺(tái)，用于實(shí)現(xiàn)管道編程模型，并且可以在本技術(shù)的范圍考慮所有這些可能性。
[0117]所述搜索可以包括一種分布式定向批處理搜索，被請(qǐng)求在管道化HTTP請(qǐng)求內(nèi)執(zhí)行，其在管道化HTTP請(qǐng)求中使用嵌入式腳本化代碼。分布式定向批處理搜索可以由HTTP服務(wù)器在跨分布式和本地?cái)?shù)據(jù)節(jié)點(diǎn)的單一操作線程下被執(zhí)行以便查詢?cè)撍阉鹘Y(jié)果(例如，搜索命中)。該搜索的結(jié)果可以在與在HTTP請(qǐng)求內(nèi)由腳本化代碼所指明的操作線程相同的操作線程下被操縱。搜索的結(jié)果和/或數(shù)據(jù)操縱可以再次在與在HTTP請(qǐng)求內(nèi)由腳本化代碼所指明的操作線程相同的操作線程下通過制圖庫而被可視化。被操縱的和/或可視化的搜索結(jié)果可以再次在相同的操作線程下作為對(duì)管道化HTTP請(qǐng)求的響應(yīng)被返回。因此，單一HTTP請(qǐng)求可以由HTTP服務(wù)器處理以便代表發(fā)出管道化HTTP請(qǐng)求的用戶執(zhí)行搜索、數(shù)據(jù)操縱以及數(shù)據(jù)可視化操作。管道化HTTP請(qǐng)求的結(jié)果可以表達(dá)(render)在現(xiàn)實(shí)設(shè)備上或者在生成其它表達(dá)輸出，并且所表達(dá)的數(shù)據(jù)可以呈現(xiàn)給用戶。因此，數(shù)據(jù)分析可以通過使用此處所描述的管道編程模型而得到改善。
[0118]諸如Python、JavaScript、PHP:Hypertext Preprocessor (超文本處理器)(PHP)的腳本語言以及Perl腳本語言可以用作其中管道化HTTP請(qǐng)求內(nèi)的腳本化代碼在句法上被公式化/創(chuàng)建的腳本語言。(注意:術(shù)語“Python”、“JavaScript”、“PHP”、“HypertextPr印lOcessor”、和/或“Perl”可能在全世界的各個(gè)法域都具有商標(biāo)權(quán)，此處只用于指代采用此標(biāo)記在這種商標(biāo)權(quán)可能存在的范圍內(nèi)適當(dāng)?shù)孛a(chǎn)品或服務(wù))。也可以適當(dāng)?shù)厥褂闷渌_本語言用于給定的實(shí)施方式。如上所述以及如下面更詳細(xì)描述的，腳本化代碼與管道化HTTP請(qǐng)求和分布式搜索技術(shù)結(jié)合使用來提供用于復(fù)雜數(shù)據(jù)搜索和可視化的描述性分析。
[0119]如上所述，管道化HTTP請(qǐng)求導(dǎo)致在實(shí)現(xiàn)管道編程模型的目標(biāo)平臺(tái)中新線程的創(chuàng)建。可選擇地，目標(biāo)平臺(tái)可以被稱為中間件分析平臺(tái)。目標(biāo)平臺(tái)執(zhí)行所請(qǐng)求的管道。新創(chuàng)建的線程解釋以定義管道的各個(gè)順序腳本語言提供的指令并執(zhí)行與目標(biāo)平臺(tái)相關(guān)聯(lián)的管道。對(duì)此處的例子來說，在管道中主要有三種指令，盡管可以適當(dāng)?shù)乩闷渌愋陀糜诮o定的實(shí)施方式。管道中的第一類指令包括搜索功能。管道中的第二類指令包括數(shù)據(jù)操縱功能。管道中的第三類指令包括數(shù)據(jù)可視化功能。
[0120]關(guān)于可能的搜索功能，搜索命中率(例如，基于搜索準(zhǔn)則對(duì)原結(jié)果的搜索)、搜索術(shù)語層面(termfacet)(例如，對(duì)跨具體領(lǐng)域的值的層面或分布的搜索)、搜索數(shù)據(jù)時(shí)間直方圖(例如，對(duì)跨由文件的日期和時(shí)間定義的直方圖的時(shí)間的分布的搜索)、以及類似搜索規(guī)范代表一些實(shí)例搜索功能，其可以被用來在目標(biāo)平臺(tái)中利用單一 HTTP線程實(shí)現(xiàn)復(fù)雜數(shù)據(jù)的搜索。關(guān)于可能的數(shù)據(jù)操縱功能，歸類(例如，基于字段值對(duì)所接收的結(jié)果的歸類)、過濾(例如，濾除使用搜索功能獲得的結(jié)果中的不需要的噪聲)、映射(例如，以一種可能更容易/更可理解地被可視化的方式重新排序不同值)、分組(例如，基于數(shù)據(jù)的特性，將所接收的結(jié)果聚合成一些組)、以及類型數(shù)據(jù)操縱代表實(shí)例數(shù)據(jù)操縱功能，其可以被利用來在目標(biāo)平臺(tái)中利用單一 HTTP線程實(shí)現(xiàn)復(fù)雜數(shù)據(jù)的搜索結(jié)果的數(shù)據(jù)操縱。關(guān)于可能的數(shù)據(jù)可視化功能，chart_pie (例如顯現(xiàn)一個(gè)圓形圖形以便使得數(shù)值的分布可視化)、chart_stats (例如，顯現(xiàn)最小值、最大值以及平均值)、chart_chord(例如顯現(xiàn)各種數(shù)據(jù)類型的弦分布)、chart_heatmap (例如,顯現(xiàn)在搜索結(jié)果中被代表的值的熱圖分布,諸如跨服務(wù)器的存儲(chǔ)器利用率)、chart_timeline (例如,顯現(xiàn)表示在時(shí)間線中的事件的順序的時(shí)間線圖表)、Chart_horiZon(例如顯現(xiàn)在時(shí)間線中顯示的值的變化形式)、以及類似數(shù)據(jù)可視化規(guī)范代表實(shí)例數(shù)據(jù)可視化功能，其以被利用來在目標(biāo)平臺(tái)中利用單一 HTTP線程實(shí)現(xiàn)復(fù)雜數(shù)據(jù)的被操縱搜索結(jié)果的可視化輸出。還應(yīng)該注意到是，盡管上述實(shí)例功能處于舉例目的被利用，但是其他搜索功能、數(shù)據(jù)操縱功能以及數(shù)據(jù)可視化功能也是有可能的，并且所有這種功能都被認(rèn)為在本主題的范圍之內(nèi)。
[0121]應(yīng)該注意到的是，本主題的概念源自于對(duì)與數(shù)據(jù)分析相關(guān)聯(lián)的某些限制的認(rèn)識(shí)。例如，可以觀察到，所搜索的數(shù)據(jù)通常隱藏的(cryptic)并且其采取的格式難以利用圖形和圖表可視化。此外，可以觀察到，數(shù)據(jù)搜索結(jié)果通常需要操縱，諸如，通過被凈化(例如，去除諸如被不適當(dāng)格式化的數(shù)據(jù)元素的噪聲)以及通過以不同組合被再格式化，以便提供有效的描述性分析能力。還可以觀察到，搜索通常變得越來越復(fù)雜，這需要終端用戶將對(duì)較大的和分布式數(shù)據(jù)存儲(chǔ)器(例如，集合的大數(shù)據(jù))的搜索分解(decouple)成一些定向批處理程序，這些程序?yàn)榉治鎏砑恿祟~外負(fù)擔(dān)并且不通過對(duì)終端用戶的可視化就該數(shù)據(jù)提供實(shí)時(shí)見解。本主題通過提供基于管道編程模型的分析改善了數(shù)據(jù)分析。因此，可以通過使用此處描述的技術(shù)獲得改善的數(shù)據(jù)分析。
[0122]此處描述的基于管道編程模型的分析可以實(shí)時(shí)實(shí)現(xiàn)以便容許快速可視化復(fù)雜數(shù)據(jù)搜索、數(shù)據(jù)操縱以及分析數(shù)據(jù)可視化。對(duì)于本說明來說，實(shí)時(shí)應(yīng)該包括在提供用于此處描述的主題的用戶可接受的信息處理的合理的響應(yīng)時(shí)間方面的足夠短時(shí)間的任何時(shí)間幀。此夕卜，術(shù)語“實(shí)時(shí)(real time) ”應(yīng)該包括通常所稱的“接近實(shí)時(shí)(“near real time)”,其通常意味著任何時(shí)間幀，其具有足夠短的時(shí)段以便能夠提供用于所描述的主題的用戶可接受的隨選信息處理的合理響應(yīng)時(shí)間(例如，在不到一秒或在幾秒內(nèi))。這些術(shù)語，盡管很難精確定義，但是是本領(lǐng)域的普通技術(shù)人員所熟知的。
[0123]圖8是用于基于i管道編程模型提供分析的系統(tǒng)800的實(shí)施方式的實(shí)例的框圖。計(jì)算設(shè)備_1 802到計(jì)算設(shè)備_N804經(jīng)由網(wǎng)絡(luò)806與若干其他設(shè)備通信。所述其他設(shè)備包括服務(wù)器_1 808到服務(wù)器_11810。數(shù)據(jù)庫_1 812到數(shù)據(jù)庫_了814代表數(shù)據(jù)的物理存儲(chǔ)位置，數(shù)據(jù)可以包括復(fù)雜的分布式數(shù)據(jù)，其可以利用此處所描述的管道編程模型來處理。
[0124]如下面結(jié)合圖9-14更詳細(xì)描述的那樣，計(jì)算設(shè)備_1 802到計(jì)算設(shè)備_N804以及服務(wù)器_1 808到服務(wù)器_11810每個(gè)可以提供基于管道編程模型的自動(dòng)分析。所述基于管道編程模型的自動(dòng)分析基于由例如計(jì)算設(shè)備_1 802到計(jì)算設(shè)備_N804之一向服務(wù)器_1 808到服務(wù)器_M810之一發(fā)出包括腳本化代碼的管道化HTTP請(qǐng)求。管道化HTTP請(qǐng)求的接收使得相應(yīng)服務(wù)器創(chuàng)建單一管道化HTTP線程來處理所述管道化HTTP請(qǐng)求。管道化HTTP請(qǐng)求的處理可以包括如在所述腳本化代碼中配置的處理，該代碼封裝在管道化HTTP請(qǐng)求中，并且所處理的結(jié)果通過單一管道化HTTP線程被返回到請(qǐng)求計(jì)算設(shè)備。存在是實(shí)現(xiàn)本主題的可能變化形式，并且所有這些變化形式都被認(rèn)為在本主題的范圍內(nèi)。
[0125]應(yīng)該注意的是，此處結(jié)合圖8描述的任何相應(yīng)計(jì)算設(shè)備可以是便攜式計(jì)算設(shè)備，或者通過用戶能力移動(dòng)到不同位置的相應(yīng)計(jì)算設(shè)備，或者是與諸如飛機(jī)、火車、七成或其他移動(dòng)交通工具的便攜式平臺(tái)相關(guān)的相應(yīng)計(jì)算設(shè)備。還應(yīng)該注意的是，各個(gè)計(jì)算設(shè)備可以任何能夠如上所述和下面更詳細(xì)所述的處理信息的計(jì)算設(shè)備。例如，相應(yīng)計(jì)算設(shè)備可以包括一些設(shè)備，諸如，個(gè)人計(jì)算機(jī)(例如、臺(tái)式機(jī)、膝上計(jì)算機(jī)等等)、或手持設(shè)備(例如蜂窩電話、個(gè)人數(shù)字助理(PDA)、電子郵件設(shè)備、音樂記錄或播放設(shè)備、平板計(jì)算設(shè)備、電子書閱讀設(shè)備等等)、網(wǎng)絡(luò)服務(wù)器、應(yīng)用服務(wù)器、或其他數(shù)據(jù)服務(wù)器設(shè)備、或能夠如上所述或如下更詳細(xì)所述處理信息的任何其他設(shè)備。
[0126]網(wǎng)絡(luò)806可以包括:適于有意目的的任何形式的互聯(lián)，包括諸如內(nèi)聯(lián)網(wǎng)或互聯(lián)網(wǎng)的私有和公共網(wǎng)絡(luò)，模塊間直接互聯(lián)、撥號(hào)、無線、或任何能夠使得相應(yīng)設(shè)備互相連接的其它互聯(lián)機(jī)制。
[0127]服務(wù)器_1 808到服務(wù)器_M810可以包括能夠經(jīng)由諸如網(wǎng)絡(luò)806的網(wǎng)絡(luò)提供由設(shè)備消費(fèi)的數(shù)據(jù)的任何設(shè)備，諸如計(jì)算設(shè)備_1 802到計(jì)算設(shè)備_N804。因此，服務(wù)器_1 808到服務(wù)器_1810每個(gè)可以包括網(wǎng)絡(luò)服務(wù)器、應(yīng)用服務(wù)器或其他數(shù)據(jù)服務(wù)器設(shè)備。
[0128]圖9是能夠基于管道編程模型執(zhí)行分析的核心處理模塊900的實(shí)施方式的實(shí)例的框圖。核心處理模塊900對(duì)于給定實(shí)施方式可以適當(dāng)?shù)嘏c計(jì)算設(shè)備_1 802到計(jì)算設(shè)備_N804或與服務(wù)器_1 808到服務(wù)器_11810相關(guān)聯(lián)。因此，在此總體描述了核心處理模塊900，盡管可以理解到，在核心處理模塊900內(nèi)的組件的實(shí)施方式有各種變化形式并且這些變化形式都在本主題的范圍內(nèi)。
[0129]而且，核心處理模塊900可以提供與每種實(shí)施方式相關(guān)聯(lián)的管道化HTTP請(qǐng)求的不同和互補(bǔ)的處理。因此，對(duì)于下面任何實(shí)例，可以理解到，針對(duì)結(jié)合另一個(gè)設(shè)備(例如發(fā)送/正發(fā)送等等)描述的任何一個(gè)設(shè)備描述的功能的任何方面都將被理解為同時(shí)描述其他相應(yīng)設(shè)備(例如，接收/正接收等等)的功能。
[0130]中央處理單元(CPU)902提供計(jì)算機(jī)指令執(zhí)行、計(jì)算、以及核心處理模塊900內(nèi)的其他能力。顯示器904向核心處理模塊900的用戶提供可視信息以及輸入設(shè)備906為用戶提供輸入能力。
[0131]顯示器904可以包括任何顯示設(shè)備，諸如陰極射線管(CRT)、液晶顯示器(LCD)光發(fā)射二極管(LED)、電子墨水顯示器、投影儀、觸摸屏或其他顯示元件或面板。輸入設(shè)備906可以包括計(jì)算機(jī)鍵盤、鍵區(qū)、鼠標(biāo)、筆、搖桿、觸屏或用戶通過其能夠與顯示器904進(jìn)行交互或?qū)︼@示器904上的信息作出響應(yīng)的任何其他類型輸入設(shè)備。
[0132]還應(yīng)該注意到，顯示器904以及輸入設(shè)備906對(duì)于某些事實(shí)方式/設(shè)備，諸如服務(wù)器_1 808到服務(wù)器_11810，為用于核心處理模塊900的可選組件。因此，核心處理模塊900可以用作一個(gè)完全自動(dòng)實(shí)現(xiàn)的是被而不需要直接用戶可配置性或反饋。不過，對(duì)于給定實(shí)施方式，核心處理模塊900也可以適當(dāng)?shù)胤謩e經(jīng)由顯示器904和輸入設(shè)備906向用戶提供反饋和可配置性。
[0133]通訊模塊908提供互聯(lián)能力，其使得核心處理模塊900與系統(tǒng)900內(nèi)的其他模塊進(jìn)行通信。通訊模塊908根據(jù)給定實(shí)施方式適當(dāng)?shù)乜梢园捎糜谔峁┗ヂ?lián)能力的任何電的、協(xié)議以及協(xié)議轉(zhuǎn)換能力。
[0134]存儲(chǔ)器910包括管道化HTTP請(qǐng)求處理存儲(chǔ)區(qū)域912，其公共用于與核心處理模塊900相關(guān)聯(lián)的管道化HTTP請(qǐng)求的處理的存儲(chǔ)。例如，如果核心處理模塊900與計(jì)算設(shè)備_1802到計(jì)算設(shè)備_N804相關(guān)聯(lián)，則管道化HTTP請(qǐng)求處理存儲(chǔ)區(qū)域912可用于創(chuàng)建管道化HTTP請(qǐng)求。類似地，如果核心處理模塊900與服務(wù)器_1 808到服務(wù)器_M810相關(guān)聯(lián)，則管道化HTTP請(qǐng)求處理存儲(chǔ)區(qū)域912可用于存儲(chǔ)和處理所接收的管道化HTTP請(qǐng)求。
[0135]應(yīng)用區(qū)域914提供用于一個(gè)或多個(gè)被CPU902執(zhí)行的應(yīng)用的存儲(chǔ)和執(zhí)行空間。應(yīng)用區(qū)域914可以執(zhí)行例如與計(jì)算設(shè)備_1 802到計(jì)算設(shè)備_N804相關(guān)聯(lián)的應(yīng)用，以便創(chuàng)建和發(fā)送管道化HTTP請(qǐng)到求服務(wù)器_1 808到服務(wù)器_11810中的一個(gè)或多個(gè)。這種應(yīng)用也可以接收管道化HTTP響應(yīng)以及使用顯示器904或其他輸出設(shè)備表達(dá)所接收和處理的數(shù)據(jù)。
[0136]應(yīng)該理解到的是，存儲(chǔ)器910可以包括適于預(yù)定目的的易失性和非易失性存儲(chǔ)器的任何組合，適當(dāng)?shù)乜梢允欠植际降幕虮镜鼗模⑶铱梢园榱朔奖汴U述的目的而在本實(shí)例中沒有提到的其他存儲(chǔ)部分。例如，存儲(chǔ)器910可以包括不脫離本主題范圍的代碼存儲(chǔ)區(qū)域、操作系統(tǒng)存儲(chǔ)區(qū)域、代碼執(zhí)行區(qū)域、以及數(shù)據(jù)區(qū)域。
[0137]還示出了分析平臺(tái)模塊916。分析平臺(tái)模塊916提供處理能力，用于如上所述和如下更詳細(xì)所述，處理用于核心處理模塊900的管道化HTTP請(qǐng)求。分析平臺(tái)模塊916基于核心處理模塊900的管道編程模型實(shí)現(xiàn)分析。此處描述的實(shí)例利用與服務(wù)器_1 808到服務(wù)器_M810相關(guān)聯(lián)的分析平臺(tái)模塊916處理從計(jì)算設(shè)備_1 802到計(jì)算設(shè)備_N804所創(chuàng)建和接收到管道化HTTP請(qǐng)求。不過，可以理解到的是，對(duì)于給定實(shí)施方式，分析平臺(tái)模塊916可以適當(dāng)?shù)嘏c計(jì)算設(shè)備_1 802到計(jì)算設(shè)備_N804中的一個(gè)或多個(gè)相關(guān)聯(lián)地實(shí)現(xiàn)。
[0138]還應(yīng)該注意的是，在不脫離本主題的范圍的情況下，分析平臺(tái)模塊916可以形成在所描述的其他電路的一部分。而且，分析平臺(tái)模塊916可替代地實(shí)現(xiàn)為存儲(chǔ)在存儲(chǔ)器910中的應(yīng)用。在這種實(shí)施方式中，分析平臺(tái)模塊916可以包括指令，其由CPU902執(zhí)行用來進(jìn)行此處描述的功能。CPU902可以執(zhí)行這些指令以便提供上面以及下面更詳細(xì)針對(duì)核心處理模塊900描述的處理能力。在不脫離本主題的范圍的情況下，分析平臺(tái)模塊916可以形成中斷服務(wù)例程(ISR)的一部分、操作系統(tǒng)的一部分、瀏覽器應(yīng)用的一部分、或獨(dú)立應(yīng)用的一部分。
[0139]CPU902、顯示器904、輸入設(shè)備906、通訊模塊908、存儲(chǔ)器910以及分析平臺(tái)模塊916經(jīng)由互聯(lián)918而相互連接。連接918可以包括系統(tǒng)總線、網(wǎng)絡(luò)、或任何能夠?yàn)楦鞣N目的為各種組件提供適當(dāng)互聯(lián)的其他互聯(lián)。
[0140]盡管為了方便圖示和描繪目的，圖9中所示的不同模塊圖示為組件級(jí)別模塊，但是應(yīng)該注意的是，這些模塊可以包括任何硬件、編程的處理器以及存儲(chǔ)器，他們被用于實(shí)現(xiàn)如上所述以及下面更詳細(xì)描述的各個(gè)模塊的功能例如，這些模塊可以包括具有特定用途集成電路形式的附加控制器電路、處理器、天線和/或離散集成電路和用于執(zhí)行與各個(gè)模塊相關(guān)聯(lián)的通信和電控制活動(dòng)的組件。此外，這些模塊適當(dāng)?shù)乜梢园ㄖ袛嗉?jí)、堆棧級(jí)以及應(yīng)用級(jí)。而且，這些模塊可以包括任何存儲(chǔ)組件，被用于用于執(zhí)行與各個(gè)模塊相關(guān)聯(lián)的處理活動(dòng)的存儲(chǔ)、執(zhí)行和數(shù)據(jù)處理。這些模塊還包括形成所描述的其他電路的一部分或者可以在不脫離本主題的范圍的情況下被組合起來。
[0141]此外，盡管核心處理模塊900圖示有所描述的某些組件，但是在不脫離本主題的范圍的情況下其它模塊和組件也可以與核心處理模塊900相關(guān)聯(lián)。此外，應(yīng)該注意的是，盡管為了方便圖示目的，核心處理模塊900被描述為單一設(shè)備，但是在不脫離本主題的范圍的情況下核心處理模塊900的組件可以共處一處或者經(jīng)由網(wǎng)絡(luò)分開布置并互相連接。對(duì)于分布式布置的情況，顯示器904和輸入設(shè)備906可以布置在銷售設(shè)備、公用亭或其他位置的點(diǎn)，而CPU902和存儲(chǔ)器910可以位于本地或遠(yuǎn)程服務(wù)器處?？赡苡杏糜诤诵奶幚砟K900的組件的多種其他可能的布置，并且全都被認(rèn)為在本主題的范圍內(nèi)。還應(yīng)該理解到的是，盡管就圖9中的例子而言數(shù)據(jù)庫912到數(shù)據(jù)庫914圖示為獨(dú)立組件，存儲(chǔ)在各個(gè)數(shù)據(jù)庫的一個(gè)或多個(gè)內(nèi)的信息可以在不脫離本主題的范圍的情況下也/可替代地存儲(chǔ)在存儲(chǔ)器910內(nèi)。因此，核心處理模塊900可以采取多種形式并且可以與多個(gè)平臺(tái)內(nèi)相關(guān)聯(lián)。
[0142]圖10是與圖9中的用于基于管道編程模型執(zhí)行分析的分析平臺(tái)模塊916相關(guān)聯(lián)的附加細(xì)節(jié)的實(shí)施方式的實(shí)例的框圖。上所述，管道化HTTP請(qǐng)求包括腳本化代碼，其被HTTP服務(wù)器請(qǐng)求在所述單一操作線程下針對(duì)數(shù)據(jù)集被執(zhí)行。分析平臺(tái)模塊916可以以多種技術(shù)實(shí)現(xiàn)，諸如中間件分析平臺(tái)。
[0143]分析平臺(tái)模塊916包括HTTP請(qǐng)求/響應(yīng)處理器1020。響應(yīng)于接收到管道化HTTP請(qǐng)求，HTTP請(qǐng)求/響應(yīng)處理器1020通過創(chuàng)建處理該請(qǐng)求的線程來處理初始管道化HTTP請(qǐng)求。所創(chuàng)建的線程理解在管道中定義的腳本化代碼的綱領(lǐng)性語義以便執(zhí)行如管道化HTTP請(qǐng)求中的腳本化代碼所指明的數(shù)據(jù)搜索、數(shù)據(jù)操縱和數(shù)據(jù)可視化。管道化HTTP請(qǐng)求中的腳本化代碼所代表的指令由HTTP請(qǐng)求/響應(yīng)處理器1020使用腳本語言執(zhí)行/操作系統(tǒng)(OS)模塊1022發(fā)出的單一協(xié)調(diào)線程執(zhí)行。
[0144]因此，HTTP請(qǐng)求/響應(yīng)處理器1020檢測(cè)到管道化HTTP請(qǐng)求已經(jīng)被接收到，解釋該請(qǐng)求，確定該請(qǐng)求包括腳本化代碼(例如，為管道化HTTP請(qǐng)求)，以及創(chuàng)建具有所創(chuàng)建線程的管道化功能以便實(shí)現(xiàn)管道化HTTP請(qǐng)求內(nèi)的各種腳本化代碼分段的單線程執(zhí)行并對(duì)初始管道化HTTP請(qǐng)求響應(yīng)為單一線程管道化HTTP響應(yīng)。
[0145]分析平臺(tái)模塊916還包括管道執(zhí)行容器1024，其包括管道執(zhí)行引擎，該引擎由搜索引擎1026、數(shù)據(jù)操縱引擎1028以及可視化引擎1030組成。管道執(zhí)行容器1024指明了由管道_1 832到管道_S834所表示的多個(gè)同時(shí)執(zhí)行的管道將如何被定義用于由搜索引擎1026、數(shù)據(jù)操縱引擎1028以及可視化引擎1030執(zhí)行。如下面詳細(xì)描述的，管道執(zhí)行容器1024定義了句法將如何被構(gòu)造用于管道化HTTP請(qǐng)求的執(zhí)行以及還如何利用管道執(zhí)行容器1024自身中的模塊執(zhí)行所接收的管道化HTTP請(qǐng)求。因此，如上所述和下面更詳細(xì)的描述，管道執(zhí)行容器1024指明了用于管道化HTTP請(qǐng)求的接口定義以及執(zhí)行能力，確定所配置的接口處理語義規(guī)范滿足所所接收的管道化HTTP請(qǐng)求，以及執(zhí)行合規(guī)的(compliant)管道化HTTP請(qǐng)求。如在圖10中所表示的，可以通過存在管道執(zhí)行容器1024內(nèi)創(chuàng)建多個(gè)管道1032到1034來同時(shí)處理多個(gè)單線程管道化HTTP請(qǐng)求。
[0146]關(guān)于在管道化HTTP請(qǐng)求中的腳本化代碼內(nèi)指明的數(shù)據(jù)搜索，所創(chuàng)建的線程被配置為理解如何利用搜索引擎1026執(zhí)行數(shù)據(jù)搜索。所創(chuàng)建線程適當(dāng)?shù)貙⒂糜谥付ㄋ阉鞴δ艿臄?shù)據(jù)搜索腳本化代碼轉(zhuǎn)換成適當(dāng)?shù)赜糜诙▽?shí)施方式的可以被諸如搜索引擎1206的搜索引擎理解的搜索語義，并且發(fā)起如管道化HTTP請(qǐng)求中的腳本化代碼所指明的數(shù)據(jù)搜索。搜索請(qǐng)求例如可以被發(fā)送到分布式搜索簇1036。該數(shù)據(jù)搜索處理可以實(shí)現(xiàn)為關(guān)于所創(chuàng)建線程的堵塞調(diào)用。因此，如管道化HTTP請(qǐng)求中的腳本化代碼所指明的以及下面更詳細(xì)描述的那樣，數(shù)據(jù)搜索的結(jié)果被返回到所創(chuàng)建的線程用于附加處理。
[0147]一旦數(shù)據(jù)搜索結(jié)果已經(jīng)收到，則管道化HTTP請(qǐng)求中的腳本化代碼內(nèi)的下一指令集代表所請(qǐng)求的數(shù)據(jù)操縱功能。本機(jī)腳本語言能力(power)可以被杠桿作用并對(duì)于數(shù)據(jù)搜索執(zhí)行所返回的原始數(shù)據(jù)的操縱被再次用作使用數(shù)據(jù)操縱引擎1028的單線程管道化HTTP請(qǐng)求/響應(yīng)順序的部分。如上所述，數(shù)據(jù)操縱處理可以包括例如過濾或?qū)τ诮o定實(shí)施方式適當(dāng)?shù)钠渌麛?shù)據(jù)操縱。
[0148]一旦數(shù)據(jù)操縱處理已經(jīng)完成，完成管道化HTTP請(qǐng)求的處理的第三步將利用可視化引擎1030將凈化的/被操縱的數(shù)據(jù)從前一數(shù)據(jù)操縱處理輸送到一個(gè)或多個(gè)可視化庫1038，以便采用可視化庫功能處理數(shù)據(jù)，從而創(chuàng)建用于可視化的圖形/圖表。
[0149]因此，分析平臺(tái)模塊916提供了用于搜索、使用本機(jī)腳本語言的數(shù)據(jù)操縱以及使用可視化庫的數(shù)據(jù)可視化的管道化HTTP請(qǐng)求的單線程執(zhí)行。HTTP請(qǐng)求導(dǎo)致單線程管理任務(wù)，其包含分布式搜索、數(shù)據(jù)的操縱以及數(shù)據(jù)可視化。分析平臺(tái)模塊916提供框架，通過該框架，包括用于搜索、數(shù)據(jù)操縱以及可視化的腳本化代碼的管道在管道編程模型內(nèi)被執(zhí)行。
[0150]圖11是用于基于管道編程模型執(zhí)行分析的管道化HTTP請(qǐng)求腳本化代碼輸入1102以及管道化HTTP響應(yīng)可視數(shù)據(jù)輸出1104的實(shí)施方式的實(shí)例的圖1100。根據(jù)圖11可以看出，管道化HTTP請(qǐng)求腳本化代碼輸入1102包括三行腳本化代碼，其分別代表數(shù)據(jù)搜索、采用數(shù)據(jù)過濾形式的數(shù)據(jù)操縱以及指明只用可視庫的圓形圖表輸出的數(shù)據(jù)可視化。在圖11所表示的偽句法可以被認(rèn)為代表基于Python腳本語言實(shí)施方式的腳本化代碼的偽實(shí)施方式，盡管如上所述，任何腳本語言都可以被適當(dāng)?shù)乩脕韺?shí)現(xiàn)用于給定實(shí)施方式的本技術(shù)。(注意:術(shù)語“Python”可能在全世界的各個(gè)法域都具有商標(biāo)權(quán)，此處只用于指代采用此標(biāo)記在這種商標(biāo)權(quán)可能存在的范圍內(nèi)適當(dāng)?shù)孛a(chǎn)品或服務(wù))
[0151]由圖11的管道化HTTP請(qǐng)求腳本化代碼輸入1102所表示腳本化代碼的行可以通過本技術(shù)的用戶以與下面所示的偽句法HTTP POST指令相似的HTTP POST指令形式輸入。
[0152]HTTP POSTserver.com/service/pipe
[0153]body start
[0154]L = SEARCH_TERMSFACET( ‘ΤΕΝΑΝΤΓ，‘SYSTEMOUT’，‘*’，‘SEVERITY’)
[0155]L = FILTER (LAMBDA D:LEN(D[ ‘SEVERITY，] == I, L)
[0156]return CHART_PIE(L, [ ‘SEVERITY’，‘COUNT’])
[0157]body end
[0158]如在上述HTTP POST指令的偽句法內(nèi)所看到的，“管道”中的第一指令使用Python腳本語言代碼的本機(jī)執(zhí)行來指明數(shù)據(jù)搜索。在多個(gè)承租數(shù)據(jù)庫內(nèi)已經(jīng)請(qǐng)求搜索被識(shí)別“TENANTI”為的承租者(tenant)。變量“SYSTEMOUT”代表由應(yīng)用服務(wù)器生成的日志，這些日志將被搜索。應(yīng)該注意的是，可以存儲(chǔ)多種類型的數(shù)據(jù)，諸如財(cái)經(jīng)數(shù)據(jù)和其他形式的數(shù)據(jù)，并且那些不同類型的日志可以生成并審計(jì)/搜索。通配符標(biāo)記表示該搜索被指明針對(duì)由SYSTEMOUT變量所指明的日志中的所有可用數(shù)據(jù)。“SEVERITY”指示符表示已經(jīng)請(qǐng)求了在所有數(shù)據(jù)上的SEVERITY (嚴(yán)重性)的分布，諸如在所搜索的日志內(nèi)的“severity field (嚴(yán)重性字段)”具有錯(cuò)誤、報(bào)警或其他捕獲的信息有多少次。變量“L”被用于存儲(chǔ)所返回的搜索結(jié)果用于有管道的數(shù)據(jù)操縱處理器進(jìn)行進(jìn)一步處理。
[0159]管道中的第二指令使用腳本語言代碼的本機(jī)執(zhí)行進(jìn)行過濾作為數(shù)據(jù)操縱，該數(shù)據(jù)操縱在HTTP POST指令的偽句法中被指明作為“FILTER”功能。該過濾被指明為通過去除其中結(jié)構(gòu)包含多于一個(gè)(I)字符(其中合適格式化數(shù)據(jù)被認(rèn)為是一個(gè)字符的數(shù)據(jù))的所有搜索命中來濾除數(shù)據(jù)中的噪聲(例如被不適當(dāng)?shù)馗袷交臄?shù)據(jù)元素)。對(duì)本實(shí)例而言，可以假設(shè)，如果有效數(shù)據(jù)存在，則所搜索的日志內(nèi)的“severity field”被配置為具有一個(gè)字符。因此，多于一個(gè)字符表示在搜索結(jié)果中有噪聲，并且這種搜索結(jié)果在可視化之前被去除。過濾的結(jié)果再次被分派給變量“L”，以便存儲(chǔ)所返回的搜索結(jié)果，用于管道的進(jìn)一步處理和可視化。
[0160]管道中的第三指令獲取來自前一數(shù)據(jù)操縱步驟的結(jié)果并輸出具有所述搜索返回的過濾后的數(shù)據(jù)的圓形圖表?！癈HART_PIE”指令操作以便調(diào)用制圖庫并選擇圓形圖表作為被管道化HTTP響應(yīng)返回的管道的所指明的可視化輸出。管道化HTTP響應(yīng)可視數(shù)據(jù)輸出1104代表被可視化后和被操縱后的搜索結(jié)果的實(shí)例輸出。
[0161]應(yīng)該注意的是，為了便于圖釋，選擇了被選擇用于圓形圖表的部分的數(shù)目，并且該附圖不能被認(rèn)為是按照比例的。就舉例而言，應(yīng)該注意的是，“SEVERITY”字段/變量可以有多個(gè)值。因此，代表性搜索可以根據(jù)該SEVERITY變量確定由變量“A”所表示的應(yīng)用構(gòu)成了搜索結(jié)果的百分之二十五(25%)。而且，根據(jù)SEVERITY變量，采用變量“O”所表示的輸出構(gòu)成了搜索結(jié)果的百分之二十五(25%)。采用變量“W”所表示的報(bào)警構(gòu)成了搜索結(jié)果的百分之二十(20%)。采用變量“E”所表示的錯(cuò)誤構(gòu)成了搜索結(jié)果的百分之五(5%)。最后，采用變量“I”所表示的信息輸入項(xiàng)構(gòu)成了搜索結(jié)果的百分之二十五(25%)。再次，在該實(shí)例中所使用的數(shù)字僅僅是為了方便說明并且該附圖并不被認(rèn)為是按照比例的。
[0162]管道化HTTP響應(yīng)可視化數(shù)據(jù)輸出1104可以表達(dá)在用戶利用來發(fā)出管道化HTTP請(qǐng)求計(jì)算設(shè)備的顯示器上。因此，本技術(shù)提供高級(jí)數(shù)據(jù)搜索、數(shù)據(jù)操縱以及數(shù)據(jù)可視化能力。單一管道化HTTP調(diào)用導(dǎo)致基于腳本語言的分布書搜索、搜索數(shù)據(jù)的基于腳本語言的操作、以及被操縱的搜索結(jié)果的基于腳本語言的可視化的執(zhí)行。
[0163]下面描述的圖12到圖14表示可由諸如核心處理模塊900執(zhí)行以便基于與本主圖相關(guān)聯(lián)的管道編程模型進(jìn)行分析的實(shí)例處理?？梢杂嘘P(guān)于該實(shí)例處理的多種其他變化形式，并且所有這些變化形式都被認(rèn)為在在本主題的范圍內(nèi)。所述實(shí)例處理可以通過諸如分析平臺(tái)模塊916的模塊執(zhí)行和/或由與該設(shè)備相關(guān)聯(lián)的CPU902執(zhí)行。應(yīng)該注意哦是，為了方便圖示目的，在下面描述的實(shí)例處理中沒有圖示超時(shí)過程和其他錯(cuò)誤控制過程。不過，可以理解的是，所有這種過程都被認(rèn)為在本主題的范圍內(nèi)。而且，在不過李本主題的范圍的情況下，所描述的過程可以組合起來，所描述的處理的順序可以改變，并且可以添加或去除附加處理
[0164]圖12是用于基于管道編程模型執(zhí)行分析的進(jìn)程1200的實(shí)施方式的實(shí)例的流程圖。在框1202處，進(jìn)程1200在服務(wù)器處接收超文本傳輸協(xié)議(HTTP)請(qǐng)求，其包括嵌入的腳本化代碼，其指明了所請(qǐng)求的數(shù)據(jù)搜索、搜索結(jié)果數(shù)據(jù)操縱、以及被操縱的搜索結(jié)果數(shù)據(jù)可視化處理。在框1204處，進(jìn)程1200執(zhí)行所接收到的被嵌入的腳本化代碼，其指明了所請(qǐng)求的數(shù)據(jù)搜索、搜索結(jié)果數(shù)據(jù)操縱、以及被操縱的搜索結(jié)果數(shù)據(jù)可視化處理。在框1206處，進(jìn)程1200生成被可視化的被操縱的搜索結(jié)果作為執(zhí)行所接收到的被嵌入的腳本化代碼的輸出，該代碼指明了所請(qǐng)求的數(shù)據(jù)搜索、搜索結(jié)果數(shù)據(jù)操縱、以及被操縱的搜索結(jié)果數(shù)據(jù)可視化處理。在框1208處，進(jìn)程1200響應(yīng)于HTTP請(qǐng)求返回所述被可視化的被操縱的搜索結(jié)果，該請(qǐng)求包括被嵌入的腳本化代碼，其指明了所請(qǐng)求的數(shù)據(jù)搜索、搜索結(jié)果數(shù)據(jù)操縱、以及被操縱的搜索結(jié)果數(shù)據(jù)可視化處理。
[0165]圖13用于發(fā)起管道化超文本傳輸協(xié)議(HTTP)請(qǐng)求以便請(qǐng)求基于管道編程模型分析的進(jìn)程130的實(shí)施方式的實(shí)例的流程圖。在決定點(diǎn)1302，進(jìn)程1300確定諸如來自諸如計(jì)算設(shè)備_1 802到計(jì)算設(shè)備_N804之一的計(jì)算設(shè)備的生成管道化HTTP請(qǐng)求的請(qǐng)求是否已經(jīng)被檢測(cè)到。圖13的實(shí)例利用與圖11相關(guān)聯(lián)的上述該實(shí)例偽句法。
[0166]返回到?jīng)Q定點(diǎn)1302的描述，響應(yīng)于確定生成管道化HTTP請(qǐng)求已經(jīng)檢測(cè)到，進(jìn)程1300在在框1304處形成諸如結(jié)合圖10上面描述的HTTP POST請(qǐng)求構(gòu)造，其中在新的一行中，HTTP POST server, com/service/pipe 后面跟隨后 “body start。在框 1306 處,進(jìn)程1300接收來自用戶的數(shù)據(jù)搜索腳本化代碼句法，諸如上述句法“L = SEARCH_TERMSFACET (‘ΤΕΝΑΝΤΓ, ‘SYSTEMOUT’，‘*，，‘SEVERITY’)”。進(jìn)程 1300可以檢測(cè)由用戶按下的“return(返回)”鍵/新行輸入或“enter (回車)”鍵以確定用于管道化HTTP請(qǐng)求的數(shù)據(jù)搜索腳本化代碼句法的腳本化文本輸入是否已經(jīng)完成。在框1308處，進(jìn)程1300將所接收到的數(shù)據(jù)搜索腳本化代碼句法附于HTTP POST請(qǐng)求構(gòu)造。
[0167]在框1310處，進(jìn)程1300接收自用戶的數(shù)據(jù)操縱腳本化代碼句法，諸如上述句法“L=FILTER (LAMBDA D:LEN(D[ ‘SEVERITY’] == 1，L) ”。進(jìn)程 1300 可以檢測(cè)由用戶按下的“return (返回)”鍵/新行輸入或“enter (回車)”鍵以確定用于管道化HTTP請(qǐng)求的數(shù)據(jù)操縱腳本化代碼句法的腳本化文本輸入是否已經(jīng)完成。在框1312處，進(jìn)程1300將所接收到的數(shù)據(jù)操縱腳本化代碼句法附于HTTP POST請(qǐng)求構(gòu)造。
[0168]在框1314處，進(jìn)程1300接收自用戶的數(shù)據(jù)可視化腳本化代碼句法，諸如上述句法“CHART_PIE(L，[ ‘SEVERITY’，‘COUNT’])”。進(jìn)程1300可以檢測(cè)由用戶輸入單詞“return (返回)”作為HTTP POST請(qǐng)求已經(jīng)通過該輸入而完成的指示，以及可以檢測(cè)由用戶按下的“return (返回)”鍵/新行輸入或“enter (回車)”鍵以確定用于管道化HTTP請(qǐng)求的數(shù)據(jù)可視化腳本化代碼句法的腳本化文本輸入是否已經(jīng)完成。在框1316處，進(jìn)程1300將所接收到的數(shù)據(jù)可視化腳本化代碼句法附于HTTP POST請(qǐng)求構(gòu)造以及將“body end (主體末端)”附于HTTP POST請(qǐng)求以便形成管道化HTTP請(qǐng)求。
[0169]在框1318處，進(jìn)程1300向如上所述的目標(biāo)平臺(tái)發(fā)送管道化HTTP請(qǐng)求作為HTTPPOST請(qǐng)求。在決定點(diǎn)1320處，進(jìn)程1300確定是否已經(jīng)從目標(biāo)平臺(tái)收到管道化HTTP響應(yīng)。響應(yīng)于確定已經(jīng)從目標(biāo)平臺(tái)收到管道化HTTP響應(yīng)，進(jìn)程1300從管道化HTTP響應(yīng)中抽取被可視化的被操縱的搜索結(jié)果。在框1322。在框1324處，進(jìn)程1300表達(dá)該被可視化的被操縱的搜索結(jié)果。進(jìn)程1300返回到?jīng)Q定點(diǎn)1302并重復(fù)如上所述。
[0170]因此，進(jìn)程1300接收來自用戶的指明了復(fù)雜和/或分布式數(shù)據(jù)的數(shù)據(jù)搜索的腳本化代碼句法，接收來自用戶的指明了搜索結(jié)果的操縱(例如，過濾)的腳本化代碼句法，以及接收來自用戶的指明了對(duì)被操縱的搜索結(jié)果的可視化輸出格式化的腳本化代碼句法。在本實(shí)例中，使用HTTP POST封裝各個(gè)腳本化代碼分段以便形成管道化HTTP請(qǐng)求，盡管可以理解的是，其他實(shí)施方式也是可能的并且所有這些實(shí)施方式都被認(rèn)為在本主題的范圍內(nèi)。管道化HTTP響應(yīng)包括管道化HTTP請(qǐng)求的結(jié)果的表達(dá)并且該結(jié)果被顯示給用戶。因此，計(jì)算設(shè)備的用戶可以指明腳本化代碼分段將被遠(yuǎn)程服務(wù)器執(zhí)行以便進(jìn)行復(fù)雜數(shù)據(jù)搜索、操縱以及可視化處理。因此，復(fù)雜數(shù)據(jù)搜索、數(shù)據(jù)操縱與被操縱搜索結(jié)果的數(shù)據(jù)可視化一起，可以按照將被服務(wù)器執(zhí)行以便執(zhí)行所請(qǐng)求的操作的腳本化代碼句法的規(guī)范在用戶控制下被委托給服務(wù)器。
[0171]圖14是用于處理管道化超文本傳輸協(xié)議(HTTP)請(qǐng)求以及基于管道編程模型執(zhí)行分析的進(jìn)程1400的實(shí)施方式的實(shí)例的流程圖。進(jìn)程1400可以在例如諸如服務(wù)器_1 808到服務(wù)器_M810的服務(wù)器設(shè)備處執(zhí)行。圖14的實(shí)例也可以使用上面結(jié)合圖10所描述的實(shí)例偽句法來實(shí)施，盡管為了簡(jiǎn)便沒有重復(fù)那些實(shí)例的具體句法。如上所述，就實(shí)例而言，HTTPPOST構(gòu)造被用于代表管道化HTTP請(qǐng)求，盡管可以理解的是，其他實(shí)施方式也是可能的并且所有這些事實(shí)范式都被認(rèn)識(shí)在本主題的范圍內(nèi)。
[0172]在決定點(diǎn)1402處，進(jìn)程1400確定是否已經(jīng)檢測(cè)到來自諸如計(jì)算設(shè)備_1802到計(jì)算設(shè)備_N804的包括嵌入的腳本化代碼分段的管道化HTTP請(qǐng)求。如上所述，嵌入的腳本化代碼可以指明所請(qǐng)求的數(shù)據(jù)搜索、搜索結(jié)果數(shù)據(jù)操縱、以及被操縱的搜索結(jié)果數(shù)據(jù)可視化處理。響應(yīng)于確定已經(jīng)檢測(cè)到包括嵌入的腳本化代碼分段的管道化HTTP請(qǐng)求，進(jìn)程1400在框1404處創(chuàng)建單一執(zhí)行線程以便處理所接收到的管道化HTTP請(qǐng)求。如上所述，該單一創(chuàng)建的執(zhí)行線程操作以便通過執(zhí)行管道化HTTP請(qǐng)求以及采用管道化HTTP響應(yīng)作出響應(yīng)來實(shí)現(xiàn)管道編程模型。而且，還是如上所述，以相應(yīng)腳本語言形成的腳本化代碼分段的執(zhí)行可以通過該單一創(chuàng)建的執(zhí)行線程在與腳本化代碼分段相關(guān)聯(lián)的本機(jī)腳本語言運(yùn)行時(shí)間中進(jìn)行。例如，the execut1n of腳本化代碼分段的執(zhí)行可以基于腳本化代碼分段的句法編碼在本機(jī)Phyton腳本語言運(yùn)行時(shí)間、本機(jī)JavaScript腳本語言運(yùn)行時(shí)間、PHP:HypertextPr印rocessor (找文本處理器)(PHP)腳本語言運(yùn)行時(shí)間、本機(jī)Perl腳本語言運(yùn)行時(shí)間、或其他本機(jī)腳本語言運(yùn)行時(shí)間中進(jìn)行。(注意:術(shù)語“Python”、“ JavaScript ”、“PHP”、“Hypertext Preprocessor”、和/或“Perl ”可能在全世界的各個(gè)法域都具有商標(biāo)權(quán),此處只用于指代采用此標(biāo)記在這種商標(biāo)權(quán)可能存在的范圍內(nèi)適當(dāng)?shù)孛a(chǎn)品或服務(wù))。
[0173]在框1406處，進(jìn)程1400從所接收到的管道化HTTP請(qǐng)求中抽取數(shù)據(jù)搜索腳本化代碼句法、數(shù)據(jù)操縱腳本化代碼句法以及數(shù)據(jù)可視化腳本化代碼句法。在框1408處，進(jìn)程1400在與搜索腳本化代碼相關(guān)聯(lián)的本機(jī)腳本語言運(yùn)行時(shí)間中執(zhí)行所抽取的數(shù)據(jù)搜索腳本化代碼。例如，所抽取的數(shù)據(jù)搜索腳本化代碼可以指明諸如例如多個(gè)承租者系統(tǒng)內(nèi)的每個(gè)承租者搜索的上述的分布式搜索簇836的所請(qǐng)求的分布式數(shù)據(jù)庫搜搜索。在框1410處，進(jìn)程1400在與數(shù)據(jù)操縱腳本化代碼相關(guān)聯(lián)的本機(jī)腳本語言運(yùn)行時(shí)間內(nèi)執(zhí)行所抽取的數(shù)據(jù)操縱腳本化代碼。例如，所抽取的數(shù)據(jù)操縱腳本化代碼可以指明所請(qǐng)求搜索結(jié)果過濾或搜索結(jié)果的其他處理。在框1412處，進(jìn)程1400在與數(shù)據(jù)可視化腳本化代碼相關(guān)聯(lián)的本機(jī)腳本語言運(yùn)行時(shí)間內(nèi)執(zhí)行所抽取的數(shù)據(jù)可視化腳本化代碼，以便生成被可視化的被操縱的搜索結(jié)果作為所接收到的嵌入的腳本化代碼的執(zhí)行的輸出，該代碼指明了所請(qǐng)求的數(shù)據(jù)搜索、搜索結(jié)果數(shù)據(jù)操縱、以及被操縱的搜索結(jié)果數(shù)據(jù)可視化處理。例如，所抽取的數(shù)據(jù)可視化腳本化代碼可以指明所操縱的搜索結(jié)果數(shù)據(jù)的被請(qǐng)求的圖形輸出格式化或者其他輸出格式，諸如圓形圖表、直方圖、或被操縱搜索結(jié)果的其他格式輸出。進(jìn)程1400可以識(shí)別制圖庫，其包括可視化輸出功能，可用于生成所請(qǐng)求的可視化的可操縱的搜索結(jié)果。進(jìn)程1400還選擇制圖庫功能來生成所請(qǐng)求的可視化的可操縱的搜索結(jié)果，并且可以使用調(diào)用所選擇的制圖庫功能的句法來生成可視化的可操縱的搜索結(jié)果。
[0174]在框1414處，響應(yīng)于接收到管道化HTTP請(qǐng)求，進(jìn)程1400返回可視化的可操縱的搜索結(jié)果，該請(qǐng)求包括嵌入腳本化代碼，該代碼指明了所請(qǐng)求的數(shù)據(jù)搜索、搜索結(jié)果數(shù)據(jù)操縱、以及被操縱的搜索結(jié)果數(shù)據(jù)可視化處理。可視化的可操縱的搜索結(jié)果的返回可以通過執(zhí)行所接受到的嵌入的腳本化代碼執(zhí)行為管道化HTTP響應(yīng)，以便統(tǒng)一管道化HTTP請(qǐng)求的處理和響應(yīng)性。在框1416處，進(jìn)程1400終止該單一執(zhí)行線程，并且返回到?jīng)Q定點(diǎn)1402并重復(fù)如上所述。
[0175]因此，進(jìn)程1400操作以接收和處理管道化HTTP請(qǐng)求。指明了所請(qǐng)求的數(shù)據(jù)搜索、搜索結(jié)果數(shù)據(jù)操縱、以及被操縱的搜索結(jié)果數(shù)據(jù)可視化處理的嵌入的腳本化代碼由單一執(zhí)行線程執(zhí)行，該線程被創(chuàng)建來處理所述管道化HTTP請(qǐng)求。包括被操縱的搜索結(jié)果的可視化輸出的管道化HTTP響應(yīng)由單一執(zhí)行線程來返回。因此，進(jìn)程1400執(zhí)行復(fù)雜數(shù)據(jù)搜索、數(shù)據(jù)操縱、以及被操縱的搜索結(jié)果的數(shù)據(jù)可視化，它們已經(jīng)按照將被服務(wù)器執(zhí)行以便執(zhí)行所請(qǐng)求的操作的腳本化代碼句法的規(guī)范在用戶控制下被委托給服務(wù)器。
[0176]如上結(jié)合圖8到圖14所述，實(shí)例系統(tǒng)和處理提供了基于管道編程模型的分析?？赡苡信c基于管道編程模型的分析相關(guān)聯(lián)的多個(gè)其他變化形式和附加活動(dòng)，并且所有這些都被認(rèn)為在本主題的范圍內(nèi)。
[0177]V.定義
[0178]本發(fā)明:不應(yīng)該當(dāng)作由該術(shù)語“本發(fā)明”描述的主題由所提交的權(quán)利要求書或由在經(jīng)過專利審查后最終所授予的權(quán)利要求書所覆蓋的絕對(duì)表示；盡管該術(shù)語“本發(fā)明”被用于幫助讀者獲得對(duì)此處公開內(nèi)容據(jù)稱被認(rèn)為是新的總體感覺，但是這種理解，如通過使用術(shù)語“本發(fā)明”所表示的那樣，是假設(shè)和臨時(shí)性的，并且隨著相關(guān)信息的展開以及隨著權(quán)利要求書潛在的修改受制于在專利審查過程中的變化。
[0179]實(shí)施例:參見上述“本發(fā)明”的定義一類似的提醒也適用于術(shù)語“實(shí)施例”
[0180]和/或:或；例如，A、B “和/或” C意味著A或B或C中至少一個(gè)是真的并且可適用。
[0181]用戶/訂閱者:包括，但不必然限于，以下內(nèi)容:(i)單一個(gè)人、(ii)具有足夠智慧能偶作為用戶或訂閱者的人工智慧實(shí)體。
[0182]電連接:意味著直接電連接或間接電連接，因此存在中間元件；在間接電連接中，中間元件可以包括感應(yīng)器和/或變換器。
[0183]機(jī)械連接:包括直接機(jī)械連接和通過中間組件進(jìn)行的間接機(jī)械連接；包括剛性機(jī)械連接以及容許機(jī)械連接的組件之間相對(duì)運(yùn)動(dòng)的機(jī)械連接；包括但不限于:焊接(welded)連接、焊(solder)連接、通過緊固件(例如、釘子、螺釘、螺桿、螺母、鉤-環(huán)緊固件、扭結(jié)、鉚釘、快釋放連接、閂鎖和/或磁性連接)的連接、壓力配合連接、摩擦配合連接、通過由于重力導(dǎo)致的嚙合保證的連接、樞軸或旋轉(zhuǎn)連接、和/或可滑動(dòng)的機(jī)械連接。
[0184]數(shù)據(jù)通訊:現(xiàn)在已知的或未來將開發(fā)的所有類型的數(shù)據(jù)通訊模式，包括:無線通訊、有線通訊以及具有無線和有線部分的通信路由；數(shù)據(jù)通訊并不必然限于:(i)直接數(shù)據(jù)通訊，(?)間接數(shù)據(jù)通訊，和/或(iii)其中格式、打包狀態(tài)、介質(zhì)、加密狀態(tài)和/或協(xié)議在數(shù)據(jù)通訊的整個(gè)過程保持恒定的數(shù)據(jù)通訊。
[0185]接收/提供/發(fā)送/輸入/輸出:除非另有清楚說明，這些單詞都不應(yīng)被認(rèn)為隱含:(i)關(guān)于其主語和賓語之間的關(guān)系的任何特定程度的直接性；和/或(ii)缺少插入其主語和賓語之間的中間組件、動(dòng)作和/或事物。
[0186]模塊/子模塊:硬件、固件和/或軟件的任何器件，其操作性地工作以便進(jìn)行某些類型的功能，不管該模塊是否:(i)在單個(gè)位置近程內(nèi)、(ii)分布在廣闊的區(qū)域、(iii)在較大段的軟件代碼的單個(gè)近程內(nèi)、(iv)位于單段的軟件代碼內(nèi)、(V)位于單一存儲(chǔ)設(shè)備、存儲(chǔ)器或介質(zhì)內(nèi)、(Vi)機(jī)械連接的、(Vii)電連接的、和/或(Viii)采用數(shù)據(jù)通訊連接的。
[0187]軟件存儲(chǔ)設(shè)備:能夠以不比運(yùn)送中信號(hào)更短暫的方式存儲(chǔ)計(jì)算機(jī)代碼的任何設(shè)備
[0188]有形介質(zhì)軟件存儲(chǔ)設(shè)備:在有形介質(zhì)內(nèi)和/或上村粗和計(jì)算機(jī)代碼的任何軟件存儲(chǔ)設(shè)備(參見以上定義)。
[0189]計(jì)算機(jī):具有重大數(shù)據(jù)處理和/或機(jī)器可讀指令讀取能力的任何設(shè)備，包括但不限于:臺(tái)式計(jì)算機(jī)、大型計(jì)算機(jī)、膝上計(jì)算機(jī)、基于現(xiàn)場(chǎng)可編程門陣列(FPGA)的設(shè)備、智能電話、個(gè)人數(shù)字助理(PDA)、安裝或插入身體的計(jì)算機(jī)、嵌入式設(shè)備類型計(jì)算機(jī)、基于特定用途集成電路(ASIC)的設(shè)備。
【權(quán)利要求】
1.一種方法，包括: 在集合框架中由第一傳感器收集第一機(jī)器數(shù)據(jù)； 在集合框架中由第一收集器處理第一機(jī)器數(shù)據(jù)以產(chǎn)生第一收集的機(jī)器數(shù)據(jù)； 對(duì)第一收集的機(jī)器數(shù)據(jù)執(zhí)行分析以生成分析輸出；以及 至少部分基于所述分析輸出，調(diào)諧第一傳感器和第一收集器中的至少一個(gè)。
2.根據(jù)權(quán)利要求1所述的方法，其中， 所述調(diào)諧對(duì)所述第一傳感器進(jìn)行調(diào)諧； 所述方法還包括: 由第一傳感器在其調(diào)諧狀態(tài)收集高級(jí)信息。
3.根據(jù)權(quán)利要求1所述的方法，其中， 所述調(diào)諧對(duì)所述第一收集器進(jìn)行調(diào)諧； 所述方法還包括: 由第一收集器在其調(diào)諧狀態(tài)處理高級(jí)信息。
4.根據(jù)權(quán)利要求1所述的方法，其中， 所述分析的執(zhí)行實(shí)時(shí)地發(fā)生；以及 所述調(diào)諧實(shí)時(shí)地發(fā)生。
5.根據(jù)權(quán)利要求1所述的方法，其中，所述分析的執(zhí)行通過管道分析利用單一線程請(qǐng)求/響應(yīng)范式來執(zhí)行。
6.根據(jù)權(quán)利要求1所述的方法，還包括: 確定報(bào)警條件； 其中 響應(yīng)于所述報(bào)警條件，進(jìn)行所述分析的執(zhí)行。
7.一種計(jì)算機(jī)系統(tǒng)，包括: 處理器集合；以及 軟件存儲(chǔ)器件； 其中 處理器集合被構(gòu)造、布置、連接和/或編程，以便運(yùn)行存儲(chǔ)在所述軟件存儲(chǔ)器件上的軟件；并且 所述軟件包括: 第一程序指令，被編程為在集合框架中由第一傳感器收集第一機(jī)器數(shù)據(jù)； 第二程序指令，被編程為在集合框架中由第一收集器處理第一機(jī)器數(shù)據(jù)以產(chǎn)生第一收集的機(jī)器數(shù)據(jù)； 第三程序指令，被編程為對(duì)第一收集的機(jī)器數(shù)據(jù)執(zhí)行分析以生成分析輸出；以及第四程序指令，被編程為至少部分基于所述分析輸出，調(diào)諧下述第一傳感器和第一收集器中的至少一個(gè)。
8.根據(jù)權(quán)利要求7所述的計(jì)算機(jī)系統(tǒng)，其中， 所述調(diào)諧對(duì)所述第一傳感器進(jìn)行調(diào)諧； 所述軟件還包括: 第五程序指令，被編程為由第一傳感器在其調(diào)諧狀態(tài)收集高級(jí)信息。
9.根據(jù)權(quán)利要求7所述的計(jì)算機(jī)系統(tǒng)，其中， 所述調(diào)諧對(duì)所述第一收集器進(jìn)行調(diào)諧； 所述軟件還包括: 第五程序指令，被編程為由第一收集器在其調(diào)諧狀態(tài)處理高級(jí)信息。
10.根據(jù)權(quán)利要求7所述的計(jì)算機(jī)系統(tǒng)，其中， 所述分析的執(zhí)行實(shí)時(shí)地發(fā)生；以及 所述調(diào)諧實(shí)時(shí)地發(fā)生。
11.根據(jù)權(quán)利要求7所述的計(jì)算機(jī)系統(tǒng)，其中，所述分析的執(zhí)行通過管道分析利用單一線程請(qǐng)求/響應(yīng)范式來執(zhí)行。
12.根據(jù)權(quán)利要求7所述的計(jì)算機(jī)系統(tǒng)，還包括: 第五程序指令，被編程為確定報(bào)警條件； 其中 響應(yīng)于所述報(bào)警條件，進(jìn)行所述分析的執(zhí)行。
【文檔編號(hào)】G06F11/34GK104516807SQ201410504908
【公開日】2015年4月15日 申請(qǐng)日期:2014年9月26日 優(yōu)先權(quán)日:2013年9月27日
【發(fā)明者】M.貝西爾格, D.約瑟夫, D.K.納德吉爾 申請(qǐng)人:國際商業(yè)機(jī)器公司