。 陽05引其中步驟S4具體為：
[0059] S41 :判斷所述預(yù)警冗余度值是否大于等于下界經(jīng)驗初始值；
[0060] 若是，則執(zhí)行S42 :更新所述對象實例；
[0061] 若否，則執(zhí)行S411 :判斷所述對象實例是否處于就緒狀態(tài)；
[0062] 若是，則執(zhí)行S412 :激活所述對象實例，并返回步驟S41 ;
[0063] 若否，則執(zhí)行S413:創(chuàng)建任務(wù)實例，并返回步驟S41;
[0064] 其中在步驟S42之后，還包括S43 :判斷所述預(yù)警冗余度值是否小于等于上界經(jīng)驗 初始值； W65] 若是，則執(zhí)行S44 :更新所述對象實例，并生成隨機(jī)數(shù)；
[0066] 若否，則執(zhí)行S431:判斷所述對象實例是否處于就緒狀態(tài)或重載狀態(tài)；
[0067] 若是，則執(zhí)行S432:刪除所述對象實例，并返回步驟S43;
[0068] 若否，則執(zhí)行S433:調(diào)整對象實例的參數(shù)，并返回步驟S43。 W例其中，步驟S412之后，還包括： 陽070] S414:判斷是否激活成功； 陽〇7U 若是，則返回步驟S41;
[00巧反么則執(zhí)行S415 :設(shè)定警示節(jié)點信息列表的節(jié)點狀態(tài)為重載；
[0073] 步驟S413之后，還包括S416:判斷是否創(chuàng)建成功；
[0074] 若是，則返回步驟S41; 陽0巧]反之，則執(zhí)行S415。
[0076] 其中，步驟S432之后，還包括S434:判斷是否刪除成功；
[0077] 若是，則返回步驟S43;
[0078] 反之，則執(zhí)行S415; 陽0巧]步驟S433之后，還包括S436 :判斷是否調(diào)整成功；
[0080] 若是，則返回步驟S43;
[0081] 反之，則執(zhí)行S415。
[0082] 其中，步驟S5具體為：
[0083]S51 :計算所述優(yōu)化下界值：優(yōu)化下界值=下界經(jīng)驗初始值+步長*隨機(jī)數(shù)；
[0084]S52 :計算所述優(yōu)化上界值：優(yōu)化上界值=上界經(jīng)驗初始值-步長*隨機(jī)數(shù)。
[00化]為了方便理解理解上述技術(shù)方案，本發(fā)明結(jié)合圖1~圖3提供一個具體的實施例 進(jìn)行闡述。
[0086] 首先，需要說明的是，在大數(shù)據(jù)分析計算中，大規(guī)模分布式計算服務(wù)需要進(jìn)行系統(tǒng) 優(yōu)化，提高系統(tǒng)的容錯性能僅僅從系統(tǒng)開發(fā)過程來保證是不夠的。因為大數(shù)據(jù)分析計算系 統(tǒng)中設(shè)及系統(tǒng)性能的參數(shù)繁多，難W調(diào)控，運是一個十分困難的工作。針對運一挑戰(zhàn)性的問 題，本發(fā)明提出一種可動態(tài)配置的大數(shù)據(jù)分析系統(tǒng)與方法，該系統(tǒng)包括實時數(shù)據(jù)存儲管理 模塊、實時流分析計算模塊、離線分析模塊、可視化模塊等四大模塊，每一個模塊中都設(shè)計 了一個可進(jìn)行動態(tài)配置管理的組件，如數(shù)據(jù)管理配置組件、實時流分析計算配置組件、離線 分析計算配置組件、動態(tài)配置組件。其中，動態(tài)配置組件是系統(tǒng)動態(tài)配置管理的核屯、，其同 時與各模塊協(xié)同實現(xiàn)系統(tǒng)性能的配置優(yōu)化。而系統(tǒng)可W采用當(dāng)前最新的大數(shù)據(jù)平臺技術(shù)進(jìn) 行實現(xiàn)，如化doop、Kafka、Sparkstreaming、Hive等，目前本發(fā)明提供的系統(tǒng)通過產(chǎn)品線 部署檢測，運行狀況良好。
[0087] 本發(fā)明提出的可動態(tài)配置的大數(shù)據(jù)分析系統(tǒng)的總體結(jié)構(gòu)，如圖1所示。本系統(tǒng)采 用模塊化設(shè)計，主要包括實時數(shù)據(jù)存儲管理模塊、實時流分析計算模塊、離線分析模塊、可 視化模塊等四大模塊。各個模塊的主要功能如下：
[0088] (1)實時數(shù)據(jù)存儲管理模塊
[0089] 該模塊由Ξ個組件構(gòu)成，包括：實時流數(shù)據(jù)獲取組件、實時流數(shù)據(jù)存儲組件、實時 存儲管理配置組件。
[0090] 實時流數(shù)據(jù)獲取組件主要負(fù)責(zé)對現(xiàn)有大規(guī)模分布式服務(wù)集群中的實時流數(shù)據(jù) 進(jìn)行獲取，由該組件完成格式化、過濾和收集，在收集過程中，完成流數(shù)據(jù)的分批工作 化atchingmodule)。
[0091] 實時存儲組件將格式化之后的數(shù)據(jù)交換格式JS0N異步發(fā)送至皿FS將數(shù)據(jù)批 batch進(jìn)行存儲，同時也由該組件將數(shù)據(jù)送到批隊列化atchqueue)中提供給實時計算組 件。
[0092] 存儲管理配置組件主要負(fù)責(zé)本模塊動態(tài)配置相關(guān)控制參數(shù)。
[0093] 似實時流分析計算模塊
[0094] 該模塊由Ξ個組件構(gòu)成，包括：實時流處理組件、實時數(shù)據(jù)分析組件、實時流分析 計算配置組件。
[0095] 實時流處理組件主要為實時分析組件提供服務(wù)。一方面，負(fù)責(zé)從皿FS中拉取離線 計算結(jié)果的相關(guān)數(shù)據(jù)提供分析組件做分析參考，運是屬于實時分析的預(yù)計算；另一方面，將 分析結(jié)果持久化，既提供給上層可視化提供數(shù)據(jù)來源，也要將數(shù)據(jù)存儲到皿FS。
[0096] 實時數(shù)據(jù)分析組件主要負(fù)責(zé)經(jīng)典統(tǒng)計分析W及基于機(jī)器學(xué)習(xí)的智能分析，并對分 析算法負(fù)載進(jìn)行任務(wù)調(diào)度，實現(xiàn)負(fù)載均衡。
[0097] 實時流分析計算配置組件主要負(fù)責(zé)本模塊動態(tài)配置相關(guān)控制參數(shù)。 陽09引樹離線分析模塊
[0099] 該模塊由Ξ個組件構(gòu)成，包括：離線數(shù)據(jù)處理組件、離線數(shù)據(jù)分析組件、離線數(shù)據(jù) 分析計算配置組件。
[0100] 離線數(shù)據(jù)處理組件主要為離線分析組件提供服務(wù)。一方面，負(fù)責(zé)從皿FS中拉取離 相關(guān)數(shù)據(jù)，為離線分析進(jìn)行預(yù)計算；另一方面，將離線數(shù)據(jù)分析結(jié)果持久化，既提供給上層 可視化提供數(shù)據(jù)來源，也將計算結(jié)果數(shù)據(jù)存儲到皿FS與NoSQL。 陽101] 離線數(shù)據(jù)分析組件主要負(fù)責(zé)經(jīng)典的全局統(tǒng)計分析W及基于機(jī)器學(xué)習(xí)的全局智能 分析，并對離線分析算法負(fù)載進(jìn)行任務(wù)調(diào)度，實現(xiàn)負(fù)載均衡。 陽102] 離線數(shù)據(jù)分析計算配置組件主要負(fù)責(zé)本模塊動態(tài)配置相關(guān)控制參數(shù)。 陽103]對于離線計算分析模塊主要是對分布式集群中數(shù)據(jù)進(jìn)行離線的經(jīng)典統(tǒng)計分析。
[0104] 離線數(shù)據(jù)分析任務(wù)按設(shè)定時間窗口進(jìn)行調(diào)度，根據(jù)計算結(jié)果生成報表，供服務(wù)開 發(fā)和運維人員對服務(wù)進(jìn)行資源調(diào)配W及后期優(yōu)化參考。 陽1化](4)可視化模塊
[0106] 該模塊由四個組件構(gòu)成，包括：動態(tài)配置組件、動態(tài)配置視圖組件、實時分析視圖 組件、離線分析視圖組件。 陽107] 該模塊主要對實時流分析計算模塊W及離線數(shù)據(jù)分析計算模塊所產(chǎn)生的計算結(jié) 果進(jìn)行可視化展示，允許在設(shè)置的時延范圍內(nèi)提供動態(tài)圖表，及時顯示集群服務(wù)運行狀態(tài) 和響應(yīng)情況，對超過闊值數(shù)據(jù)進(jìn)行報警處理。
[0108] 本模塊展示的數(shù)據(jù)分為Ξ類：
[0109]a、實時分析視圖組件展示實時分析數(shù)據(jù)
[0110] 該部分主要包括各分析結(jié)果實時匯總，W及實時統(tǒng)計分析與智能預(yù)測的數(shù)據(jù)。 陽111 ] b、離線分析視圖組件展示離線分析數(shù)據(jù)
[0112] 該部分主要包括各種主題消息的匯總與狀態(tài)分析與智能預(yù)測結(jié)果的展示，包括所 在地服務(wù)請求的統(tǒng)計匯總。
[0113] C、動態(tài)配置視圖組件展示配置數(shù)據(jù)，并可關(guān)聯(lián)到展示分析結(jié)果的檢測精度。
[0114] 為了適應(yīng)當(dāng)前大規(guī)模分布式服務(wù)系統(tǒng)的服務(wù)狀態(tài)的有效分析，提升實時分析的即 時分析效益，往往需要及時發(fā)現(xiàn)異常的分析任務(wù)，使得運種實時分析系統(tǒng)的可用性要求提 高，本發(fā)明對運種實時流計算系統(tǒng)構(gòu)建了冗余配置技術(shù)，實現(xiàn)實時流計算系統(tǒng)的動態(tài)配置， 在保證系統(tǒng)可用性的前提下提高實時大數(shù)據(jù)分析系統(tǒng)的性能，提升即時分析的時效性。
[0115] 為便于討論，其中對本發(fā)明所述系統(tǒng)作W下說明：
[0116] (1)系統(tǒng)有N個節(jié)點，共提供Μ類數(shù)據(jù)分析或統(tǒng)計計算任務(wù)；
[0117] 似本發(fā)明所述系統(tǒng)完成一類任務(wù)的組件之間是松散禪合的，即系統(tǒng)可為節(jié)點之間 提供可靠的異步通訊機(jī)制，同時異步之間的通訊開銷相同。
[0118] 下面針對實時分析的時效性提出一種動態(tài)配置方法，首先對系統(tǒng)中的各種配置管 理工作的數(shù)據(jù)結(jié)構(gòu)用BNF范式的基本語法形式來表示。
[0119] -、實例任務(wù)的數(shù)據(jù)結(jié)構(gòu)
[0120] 設(shè)定一個時間窗口為timeWindow，在給定的timeWindow時間跨度內(nèi)對整個大數(shù) 據(jù)分析系統(tǒng)本發(fā)明所述的一個實例對象請求定義為： 陽 121]Task: : = <Td,Load,λArrive,λQir〉
[0122] 其中Td表不判斷對象計算任務(wù)失效的超時時間，Load是對象實例任務(wù)請求的平 均任務(wù)量，λArrive是一種存儲對象實例請求到達(dá)率的數(shù)組，λcur是當(dāng)前對象請求平均 到達(dá)率，初始時設(shè)定；λ化r=λArray[0]。 陽123] 二、節(jié)點相關(guān)的數(shù)據(jù)結(jié)構(gòu)
[0124] 對系統(tǒng)中節(jié)點用NodelD進(jìn)行唯一標(biāo)識，用NodeName表示節(jié)點名，系統(tǒng)中節(jié)點信息 列表NodeListW及系統(tǒng)的對象實例列表ObjectList。
[01 巧]NodeList[NodelD]:: =〈NodeName,NodeCapacity,ActivelnstNum,ObjectList,NodeStatus,ObjTypeSet〉
[01%] 其中的NodeCapacity表示節(jié)點NodelD在單位時間內(nèi)能處理的任務(wù)量，ActivelnstNum表示該節(jié)點活性實例數(shù)目，化jTypeSet表示該節(jié)點對象類型的集合，可W 為INADMIN、RTADMIN、或者OLADMIN。 陽127]ObjectList[ObjID]:: =〈ObjectName,ObjInstList,Task〉
[0128] 其中的化jID是系統(tǒng)中服務(wù)對象類的唯一標(biāo)識，化jectName是系統(tǒng)中服務(wù)對象類 的名稱，化jInstList表示該類服務(wù)對象所管理的