可動(dòng)態(tài)配置的大數(shù)據(jù)分析系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及大數(shù)據(jù)分析應(yīng)用領(lǐng)域，尤其是設(shè)及一種可動(dòng)態(tài)配置的大數(shù)據(jù)分析系統(tǒng) 及方法。
【背景技術(shù)】
[0002] 現(xiàn)在的商務(wù)智能系統(tǒng)、決策支持系統(tǒng)等日益要求支持大數(shù)據(jù)集成與分析，由于大 數(shù)據(jù)分析計(jì)算的數(shù)據(jù)量大、過程復(fù)雜、處理時(shí)間長(zhǎng)，因而大數(shù)據(jù)分析及應(yīng)用也正面臨著一種 新的挑戰(zhàn)：系統(tǒng)必須具有高可靠性，要求軟件系統(tǒng)對(duì)變化具有自適應(yīng)性，運(yùn)些系統(tǒng)需要具有 在不中斷系統(tǒng)服務(wù)前提下更新配置的能力，容錯(cuò)管理問題，如何在更新失敗的情況下處理 異常，使系統(tǒng)保持正常穩(wěn)定的運(yùn)行。即動(dòng)態(tài)配置技術(shù)是實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)軟件自適應(yīng)可靠性 的一種重要手段。
[0003] 早期的大數(shù)據(jù)并行處理框架化doop受限于單點(diǎn)故障及計(jì)算模式相對(duì)單一， 化doop2.0引入YARN運(yùn)一通用資源管理系統(tǒng)，提升了系統(tǒng)可靠性和整個(gè)集群的資源利用 率，使其成為可W運(yùn)行包括實(shí)時(shí)流處理框架Storm、Spark等多種大數(shù)據(jù)處理框架及編程模 式，但提高大數(shù)據(jù)分析應(yīng)用系統(tǒng)的容錯(cuò)能力，進(jìn)一步使系統(tǒng)具有好的可靠性仍然是一個(gè)難 題。 陽004] 當(dāng)前正廣泛興起的大數(shù)據(jù)引擎Spark技術(shù)最初由UCBerkel巧大學(xué)的AMF*L油實(shí)驗(yàn) 室開發(fā)，現(xiàn)在是由Apache基金管理的開源項(xiàng)目。Spark的目標(biāo)是滿足絕大多數(shù)據(jù)數(shù)據(jù)處理W及挖掘的應(yīng)用，使數(shù)據(jù)分析程序運(yùn)行的更快，容錯(cuò)性更好的一種通用的支持內(nèi)存計(jì)算的 模型。Spark引入了彈性分布式數(shù)據(jù)集巧esilientDistributedDataSets)畑D模型，W充 分利用內(nèi)存資源提升計(jì)算效率。與其它的大數(shù)據(jù)處理框架不同的是，Spark可W在化ark、 MLlib、Gra地X和SparkStreaming的基礎(chǔ)上利用一個(gè)引擎高效的處理從ETL到S化到機(jī)器 學(xué)習(xí)再到流數(shù)據(jù)的處理。使用Spark加SparkStreaming(或aiark,BlinkDB)用于實(shí)時(shí)和 批處理；使用SparkStreaming加MLlib用于流處理和機(jī)器學(xué)習(xí)；使用Spark加Gra地X用 于圖流水線等。但運(yùn)種新的實(shí)時(shí)性流計(jì)算框架盡管實(shí)時(shí)性能與容錯(cuò)性能得到了大的改善， 但系統(tǒng)的高可靠性與高可用性仍然是一個(gè)挑戰(zhàn)性問題。
[0005] 隨著大數(shù)據(jù)平臺(tái)中分布式系統(tǒng)規(guī)模越來越龐大、行為越來越復(fù)雜，系統(tǒng)中出現(xiàn)的 各種故障也呈指數(shù)級(jí)增長(zhǎng)，給工業(yè)界、政府部口帶來非常嚴(yán)重的危害和損失，系統(tǒng)一旦發(fā)生 停機(jī)事件，將會(huì)帶來巨大損失和困擾，因此運(yùn)些大數(shù)據(jù)分析系統(tǒng)需要具有在不中斷系統(tǒng)服 務(wù)前提下具有自動(dòng)配置的能力，W提高系統(tǒng)的可靠性，增強(qiáng)系統(tǒng)風(fēng)險(xiǎn)控制能力，提高軟件平 臺(tái)的整體運(yùn)行效率。針對(duì)相關(guān)技術(shù)中的問題，目前尚未提出有效的解決方案。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明所要解決的技術(shù)問題是：提供用于大數(shù)據(jù)分析計(jì)算運(yùn)行期的動(dòng)態(tài)優(yōu)化配 置，W提高系統(tǒng)的可靠性，增強(qiáng)風(fēng)險(xiǎn)控制能力。
[0007] 為了解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：提供一種可動(dòng)態(tài)配置的大數(shù) 據(jù)分析系統(tǒng)，包括：
[0008] 實(shí)時(shí)數(shù)據(jù)存儲(chǔ)管理模塊，用于在分布式服務(wù)集群中獲取實(shí)時(shí)流數(shù)據(jù)，并動(dòng)態(tài)配置 相關(guān)控制參數(shù)，并存儲(chǔ)；
[0009] 實(shí)時(shí)流分析計(jì)算模塊，用于統(tǒng)計(jì)分析實(shí)時(shí)數(shù)據(jù)，獲得實(shí)時(shí)計(jì)算結(jié)果，并對(duì)實(shí)時(shí)分析 算法負(fù)載進(jìn)行任務(wù)調(diào)整；
[0010] 離線分析模塊，用于統(tǒng)計(jì)分析離線數(shù)據(jù)，獲得離線計(jì)算結(jié)果，并對(duì)離線分析算法負(fù) 載進(jìn)行任務(wù)調(diào)整；
[0011] 可視化模塊，用于對(duì)實(shí)時(shí)計(jì)算結(jié)果及離線計(jì)算結(jié)果進(jìn)行可視化展示，并在設(shè)置的 時(shí)延范圍內(nèi)提供動(dòng)態(tài)圖表，及時(shí)顯示集群服務(wù)運(yùn)行狀態(tài)和響應(yīng)情況，對(duì)超過闊值數(shù)據(jù)進(jìn)行 報(bào)警處理。
[0012] 為解決上述問題，本發(fā)明還提供一種大數(shù)據(jù)分析系統(tǒng)的動(dòng)態(tài)配置方法，包括如下 步驟：
[0013]S1 :預(yù)設(shè)時(shí)間窗口，由動(dòng)態(tài)配置管理器預(yù)設(shè)警示數(shù)據(jù)結(jié)構(gòu)，并初始化；
[0014] S2:在節(jié)點(diǎn)內(nèi)根據(jù)對(duì)象實(shí)例的任務(wù)類型設(shè)定對(duì)象實(shí)例的預(yù)警冗余度下界與上界的 經(jīng)驗(yàn)初始值W及一個(gè)參數(shù)調(diào)整步長(zhǎng)常數(shù)；
[0015] S3 :計(jì)算對(duì)象實(shí)例的預(yù)警冗余度值；
[0016] S4 :確定所述預(yù)警冗余度值位于下界與上界的經(jīng)驗(yàn)初始值之間，并生成隨機(jī)數(shù)；
[0017]S5:根據(jù)步長(zhǎng)、隨機(jī)數(shù)、上界及下界的經(jīng)驗(yàn)初始值，計(jì)算出優(yōu)化上界值及優(yōu)化下界 值；
[0018] S6 :確定所述預(yù)警冗余度值位于優(yōu)化下界值與優(yōu)化上界值之間；
[0019] S7 :在預(yù)設(shè)的時(shí)間窗口內(nèi)，輪詢動(dòng)態(tài)配置管理中的警示信息列表；
[0020] S8 :針對(duì)節(jié)點(diǎn)狀態(tài)的警示信息列表，修改節(jié)點(diǎn)狀態(tài)，W實(shí)現(xiàn)節(jié)點(diǎn)的動(dòng)態(tài)維護(hù)。
[0021] 本發(fā)明的有益效果在于：區(qū)別于現(xiàn)有技術(shù)，本發(fā)明通過上述模塊的協(xié)同配合，實(shí)現(xiàn) 系統(tǒng)性能的配置優(yōu)化，同時(shí)通過計(jì)算警示冗余度，使得系統(tǒng)可運(yùn)行于一個(gè)高效率的大數(shù)據(jù) 分析計(jì)算平臺(tái)上，既提高了系統(tǒng)的可靠性，又增強(qiáng)風(fēng)險(xiǎn)控制能力。
【附圖說明】
[0022] 圖1為本發(fā)明系統(tǒng)的結(jié)構(gòu)示意圖；
[0023] 圖2為本發(fā)明方法中系統(tǒng)各節(jié)點(diǎn)處于NORMAL狀態(tài)時(shí)各類對(duì)象實(shí)例冗余度的動(dòng)態(tài) 維護(hù)的流程示意圖；
[0024] 圖3為本發(fā)明方法中基于警示信息列表中節(jié)點(diǎn)狀態(tài)的動(dòng)態(tài)配置維護(hù)流程示意圖。
【具體實(shí)施方式】
[0025] 為詳細(xì)說明本發(fā)明的技術(shù)內(nèi)容、所實(shí)現(xiàn)目的及效果，W下結(jié)合實(shí)施方式并配合附 圖予W說明。
[00%] 本發(fā)明最關(guān)鍵的構(gòu)思在于：通過系統(tǒng)的各個(gè)模塊的協(xié)同作用，實(shí)現(xiàn)系統(tǒng)性能的配 置優(yōu)化，進(jìn)而獲得高效率的大數(shù)據(jù)分析計(jì)算平臺(tái)。
[0027] 請(qǐng)參照?qǐng)D1，本發(fā)明實(shí)施例提供一種可動(dòng)態(tài)配置的大數(shù)據(jù)分析系統(tǒng)，包括：
[0028] 實(shí)時(shí)數(shù)據(jù)存儲(chǔ)管理模塊，用于在分布式服務(wù)集群中獲取實(shí)時(shí)流數(shù)據(jù)，并動(dòng)態(tài)配置 相關(guān)控制參數(shù)，并存儲(chǔ)；
[0029] 實(shí)時(shí)流分析計(jì)算模塊，用于統(tǒng)計(jì)分析實(shí)時(shí)數(shù)據(jù)，獲得實(shí)時(shí)計(jì)算結(jié)果，并對(duì)實(shí)時(shí)分析 算法負(fù)載進(jìn)行任務(wù)調(diào)整；
[0030] 離線分析模塊，用于統(tǒng)計(jì)分析離線數(shù)據(jù)，獲得離線計(jì)算結(jié)果，并對(duì)離線分析算法負(fù) 載進(jìn)行任務(wù)調(diào)整；
[0031] 可視化模塊，用于對(duì)實(shí)時(shí)計(jì)算結(jié)果及離線計(jì)算結(jié)果進(jìn)行可視化展示，并在設(shè)置的 時(shí)延范圍內(nèi)提供動(dòng)態(tài)圖表，及時(shí)顯示集群服務(wù)運(yùn)行狀態(tài)和響應(yīng)情況，對(duì)超過闊值數(shù)據(jù)進(jìn)行 報(bào)警處理。
[0032] 其中，所述實(shí)時(shí)數(shù)據(jù)存儲(chǔ)管理模塊包括：
[0033] 實(shí)時(shí)流數(shù)據(jù)獲取組件，用于獲取分布式服務(wù)集群中的實(shí)時(shí)流數(shù)據(jù)，并進(jìn)行格式化、 過濾、收集，并在收集過程中，完成流數(shù)據(jù)的分批工作；
[0034] 實(shí)時(shí)存儲(chǔ)組件，用于將格式化之后的數(shù)據(jù)交換格式異步發(fā)送至皿FS，將數(shù)據(jù)批進(jìn) 行存儲(chǔ)。
[0035] 存儲(chǔ)管理配置組件，用于實(shí)時(shí)數(shù)據(jù)存儲(chǔ)管理模塊動(dòng)態(tài)配置相關(guān)控制參數(shù)。
[0036] 其中，所述實(shí)時(shí)流分析計(jì)算模塊包括：
[0037] 實(shí)時(shí)流處理組件，用于從皿FS中獲取數(shù)據(jù)W進(jìn)行實(shí)時(shí)分析，獲取實(shí)時(shí)計(jì)算結(jié)果； 并將實(shí)時(shí)計(jì)算結(jié)果持久化，發(fā)送給可視化模塊，W及存儲(chǔ)到皿FS中；
[0038] 實(shí)時(shí)數(shù)據(jù)分析組件，用于對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析W及基于機(jī)器學(xué)習(xí)的智能分 析，并對(duì)實(shí)時(shí)分析算法負(fù)載進(jìn)行任務(wù)調(diào)度，實(shí)現(xiàn)負(fù)載均衡；
[0039] 實(shí)時(shí)流分析計(jì)算配置組件，用于實(shí)時(shí)流分析計(jì)算模塊動(dòng)態(tài)配置相關(guān)控制參數(shù)。
[0040] 其中，所述離線分析模塊包括：
[0041] 離線數(shù)據(jù)處理組件，用于從皿FS中獲取離線數(shù)據(jù)W進(jìn)行離線分析，獲取離線計(jì)算 結(jié)果，并將離線計(jì)算結(jié)果持久化，發(fā)送給可視化模塊，W及存儲(chǔ)到皿FS與NoSQL中。
[0042] 離線數(shù)據(jù)分析組件，用于對(duì)離線數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析W及基于機(jī)器學(xué)習(xí)的智能分 析，并對(duì)離線分析算法負(fù)載進(jìn)行任務(wù)調(diào)度，實(shí)現(xiàn)負(fù)載均衡；
[0043] 離線數(shù)據(jù)分析計(jì)算配置組件，用于離線分析模塊動(dòng)態(tài)配置相關(guān)控制參數(shù)。
[0044] 其中，所述可視化模塊包括：
[0045] 動(dòng)態(tài)配置組件，用于協(xié)同上述模塊，實(shí)現(xiàn)系統(tǒng)性能的配置優(yōu)化；
[0046] 實(shí)時(shí)分析視圖組件，用于可視化展示實(shí)時(shí)計(jì)算結(jié)果，包括實(shí)時(shí)匯總、實(shí)時(shí)統(tǒng)計(jì)分析 及智能預(yù)測(cè)的數(shù)據(jù)。
[0047] 離線分析視圖組件，用于可視化展示離線計(jì)算結(jié)果，包括主題消息的匯總、狀態(tài)分 析及智能預(yù)測(cè)結(jié)果的展示，W及所在地服務(wù)請(qǐng)求的統(tǒng)計(jì)匯總。
[0048] 動(dòng)態(tài)配置視圖組件，用于展示配置數(shù)據(jù)，并關(guān)聯(lián)到展示實(shí)時(shí)計(jì)算結(jié)果及離線計(jì)算 結(jié)果的檢測(cè)精度。
[0049] 一種大數(shù)據(jù)分析系統(tǒng)的動(dòng)態(tài)配置方法，包括如下步驟：
[0050] S1 :預(yù)設(shè)時(shí)間窗口，由動(dòng)態(tài)配置管理器預(yù)設(shè)警示數(shù)據(jù)結(jié)構(gòu)，并初始化；
[0051] S2:在節(jié)點(diǎn)內(nèi)根據(jù)對(duì)象實(shí)例的任務(wù)類型設(shè)定對(duì)象實(shí)例的預(yù)警冗余度下界與上界的 經(jīng)驗(yàn)初始值W及一個(gè)參數(shù)調(diào)整步長(zhǎng)常數(shù)；
[0052]S3 :計(jì)算對(duì)象實(shí)例的預(yù)警冗余度值；
[0053] S4 :確定所述預(yù)警冗余度值位于下界與上界的經(jīng)驗(yàn)初始值之間，并生成隨機(jī)數(shù)；
[0054] S5:根據(jù)步長(zhǎng)、隨機(jī)數(shù)、上界及下界的經(jīng)驗(yàn)初始值，計(jì)算出優(yōu)化上界值及優(yōu)化下界 值； 陽化5] S6 :確定所述預(yù)警冗余度值位于優(yōu)化下界值與優(yōu)化上界值之間；
[0056] S7 :在預(yù)設(shè)的時(shí)間窗口內(nèi)，輪詢動(dòng)態(tài)配置管理中的警示信息列表；
[0057] S8 :針對(duì)節(jié)點(diǎn)狀態(tài)的警示信息列表，修改節(jié)點(diǎn)狀態(tài)，W實(shí)現(xiàn)節(jié)點(diǎn)的動(dòng)態(tài)維護(hù)