一種流數(shù)據(jù)系統(tǒng)的負載評估以及過載判定方法
【專利摘要】本發(fā)明公開了一種流數(shù)據(jù)系統(tǒng)的負載評估以及過載判定方法，通過量化流數(shù)據(jù)系統(tǒng)處理單位數(shù)據(jù)元組消耗的時間，進而動態(tài)計算評估流數(shù)據(jù)的實時負載，判斷是否過載。本發(fā)明克服了現(xiàn)有流數(shù)據(jù)系統(tǒng)因數(shù)據(jù)流具有抖動、不確定等特性，其數(shù)據(jù)特性無法預(yù)測，數(shù)據(jù)率不斷變化，從而造成流數(shù)據(jù)系統(tǒng)負載不穩(wěn)定的缺陷。本發(fā)明提出的流數(shù)據(jù)系統(tǒng)負載的評估及系統(tǒng)過載判定方法，對于流數(shù)據(jù)系統(tǒng)性能優(yōu)化具有重要的意義。值得推廣應(yīng)用。
【專利說明】一種流數(shù)據(jù)系統(tǒng)的負載評估以及過載判定方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)庫領(lǐng)域，主要解決流數(shù)據(jù)系統(tǒng)過載的判定問題，發(fā)明了一種過載判定的方法。
【背景技術(shù)】
[0002]數(shù)據(jù)呈現(xiàn)海量、實時、多樣等新特征，流數(shù)據(jù)系統(tǒng)在應(yīng)對數(shù)據(jù)新特征與挑戰(zhàn)中有著諸多優(yōu)勢:1，數(shù)據(jù)單遍掃描，不存儲全部的原始數(shù)據(jù)，節(jié)省了存儲資源；2，數(shù)據(jù)處理結(jié)果存儲在內(nèi)存中，處理與訪問均在內(nèi)存中進行，提高了分析與訪問的時效性；3，流數(shù)據(jù)采取數(shù)據(jù)摘要表征原始數(shù)據(jù)特性，適應(yīng)了數(shù)據(jù)的新特征與趨勢。
[0003]數(shù)據(jù)流具有抖動、不確定等特性，其數(shù)據(jù)特性無法預(yù)測，數(shù)據(jù)率不斷變化，因而造成流數(shù)據(jù)系統(tǒng)負載不穩(wěn)定。系統(tǒng)負載的評估及系統(tǒng)過載判定對于流數(shù)據(jù)系統(tǒng)性能優(yōu)化都有重要的意義。

【發(fā)明內(nèi)容】

[0004]本發(fā)明所要解決的技術(shù)問題是提出了一種流數(shù)據(jù)系統(tǒng)的負載評估以及過載判定方法，以克服現(xiàn)有流數(shù)據(jù)系統(tǒng)的因數(shù)據(jù)特性無法預(yù)測，數(shù)據(jù)率不斷變化，造成流數(shù)據(jù)系統(tǒng)負載不穩(wěn)定的缺陷。
[0005]為了解決上述技術(shù)問題，本發(fā)明提出了一種流數(shù)據(jù)系統(tǒng)的負載評估以及過載判定方法，包括以下步驟:
[0006]計算流數(shù)據(jù)系統(tǒng)負載，所述流數(shù)據(jù)系統(tǒng)負載按以下公式計算:
【權(quán)利要求】
1.一種流數(shù)據(jù)系統(tǒng)的負載評估以及過載判定方法，其特征在于，包括以下步驟: 計算流數(shù)據(jù)系統(tǒng)負載，所述流數(shù)據(jù)系統(tǒng)負載按以下公式計算:
2.根據(jù)權(quán)利要求1所述的流數(shù)據(jù)系統(tǒng)的負載評估以及過載判定方法，其特征在于，所述第j個算子的S」參數(shù)由以下步驟獲取: 系統(tǒng)啟動，系統(tǒng)定時周期T1，在第一個周期內(nèi)統(tǒng)計獲取參數(shù)Sk ； 初始化算子j處理的數(shù)據(jù)數(shù)值為O，初始化算子j輸出的數(shù)據(jù)元組數(shù)％值為O ; 每當輸入算子j 一個數(shù)據(jù)元組，Mj自增I ; 每當算子j輸出一個數(shù)據(jù)元組，Nj自增I ; 定時周期Tl到達，計算算子j的選擇率SfN/Mj。
3.根據(jù)權(quán)利要求2所述的流數(shù)據(jù)系統(tǒng)的負載評估以及過載判定方法，其特征在于，所述第k個算子的Ck參數(shù)由以下步驟獲取: 系統(tǒng)啟動，系統(tǒng)定時周期T1，在第一個周期內(nèi)統(tǒng)計獲取參數(shù)Ck; 初始化算子k處理的數(shù)據(jù)元組數(shù)目Mk值為O,初始化參數(shù)Ck值為O ; 每當輸入算子k 一個數(shù)據(jù)元組，Mk自增I ; 用數(shù)據(jù)元組處理結(jié)束的時間減去輸入算子的時間計算處理時間tk ； 根據(jù)下式更新Ck
4.根據(jù)權(quán)利要求3所述的流數(shù)據(jù)系統(tǒng)的負載評估以及過載判定方法，其特征在于，系統(tǒng)是否過載的動態(tài)判定方法如下: 設(shè)置定時周期T1 ； 初始化每條流的數(shù)據(jù)率Vi值為O，i取值區(qū)間為[1，N]； 當數(shù)據(jù)元組到達，判斷所屬的數(shù)據(jù)流，并將對應(yīng)的Vi自增I ; 定時周期T1到達，計算系統(tǒng)負載
【文檔編號】G06F17/30GK103927349SQ201410133278
【公開日】2014年7月16日 申請日期:2014年4月3日 優(yōu)先權(quán)日:2014年4月3日
【發(fā)明者】王菲 申請人:華中科技大學(xué)