一種對周期性數(shù)據(jù)上報進(jìn)行時間散列的系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及大規(guī)模數(shù)據(jù)采集處理領(lǐng)域，尤指一種對周期性數(shù)據(jù)上報進(jìn)行時間散列 的系統(tǒng)。
【背景技術(shù)】
[0002] 隨著信息技術(shù)的飛速發(fā)展，大數(shù)據(jù)時代的到來，對數(shù)據(jù)傳輸效率及處理能力的需 求不斷增長。尤其是對于海量數(shù)據(jù)終端，周期性進(jìn)行數(shù)據(jù)上報時，某一時點對網(wǎng)絡(luò)、I/O、內(nèi) 存、計算能力等施加了巨大的壓力，而此種業(yè)務(wù)場景在物聯(lián)網(wǎng)領(lǐng)域中應(yīng)用尤為常見。物聯(lián)網(wǎng) 通過各種傳感器技術(shù)、各種通信手段，將任何物體與互聯(lián)網(wǎng)相連接，從而實現(xiàn)了遠(yuǎn)程監(jiān)視、 自動報警、控制、診斷和維護(hù)，幫助人們實現(xiàn)管理、控制與運營，隨著各行各業(yè)應(yīng)用的發(fā)展， 每秒鐘物聯(lián)網(wǎng)上都會產(chǎn)生海量的數(shù)據(jù)。因此會涉及大量數(shù)據(jù)周期性上報問題，有鑒于此研 究如何降低海量數(shù)據(jù)周期性上報對網(wǎng)絡(luò)、1/0、內(nèi)存、計算能力的要求，具有重要的意義。
[0003] 現(xiàn)有技術(shù)，由采集單元采集數(shù)據(jù)，定期向服務(wù)單元上報數(shù)據(jù)，即周期性數(shù)據(jù)上報。 采集單元向服務(wù)單元發(fā)起注冊，注冊成功后，服務(wù)單元將此采集單元上報數(shù)據(jù)的周期P發(fā) 送采集單元，采集單元計算上報時間。假定上報當(dāng)日零時時間戳為T。，當(dāng)前上報批次為n， 則：
[0004]
[0005] 采集單元在Tn時上報數(shù)據(jù)。
[0006] 如若采用現(xiàn)有的上述技術(shù)方案，那么假定一個數(shù)據(jù)傳輸系統(tǒng)中有2000個數(shù)據(jù)采 集單元，每個采集單元有8KB的上報數(shù)據(jù)，則數(shù)據(jù)上報點對網(wǎng)絡(luò)帶寬的要求如下：
[0007] 瞬時流量：T = 8X2000 = 16000KB ~16MB
[0008] 帶寬要求：W ~TX 10 = 160Mbps
[0009] 在實際應(yīng)用中，海量數(shù)據(jù)終端的采集單元可能遠(yuǎn)高于2000個，隨著采集單元數(shù)量 的增加，帶寬要求呈線性方式增長。由此可見，采用現(xiàn)有的技術(shù)方法周期性上報數(shù)據(jù)，瞬時 并發(fā)的數(shù)據(jù)流帶來傳輸?shù)母叻?，對網(wǎng)絡(luò)帶寬、I/O帶寬、I/O讀寫等待時間、內(nèi)存、計算能力 等系統(tǒng)資源有很高的要求，帶來運營成本的巨大壓力。

【發(fā)明內(nèi)容】

[0010] 本發(fā)明目的在于提供一種對周期性數(shù)據(jù)上報進(jìn)行時間散列的系統(tǒng)，用以克服海量 數(shù)據(jù)，周期性上報造成的網(wǎng)絡(luò)、I/O、內(nèi)存、計算能力壓力過大的問題。
[0011] 該對周期性數(shù)據(jù)上報進(jìn)行時間散列的系統(tǒng)具體包含：復(fù)數(shù)個采集單元和服務(wù)單 元；所述采集單元發(fā)起注冊請求；所述服務(wù)單元根據(jù)所述注冊請求與所述采集單元建立連 接；所述服務(wù)單元將上報周期劃分為復(fù)數(shù)個所述時間片段，獲取各時間片段的負(fù)載狀態(tài)，將 負(fù)荷最小的時間片段的配置參數(shù)發(fā)送至所述采集單元；所述采集單元根據(jù)所述配置參數(shù)計 算獲得上報時間。
[0012] 在上述對周期性數(shù)據(jù)上報進(jìn)行時間散列的系統(tǒng)中，一優(yōu)選實施例還包含：所述服 務(wù)單元根據(jù)采集單元的注冊請求獲得所述采集單元的標(biāo)識信息，根據(jù)所述標(biāo)識信息與所述 采集單元建立連接并反饋注冊結(jié)果。
[0013] 在上述對周期性數(shù)據(jù)上報進(jìn)行時間散列的系統(tǒng)中，一優(yōu)選實施例還包含：所述標(biāo) 識信息為所述采集單元的序列號SN。
[0014] 在上述對周期性數(shù)據(jù)上報進(jìn)行時間散列的系統(tǒng)中，一優(yōu)選實施例還包含：當(dāng)所述 服務(wù)單元將上報周期劃分為復(fù)數(shù)個所述時間片段后，對每一時間片段賦予引用計數(shù)；調(diào)節(jié) 所述引用計數(shù)后分配至所述采集單元，通過所述引用計數(shù)判定所述時間片段負(fù)荷狀態(tài)。
[0015] 在上述對周期性數(shù)據(jù)上報進(jìn)行時間散列的系統(tǒng)中，一優(yōu)選實施例還包含：所述服 務(wù)單元增加所述引用計數(shù)后，將所述引用計數(shù)對應(yīng)的時間片段分配至所述采集單元；所述 服務(wù)單元查詢到所述采集單元離線后，減少所述引用計數(shù)。
[0016] 在上述對周期性數(shù)據(jù)上報進(jìn)行時間散列的系統(tǒng)中，一優(yōu)選實施例還包含：根據(jù)以 下散列參數(shù)計算公式獲得散列參數(shù)：
[0017]
[0018] 上述公式中HashSN為散列參數(shù)，1為序列號SN的長度，j為序列號遍歷索引， 0 ^ j<l〇
[0019] 在上述對周期性數(shù)據(jù)上報進(jìn)行時間散列的系統(tǒng)中，一優(yōu)選實施例還包含：根據(jù)以 下計算公式獲得所述上報時間：
[0020]
[0021] 上述公式中T。為上報當(dāng)日零時時間戳；η為當(dāng)前上報批次；p為上報周期；t為時 間片段的時長；i為時間片段編號Je1，： 2, "…(6-1))其中，ρ/t向下取整且t << P ;x為配置項，X是二次散列參數(shù)，將服務(wù)單元分配的、處于同一時間片段內(nèi)的采集單 元在該時段再次進(jìn)行散列分布，使負(fù)載更為平均。
[0022] 在上述對周期性數(shù)據(jù)上報進(jìn)行時間散列的系統(tǒng)中，一優(yōu)選實施例還包含：所述配 置參數(shù)包含：上報周期，時間片段的時長和時間片段編號。
[0023] 本發(fā)明的有益技術(shù)效果在于：本發(fā)明通過時間散列的方式，將高度集中的并發(fā)業(yè) 務(wù)平均分布在一段時間內(nèi)，降低周期性上報數(shù)據(jù)對網(wǎng)絡(luò)帶寬、I/O帶寬、I/O讀寫等待時間、 內(nèi)存、計算能力等系統(tǒng)資源的要求。
【附圖說明】
[0024] 此處所說明的附圖用來提供對本發(fā)明的進(jìn)一步理解，構(gòu)成本申請的一部分，并不 構(gòu)成對本發(fā)明的限定。在附圖中：
[0025] 圖1為本發(fā)明所提供的對周期性數(shù)據(jù)上報進(jìn)行時間散列的系統(tǒng)結(jié)構(gòu)示意圖；
[0026] 圖2為本發(fā)明所提供的對周期性數(shù)據(jù)上報進(jìn)行時間散列的系統(tǒng)操作流程示意圖；
[0027] 圖3為本發(fā)明所提供的上報周期劃分時間片段示意圖；
[0028] 圖4為本發(fā)明所提供對周期性數(shù)據(jù)上報進(jìn)行時間散列的系統(tǒng)一實施例的流程圖。
【具體實施方式】
[0029] 為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚明白，下面結(jié)合實施例和附 圖，對本發(fā)明做進(jìn)一步詳細(xì)說明。在此，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明， 但并不作為對本發(fā)明的限定。
[0030] 本發(fā)明所提供的對周期性數(shù)據(jù)上報進(jìn)行時間散列的系統(tǒng)由數(shù)據(jù)采集單元（CU)、服 務(wù)單元（SU)以及網(wǎng)絡(luò)三部分組成，具體請參考圖1所示，通過采集單元與服務(wù)單元之間的 網(wǎng)絡(luò)通信，實現(xiàn)對周期性上報數(shù)據(jù)的時間分流，以達(dá)到錯開數(shù)據(jù)傳輸高峰期的方法。
[0031] 再請參考圖2所示，圖2為對周期性數(shù)據(jù)上報進(jìn)行時間散列的系統(tǒng)操作流程示意 圖，所述系統(tǒng)具體包含：復(fù)數(shù)個采集單元和服務(wù)單元；SlOl所述采集單元發(fā)起注冊請求； S102所述服務(wù)單元根據(jù)所述注冊請求與所述采集單元建立連接；S103所述服務(wù)單元將上 報周期劃分為復(fù)數(shù)個所述時間片段，獲取各時間片段的負(fù)載狀態(tài)，將負(fù)荷最小的時間片段 的配置參數(shù)發(fā)送至所述采集單元；S104所述采集單元根據(jù)所述配置參數(shù)計算獲得上報時 間。通過所述上報時間，采集單元可以確定其上報數(shù)據(jù)的時間點，以此，通過服務(wù)單元的合 理劃分采集單元上報的時間，使不同采集單元可以分批次上報數(shù)據(jù)，減少多個采集單元同 一時刻上報數(shù)據(jù)引起的設(shè)備壓力，極大的降低了周期性上報數(shù)據(jù)對網(wǎng)絡(luò)帶寬、I/O帶寬、I/O 讀寫等待時間、內(nèi)存、計算能力等系統(tǒng)資源的要求。
[0032] 在本發(fā)明一實施例中，上述步驟S102還包含，所述服務(wù)單元根據(jù)采集單元的注冊 請求獲得所述采集單元的標(biāo)識信息，根據(jù)所述標(biāo)識信息與所述采集單元建立連接并反饋注 冊結(jié)果。其中，所述標(biāo)識信息為所述采集單元的序列號SN等唯一標(biāo)識，所述服務(wù)單元根據(jù) 該唯一標(biāo)識確定所述采集單元的信息及位置等；當(dāng)然，本領(lǐng)域相關(guān)技術(shù)人員應(yīng)知，所述序列 號僅為本發(fā)明所提供的一較佳實施例，本發(fā)明并不以此為限。
[0033] 請參考圖3所示，在實際工作中，當(dāng)采集單元數(shù)據(jù)上報周期設(shè)為p，服務(wù)單元則將 所述上報周期P劃分為若干連續(xù)的、相同的時間片段，每個時間片段的時長為t，并為每個 時間片段編號為i，(隊1，2,'…··< 由服務(wù)單元進(jìn)行動態(tài)管理和檢測。當(dāng)所 述對周期性數(shù)據(jù)上報進(jìn)行時間散列的系統(tǒng)啟動時，各時間片段的負(fù)載可計數(shù)為〇,該引用計 數(shù)為服務(wù)單元設(shè)置；采集單元向服務(wù)單元發(fā)起注冊后，服務(wù)單元檢測當(dāng)前時間片段的負(fù)載 情況Pi~P N，選出負(fù)載最小的單元minTp P2, P3···，Pn)，例如當(dāng)前P1= 1，P 2= 3, P 3= 5， 那么該情況下選擇P1這一個引用計數(shù)最小的一個單元，服務(wù)單元將采集單元上傳的時間點 被劃入該時段P 1，同時該片段計數(shù)加1，變成P1= 2,當(dāng)采集單元離線時，對應(yīng)時段的引用計 數(shù)減1，變回P1= 1。以此，服務(wù)單元通過即時檢測當(dāng)前時間片段的引用計數(shù)，合理且快捷 的獲得各時間片段的負(fù)荷狀態(tài)，將采集單元上報數(shù)據(jù)的時間準(zhǔn)確的分配至負(fù)荷較小的時間 片段中，使采集單元獲得其對應(yīng)的上報數(shù)據(jù)的時間段，以此，防止大量采集單元集中于同一 時段上傳數(shù)據(jù)的風(fēng)險。同時，值得說明的是，當(dāng)采集單元獲得其上報時間后，并不用立即上 報數(shù)據(jù)，其在該時段內(nèi)的最終上報時點，可由采集單元具體分析后自行決定。
[0034] 上述引用計數(shù)調(diào)整方法具體請參考圖4所示，所述服務(wù)單元增加所述引用計數(shù) 后，將