云計(jì)算的pm2.5監(jiān)測(cè)、存儲(chǔ)、處理的方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)一種云計(jì)算的PM2.5監(jiān)測(cè)、存儲(chǔ)、處理的方法，包括云計(jì)算平臺(tái)和一個(gè)以上的PM2.5監(jiān)測(cè)點(diǎn)；所述云計(jì)算平臺(tái)包括實(shí)時(shí)數(shù)據(jù)入庫(kù)單元、PM2.5監(jiān)測(cè)平臺(tái)數(shù)據(jù)存儲(chǔ)中心以及管理單元；本發(fā)明的優(yōu)點(diǎn)是：實(shí)時(shí)性高、可靠性高、可伸縮性強(qiáng)、擴(kuò)容性高、性?xún)r(jià)比高且全業(yè)務(wù)支持。
【專(zhuān)利說(shuō)明】云計(jì)算的PM2. 5監(jiān)測(cè)、存儲(chǔ)、處理的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及云計(jì)算【技術(shù)領(lǐng)域】，具體涉及一種對(duì)環(huán)境監(jiān)測(cè)數(shù)據(jù)PM2. 5客戶(hù)端并行處理大數(shù)據(jù)的云計(jì)算的PM2. 5監(jiān)測(cè)、存儲(chǔ)、處理的方法。
【背景技術(shù)】
[0002]由于分散在城市周?chē)枰罅康腜M2. 5監(jiān)控點(diǎn)（1000—10000個(gè))需要實(shí)時(shí)的并發(fā)上傳大量PM2. 5數(shù)據(jù)，以及需要存儲(chǔ)和處理海量的PM2. 5的歷史數(shù)據(jù)，采用傳統(tǒng)的結(jié)局方案顯然難以滿足數(shù)據(jù)存儲(chǔ)需求和分析處理數(shù)據(jù)的需要。

【發(fā)明內(nèi)容】

[0003]本發(fā)明要解決的技術(shù)問(wèn)題是現(xiàn)有的數(shù)據(jù)處理系統(tǒng)難以滿足大量的PM2. 5監(jiān)控點(diǎn)數(shù)據(jù)存儲(chǔ)需求和分析處理數(shù)據(jù)的需要。
[0004]本發(fā)明采用的技術(shù)方案是：云計(jì)算的PM2. 5監(jiān)測(cè)、存儲(chǔ)、處理的方法，包括云計(jì)算平臺(tái)和一個(gè)以上的PM2. 5監(jiān)測(cè)點(diǎn)；所述云計(jì)算平臺(tái)包括實(shí)時(shí)數(shù)據(jù)入庫(kù)單元、PM2. 5監(jiān)測(cè)平臺(tái)數(shù)據(jù)存儲(chǔ)中心以及管理單元；所述PM2. 5監(jiān)測(cè)點(diǎn)的輸出端均連接實(shí)時(shí)數(shù)據(jù)入庫(kù)單元的輸入端；所述實(shí)時(shí)數(shù)據(jù)入庫(kù)單元的輸出端連接PM2. 5監(jiān)測(cè)平臺(tái)數(shù)據(jù)存儲(chǔ)中心的輸入端，用于將所有PM2. 5監(jiān)測(cè)點(diǎn)產(chǎn)生的數(shù)據(jù)實(shí)時(shí)存到PM2. 5監(jiān)測(cè)平臺(tái)數(shù)據(jù)存儲(chǔ)中心；所述管理單元和PM2. 5監(jiān)測(cè)平臺(tái)數(shù)據(jù)存儲(chǔ)中心之間為交互式連接；所述監(jiān)測(cè)平臺(tái)數(shù)據(jù)存儲(chǔ)單元包括數(shù)據(jù)立方分布式文件子系統(tǒng)和關(guān)系型數(shù)據(jù)庫(kù)；關(guān)系型數(shù)據(jù)庫(kù)用于存放用戶(hù)等數(shù)據(jù)量比較小的表數(shù)據(jù)立方分布式文件子系統(tǒng)用于存儲(chǔ)海量的原始數(shù)據(jù)；所述索引采用數(shù)據(jù)立方存儲(chǔ)索引結(jié)構(gòu)，將任意不同的關(guān)鍵字字段分別建立索引。
[0005]通過(guò)采用數(shù)據(jù)立方和傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)，來(lái)解決海量PM2. 5監(jiān)控點(diǎn)實(shí)時(shí)并發(fā)上傳的大量PM2. 5數(shù)據(jù)的處理與存儲(chǔ)，從而和宏觀上反映城市的整體的空氣質(zhì)量的監(jiān)測(cè)站點(diǎn)的監(jiān)測(cè)方式形成互補(bǔ)；在不停機(jī)的情況下，增加PM2. 5監(jiān)控點(diǎn)，平臺(tái)的處理能力自動(dòng)增加；減少PM2. 5監(jiān)控點(diǎn)，平臺(tái)的處理能力自動(dòng)縮減，實(shí)現(xiàn)了 PM2. 5監(jiān)控點(diǎn)與云計(jì)算平臺(tái)的無(wú)縫對(duì)接，云計(jì)算平臺(tái)根據(jù)計(jì)算和存儲(chǔ)任務(wù)動(dòng)態(tài)地申請(qǐng)或釋放資源，最大限度地提高資源利用率。
[0006]為進(jìn)一步減少成本，采用X86架構(gòu)計(jì)算機(jī)構(gòu)建云計(jì)算平臺(tái)。用軟件容錯(cuò)替代硬件容錯(cuò)，可大大節(jié)省成本，在目標(biāo)性能和可靠性條件下，可比傳統(tǒng)的小型機(jī)加商用數(shù)據(jù)庫(kù)方案節(jié)省10倍左右的成本。
[0007]本發(fā)明的優(yōu)點(diǎn)是：實(shí)時(shí)性高、可靠性高、可伸縮性強(qiáng)、擴(kuò)容性高、性?xún)r(jià)比高且全業(yè)務(wù)支持。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0008]圖I是本發(fā)明結(jié)構(gòu)以意圖。
【具體實(shí)施方式】[0009]本發(fā)明包括云計(jì)算平臺(tái)和一個(gè)以上的PM2.5監(jiān)測(cè)點(diǎn)，云計(jì)算平臺(tái)采用X86架構(gòu)計(jì)算機(jī)構(gòu)建；
所述云計(jì)算平臺(tái)包括實(shí)時(shí)數(shù)據(jù)入庫(kù)單元、PM2.5監(jiān)測(cè)平臺(tái)數(shù)據(jù)存儲(chǔ)中心以及管理單
元;
所述PM2.5監(jiān)測(cè)點(diǎn)的輸出端均連接實(shí)時(shí)數(shù)據(jù)入庫(kù)單元的輸入端；
所述實(shí)時(shí)數(shù)據(jù)入庫(kù)單元的輸出端連接PM2.5監(jiān)測(cè)平臺(tái)數(shù)據(jù)存儲(chǔ)中心的輸入端，用于將所有PM2.5監(jiān)測(cè)點(diǎn)產(chǎn)生的數(shù)據(jù)實(shí)時(shí)存到PM2.5監(jiān)測(cè)平臺(tái)數(shù)據(jù)存儲(chǔ)中心；
所述管理單元和PM2.5監(jiān)測(cè)平臺(tái)數(shù)據(jù)存儲(chǔ)中心之間為交互式連接；
所述監(jiān)測(cè)平臺(tái)數(shù)據(jù)存儲(chǔ)單元包括數(shù)據(jù)立方和傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)；
數(shù)據(jù)立方用于存儲(chǔ)原始數(shù)據(jù)；原始PM2.5數(shù)據(jù)，將全部存儲(chǔ)在PM2.5監(jiān)測(cè)平臺(tái)分布式文件系統(tǒng)，用于存儲(chǔ)海量的非結(jié)構(gòu)化數(shù)據(jù)。
[0010]關(guān)系型數(shù)據(jù)庫(kù)用于存放索引，所述索引采用數(shù)據(jù)立方存儲(chǔ)索引結(jié)構(gòu)，將任意不同的關(guān)鍵字字段分別建立索引，關(guān)系型數(shù)據(jù)庫(kù)提供包括實(shí)時(shí)監(jiān)控空氣質(zhì)量PM2.5，查看歷史記錄和分析數(shù)據(jù)等功能。
[0011]在實(shí)際使用中，可能用戶(hù)會(huì)對(duì)某一時(shí)間段或者類(lèi)型的數(shù)據(jù)特別關(guān)心，就可以通過(guò)管理單元查詢(xún)并導(dǎo)出這部分?jǐn)?shù)據(jù)以供使用。
[0012]采用數(shù)據(jù)立方的優(yōu)點(diǎn)是，保證系統(tǒng)既可以在成千上萬(wàn)的機(jī)器上跑，也可以在很小規(guī)模上運(yùn)行。
[0013]與其它分布式系統(tǒng)相比，使用數(shù)據(jù)立方的好處在于它的水平的可擴(kuò)展性，用其它分布式框架所寫(xiě)的程序在從十臺(tái)機(jī)器的級(jí)別到成百上千臺(tái)機(jī)器需要大量的重構(gòu)工作，這也許要程序重寫(xiě)幾次，并且其它框的基礎(chǔ)元素會(huì)限制應(yīng)用的規(guī)模大小。但是數(shù)據(jù)立方有著線性的可擴(kuò)展性，一個(gè)數(shù)據(jù)立方程序?qū)懲旰?，?0個(gè)結(jié)點(diǎn)上運(yùn)行，如果遷徙到更大的集群上運(yùn)行，幾乎不需要做什么工作，數(shù)據(jù)立方平臺(tái)會(huì)管理數(shù)據(jù)和硬件資源并提供與可用資源成比例的可靠性能。
[0014]分布式文件系統(tǒng)具備線性擴(kuò)展功能，只需要將配置好的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)加入到集群中，并且在集群空閑時(shí)執(zhí)行平衡工具以平衡集群中數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)塊負(fù)載。
[0015]本發(fā)明在充分運(yùn)用數(shù)據(jù)立方技術(shù)優(yōu)勢(shì)的基礎(chǔ)上，完全可以做到:
1.加監(jiān)測(cè)點(diǎn)只需要簡(jiǎn)單的配置即可連接到PM2.5監(jiān)測(cè)平臺(tái)數(shù)據(jù)存儲(chǔ)中心，統(tǒng)一規(guī)范標(biāo)準(zhǔn)，名稱(chēng)體現(xiàn)PM2.5監(jiān)測(cè)平臺(tái)監(jiān)測(cè)點(diǎn)理位置、PM2.5監(jiān)測(cè)平臺(tái)監(jiān)測(cè)點(diǎn)編號(hào)等信息，便于快速檢索。
[0016]2.客戶(hù)需要隨時(shí)更加存儲(chǔ)設(shè)備和數(shù)據(jù)分析服務(wù)器只需要根據(jù)數(shù)據(jù)立方規(guī)范做簡(jiǎn)單修改配置即可。例如如果后續(xù)根據(jù)PM2.5監(jiān)測(cè)平臺(tái)的存儲(chǔ)數(shù)據(jù)量量增加的情況下可以動(dòng)態(tài)的添加存儲(chǔ)節(jié)點(diǎn)。查詢(xún)速度變慢只需要?jiǎng)討B(tài)的添加少量處理節(jié)點(diǎn)。最大程度的節(jié)省客戶(hù)成本。
[0017]3.與原有系統(tǒng)數(shù)據(jù)對(duì)接支持各個(gè)版本的數(shù)據(jù)庫(kù)對(duì)接接入Oracle , SQLServer,Mysql均可。
[0018]本發(fā)明具備特點(diǎn):
實(shí)時(shí)性:平臺(tái)在高效率并行分布式軟件的支撐下，可以實(shí)時(shí)完成PM2.5監(jiān)測(cè)平臺(tái)數(shù)據(jù)入庫(kù)、分析和管理工作，如數(shù)據(jù)匯總、數(shù)據(jù)上報(bào)、數(shù)據(jù)入庫(kù)、數(shù)據(jù)查詢(xún)、數(shù)據(jù)計(jì)算和數(shù)據(jù)管理等。海量數(shù)據(jù)入庫(kù)不會(huì)出現(xiàn)數(shù)據(jù)堆積現(xiàn)象，各類(lèi)分析和查詢(xún)工作基本都在秒級(jí)完成，具有前所未有的高效性。
[0019]高可靠性：基于對(duì)云計(jì)算可靠性深厚的研究積累，徹底解決了當(dāng)前分布式計(jì)算平臺(tái)易出現(xiàn)的單點(diǎn)故障問(wèn)題。任何一個(gè)節(jié)點(diǎn)出現(xiàn)故障，系統(tǒng)將自動(dòng)屏蔽，而且不會(huì)出現(xiàn)丟失數(shù)據(jù)的現(xiàn)象。包括查詢(xún)?nèi)蝿?wù)分配節(jié)點(diǎn)、計(jì)算任務(wù)分配節(jié)點(diǎn)、分布式文件系統(tǒng)元數(shù)據(jù)節(jié)點(diǎn)、分布式文件系統(tǒng)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)、分布式作業(yè)系統(tǒng)等。
[0020]可伸縮性：在不停機(jī)的情況下，增加節(jié)點(diǎn)，平臺(tái)的處理能力自動(dòng)增加；減少節(jié)點(diǎn)，平臺(tái)的處理能力自動(dòng)縮減。這樣，可以做到與云計(jì)算平臺(tái)的無(wú)縫對(duì)接，根據(jù)計(jì)算和存儲(chǔ)任務(wù)動(dòng)態(tài)地申請(qǐng)或釋放資源，最大限度地提高資源利用率。
[0021]高擴(kuò)容性：PM2. 5監(jiān)測(cè)平臺(tái)監(jiān)測(cè)前端設(shè)備可以根據(jù)需求進(jìn)行增加設(shè)備，擴(kuò)展整個(gè)系統(tǒng)的覆蓋面積，但不需要繼續(xù)復(fù)雜的操作，可以動(dòng)態(tài)的增加PM2. 5監(jiān)測(cè)平臺(tái)測(cè)試的節(jié)點(diǎn)，接入到該系統(tǒng)，并能自動(dòng)組網(wǎng)，具有很強(qiáng)的擴(kuò)容性。
[0022]高性?xún)r(jià)比：采用X86架構(gòu)廉價(jià)計(jì)算機(jī)構(gòu)建云計(jì)算平臺(tái)，用軟件容錯(cuò)替代硬件容錯(cuò)，大大節(jié)省成本。在目標(biāo)性能和可靠性條件下，可比傳統(tǒng)的小型機(jī)加商用數(shù)據(jù)庫(kù)方案節(jié)省10倍左右的成本。
[0023]全業(yè)務(wù)支持：采用分布式數(shù)據(jù)庫(kù)模式，絕大部分PM2. 5海量數(shù)據(jù)存放于分布式平臺(tái)并進(jìn)行分布式處理，少量實(shí)時(shí)性要求很高的數(shù)據(jù)存放于關(guān)系數(shù)據(jù)庫(kù)中，可支撐各種類(lèi)型的業(yè)務(wù)。
【權(quán)利要求】
1.云計(jì)算的PM2.5監(jiān)測(cè)、存儲(chǔ)、處理的方法，其特征是，包括云計(jì)算平臺(tái)和一個(gè)以上的PM2.5監(jiān)測(cè)點(diǎn)；所述云計(jì)算平臺(tái)包括實(shí)時(shí)數(shù)據(jù)入庫(kù)單元、PM2.5監(jiān)測(cè)平臺(tái)數(shù)據(jù)存儲(chǔ)中心以及管理單元； 所述PM2.5監(jiān)測(cè)點(diǎn)的輸出端均連接實(shí)時(shí)數(shù)據(jù)入庫(kù)單元的輸入端； 所述實(shí)時(shí)數(shù)據(jù)入庫(kù)單元的輸出端連接PM2.5監(jiān)測(cè)平臺(tái)數(shù)據(jù)存儲(chǔ)中心的輸入端，用于將所有PM2.5監(jiān)測(cè)點(diǎn)產(chǎn)生的數(shù)據(jù)實(shí)時(shí)存到PM2.5監(jiān)測(cè)平臺(tái)數(shù)據(jù)存儲(chǔ)中心； 所述管理單元和PM2.5監(jiān)測(cè)平臺(tái)數(shù)據(jù)存儲(chǔ)中心之間為交互式連接； 所述監(jiān)測(cè)平臺(tái)數(shù)據(jù)存儲(chǔ)單元包括數(shù)據(jù)立方和傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)； 數(shù)據(jù)立方用于存儲(chǔ)海量的原始數(shù)據(jù)； 傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)用于存放用戶(hù)管理等數(shù)據(jù)量比較小的表；數(shù)據(jù)立方存儲(chǔ)數(shù)據(jù)量比較大的表，在原始數(shù)據(jù)入庫(kù)的同時(shí)，將任意不同的關(guān)鍵字字段分別建立索引，可以達(dá)到傳統(tǒng)數(shù)據(jù)庫(kù)上百倍的查詢(xún)速度。
2.根據(jù)權(quán)利要求1所述的云計(jì)算的PM2.5監(jiān)測(cè)、存儲(chǔ)、處理的方法，其特征是，采用X86架構(gòu)計(jì)算機(jī)構(gòu)建云計(jì)算平臺(tái)。
【文檔編號(hào)】G06F17/30GK103488792SQ201310467825
【公開(kāi)日】2014年1月1日 申請(qǐng)日期:2013年10月10日 優(yōu)先權(quán)日:2013年10月10日
【發(fā)明者】張真, 趙洪濤, 吳修文, 宋文艷, 張乃甜 申請(qǐng)人:南京云創(chuàng)存儲(chǔ)科技有限公司