一種基于Hadoop的電力云平臺(tái)設(shè)計(jì)方案的制作方法【
技術(shù)領(lǐng)域：
】[0001]本發(fā)明涉及分布式計(jì)算技術(shù)、分布式存儲(chǔ)技術(shù)，屬于云計(jì)算領(lǐng)域，具體涉及是一種基于Hadoop的電力云平臺(tái)設(shè)計(jì)方案?！?br>背景技術(shù)：
】[0002]隨著各種電器設(shè)備的增多，電力數(shù)據(jù)正變得越來越大，越來越復(fù)雜。傳統(tǒng)的數(shù)據(jù)出具處理方式很難處理TB甚至PB級(jí)別的數(shù)據(jù)，即使能正確處理，效率也很低，其次，數(shù)據(jù)的一致性、可靠性得不到保證，而且即使具有成套的系統(tǒng)，系統(tǒng)的吞吐量也有限，沒有合適的接口，可以提供第三方的數(shù)據(jù)接入。[0003]不僅在學(xué)術(shù)領(lǐng)域，而且在工業(yè)領(lǐng)域，云計(jì)算都被廣泛研究。由于其大規(guī)模、虛擬化、失敗連接組件之間的控制，異步交流溝通等特點(diǎn)，使其具有獨(dú)特的優(yōu)勢(shì)。分布式系統(tǒng)的要求與按需服務(wù)、計(jì)算能力和存儲(chǔ)資源變得越來越緊迫。MapReduce，由谷歌提出的MapReduce、GFS和BigTable,很好的解決了，傳統(tǒng)處理電力數(shù)據(jù)的困難，MapReudce—直是在云環(huán)境中最受歡迎的分發(fā)編程模型。云基礎(chǔ)設(shè)施中使用MapReduce，可以輕松高效地處理這些數(shù)據(jù)集。[0004]一種基于Hadoop的電力云平臺(tái)設(shè)計(jì)方案，綜合運(yùn)用ApacheHadoop，靈活運(yùn)用MapReduce、HadoopDistributedFileSystem(HDFS)、HBase等能夠高效地處理數(shù)據(jù)，解決數(shù)據(jù)一致性的問題?！?br/>發(fā)明內(nèi)容】[0005]本發(fā)明的目的是提供一種基于Hadoop的電力云平臺(tái)設(shè)計(jì)方案，解決了傳統(tǒng)數(shù)據(jù)數(shù)據(jù)處理過程中效率低下，性能差的缺點(diǎn)，傳統(tǒng)單機(jī)情況下數(shù)據(jù)處理過程中效率低下，即使依靠分布式計(jì)算，數(shù)據(jù)的一致性和集群的穩(wěn)定也很難得到保障性能差的缺點(diǎn)。[0006]技術(shù)方案:[0007]本發(fā)明所提供的一種基于Hadoop的電力云平臺(tái)設(shè)計(jì)方案主要包括多個(gè)模塊組成:HDFS、MapReduce、HBase、WebService和網(wǎng)站。DFS作為分布式的文件存儲(chǔ)系統(tǒng)用與電力數(shù)據(jù)的一般存儲(chǔ)；同時(shí)有部分?jǐn)?shù)據(jù)方便查詢等，存入HBase；MapReduce可以從HBase或者HDFS中讀取數(shù)據(jù)處理，并且寫回；其次，網(wǎng)站也可以從HBase進(jìn)行讀寫操作。APP和電力數(shù)據(jù)都可以通過WebService與HBase進(jìn)行交互。[0008]具體運(yùn)行過程如下:[0009](1)數(shù)據(jù)上傳:[0010]電力傳感器的數(shù)據(jù)通過WebService上傳到我們的集群，也可以用戶或者電力部門采集的數(shù)據(jù)通過WebService直接上傳。[0011]⑵數(shù)據(jù)處理:[0012]數(shù)據(jù)上傳后，默認(rèn)會(huì)會(huì)進(jìn)行一些分類和統(tǒng)計(jì)運(yùn)算，后期會(huì)進(jìn)行一些用電量的預(yù)測(cè)。這些步驟由多個(gè)MapReduce程序組成。分別負(fù)責(zé)數(shù)據(jù)的一些操作，最后會(huì)寫到HBase之中。[0013](3)數(shù)據(jù)的展示和管理:[0014]數(shù)據(jù)的展示通過網(wǎng)站進(jìn)行，同時(shí)通過調(diào)用WebService開發(fā)APP，網(wǎng)站和APP都可以進(jìn)行一些近期用電量的展示，一些相似用電行為用戶推測(cè)，以及推薦一些比較省電的設(shè)備。[0015]各模塊具體功能如下[0016](l)HDFS:在云環(huán)境中，傳統(tǒng)的文件系統(tǒng)已經(jīng)不能滿足用戶對(duì)數(shù)據(jù)災(zāi)備、數(shù)據(jù)一致性等方面的需求。HDFS運(yùn)行在通用硬件上的分布式文件系統(tǒng)。它和現(xiàn)有的分布式文件系統(tǒng)有很多共同點(diǎn)。但同時(shí)，它一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。在本設(shè)計(jì)方案中，采用HDFS作為基本的文件系統(tǒng)，提供高吞吐量的數(shù)據(jù)訪問，可以與MapReduce、HBase等進(jìn)行數(shù)據(jù)的交互。[0017](2)MapReduce:由于電力數(shù)據(jù)發(fā)送頻率高，數(shù)據(jù)量大，用戶數(shù)據(jù)量多等特點(diǎn)，傳統(tǒng)的處理程序已經(jīng)不能滿足需求。MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運(yùn)算。在本方案中，MapReduce負(fù)責(zé)處理HDFS和HBase里面的一些數(shù)據(jù)，定并且時(shí)將數(shù)據(jù)寫回HBase。電力云平臺(tái)主要包括一些基于MapReduce統(tǒng)計(jì)的程序、SVM預(yù)測(cè)模型程序以及其他一些程序。具體的處理操作有:[0018]2-1)單個(gè)用戶總用電量統(tǒng)計(jì)；[0019]2-2)用戶用電等級(jí)劃分；[0020]2-3)未來24小時(shí)用戶用電量預(yù)測(cè)；[0021]2-4)電器設(shè)備的分類劃分(按照耗電情況)；[0022]2-5)電器設(shè)備歷史用電分析；[0023]2-6)其余一些統(tǒng)計(jì)操作。[0024](3)HBase:HBase是一個(gè)分布式的、面向列的開源數(shù)據(jù)庫，谷歌Bigtable的開源實(shí)現(xiàn)，是一個(gè)結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)。HBase是一個(gè)列式存數(shù)數(shù)據(jù)庫，屬于N0SQL數(shù)據(jù)庫的一種，它是一個(gè)適合于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫。在本設(shè)計(jì)方案中，HBase代替了傳統(tǒng)的數(shù)據(jù)庫，同時(shí)具備了災(zāi)備和數(shù)據(jù)一致性等功能，等功能，可以與HDFS進(jìn)行很好的交互，HDFS中的電力數(shù)據(jù)可以隨意的交給HDFS進(jìn)行操作，HBase也可以與一些基于MapReduce編寫的電力數(shù)據(jù)處理程序進(jìn)行交互。[0025](4)網(wǎng)站和APP:網(wǎng)站基于JSP和J2EE編寫，APP包括安卓版和10S版，提供給用戶訪問，進(jìn)行一些數(shù)據(jù)的圖形化展示，同時(shí)提供一些定制的服務(wù)，具體來說包含以下功能:[0026]4-1)每月用電提醒；[0027]4-2)提醒方式設(shè)置；[0028]4-3)省電的電器型號(hào)推薦；[0029]4-4)電器老化預(yù)測(cè)。[0030](5)WebService:開放了Rest標(biāo)準(zhǔn)的一種WebService,作為我們的數(shù)據(jù)的來源，電力傳感器的數(shù)據(jù)通過WebService上傳到我們的集群，然后交由多個(gè)MapReduce程序進(jìn)行處理。同時(shí)，WebService也支持第三用戶直接將大批量的數(shù)據(jù)上傳，或者通過WebService從電力部門直接獲取數(shù)據(jù)。除此意外Rest標(biāo)準(zhǔn)的service支持以下操作:[0031]5-1)PUT[0032]對(duì)應(yīng)電力數(shù)據(jù)的上傳云平臺(tái)，具體用法如:[0033]PUThttp://aaa.com/userl/devicel[0034]5-2)DELETE[0035]對(duì)應(yīng)對(duì)電力數(shù)據(jù)的刪除，如刪除20150101的數(shù)據(jù)，具體用法如下:[0036]DELETEhttp://aaa.com/userl/devicel/20150101[0037]5-3)GET[0038]獲取電力數(shù)據(jù)，如某一天的數(shù)據(jù)總量，如獲取20150101的數(shù)據(jù)具體用法如下:[0039]GEThttp://aaa.com/userl/devicel/20150101[0040]5-4)POST[0041]可以修改云平臺(tái)中數(shù)據(jù)，如要修改lightl的數(shù)據(jù)，具體用法如下:[0042]POSThttp://aaa.com/userl/devicel/lightl[0043]有益效果[0044]基于Hadoop的電力云平臺(tái)設(shè)計(jì)方案能夠高效地處理數(shù)據(jù)，解決數(shù)據(jù)一致性的問題，保證集群的穩(wěn)定運(yùn)行，具有很高的吞吐量，同時(shí)提高了較高標(biāo)準(zhǔn)的數(shù)據(jù)接口，支持第三方數(shù)據(jù)的接入，避免很多重復(fù)開發(fā)帶來的成本。【附圖說明】[0045]圖1為一種基于Hadoop的電力云平臺(tái)設(shè)計(jì)方案結(jié)構(gòu)圖。[0046]圖2為一種基于Hadoop的電力云平臺(tái)設(shè)計(jì)方案實(shí)現(xiàn)的數(shù)據(jù)流向圖?！揪唧w實(shí)施方式】[0047]下面將參考附圖并結(jié)合實(shí)施例，來詳細(xì)說明本發(fā)明。以下結(jié)合實(shí)際部署情況為例來說明本發(fā)明。[0048]平臺(tái)結(jié)構(gòu)如圖1所示:電力云平臺(tái)的設(shè)計(jì)包含:HDFS、MapReduce、HBase、WebService和網(wǎng)站。DFS作為分布式的文件存儲(chǔ)系統(tǒng)用與電力數(shù)據(jù)的一般存儲(chǔ)；同時(shí)有部分?jǐn)?shù)據(jù)方便查詢等，存入HBase；MapReduce可以從HBase或者HDFS中讀取數(shù)據(jù)處理，并且寫回；其次，網(wǎng)站也可以從HBase進(jìn)行讀寫操作。APP和電力數(shù)據(jù)都可以通過WebService與HBase進(jìn)行交互。[0049]進(jìn)一步的來說，所述的云平臺(tái)由1個(gè)主節(jié)點(diǎn)、1個(gè)第二主節(jié)點(diǎn)、20個(gè)從節(jié)點(diǎn)組成，15個(gè)從節(jié)點(diǎn)有15個(gè)硬盤為500GB、內(nèi)存為4GB的物理機(jī)器、5臺(tái)虛擬機(jī)組成，虛擬機(jī)通過Oracl公司的OracleVMVirtualBox軟件實(shí)現(xiàn)。2臺(tái)配置為200GB硬盤、4GB內(nèi)存，3太配置為。3臺(tái)配置為500當(dāng)前第1頁1 2