一種海量電力計量數(shù)據(jù)的快速檢索系統(tǒng)的制作方法
【專利摘要】本實用新型公開了一種海量電力計量數(shù)據(jù)的快速檢索系統(tǒng)，它包括終端、數(shù)據(jù)采集層和數(shù)據(jù)層，其特征在于：該方法首先從各計量點及采集終端抽取需要檢索的電流、電壓、功率因素、表碼等計量數(shù)據(jù)，并基于LVS技術進行服務器均衡進行快速入庫；然后將大規(guī)模數(shù)據(jù)按格式上送云平臺，云存儲平臺采用Hadoop分布式文件系統(tǒng)HDFS，具有高度容錯性的系統(tǒng)，適合部署在廉價的機器上，能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應用；根據(jù)系統(tǒng)對各計量點電量、線損等的精確統(tǒng)計與計算，用戶可通過數(shù)據(jù)檢索服務，實施對電力計量數(shù)據(jù)的快速檢索。為對電流、電壓、功率因素、表碼等這類電力計量大規(guī)模數(shù)據(jù)能有效快速的提供檢索服務。
【專利說明】一種海量電力計量數(shù)據(jù)的快速檢索系統(tǒng)

【技術領域】
[0001] 本實用新型涉及集群管理、云存儲服務、云數(shù)據(jù)庫服務、數(shù)據(jù)查詢、監(jiān)控管理、信息 快速檢索等領域，具體為一種基于云計算技術的電力計量數(shù)據(jù)快速檢索方法。

【背景技術】
[0002] 近年來，電網(wǎng)公司不斷投入電能計量自動化系統(tǒng)的建設，各供電局已基本建成了 涵蓋各種計量點及采集終端的集信息采集、監(jiān)控、分析和計量管理于一體的計量自動化應 用平臺，完成了對電廠、變電站、公變、專變、低壓集抄等發(fā)電側(cè)、供電側(cè)、配電側(cè)、售電側(cè)的 綜合性統(tǒng)一數(shù)據(jù)的自動采集監(jiān)。供電企業(yè)的抄表結(jié)算、電能計量管理、營銷管理、線損管理、 錯峰管理、節(jié)能及優(yōu)質(zhì)服務等多項核心業(yè)務從手工人工水平發(fā)展到系統(tǒng)自動化水平，實現(xiàn) 對居民用電的遠程集中抄表功能。計量自動化系統(tǒng)與營銷管理系統(tǒng)、生產(chǎn)調(diào)度系統(tǒng)等均不 同程度的通過數(shù)據(jù)接口實現(xiàn)了數(shù)據(jù)共享。規(guī)范了計量現(xiàn)場管理，提高了計量準確率，為供電 企業(yè)經(jīng)濟運行、配網(wǎng)生產(chǎn)管理、線損管理、電力營銷服務提供了先進的技術手段，提高了營 銷管理自動化、信息化水平。然而，隨著系統(tǒng)的日趨完善和計量數(shù)據(jù)的積累，如何快速、有效 地對計量數(shù)據(jù)進行檢索，已經(jīng)成為當前電力企業(yè)越來越迫切想要解決的問題，如用電異常 分析中最為直接和最為重要的指標是線損異常，而線損異常分析需基于采集終端及相關計 量系統(tǒng)收集到的電流、電壓、功率因素、表碼等數(shù)據(jù)，這些數(shù)據(jù)每日上億數(shù)據(jù)，每年幾百億， 要對這類海量數(shù)據(jù)進行存儲，還要對數(shù)據(jù)進行快速檢索，傳統(tǒng)技術很難處理，目前的關系型 數(shù)據(jù)庫到1億條的數(shù)據(jù)量將難以有效的進行管理和檢索查詢。因此以往關系型數(shù)據(jù)庫完全 不能滿足需求，要能實現(xiàn)數(shù)據(jù)快速的檢索并支持模糊查詢，需要用到云計算相關技術。
[0003] 本實用新型針對區(qū)計量主站系統(tǒng)的各類數(shù)據(jù)，研究電力計量信息的快速檢索 方法，設計基于云計算技術的運算平臺。采用LVS(Linux Virtual Server)技術，實現(xiàn) 采集與導入節(jié)點機的集群管理；云存儲平臺采用Hadoop分布式文件系統(tǒng)HDFS (Hadoop Distributed File System);云存儲數(shù)據(jù)庫建立基于 HBase(Hadoop database)，使用 Hive 進行結(jié)構(gòu)化存儲和檢索，并提供相應的數(shù)據(jù)服務接口；搭建Ganglia監(jiān)控，實時監(jiān)控各個節(jié) 點的狀態(tài)、性能、網(wǎng)絡。 實用新型內(nèi)容
[0004] 本實用新型的目的是提供一種基于云計算技術的海量電力計量數(shù)據(jù)的快速檢索 系統(tǒng)，以解決現(xiàn)有計量數(shù)據(jù)量大，難以進行有效的電力管理和檢索查詢等問題。
[0005] 為了達到上述目的，本實用新型所采用的技術方案為：
[0006] -種海量電力計量數(shù)據(jù)的快速檢索系統(tǒng)，它包括終端、數(shù)據(jù)采集層和數(shù)據(jù)層，其特 征在于包括：
[0007] 數(shù)據(jù)采集層直接面對電力終端，通過光纖專網(wǎng)、無線網(wǎng)絡、短信通信塔和相應的通 訊方式與終端進行數(shù)據(jù)交互。
[0008] 所述的終端主要由負控終端、廠站終端、配網(wǎng)終端和集抄終端，以及相關數(shù)據(jù)采集 設備組成，負責采集電力相關數(shù)據(jù)；其中，負控終端、廠站終端和配網(wǎng)終端通過無線網(wǎng)絡與 數(shù)據(jù)采集層通信；集抄終端通過短信通信與與數(shù)據(jù)采集層通信。
[0009] 所述的數(shù)據(jù)層包括數(shù)據(jù)庫服務器，通過GPRS，SMS，CDMA，光纖，電力載波，電話撥號 等通信方式與數(shù)據(jù)采集層及數(shù)據(jù)應用層聯(lián)系。所述的數(shù)據(jù)采集層采用"集群前置機"結(jié)構(gòu)， 含若干臺前置機、一個短信服務器和一個前置路由器形成集群前置機，是前置采集部份。 [0010] 所述的數(shù)據(jù)應用層包括一組由含計算機構(gòu)成的服務器節(jié)點、交換機、路由器和用 戶端，其中節(jié)點主要有主節(jié)點、從節(jié)點、和若干節(jié)點，各節(jié)點通過路由器、交換機連接到高速 的局域網(wǎng)或者地理分布的廣域網(wǎng)上，并與數(shù)據(jù)層的數(shù)據(jù)庫服務器連接；主節(jié)點負責負載調(diào) 度（Load Balancing Scheduler),將用戶發(fā)出的請求調(diào)度到各服務器節(jié)點上，從而使得服 務器集群的結(jié)構(gòu)對客戶是透明的，用戶端訪問集群系統(tǒng)提供的網(wǎng)絡服務就像在訪問一臺高 性能、高可用的服務器一樣。
[0011] 本海量電力計量數(shù)據(jù)的快速檢索系統(tǒng)，基于云計算技術的運算平臺，采用LVS技 術，實現(xiàn)采集與導入節(jié)點機的集群管理；云存儲平臺采用Hadoop分布式文件系統(tǒng)HDFS，存 儲數(shù)據(jù)以及存儲云數(shù)據(jù)庫元數(shù)據(jù)；云存儲數(shù)據(jù)庫建立基于HBase，使用Hive進行結(jié)構(gòu)化存 儲和檢索，提供相應的數(shù)據(jù)服務接口；可通過數(shù)據(jù)檢索服務，快速對實時負荷、電流電壓、負 載率的快速檢索；搭建Ganglia監(jiān)控，以實時監(jiān)控各個節(jié)點的狀態(tài)、性能、網(wǎng)絡。用戶端實現(xiàn) 對電流、電壓、功率因素、表碼等相關數(shù)據(jù)快速檢索可通過下面步驟完成：
[0012] 步驟1 :計量數(shù)據(jù)抽取，包括以下子步驟：
[0013] SI. 1 :確定抽取數(shù)據(jù)
[0014] 確定檢索數(shù)據(jù)需用到的基礎數(shù)據(jù)信息，如線損分析需抽取電流、電壓、功率因素、 表碼等計量數(shù)據(jù)信息；
[0015] S1. 2:抽取實時數(shù)據(jù)
[0016] 從各計量點及采集終端抽取需要檢索的電流、電壓、功率因素、表碼等計量數(shù)據(jù)；
[0017] 步驟2 :服務器均衡，包括以下子步驟：
[0018] 應用LVS技術，主節(jié)點和從節(jié)點部署前端的主從LVS-DR均衡調(diào)度器，各個采集 節(jié)點機部署采集程序以及Keepalived模塊，均衡算法采用加權LCS (Least-Connection Scheduling)調(diào)度算法；
[0019] S2. 1:應用 LVS 技術
[0020] 應用LVS技術，主節(jié)點和從節(jié)點部署前端的主從LVS-DR均衡調(diào)度器；LVS(Linux Virtual Server)集群采用IP負載均衡技術和基于內(nèi)容請求分發(fā)技術；從LVS-DR均衡調(diào) 度器為集群服務器的唯一入口點，用于接收用戶的請求，采用IP負載均衡算法選取一臺采 集節(jié)點機，將包轉(zhuǎn)發(fā)過去；
[0021] S2. 2 :采集節(jié)點機部署
[0022] 各個采集節(jié)點機部署采集程序及Keepalived模塊，Keepalived模塊負責對各節(jié) 點進行健康狀況的檢測，確保處理TCP數(shù)據(jù)的節(jié)點可用；
[0023] S2. 3 :服務器負載分配
[0024] 采用加權LCS調(diào)度算法確定服務器負載分配；權LCS調(diào)度算法實現(xiàn)；
[0025] 步驟3 :數(shù)據(jù)入庫，基于步驟2實現(xiàn)服務器均衡，進行大規(guī)模的數(shù)據(jù)快速入庫；用 LVS技術，主節(jié)點和從節(jié)點部署前端的主從LVS-DR均衡調(diào)度器，各個采集節(jié)點機部署采集 程序以及Keepalived模塊，均衡算法采用加權LCS調(diào)度算法；
[0026] 步驟4 :大數(shù)據(jù)導入云平臺，包括以下子步驟：
[0027] S4. 1 :建立云存儲平臺
[0028] 云存儲平臺采用Hadoop分布式文件系統(tǒng)HDFS，HDFS設計成適合運行在通用硬件 commodity hardware上的分布式文件系統(tǒng)，它和現(xiàn)有的分布式文件系統(tǒng)有很多共同點；同 時，它和其他的分布式文件系統(tǒng)的區(qū)別也是很明顯的，具有高度容錯性，HDFS能提供高吞吐 量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應用；
[0029] S4. 2 :建立云數(shù)據(jù)庫服務
[0030] 云數(shù)據(jù)庫建立基于HBase，使用Hive進行結(jié)構(gòu)化存儲和檢索，提供相應的數(shù)據(jù)服 務接口；Hive是建立在Hadoop之上的數(shù)據(jù)倉庫架構(gòu)，提供了一套方便的實施數(shù)據(jù)抽取 (ETL)的工具，一種讓用戶對數(shù)據(jù)描述其結(jié)構(gòu)的機制，支持用戶對存儲在Hadoop中的海量 數(shù)據(jù)進行查詢和分析；
[0031] 步驟5 :數(shù)據(jù)快速檢索，在上述步驟完成后，包括對實時負荷、電流電壓、負載率這 類日數(shù)據(jù)量上億，年數(shù)據(jù)量上百億進行云存儲，建立HBASE的云數(shù)據(jù)庫，基于云存儲服務的 方式提供大規(guī)模海量數(shù)據(jù)的存儲服務。通過HIVE開發(fā)接口提供快速的檢索服務，用戶可通 過數(shù)據(jù)檢索服務，實施對實時負荷、電流電壓、負載率的快速檢索。
[0032] 為實現(xiàn)以上要求，按照功能需求對數(shù)據(jù)檢索服務劃分為：檢索接口組件、檢索服務 組件和檢索執(zhí)行組件。
[0033] (1)檢索接口組件接收客戶端的數(shù)據(jù)檢索查詢請求，通過向分布式應用服務注 冊，同服務器端建立會話連接，與查詢服務組件進行交互，并返回查詢結(jié)果給客戶端。
[0034] (2)檢索服務組件運行在各個數(shù)據(jù)服務器節(jié)點上，與查詢接口組件建立會話連 接，對客戶端進行管理，負責響應檢索查詢接口組件的查詢請求，對查詢請求進行調(diào)度管 理，并將查詢的結(jié)果數(shù)據(jù)返回給查詢接口組件。
[0035] (3)檢索執(zhí)行組件實現(xiàn)分布式的數(shù)據(jù)檢索，以原始狀態(tài)或內(nèi)插值擬合狀態(tài)返回給 檢索服務組件。該組件通過調(diào)用本地接口獲取當前節(jié)點的快照子系統(tǒng)實時數(shù)據(jù)、系統(tǒng)歷史 數(shù)據(jù)，通過分布式應用服務請求獲取備份節(jié)點數(shù)據(jù)。
[0036] 本實用新型與已有技術相比具有以下優(yōu)點：
[0037] 本實用新型云平臺基于Hadoop管理理念，利用Map/Reduce框架來處理數(shù)據(jù)，使 Hadoop具有高效性的特點。Hadoop是并行工作的，以加快任務的處理速度，除此之外它還 有很多特色的功能，因此可以說是云計算平臺上的最佳選擇。云計算系統(tǒng)采集與導入節(jié)點 機的集群管理，采用LVS技術，LVS的伸縮空間比較大，如果對并發(fā)連接進行擴展，最多可以 擴展到百萬級，具有高可擴展性的優(yōu)點。因此，相對于Microsoft集群支持的較少的節(jié)點數(shù) 目、M0SIX集群依賴單個硬件供應商等，基于LVS的集群是解決負載均衡的理想方式。
[0038] 本實用新型方法簡單易行，便于實現(xiàn)，安裝簡單，基于云計算技術的運算平臺采用 LVS技術，整個服務器集群的結(jié)構(gòu)對客戶是透明的，無需修改客戶端和服務器端的程序。云 存儲平臺采用Hadoop分布式文件系統(tǒng)（HDFS)，HDFS是一個高度容錯性的系統(tǒng)，適合部署在 廉價的機器上，同時，HDFS能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應用。 建立HBASE的云數(shù)據(jù)庫，通過HIVE開發(fā)接口提供快速的檢索服務，對實時負荷、電流電壓這 類日數(shù)據(jù)量上億，年數(shù)據(jù)量數(shù)百億進行云存儲并提供基于云的快速檢索服務。系統(tǒng)具有透 明性、可伸縮性、高可用性和易管理性。

【專利附圖】

【附圖說明】
[0039] 圖1是本實用新型的結(jié)構(gòu)示意圖；
[0040] 圖2是本實用新型提出的一種負載動態(tài)平衡策略示意圖；
[0041] 圖3是本實用新型的數(shù)據(jù)快速檢索流程示意圖。

【具體實施方式】
[0042] 下面結(jié)合附圖，對本實用新型的技術方案作進一步具體的說明。
[0043] 圖1所示，是是本實用新型的結(jié)構(gòu)示意圖，從圖中可知，它包括終端、數(shù)據(jù)采集層 和數(shù)據(jù)層，以及數(shù)據(jù)應用層。其中，終端主要由負控終端、廠站終端、配網(wǎng)終端和集抄終端， 以及相關數(shù)據(jù)采集設備組成，負責采集電力相關數(shù)據(jù)。負控終端、廠站終端和配網(wǎng)終端通過 無線網(wǎng)絡與數(shù)據(jù)采集層通信，在終端電路設計上采用ARM9內(nèi)核的芯片AT91SAM9260進行開 發(fā)設計，采樣核心板方式。通過ARM9260核心板上的USB host接口，與USB轉(zhuǎn)WIFI模塊連 接，配合軟件設計，實現(xiàn)電力終端上WIFI通訊。通過軟件的安全登陸機制，電力終端可與智 能設備如平板電腦等進行數(shù)據(jù)交互，實現(xiàn)無線通信；集抄終端通過短信通信與與數(shù)據(jù)采集 層通信。數(shù)據(jù)采集層采用"集群前置機"結(jié)構(gòu)，含若干臺前置機、一個短信服務器和一個前 置路由器形成集群前置機，是前置采集部份，通過光纖專網(wǎng)、無線網(wǎng)絡、短信通信塔等通訊 方式采集終端數(shù)據(jù)。數(shù)據(jù)層包括數(shù)據(jù)庫服務器，主要完成數(shù)據(jù)預處理、數(shù)據(jù)檢查和數(shù)據(jù)入庫 等應用邏輯功能。
[0044] 數(shù)據(jù)應用層采集與導入節(jié)點機的集群管理，基于LVS技術。LVS網(wǎng)絡架構(gòu)包括一組 由含計算機構(gòu)成的服務器節(jié)點、交換機、路由器和用戶端，其中節(jié)點主要有主節(jié)點、從節(jié)點、 和若干節(jié)點，各節(jié)點通過路由器、交換機連接到高速的局域網(wǎng)或者地理分布的廣域網(wǎng)上，并 與數(shù)據(jù)層的數(shù)據(jù)庫服務器連接；主節(jié)點負責負載調(diào)度（Load Balancing Scheduler),將用 戶發(fā)出的請求調(diào)度到各服務器節(jié)點上，從而使得服務器集群的結(jié)構(gòu)對客戶是透明的，用戶 端訪問集群系統(tǒng)提供的網(wǎng)絡服務就像在訪問一臺高性能、高可用的服務器一樣。
[0045] 從圖1中可知，本實用新型的數(shù)據(jù)采集層采用"集群前置機"方 式，能實現(xiàn)大規(guī)模的數(shù)據(jù)快速入庫。前置機為數(shù)據(jù)接入前端，完成通信 的核心功能，直接面對采集終端，本實施例中采集終端主要采集的電流（

【權利要求】
1. 一種海量電力計量數(shù)據(jù)的快速檢索系統(tǒng)，它包括終端、數(shù)據(jù)采集層和數(shù)據(jù)層，其特征 在于包括： 數(shù)據(jù)采集層直接面對電力終端，通過光纖專網(wǎng)、無線網(wǎng)絡、短信通信塔和相應的通訊方 式與終端進行數(shù)據(jù)交互。
2. 根據(jù)權利要求1所述的一種海量電力計量數(shù)據(jù)的快速檢索系統(tǒng)，其特征在于： 所述的終端主要由負控終端、廠站終端、配網(wǎng)終端和集抄終端，以及相關數(shù)據(jù)采集設備 組成，負責采集電力相關數(shù)據(jù)；其中，負控終端、廠站終端和配網(wǎng)終端通過無線網(wǎng)絡與數(shù)據(jù) 采集層通信；集抄終端通過短信通信與數(shù)據(jù)采集層通信。
3. 根據(jù)權利要求1所述的一種海量電力計量數(shù)據(jù)的快速檢索系統(tǒng)，其特征在于： 所述的數(shù)據(jù)采集層采用"集群前置機"結(jié)構(gòu)，含若干臺前置機、一個短信服務器和一個 前置路由器形成集群前置機，是前置采集部份。
4. 根據(jù)權利要求1所述的快速檢索系統(tǒng)，其特征在于： 所述的數(shù)據(jù)層包括數(shù)據(jù)庫服務器，通過GPRS，SMS，CDMA，光纖，電力載波，電話撥號的通 信方式與數(shù)據(jù)采集層及數(shù)據(jù)應用層聯(lián)系。
5. 根據(jù)權利要求4所述的快速檢索系統(tǒng)，其特征在于： 所述的數(shù)據(jù)應用層包括一組由含計算機構(gòu)成的服務器節(jié)點、交換機、路由器和用戶端， 其中節(jié)點主要有主節(jié)點、從節(jié)點、和若干節(jié)點，各節(jié)點通過路由器、交換機連接到高速的局 域網(wǎng)或者地理分布的廣域網(wǎng)上，并與數(shù)據(jù)層的數(shù)據(jù)庫服務器連接。
6. 根據(jù)權利要求1所述的快速檢索系統(tǒng)，其特征在于： 所述無線網(wǎng)絡通過在電力終端上增加 USB轉(zhuǎn)WIFI接口模塊，支持GPRS/CDMA無線數(shù) 據(jù)通信方式與客戶負荷管理終端、低壓抄表集中器、配變終端等進行通信，智能設備與WIFI 能進行無線連接達到數(shù)據(jù)交互的目的。
7. 根據(jù)權利要求1或6所述的一種海量電力計量數(shù)據(jù)的快速檢索系統(tǒng)，其特征在于： 通過終端上GPRS通訊或者按鍵設置，能控制WIFI通道的打開與關閉，終端WIFI通道 打開后，外部智能設備能連接并進行通訊，實現(xiàn)數(shù)據(jù)交互。
【文檔編號】G06F17/30GK204066111SQ201420218786
【公開日】2014年12月31日 申請日期:2014年4月30日 優(yōu)先權日:2014年4月30日
【發(fā)明者】何藝, 劉路, 孫藝敏, 陳俊, 秦麗娟, 曾博, 楚紅波, 韓帥, 陳衛(wèi)東, 金慶忍, 唐利濤, 郭敏, 張良均, 陳俊德, 劉名軍, 樊哲, 鄭宗銳, 黃遠宏 申請人:廣西電網(wǎng)公司電力科學研究院, 從興技術有限公司