一種基于分布式時(shí)序數(shù)據(jù)服務(wù)的大數(shù)據(jù)分析裝置及方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及設(shè)備監(jiān)測分析應(yīng)用領(lǐng)域，具體涉及到一種基于分布式時(shí)序數(shù)據(jù)服務(wù)的 大數(shù)據(jù)分析裝置及方法。
【背景技術(shù)】
[0002] 隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，各行業(yè)的數(shù)據(jù)急速增長，數(shù)據(jù)量變的越來越大，類型 也越來越多，數(shù)據(jù)結(jié)構(gòu)也趨于復(fù)雜化，傳統(tǒng)的數(shù)據(jù)庫不但各設(shè)備獨(dú)立放置，并且需要較大的 部署空間，存在不易部署、成本較高等缺點(diǎn)，不能滿足用戶的一般要求。
[0003] 時(shí)序數(shù)據(jù)是帶時(shí)間標(biāo)簽的時(shí)間序列數(shù)據(jù)，其典型特點(diǎn)是產(chǎn)生頻率快、嚴(yán)重依賴于 采集時(shí)間、測點(diǎn)多信息量大。在電力行業(yè)中，為了保證設(shè)備安全、穩(wěn)定、高效地運(yùn)行，通常會(huì) 對(duì)發(fā)電、變電等各類設(shè)備的運(yùn)行狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)測，采集獲得大量的時(shí)序數(shù)據(jù)可作為設(shè)備 運(yùn)行狀態(tài)評(píng)估、設(shè)備運(yùn)行故障預(yù)警、設(shè)備可靠性分析等高級(jí)應(yīng)用的基礎(chǔ)，因而，如何快速、高 效、及時(shí)地處理海量實(shí)時(shí)數(shù)據(jù)，一直是電力、化工、石油、鋼鐵等重資產(chǎn)行業(yè)面臨的一項(xiàng)重大 課題。
[0004] 電力行業(yè)中歷史業(yè)務(wù)數(shù)據(jù)收集和分析、實(shí)時(shí)或準(zhǔn)實(shí)時(shí)數(shù)據(jù)的即時(shí)分析是電力行業(yè) 中信息化建設(shè)過程中比較重要的內(nèi)容，它需要一套完整、穩(wěn)定、契合實(shí)際業(yè)務(wù)場景的大數(shù)據(jù) 分析裝置的解決方案，對(duì)設(shè)備故障預(yù)警等實(shí)時(shí)分析類業(yè)務(wù)場景提供穩(wěn)定可靠的底層數(shù)據(jù)支 撐。
[0005] 近年來，隨著云計(jì)算、大數(shù)據(jù)、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等IT技術(shù)迅猛發(fā)展，分布式存 儲(chǔ)、高性能計(jì)算在理論研究和技術(shù)實(shí)踐層面均獲得了關(guān)鍵性突破，業(yè)界涌現(xiàn)出了一批以 Hadoop為代表的大數(shù)據(jù)處理和應(yīng)用解決方案。
[0006] Hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，包括分布式文件系統(tǒng)HDFS(Hadoop DistributedFileSystem)、分布式存儲(chǔ)系統(tǒng)HBase、并行計(jì)算編程模型MapReduce等幾個(gè) 核心部分，它可以極大地簡化大規(guī)模數(shù)據(jù)的處理過程，但它在功能完整性、運(yùn)行穩(wěn)定性方面 存在一定的局限性，而基于Hadoop衍生的一些商用大數(shù)據(jù)平臺(tái)又跟電力業(yè)務(wù)場景的實(shí)際 需求存在偏差，因而，深度分析研究電力行業(yè)的業(yè)務(wù)需求，構(gòu)建一種基于分布式時(shí)序數(shù)據(jù)服 務(wù)的大數(shù)據(jù)分析裝置，具有深遠(yuǎn)的意義和較強(qiáng)的利用價(jià)值。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于分布式時(shí)序數(shù)據(jù)服務(wù)的大 數(shù)據(jù)分析裝置及方法，可以快速、高效、及時(shí)地處理海量實(shí)時(shí)數(shù)據(jù)，同時(shí)保證設(shè)備安全、穩(wěn) 定、高效地運(yùn)行。
[0008] 本發(fā)明提供了一種基于分布式時(shí)序數(shù)據(jù)服務(wù)的大數(shù)據(jù)分析裝置，包括監(jiān)測傳感 器、監(jiān)測數(shù)據(jù)存儲(chǔ)器、設(shè)備數(shù)據(jù)存儲(chǔ)器、數(shù)據(jù)整合單元、時(shí)序數(shù)據(jù)存儲(chǔ)器、計(jì)算單元、無線終 端和數(shù)據(jù)服務(wù)終端，其中監(jiān)測數(shù)據(jù)存儲(chǔ)器分別與監(jiān)測傳感器和數(shù)據(jù)整合單元，數(shù)據(jù)整合單 元還分別連接設(shè)備數(shù)據(jù)存儲(chǔ)器和時(shí)序數(shù)據(jù)存儲(chǔ)器，數(shù)據(jù)整合單元、時(shí)序數(shù)據(jù)存儲(chǔ)器、計(jì)算單 元和數(shù)據(jù)服務(wù)終端依次連接，數(shù)據(jù)服務(wù)終端還分別與時(shí)序數(shù)據(jù)存儲(chǔ)器、監(jiān)測傳感器和無線 終端連接；
[0009] 監(jiān)測傳感器，用于實(shí)時(shí)或準(zhǔn)實(shí)時(shí)獲取設(shè)備監(jiān)測數(shù)據(jù)，并將采集到的設(shè)備監(jiān)測數(shù)據(jù) 傳輸給監(jiān)測數(shù)據(jù)存儲(chǔ)器；
[0010] 監(jiān)測數(shù)據(jù)存儲(chǔ)器，用于將設(shè)備監(jiān)測數(shù)據(jù)存儲(chǔ)，并且以流式輸出的方式，將設(shè)備監(jiān)測 數(shù)據(jù)輸出至數(shù)據(jù)整合單元；
[0011] 設(shè)備數(shù)據(jù)存儲(chǔ)器，用于存儲(chǔ)常規(guī)的設(shè)備數(shù)據(jù)，并且以批量輸出的方式，將常規(guī)的設(shè) 備數(shù)據(jù)輸出至數(shù)據(jù)整合單元；
[0012] 數(shù)據(jù)整合單元，用于以流式接入的方式接收來自監(jiān)測數(shù)據(jù)存儲(chǔ)器發(fā)送的設(shè)備監(jiān)測 數(shù)據(jù)和以批量接入的方式，通過預(yù)定義的調(diào)度計(jì)劃自動(dòng)獲取設(shè)備數(shù)據(jù)存儲(chǔ)器中的常規(guī)的設(shè) 備數(shù)據(jù)，其中數(shù)據(jù)整合單元還包括預(yù)處理單元，用于將接收到的設(shè)備監(jiān)測數(shù)據(jù)和常規(guī)的設(shè) 備數(shù)據(jù)以預(yù)處理規(guī)則進(jìn)行數(shù)據(jù)的清洗、過濾、轉(zhuǎn)換的預(yù)處理，并將預(yù)處理后的數(shù)據(jù)輸出至 時(shí)序數(shù)據(jù)存儲(chǔ)器；
[0013] 時(shí)序數(shù)據(jù)存儲(chǔ)器，用于存儲(chǔ)預(yù)處理后的數(shù)據(jù)和配置數(shù)據(jù)，并且將訪問頻度高、性能 要求高的數(shù)據(jù)集中緩存到時(shí)序數(shù)據(jù)存儲(chǔ)器中的內(nèi)存器；
[0014] 計(jì)算單元，用于驅(qū)動(dòng)調(diào)度引擎來調(diào)用和接收時(shí)序數(shù)據(jù)存儲(chǔ)器存儲(chǔ)的數(shù)據(jù)，并且依 據(jù)預(yù)先編排好的處理邏輯對(duì)調(diào)用和接收的數(shù)據(jù)進(jìn)行處理，訓(xùn)練形成數(shù)據(jù)挖掘模型，還用于 將經(jīng)過計(jì)算單元處理后的數(shù)據(jù)回傳到時(shí)序數(shù)據(jù)存儲(chǔ)器和/或數(shù)據(jù)服務(wù)端；
[0015] 數(shù)據(jù)服務(wù)端，包括數(shù)據(jù)服務(wù)端處理器、接口單元和顯示裝置，其中數(shù)據(jù)服務(wù)端處理 器用于從時(shí)序數(shù)據(jù)存儲(chǔ)器直接讀取數(shù)據(jù)和/或接收來自計(jì)算單元處理后的數(shù)據(jù)，并且進(jìn)行 分析處理，將處理后的結(jié)果通過顯示裝置進(jìn)行顯示，同時(shí)通過接口單元將處理后的結(jié)果發(fā) 送給無線終端；
[0016] 無線終端，用于接收來自數(shù)據(jù)服務(wù)端發(fā)送的處理后的結(jié)果，并且能夠無線發(fā)送控 制命令至數(shù)據(jù)服務(wù)端，數(shù)據(jù)服務(wù)端接收到控制命令后控制監(jiān)測傳感器，調(diào)整監(jiān)測傳感器的 數(shù)據(jù)采集頻率。
[0017] 進(jìn)一步地，所述監(jiān)測傳感器為安裝于監(jiān)測設(shè)備上的信息采集傳感器。
[0018] 進(jìn)一步地，所述監(jiān)測傳感器為監(jiān)測設(shè)備安裝區(qū)域的攝像頭和/或溫度檢測器。
[0019] 進(jìn)一步地，還包括與數(shù)據(jù)整合單元連接的人工輸入裝置，用于在因安全要求實(shí)施 了隔離措施或不支撐數(shù)據(jù)接入的情形下輸入監(jiān)測設(shè)備數(shù)據(jù)。
[0020] 進(jìn)一步地，配置數(shù)據(jù)為描述設(shè)備監(jiān)測數(shù)據(jù)和/或常規(guī)的設(shè)備數(shù)據(jù)的業(yè)務(wù)含義數(shù) 據(jù)、存儲(chǔ)結(jié)構(gòu)數(shù)據(jù)和/或處理邏輯數(shù)據(jù)。
[0021] 進(jìn)一步地，所述訪問頻度高、性能要求高的數(shù)據(jù)是指近期的監(jiān)測數(shù)據(jù)、常規(guī)的設(shè)備 數(shù)據(jù)，以及關(guān)注率較高的歷史指標(biāo)數(shù)據(jù)、模型元數(shù)據(jù)和預(yù)處理規(guī)則數(shù)據(jù)。
[0022] 進(jìn)一步地，所述計(jì)算單元還用于調(diào)用和接收時(shí)序數(shù)據(jù)存儲(chǔ)器中設(shè)備運(yùn)行產(chǎn)生的新 的時(shí)序數(shù)據(jù)，并對(duì)新的時(shí)序數(shù)據(jù)重復(fù)執(zhí)行訓(xùn)練過程，對(duì)數(shù)據(jù)挖掘模型進(jìn)行更新。
[0023] 進(jìn)一步地，數(shù)據(jù)服務(wù)端處理后的結(jié)果為故障預(yù)警結(jié)果和/或負(fù)荷預(yù)測結(jié)果。
[0024] 進(jìn)一步地，所述無線終端為筆記本電腦、平板電腦和/或手機(jī)。
[0025] 本發(fā)明還提供一種基于分布式時(shí)序數(shù)據(jù)服務(wù)的大數(shù)據(jù)分析裝置的大數(shù)據(jù)分析方 法，依次包括如下步驟：
[0026] (1)初始化，設(shè)置數(shù)據(jù)服務(wù)端的初始參數(shù)，根據(jù)設(shè)置好的初始參數(shù)控制監(jiān)測傳感器 的采樣周期為每秒6次，采樣時(shí)間為1分鐘，將1分鐘內(nèi)采樣的數(shù)據(jù)求平均值A(chǔ);
[0027] (2)在同樣的初始參數(shù)條件下，重復(fù)步驟（1)3次，分別求得3次的平均值B、C、D;
[0028] (3)將平均值A(chǔ)、B、C、D求和后再求平均值P:
[0029] A.如果^100% ￡： 0.2 ,則監(jiān)測傳感器性能穩(wěn)定，進(jìn)入步驟⑷；
[0030] B.如果1()0% > 0.2 .則監(jiān)測傳感器性能不穩(wěn)定，則進(jìn)入步驟⑴；
[0031] (4)實(shí)時(shí)或準(zhǔn)實(shí)時(shí)獲取設(shè)備監(jiān)測數(shù)據(jù)，并將采集到的設(shè)備監(jiān)測數(shù)據(jù)傳輸給監(jiān)測數(shù) 據(jù)存儲(chǔ)器后存儲(chǔ)，以流式輸出的方式，將設(shè)備監(jiān)測數(shù)據(jù)輸出至數(shù)據(jù)整合單元；
[0032] (5)以批量接入的方式，通過預(yù)定義的調(diào)度計(jì)劃自動(dòng)獲取設(shè)備數(shù)據(jù)存儲(chǔ)器中的常 規(guī)的設(shè)備數(shù)據(jù)，將設(shè)備監(jiān)測數(shù)據(jù)和常規(guī)的設(shè)備數(shù)據(jù)以預(yù)處理規(guī)則進(jìn)行數(shù)據(jù)的清洗、過濾、轉(zhuǎn) 換的預(yù)處理，并將預(yù)處理后的數(shù)據(jù)輸出至?xí)r序數(shù)據(jù)存儲(chǔ)器進(jìn)行存儲(chǔ)；
[0033] (6)將近期的監(jiān)測數(shù)據(jù)、常規(guī)的設(shè)備數(shù)據(jù)，以及關(guān)注率較高的歷史指標(biāo)數(shù)據(jù)、模型 元數(shù)據(jù)和預(yù)處理規(guī)則數(shù)據(jù)集中緩存到時(shí)序數(shù)據(jù)存儲(chǔ)器中的內(nèi)存器；
[0034] (7)通過計(jì)算單元驅(qū)動(dòng)調(diào)度引擎來調(diào)用和接收時(shí)序數(shù)據(jù)存儲(chǔ)器存儲(chǔ)的數(shù)據(jù)，并且 依據(jù)預(yù)先編排好的處理邏輯對(duì)調(diào)用和接收的數(shù)據(jù)進(jìn)行處理，訓(xùn)練形成數(shù)據(jù)挖掘模型，將經(jīng) 過計(jì)算單元處理后的數(shù)據(jù)回傳到時(shí)序數(shù)據(jù)存儲(chǔ)器和/或數(shù)據(jù)服務(wù)端；
[0035] (8)從時(shí)序數(shù)據(jù)存儲(chǔ)器直接讀取數(shù)據(jù)和/或接收來自計(jì)算單元處理后的數(shù)據(jù)，并 且進(jìn)行分析處理，將處理后的結(jié)果通過顯示裝置進(jìn)行顯示，同時(shí)通過接口單元將處理后的 結(jié)果發(fā)送給無線終端；
[0036] (9)通過無線終端接收來自數(shù)據(jù)服務(wù)端發(fā)送的處理后的結(jié)果，根據(jù)處理后的結(jié)果 決定是否發(fā)送控制命令至數(shù)據(jù)服務(wù)端，數(shù)據(jù)服務(wù)端接收到控制命令后控制監(jiān)測傳感器，調(diào) 整監(jiān)測傳感器的數(shù)據(jù)采集頻率，其中處理后的結(jié)果為故障預(yù)警結(jié)果和/或負(fù)荷預(yù)測結(jié)果， 根據(jù)處理后的結(jié)果決定是否發(fā)送控制命令至數(shù)據(jù)服務(wù)端滿足：
[0037] A.當(dāng)故障預(yù)警結(jié)果和/或負(fù)荷預(yù)測結(jié)果為正常時(shí)，降低監(jiān)測傳感器的數(shù)據(jù)采集頻 率；
[0038] B.當(dāng)故障預(yù)警結(jié)果和/或負(fù)荷預(yù)測結(jié)果為不正常時(shí)，提高監(jiān)測傳感器的數(shù)據(jù)采集 頻率，并且重復(fù)步驟（1)-(9)，同時(shí)在數(shù)據(jù)服務(wù)端發(fā)出警報(bào)，在數(shù)據(jù)服務(wù)端的顯示裝置上實(shí) 時(shí)顯示故障預(yù)警結(jié)果和/或負(fù)荷預(yù)測結(jié)果，并且通知維修人員。
[0039]