本發(fā)明屬于電力信息化技術(shù)領(lǐng)域，具體涉及一種輸變電設(shè)備多源狀態(tài)評(píng)估數(shù)據(jù)處理方法的設(shè)計(jì)。

背景技術(shù)：

隨著電力系統(tǒng)的數(shù)字化、信息化、智能化不斷發(fā)展，電力系統(tǒng)的數(shù)據(jù)呈現(xiàn)爆炸式的增長(zhǎng)模式，主要包含設(shè)備當(dāng)前狀態(tài)數(shù)據(jù)、系統(tǒng)運(yùn)行工況數(shù)據(jù)、設(shè)備所處環(huán)境信息、歷史信息數(shù)據(jù)等幾部分。這些信息一方面呈現(xiàn)出多源異構(gòu)的特點(diǎn)；另一方面，隨著監(jiān)測(cè)點(diǎn)的增多及采樣周期的縮短，這些數(shù)據(jù)的體量呈現(xiàn)高速的增長(zhǎng)；同時(shí)，輸變電設(shè)備狀態(tài)評(píng)估數(shù)據(jù)的信息挖掘也十分欠缺。

數(shù)據(jù)的多源性體現(xiàn)為數(shù)據(jù)來源于不同的子系統(tǒng)。如事故記錄來自生產(chǎn)管理系統(tǒng)；SCADA量測(cè)數(shù)據(jù)來自運(yùn)維自動(dòng)化平臺(tái)；作業(yè)表單則來自輸電精益作業(yè)管理系統(tǒng)等。

當(dāng)前，輸變電設(shè)備多源狀態(tài)評(píng)估工作面臨以下問題與困難：首先，原有各業(yè)務(wù)信息系統(tǒng)存有較大差異，輸變電設(shè)備多源狀態(tài)評(píng)估數(shù)據(jù)的集成與共享嚴(yán)重不足，傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)無法滿足海量、多源、異構(gòu)數(shù)據(jù)的管理需求；其次，輸變電設(shè)備多源數(shù)據(jù)利用率低，信息資源的應(yīng)用過于簡(jiǎn)單，真實(shí)價(jià)值未能得到充分地挖掘與利用，致使諸如基于數(shù)據(jù)挖掘的設(shè)備缺陷分析、故障預(yù)測(cè)等高級(jí)服務(wù)功能不能實(shí)現(xiàn)?，F(xiàn)有的數(shù)據(jù)處理技術(shù)不能使電力行業(yè)從海量數(shù)據(jù)中快速獲取知識(shí)與信息并進(jìn)行分析，在電力行業(yè)智能化、信息化發(fā)展的大趨勢(shì)下，電力大數(shù)據(jù)技術(shù)的應(yīng)用是必然要求。因此，如何利用新的技術(shù)和方法來挖掘海量數(shù)據(jù)的潛在價(jià)值，并指導(dǎo)主網(wǎng)的生產(chǎn)運(yùn)行具有重要意義。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于：在分析輸變電設(shè)備多源狀態(tài)評(píng)估數(shù)據(jù)特點(diǎn)的基礎(chǔ)上，提出一種輸變電設(shè)備多源狀態(tài)評(píng)估數(shù)據(jù)處理方法的設(shè)計(jì)，并在大數(shù)據(jù)平臺(tái)上應(yīng)用。旨在對(duì)主網(wǎng)輸變電設(shè)備多源數(shù)據(jù)提供存儲(chǔ)、檢索與挖掘等服務(wù)，并為風(fēng)險(xiǎn)評(píng)估等高級(jí)服務(wù)提供數(shù)據(jù)支撐。

為解決上述問題，擬采用這樣一種輸變電設(shè)備多源狀態(tài)評(píng)估數(shù)據(jù)處理方法，包括如下步驟：

步驟1.多源數(shù)據(jù)獲取

數(shù)據(jù)的獲取分信息內(nèi)外網(wǎng)兩部分，信息內(nèi)網(wǎng)的數(shù)據(jù)直接獲取并轉(zhuǎn)置，經(jīng)安全隔離裝置獲取、處理信息外網(wǎng)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)；

步驟2.數(shù)據(jù)跨平臺(tái)接入

步驟3.數(shù)據(jù)預(yù)處理及初步清洗

步驟4.數(shù)據(jù)質(zhì)量評(píng)價(jià)模型

針對(duì)數(shù)據(jù)類型特征以及業(yè)務(wù)特征總結(jié)數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)體系，從面向輸變電設(shè)備狀態(tài)評(píng)估的應(yīng)用場(chǎng)景出發(fā)，針對(duì)數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)，結(jié)合典型數(shù)據(jù)質(zhì)量，構(gòu)建適合設(shè)備狀態(tài)評(píng)估的數(shù)據(jù)質(zhì)量評(píng)價(jià)模型，主要包括評(píng)價(jià)指標(biāo)、依賴關(guān)系、算法庫(kù)及關(guān)聯(lián)關(guān)系，初步形成面向輸變電設(shè)備狀態(tài)評(píng)估的數(shù)據(jù)質(zhì)量評(píng)價(jià)模型。

步驟5.數(shù)據(jù)規(guī)范化轉(zhuǎn)制

數(shù)據(jù)規(guī)范化主要通過數(shù)據(jù)泛化、規(guī)范化、數(shù)據(jù)屬性構(gòu)造操作，提高數(shù)據(jù)或數(shù)據(jù)流挖掘的性能及精度。數(shù)據(jù)泛化通過概念分層，將低層次“原始”數(shù)據(jù)替換為高層次概念，用泛化成用戶目標(biāo)的聚合的、概念層次上的、具有統(tǒng)計(jì)意義的元數(shù)據(jù)替換數(shù)據(jù)庫(kù)中的初始數(shù)據(jù)，使在線分類有優(yōu)質(zhì)的數(shù)據(jù)環(huán)境；契合的泛化算法有基于數(shù)據(jù)立方體的泛化算法及面向?qū)傩詺w納的泛化算法等。數(shù)據(jù)轉(zhuǎn)換是指將數(shù)據(jù)歸并至適合數(shù)據(jù)挖掘的描述形式，類型有大大表連結(jié)、大小表連結(jié)、行列轉(zhuǎn)換以及聚集。

輸變電多源數(shù)據(jù)處理系統(tǒng)的規(guī)則與規(guī)范均采用插件方式，可以靈活部署與擴(kuò)展。規(guī)則與規(guī)范可以通過用戶定義或業(yè)務(wù)系統(tǒng)提供，根據(jù)不同的應(yīng)用場(chǎng)景及需求，定義相應(yīng)的規(guī)則與規(guī)范。

步驟6.數(shù)據(jù)輸出

經(jīng)清洗、轉(zhuǎn)換好的數(shù)據(jù)，由裝置出口至綜合分析系統(tǒng)中，根據(jù)數(shù)據(jù)的不同類型，由通用的數(shù)據(jù)庫(kù)訪問接口和文件傳輸接口，寫入存儲(chǔ)系統(tǒng)，供綜合分析系統(tǒng)使用。

前述方法的步驟一中，輸變電設(shè)備的多源數(shù)據(jù)都能為狀態(tài)評(píng)估服務(wù)，狀態(tài)評(píng)估數(shù)據(jù)主要來源于信息內(nèi)網(wǎng)和信息外網(wǎng)相關(guān)的業(yè)務(wù)應(yīng)用系統(tǒng)，包括了設(shè)備當(dāng)前狀態(tài)數(shù)據(jù)、系統(tǒng)運(yùn)行工況數(shù)據(jù)、設(shè)備所處環(huán)境信息和歷史信息數(shù)據(jù)，其中設(shè)備當(dāng)前狀態(tài)數(shù)據(jù)包含產(chǎn)氣速率、熱點(diǎn)溫度、老化情況和風(fēng)速；系統(tǒng)運(yùn)行工況數(shù)據(jù)包含潮流、電壓、頻率及溫度；設(shè)備所處環(huán)境信息含覆冰、山火、雷電及微氣象；歷史信息數(shù)據(jù)則由事故記錄、狀態(tài)參數(shù)、工況記錄和環(huán)境參數(shù)組成。

數(shù)據(jù)獲取的總體步驟是在企業(yè)服務(wù)總線的基礎(chǔ)上，通過數(shù)據(jù)接口、數(shù)據(jù)中心共享和網(wǎng)絡(luò)隔離下的安全文件傳輸方式，配置相關(guān)策略，定義相關(guān)接口、周期、調(diào)用對(duì)象和頻率參數(shù)，從業(yè)務(wù)系統(tǒng)中自動(dòng)選取數(shù)據(jù)，完成跨平臺(tái)數(shù)據(jù)庫(kù)訪問、跨平臺(tái)大數(shù)據(jù)庫(kù)文件高速并發(fā)讀取、跨平臺(tái)數(shù)據(jù)安全傳輸和同步的關(guān)鍵技術(shù)。

前述方法的步驟二中，多源異構(gòu)數(shù)據(jù)跨平臺(tái)接入依托輸變電多源數(shù)據(jù)處理系統(tǒng)實(shí)現(xiàn)，跨平臺(tái)輸變電多源數(shù)據(jù)處理系統(tǒng)是集成了相關(guān)軟件功能的一體化硬件裝置，該裝置的輸入是各業(yè)務(wù)系統(tǒng)中的實(shí)時(shí)、歷史和環(huán)境數(shù)據(jù)，它以單臺(tái)或集群的方式部署在信息內(nèi)網(wǎng)，對(duì)于同處信息內(nèi)網(wǎng)的業(yè)務(wù)系統(tǒng)，直接獲取由業(yè)務(wù)系統(tǒng)推送的數(shù)據(jù)；對(duì)于部署在信息外網(wǎng)的業(yè)務(wù)系統(tǒng)和數(shù)據(jù)，在隔離系統(tǒng)的保護(hù)下進(jìn)行數(shù)據(jù)的傳輸。

前述方法的步驟三中，輸變電多源數(shù)據(jù)處理系統(tǒng)的主要功能是獲取業(yè)務(wù)數(shù)據(jù)，經(jīng)過數(shù)據(jù)獲取、數(shù)據(jù)初步清洗和數(shù)據(jù)轉(zhuǎn)換的處理環(huán)節(jié)，為輸變電設(shè)備狀態(tài)評(píng)估系統(tǒng)的分析和展示提供數(shù)據(jù)基礎(chǔ)。輸變電多源數(shù)據(jù)處理系統(tǒng)經(jīng)過數(shù)據(jù)預(yù)處理，供設(shè)備評(píng)估系統(tǒng)使用，提供日志服務(wù)。由于輸變電設(shè)備狀態(tài)評(píng)估數(shù)據(jù)來源多樣、平臺(tái)繁多及數(shù)據(jù)質(zhì)量參差不齊，不能確保數(shù)據(jù)的有效性、完整性、一致性等指標(biāo)，因此針對(duì)獲取的數(shù)據(jù)，裝置將對(duì)數(shù)據(jù)進(jìn)行初步清洗。

本發(fā)明將輸變電設(shè)備多源狀態(tài)評(píng)估數(shù)據(jù)處理系統(tǒng)的功能設(shè)計(jì)應(yīng)用于大數(shù)據(jù)平臺(tái)，并研究大數(shù)據(jù)平臺(tái)并行化技術(shù)、搭建全耦合分析模型框架。融合電網(wǎng)、設(shè)備和環(huán)境信息的大數(shù)據(jù)綜合分析系統(tǒng)主要作用是提高大數(shù)據(jù)的存儲(chǔ)、檢索和預(yù)處理服務(wù)，支撐數(shù)據(jù)訪問以及各種高性能的數(shù)據(jù)挖掘分析算法服務(wù)，整體采用hadoop框架，在該技術(shù)框架下進(jìn)一步研究面向輸變電設(shè)備狀態(tài)評(píng)估的大數(shù)據(jù)預(yù)處理、分布式存儲(chǔ)、高效檢索方法、全耦合分析模型，具體由下詳述。

a.異構(gòu)大數(shù)據(jù)的預(yù)處理、分布式存儲(chǔ)和高效檢索關(guān)鍵技術(shù)。綜合分析系統(tǒng)的異構(gòu)大數(shù)據(jù)存儲(chǔ)采用hadoop分布式文件存儲(chǔ)，分布式NoSQL列數(shù)據(jù)庫(kù)、可擴(kuò)展數(shù)據(jù)倉(cāng)庫(kù)技術(shù)，提供大數(shù)據(jù)應(yīng)用支撐，能夠滿足本發(fā)明對(duì)大數(shù)據(jù)管理平臺(tái)的技術(shù)要求，主要包括分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)、分布式協(xié)同工作系統(tǒng)、分布式數(shù)據(jù)倉(cāng)庫(kù)、非結(jié)構(gòu)化數(shù)據(jù)預(yù)處理和多級(jí)綜合索引。

分布式文件系統(tǒng)使用HBase和HDFS文件系統(tǒng)，對(duì)于非結(jié)構(gòu)化TB級(jí)及以下的小文件以及負(fù)載多變的結(jié)構(gòu)化數(shù)據(jù)，使用HBase和key-value存儲(chǔ)；對(duì)于PB級(jí)的較大單個(gè)文件，直接存儲(chǔ)在HDFS文件系統(tǒng)中，分布式數(shù)據(jù)庫(kù)通過一寫多讀、多寫多讀的NoSQL分布式數(shù)據(jù)庫(kù)構(gòu)建，基于加速組件的主從復(fù)制技術(shù)，保證多個(gè)數(shù)據(jù)庫(kù)之間的數(shù)據(jù)一致性，實(shí)現(xiàn)災(zāi)備功能，分擔(dān)讀數(shù)據(jù)時(shí)的壓力；分布式協(xié)同工作系統(tǒng)基于YARN資源管理器，實(shí)現(xiàn)高效的選舉方法和統(tǒng)一命名服務(wù)，確保分布式系統(tǒng)一致性；分布式數(shù)據(jù)倉(cāng)庫(kù)基于Hive數(shù)據(jù)倉(cāng)庫(kù)，根據(jù)一致的存儲(chǔ)規(guī)則將多源數(shù)據(jù)進(jìn)行有機(jī)結(jié)合形成融合的數(shù)據(jù)存儲(chǔ)倉(cāng)庫(kù)。非結(jié)構(gòu)化數(shù)據(jù)預(yù)處理采用非監(jiān)督式的深度學(xué)習(xí)方法，針對(duì)電力系統(tǒng)中的非結(jié)構(gòu)化數(shù)據(jù)，如來源于變電站巡檢機(jī)器人、輸電線路無人機(jī)、帶電監(jiān)測(cè)、變電站監(jiān)控系統(tǒng)等海量圖像數(shù)據(jù)，實(shí)現(xiàn)非人工監(jiān)督的特征提取和分類。主要方法是構(gòu)建基于多隱層的機(jī)器學(xué)習(xí)模型和海量訓(xùn)練數(shù)據(jù)，主動(dòng)挖掘特征信息，具體實(shí)現(xiàn)過程如下：原始圖像信息通過卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，將獲得的特征向量輸入SoftMax分類器進(jìn)行自主訓(xùn)練和特征學(xué)習(xí)，實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)特征的結(jié)構(gòu)化轉(zhuǎn)變，多級(jí)綜合索引能提高相似特征數(shù)據(jù)的檢索功能，其中一級(jí)索引采用多維R樹基本結(jié)構(gòu)，依據(jù)非傳統(tǒng)地理分類規(guī)則，將清理后數(shù)據(jù)對(duì)象分成多個(gè)字空間每個(gè)字空間對(duì)應(yīng)R樹的一個(gè)節(jié)點(diǎn)，非葉節(jié)點(diǎn)存放葉節(jié)點(diǎn)所有子樹的最小外接矩形(MBR)，葉節(jié)點(diǎn)中存放每個(gè)空間對(duì)象對(duì)應(yīng)的MBR，二級(jí)以下索引采用基于相鄰密度(LCF)的對(duì)象聚類，根據(jù)相對(duì)密度的接近程度，實(shí)現(xiàn)聚類后的對(duì)象劃分，克服以簡(jiǎn)單全局距離標(biāo)準(zhǔn)作為劃分依據(jù)帶來的問題，提升聚類的可調(diào)整性、可擴(kuò)展性和時(shí)效性。

b.面向輸變電設(shè)備大數(shù)據(jù)分析的核心算法及并行化技術(shù)。面向輸變電設(shè)備大數(shù)據(jù)分析的核心算法包括分類算法、回歸算法、聚類算法、關(guān)聯(lián)算法、聚席查詢等算法，但已有的實(shí)現(xiàn)方法不能滿足海量數(shù)據(jù)的分析需求，繼而需要研究大數(shù)據(jù)應(yīng)用場(chǎng)景下的算法實(shí)現(xiàn)及并行化技術(shù)。面向輸變電設(shè)備大數(shù)據(jù)分析的核心算法及并行化技術(shù)研究步驟如下。

首先，研究核心分析算法的基本流程，找出其中能并行處理的步驟，考慮所處理的數(shù)據(jù)規(guī)模、類型以及用途等因素，提出綜合分析系統(tǒng)并行技術(shù)框架的選擇策略，并進(jìn)行實(shí)現(xiàn)。

針對(duì)易于并行化的經(jīng)典串行算法，結(jié)合應(yīng)用場(chǎng)景選擇合適的并行框架；針對(duì)難以實(shí)現(xiàn)并行化的串行算法，根據(jù)分析要求，結(jié)合相關(guān)應(yīng)用實(shí)際，從并行化角度重新設(shè)計(jì)并行框架，達(dá)到擴(kuò)大數(shù)據(jù)規(guī)模，提高數(shù)據(jù)分析效率的目的。

最后，優(yōu)化所進(jìn)行的并行算法。使用工具對(duì)并行化分析算法的運(yùn)行過程進(jìn)行監(jiān)控，記錄計(jì)算步驟之間、工作節(jié)點(diǎn)之間的資源消耗和數(shù)據(jù)規(guī)模，針對(duì)測(cè)試過程中的不足，設(shè)計(jì)優(yōu)化策略，進(jìn)一步提高算法性能。

c.大數(shù)據(jù)全耦合分析模型框架。全耦合分析模型是在分布式存儲(chǔ)和基本核心算法實(shí)現(xiàn)基礎(chǔ)上，建立的內(nèi)在關(guān)聯(lián)的設(shè)備本征數(shù)據(jù)分析模型框架。通過對(duì)多種挖掘結(jié)果進(jìn)行基于遷移學(xué)習(xí)的耦合，以統(tǒng)一接口下一階段狀態(tài)評(píng)估提供全耦合分析，主要包括特征關(guān)聯(lián)分析、狀態(tài)特征聚類、狀態(tài)分類、故障預(yù)測(cè)和差異化分析等中間層分析。

全耦合分析模型框架的關(guān)鍵技術(shù)包括存儲(chǔ)模型、分析模型和計(jì)算模型三種。

其中存儲(chǔ)模型通過基于關(guān)系數(shù)據(jù)庫(kù)和分布式文件系統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)，提供了結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的關(guān)聯(lián)和分領(lǐng)域獨(dú)立數(shù)據(jù)的統(tǒng)一視圖。計(jì)算模型基于映射-規(guī)約的計(jì)算模式，對(duì)上層分析模型提供統(tǒng)一的計(jì)算框架，實(shí)現(xiàn)可擴(kuò)展至PB級(jí)數(shù)據(jù)的計(jì)算能力。

分析模型間基于遷移學(xué)習(xí)的規(guī)則耦合，實(shí)現(xiàn)混合計(jì)算模式算法封裝，模型管理接口和可視化分析接口的開發(fā)。針對(duì)特征關(guān)聯(lián)分析、狀態(tài)特征聚類、狀態(tài)分類、故障預(yù)測(cè)和差異化分析等不同模型，根據(jù)狀態(tài)評(píng)估要求，靈活選擇映射耦合，將一種分析模型作為遷移學(xué)習(xí)的源領(lǐng)域，另一種分析模型作為目標(biāo)領(lǐng)域，將源領(lǐng)域中獲得的學(xué)習(xí)信息分析映射到目標(biāo)領(lǐng)域，在目標(biāo)領(lǐng)域中以更高的起點(diǎn)獲得更加準(zhǔn)確的學(xué)習(xí)分析規(guī)則，形成閉環(huán)形態(tài)的全耦合分析模型。

與現(xiàn)有技術(shù)相比，本發(fā)明在分析輸變電設(shè)備多源狀態(tài)評(píng)估數(shù)據(jù)特點(diǎn)的基礎(chǔ)上，提出一種輸變電設(shè)備多源狀態(tài)評(píng)估數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì)，并在大數(shù)據(jù)平臺(tái)上應(yīng)用，對(duì)主網(wǎng)輸變電設(shè)備多源數(shù)據(jù)提供存儲(chǔ)、檢索與挖掘等服務(wù)，并為風(fēng)險(xiǎn)評(píng)估等高級(jí)服務(wù)提供數(shù)據(jù)支撐，使電力行業(yè)從海量數(shù)據(jù)中快速獲取知識(shí)與信息并進(jìn)行分析，有效解決了輸變電設(shè)備多源狀態(tài)評(píng)估數(shù)據(jù)的集成與共享嚴(yán)重不足的問題，滿足現(xiàn)有關(guān)系數(shù)據(jù)庫(kù)海量、多源、異構(gòu)數(shù)據(jù)的管理需求；提高輸變電設(shè)備多源數(shù)據(jù)的利用率，使其真實(shí)價(jià)值得以充分地挖掘與利用，以促進(jìn)諸如基于數(shù)據(jù)挖掘的設(shè)備缺陷分析、故障預(yù)測(cè)等高級(jí)服務(wù)功能的實(shí)現(xiàn)。

附圖說明

圖1為輸變電設(shè)備多源數(shù)據(jù)處理系統(tǒng)的功能設(shè)計(jì)流程示意圖。

圖2為數(shù)據(jù)初步清洗流程圖示意圖。

圖3為數(shù)據(jù)質(zhì)量體系和評(píng)價(jià)模型示意圖。

圖4為大數(shù)據(jù)綜合分析系統(tǒng)示意圖。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將通過附圖對(duì)發(fā)明作進(jìn)一步地詳細(xì)描述。

實(shí)施例：

輸變電設(shè)備多源數(shù)據(jù)處理系統(tǒng)旨在對(duì)輸入的數(shù)據(jù)進(jìn)行規(guī)范化轉(zhuǎn)制并輸出。具體的功能設(shè)計(jì)如下。首先跨平臺(tái)接入數(shù)據(jù)并進(jìn)行含數(shù)據(jù)標(biāo)記和數(shù)據(jù)傳輸策略的數(shù)據(jù)預(yù)處理；接著對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)檢驗(yàn)、噪聲平滑、離群點(diǎn)識(shí)別、缺失值填充等步驟在內(nèi)的數(shù)據(jù)清洗；并制定質(zhì)量評(píng)價(jià)模型分析數(shù)據(jù)質(zhì)量；然后對(duì)數(shù)據(jù)格式進(jìn)行規(guī)則規(guī)范，完成規(guī)范化轉(zhuǎn)制；最后輸出數(shù)據(jù)。為提升工作人員進(jìn)行接下來的設(shè)備故障率建模、風(fēng)險(xiǎn)評(píng)估、風(fēng)險(xiǎn)管控、差異化運(yùn)維等提供前期數(shù)據(jù)保障。具體功能設(shè)計(jì)流程如圖1。

步驟(1)多源數(shù)據(jù)獲取

輸變電設(shè)備的多源數(shù)據(jù)都可為狀態(tài)評(píng)估服務(wù)。狀態(tài)評(píng)估數(shù)據(jù)主要來源于信息內(nèi)網(wǎng)和信息外網(wǎng)相關(guān)的業(yè)務(wù)應(yīng)用系統(tǒng)，包括了設(shè)備當(dāng)前狀態(tài)數(shù)據(jù)、系統(tǒng)運(yùn)行工況數(shù)據(jù)、設(shè)備所處環(huán)境信息、歷史信息數(shù)據(jù)等幾部分。其中設(shè)備當(dāng)前狀態(tài)含產(chǎn)氣速率、熱點(diǎn)溫度、老化情況和風(fēng)速；系統(tǒng)運(yùn)行工況數(shù)據(jù)包含潮流、電壓、頻率及溫度；設(shè)備所處環(huán)境信息含覆冰、山火、雷電及微氣象；歷史信息則由事故記錄、狀態(tài)參數(shù)、工況記錄、環(huán)境參數(shù)等組成。

數(shù)據(jù)的獲取分信息內(nèi)外網(wǎng)兩部分，信息內(nèi)網(wǎng)的數(shù)據(jù)直接獲取并轉(zhuǎn)置，經(jīng)安全隔離裝置可獲取、處理信息外網(wǎng)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)。數(shù)據(jù)獲取的總體步驟是在企業(yè)服務(wù)總線的基礎(chǔ)上，通過數(shù)據(jù)接口、數(shù)據(jù)中心共享、網(wǎng)絡(luò)隔離下的安全文件傳輸?shù)确绞?，配置相關(guān)策略，定義相關(guān)接口、周期、調(diào)用對(duì)象和頻率等參數(shù)，從業(yè)務(wù)系統(tǒng)中自動(dòng)選取數(shù)據(jù)，完成跨平臺(tái)數(shù)據(jù)庫(kù)訪問、跨平臺(tái)大數(shù)據(jù)庫(kù)文件高速并發(fā)讀取、跨平臺(tái)數(shù)據(jù)安全傳輸和同步等關(guān)鍵技術(shù)。

步驟(2)數(shù)據(jù)跨平臺(tái)接入

多源異構(gòu)數(shù)據(jù)跨平臺(tái)接入依托輸變電多源數(shù)據(jù)處理系統(tǒng)實(shí)現(xiàn)。跨平臺(tái)輸變電多源數(shù)據(jù)處理系統(tǒng)是集成了相關(guān)軟件功能的一體化硬件裝置，該裝置的輸入是各業(yè)務(wù)系統(tǒng)中的實(shí)時(shí)、歷史和環(huán)境數(shù)據(jù)。它以單臺(tái)或集群的方式部署在信息內(nèi)網(wǎng)，對(duì)于同處信息內(nèi)網(wǎng)的業(yè)務(wù)系統(tǒng)(如設(shè)備實(shí)時(shí)運(yùn)行數(shù)據(jù)、當(dāng)前狀態(tài)數(shù)據(jù)、歷史信息數(shù)據(jù)等)，直接獲取由業(yè)務(wù)系統(tǒng)推送的數(shù)據(jù)；對(duì)于部署在信息外網(wǎng)的業(yè)務(wù)系統(tǒng)和數(shù)據(jù)(如設(shè)備所處環(huán)境信息等)，將在隔離系統(tǒng)的保護(hù)下進(jìn)行數(shù)據(jù)的傳輸。

步驟(3)數(shù)據(jù)預(yù)處理及初步清洗

輸變電多源數(shù)據(jù)處理系統(tǒng)的主要功能是獲取業(yè)務(wù)數(shù)據(jù)，經(jīng)過數(shù)據(jù)獲取、數(shù)據(jù)初步清洗和數(shù)據(jù)轉(zhuǎn)換等處理環(huán)節(jié)，為輸變電設(shè)備狀態(tài)評(píng)估系統(tǒng)的分析和展示提供數(shù)據(jù)基礎(chǔ)。輸變電多源數(shù)據(jù)處理系統(tǒng)經(jīng)過數(shù)據(jù)預(yù)處理，供設(shè)備評(píng)估系統(tǒng)使用，提供日志服務(wù)。由于輸變電設(shè)備狀態(tài)評(píng)估數(shù)據(jù)來源多樣、平臺(tái)繁多及數(shù)據(jù)質(zhì)量參差不齊，不能確保數(shù)據(jù)的有效性、完整性、一致性等指標(biāo)，因此針對(duì)獲取的數(shù)據(jù)，裝置將對(duì)數(shù)據(jù)進(jìn)行初步清洗，基本流程如圖2所示。

步驟(4)數(shù)據(jù)質(zhì)量評(píng)價(jià)模型

針對(duì)大數(shù)據(jù)的數(shù)據(jù)類型特征以及業(yè)務(wù)特征總結(jié)數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)體系，從面向輸變電設(shè)備狀態(tài)評(píng)估大數(shù)據(jù)分析的應(yīng)用場(chǎng)景出發(fā)，針對(duì)數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)，結(jié)合典型數(shù)據(jù)質(zhì)量，構(gòu)建適合設(shè)備狀態(tài)評(píng)估的數(shù)據(jù)質(zhì)量評(píng)價(jià)模型，主要包括評(píng)價(jià)指標(biāo)、依賴關(guān)系、算法庫(kù)及關(guān)聯(lián)關(guān)系等，初步形成面向輸變電設(shè)備狀態(tài)評(píng)估大數(shù)據(jù)分析的數(shù)據(jù)質(zhì)量評(píng)價(jià)模型。數(shù)據(jù)質(zhì)量體系和評(píng)價(jià)模型如圖3所示。

步驟(5)數(shù)據(jù)規(guī)范化轉(zhuǎn)制

數(shù)據(jù)規(guī)范化主要通過數(shù)據(jù)泛化、規(guī)范化、數(shù)據(jù)屬性構(gòu)造等操作，提高數(shù)據(jù)或數(shù)據(jù)流挖掘的性能及精度。數(shù)據(jù)泛化通過概念分層，將低層次“原始”數(shù)據(jù)替換為高層次概念，用泛化成用戶目標(biāo)的聚合的、概念層次上的、具有統(tǒng)計(jì)意義的元數(shù)據(jù)替換數(shù)據(jù)庫(kù)中的初始數(shù)據(jù)，使在線分類有優(yōu)質(zhì)的數(shù)據(jù)環(huán)境；契合的泛化算法有基于數(shù)據(jù)立方體的泛化算法及面向?qū)傩詺w納的泛化算法等。數(shù)據(jù)轉(zhuǎn)換是指將數(shù)據(jù)歸并至適合數(shù)據(jù)挖掘的描述形式，類型有大大表連結(jié)、大小表連結(jié)、行列轉(zhuǎn)換以及聚集。

輸變電多源數(shù)據(jù)處理系統(tǒng)的規(guī)則與規(guī)范均采用插件方式，可以靈活部署與擴(kuò)展。規(guī)則與規(guī)范可以通過用戶定義或業(yè)務(wù)系統(tǒng)提供，根據(jù)不同的應(yīng)用場(chǎng)景及需求，定義相應(yīng)的規(guī)則與規(guī)范。

步驟(6)數(shù)據(jù)輸出

經(jīng)清洗、轉(zhuǎn)換好的數(shù)據(jù)，由裝置出口至綜合分析系統(tǒng)中，根據(jù)數(shù)據(jù)的不同類型，由通用的數(shù)據(jù)庫(kù)訪問接口和文件傳輸接口，寫入存儲(chǔ)系統(tǒng)，供綜合分析系統(tǒng)使用。

將輸變電設(shè)備多源狀態(tài)評(píng)估數(shù)據(jù)處理系統(tǒng)的功能設(shè)計(jì)應(yīng)用于大數(shù)據(jù)平臺(tái)，并研究大數(shù)據(jù)平臺(tái)并行化技術(shù)、搭建全耦合分析模型框架。融合電網(wǎng)、設(shè)備和環(huán)境信息的大數(shù)據(jù)綜合分析系統(tǒng)主要作用是提高大數(shù)據(jù)的存儲(chǔ)、檢索和預(yù)處理服務(wù)，支撐數(shù)據(jù)訪問以及各種高性能的數(shù)據(jù)挖掘分析算法服務(wù)，整體采用hadoop框架，在該技術(shù)框架下進(jìn)一步研究面向輸變電設(shè)備狀態(tài)評(píng)估的大數(shù)據(jù)預(yù)處理、分布式存儲(chǔ)、高效檢索方法、全耦合分析模型，總體架構(gòu)如圖4所示。

(1)異構(gòu)大數(shù)據(jù)的預(yù)處理、分布式存儲(chǔ)和高效檢索關(guān)鍵技術(shù)。綜合分析系統(tǒng)的異構(gòu)大數(shù)據(jù)存儲(chǔ)采用hadoop分布式文件存儲(chǔ)，分布式NoSQL列數(shù)據(jù)庫(kù)、可擴(kuò)展數(shù)據(jù)倉(cāng)庫(kù)等技術(shù)，提供大數(shù)據(jù)應(yīng)用支撐，能夠滿足本課題對(duì)大數(shù)據(jù)管理平臺(tái)的技術(shù)要求，主要包括分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)、分布式協(xié)同工作系統(tǒng)、分布式數(shù)據(jù)倉(cāng)庫(kù)、非結(jié)構(gòu)化數(shù)據(jù)預(yù)處理和多級(jí)綜合索引等功能模塊。

分布式文件系統(tǒng)使用HBase和HDFS文件系統(tǒng)。對(duì)于海量的非結(jié)構(gòu)化TB級(jí)及以下的小文件以及負(fù)載多變的結(jié)構(gòu)化數(shù)據(jù)，試用HBase和key-value存儲(chǔ)；對(duì)于PB級(jí)的較大單個(gè)文件，直接存儲(chǔ)在HDFS文件系統(tǒng)中。分布式數(shù)據(jù)庫(kù)通過一寫多讀、多寫多讀的NoSQL分布式數(shù)據(jù)庫(kù)構(gòu)建?；诩铀俳M件的主從復(fù)制技術(shù)，保證多個(gè)數(shù)據(jù)庫(kù)之間的數(shù)據(jù)一致性，實(shí)現(xiàn)災(zāi)備功能，分擔(dān)讀數(shù)據(jù)時(shí)的壓力。分布式協(xié)同工作系統(tǒng)基于YARN資源管理器，實(shí)現(xiàn)高效的選舉方法和統(tǒng)一命名服務(wù)，確保分布式系統(tǒng)一致性。分布式數(shù)據(jù)倉(cāng)庫(kù)基于Hive數(shù)據(jù)倉(cāng)庫(kù)，根據(jù)一致的存儲(chǔ)規(guī)則將多源數(shù)據(jù)進(jìn)行有機(jī)結(jié)合形成融合的數(shù)據(jù)存儲(chǔ)倉(cāng)庫(kù)。非結(jié)構(gòu)化數(shù)據(jù)預(yù)處理采用非監(jiān)督式的深度學(xué)習(xí)方法，針對(duì)電力系統(tǒng)中的非結(jié)構(gòu)化數(shù)據(jù)，如來源于變電站巡檢機(jī)器人、輸電線路無人機(jī)、帶電監(jiān)測(cè)、變電站監(jiān)控系統(tǒng)等海量圖像數(shù)據(jù)，實(shí)現(xiàn)非人工監(jiān)督的特征提取和分類。主要方法是構(gòu)建基于多隱層的機(jī)器學(xué)習(xí)模型和海量訓(xùn)練數(shù)據(jù)，主動(dòng)挖掘特征信息。具體實(shí)現(xiàn)過程如下：原始圖像信息通過卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，將獲得的特征向量輸入SoftMax分類器進(jìn)行自主訓(xùn)練和特征學(xué)習(xí)，實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)特征的結(jié)構(gòu)化轉(zhuǎn)變。多級(jí)綜合索引可以提高相似特征數(shù)據(jù)的檢索功能。其中一級(jí)索引采用多維R樹基本結(jié)構(gòu)，依據(jù)非傳統(tǒng)地理分類規(guī)則，將清理后數(shù)據(jù)對(duì)象分成多個(gè)字空間每個(gè)字空間對(duì)應(yīng)R樹的一個(gè)節(jié)點(diǎn)，非葉節(jié)點(diǎn)存放葉節(jié)點(diǎn)所有子樹的最小外接矩形(MBR)，葉節(jié)點(diǎn)中存放每個(gè)空間對(duì)象對(duì)應(yīng)的MBR。二級(jí)以下索引采用基于相鄰密度(LCF)的對(duì)象聚類，根據(jù)相對(duì)密度的接近程度，實(shí)現(xiàn)聚類后的對(duì)象劃分，克服以簡(jiǎn)單全局距離標(biāo)準(zhǔn)作為劃分依據(jù)帶來的問題，提升聚類的可調(diào)整性、可擴(kuò)展性和時(shí)效性。

(2)面向輸變電設(shè)備大數(shù)據(jù)分析的核心算法及并行化技術(shù)。面向輸變電設(shè)備大數(shù)據(jù)分析的核心算法包括分類算法、回歸算法、聚類算法、關(guān)聯(lián)算法、聚席查詢等算法，但已有的實(shí)現(xiàn)方法不能滿足海量數(shù)據(jù)的分析需求，繼而需要研究大數(shù)據(jù)應(yīng)用場(chǎng)景下的算法實(shí)現(xiàn)及并行化技術(shù)。面向輸變電設(shè)備大數(shù)據(jù)分析的核心算法及并行化技術(shù)研究步驟如下。

首先，研究核心分析算法的基本流程，找出其中能并行處理的步驟，考慮所處理的數(shù)據(jù)規(guī)模、類型以及用途等因素，提出綜合分析系統(tǒng)并行技術(shù)框架的選擇策略，并進(jìn)行實(shí)現(xiàn)。

針對(duì)易于并行化的經(jīng)典串行算法，結(jié)合應(yīng)用場(chǎng)景選擇合適的并行框架；針對(duì)難以實(shí)現(xiàn)并行化的串行算法，根據(jù)分析要求，結(jié)合相關(guān)應(yīng)用實(shí)際，從并行化角度重新設(shè)計(jì)并行框架，達(dá)到擴(kuò)大數(shù)據(jù)規(guī)模，提高數(shù)據(jù)分析效率的目的。

最后，優(yōu)化所進(jìn)行的并行算法。使用工具對(duì)并行化分析算法的運(yùn)行過程進(jìn)行監(jiān)控，記錄計(jì)算步驟之間、工作節(jié)點(diǎn)之間的資源消耗和數(shù)據(jù)規(guī)模，針對(duì)測(cè)試過程中的不足，設(shè)計(jì)優(yōu)化策略，進(jìn)一步提高算法性能。

(3)大數(shù)據(jù)全耦合分析模型框架。全耦合分析模型是在分布式存儲(chǔ)和基本核心算法實(shí)現(xiàn)基礎(chǔ)上，建立的內(nèi)在關(guān)聯(lián)的設(shè)備本征數(shù)據(jù)分析模型框架。通過對(duì)多種挖掘結(jié)果進(jìn)行基于遷移學(xué)習(xí)的耦合，以統(tǒng)一接口下一階段狀態(tài)評(píng)估提供全耦合分析，主要包括特征關(guān)聯(lián)分析、狀態(tài)特征聚類、狀態(tài)分類、故障預(yù)測(cè)和差異化分析等中間層分析。

全耦合分析模型框架的關(guān)鍵技術(shù)包括存儲(chǔ)模型、分析模型和計(jì)算模型三種。其中基于輸變電設(shè)備大數(shù)據(jù)的并行關(guān)聯(lián)耦合模型如圖6所示。

其中存儲(chǔ)模型通過基于關(guān)系數(shù)據(jù)庫(kù)和分布式文件系統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)，提供了結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的關(guān)聯(lián)和分領(lǐng)域獨(dú)立數(shù)據(jù)的統(tǒng)一視圖。計(jì)算模型基于映射-規(guī)約的計(jì)算模式，對(duì)上層分析模型提供統(tǒng)一的計(jì)算框架，實(shí)現(xiàn)可擴(kuò)展至PB級(jí)數(shù)據(jù)的計(jì)算能力。

分析模型間基于遷移學(xué)習(xí)的規(guī)則耦合，混合計(jì)算模式算法實(shí)現(xiàn)的封裝，模型管理接口和可視化分析接口的開發(fā)。針對(duì)特征關(guān)聯(lián)分析、狀態(tài)特征聚類、狀態(tài)分類、故障預(yù)測(cè)和差異化分析等不同模型，根據(jù)輸變電設(shè)備狀態(tài)評(píng)估中的要求，靈活選擇映射耦合，將一種分析模型作為遷移學(xué)習(xí)的源領(lǐng)域，另一種分析模型作為目標(biāo)領(lǐng)域，將源領(lǐng)域中獲得的學(xué)習(xí)信息分析映射到目標(biāo)領(lǐng)域，在目標(biāo)領(lǐng)域中以更高的起點(diǎn)獲得更加準(zhǔn)確的學(xué)習(xí)分析規(guī)則，最終形成閉環(huán)形態(tài)的全耦合分析模型。