一種具備容n-3存儲(chǔ)媒介失效的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供了一種具備容N-3存儲(chǔ)媒介失效的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),該系統(tǒng)包括云存儲(chǔ)控制管理單元,云存儲(chǔ)控制管理單元分別與依次連接的電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元、寫入通信傳輸通道、a行32列的存儲(chǔ)媒介陣列、讀出通信傳輸通道和電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼譯碼處理單元相連。該系統(tǒng)采用Reed-Muller碼編譯碼技術(shù)、哈希函數(shù)摘要技術(shù),允許同時(shí)發(fā)生任意≤3個(gè)存儲(chǔ)媒介失效,具備N-3容失效性,解決電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng)存儲(chǔ)容量、容故障能力和擴(kuò)展性三者均衡優(yōu)化問題,保護(hù)數(shù)據(jù)安全,且保障數(shù)據(jù)具有一定的私密性和完整性,以推進(jìn)電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng)的建設(shè)和發(fā)展。
【專利說明】一種具備容N-3存儲(chǔ)媒介失效的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明應(yīng)用于電力行業(yè)中的系統(tǒng),具體涉及一種具備容N-3存儲(chǔ)媒介失效的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng)。
【背景技術(shù)】
[0002]隨著現(xiàn)代社會(huì)工業(yè)化、信息化水平的不斷提高,數(shù)據(jù)已經(jīng)取代計(jì)算成為了信息計(jì)算的中心,云計(jì)算、大數(shù)據(jù)正在成為一種趨勢(shì)和潮流。進(jìn)而促使對(duì)存儲(chǔ)技術(shù)的需求越來越高,包括存儲(chǔ)容量、可用性、I/o性能、數(shù)據(jù)安全性、可擴(kuò)展性等諸多方面。
[0003]電力系統(tǒng)數(shù)據(jù)儲(chǔ)存系統(tǒng)相當(dāng)于電力系統(tǒng)的神經(jīng)中樞大腦。其存儲(chǔ)媒介單元失效,造成數(shù)據(jù)丟失,將直接影響發(fā)電、輸電、變電、配電、用電、調(diào)度系統(tǒng)的安全、平穩(wěn)、可靠地運(yùn)行。電力系統(tǒng)數(shù)據(jù)儲(chǔ)存系統(tǒng)中存儲(chǔ)媒介單元的失效概率相對(duì)較高,面臨N-3挑戰(zhàn),N-3表示存儲(chǔ)媒介單元中允許同時(shí)發(fā)生任意< 3個(gè)存儲(chǔ)媒介單元失效。
[0004]“失效”是可靠的反義詞,產(chǎn)品的可靠度R(t)指時(shí)間t內(nèi)還能滿足規(guī)定功能產(chǎn)品的比率,累積失效概率F(t)為時(shí)間t內(nèi)的不可靠度,SP F(t) = l-R(t)?!笆А保春蠊诸惏?部分失效、完全失效、輕度失效、危險(xiǎn)性(嚴(yán)重)失效、災(zāi)難性(致命)失效;按失效的時(shí)間特征分類包括:早期失效、耗損期失效、漸進(jìn)(漸變)失效、間歇失效;按失效的可能原因分類包括:錯(cuò)誤、遺漏、沒有或僅部分動(dòng)作、產(chǎn)生危險(xiǎn)、有障礙。
[0005]云計(jì)算(Cloud Computing)是一種通過網(wǎng)絡(luò)統(tǒng)一組織和靈活調(diào)用各種信息通信資源,實(shí)現(xiàn)大規(guī)模計(jì)算的信息處理方式。云計(jì)算利用分布式計(jì)算和虛擬資源管理等技術(shù),通過網(wǎng)絡(luò)將分散的信息通信資源(包括計(jì)算與存儲(chǔ)、應(yīng)用運(yùn)行平臺(tái)、軟件等)集中起來形成共享的資源池,并以動(dòng)態(tài)按需和可度量的方式向用戶提供服務(wù)。其中,云儲(chǔ)存通過網(wǎng)絡(luò)將分散的儲(chǔ)存資源集中起來形成共享的存儲(chǔ)資源池,并以動(dòng)態(tài)按需和可度量的方式向用戶提供服務(wù)。云儲(chǔ)存中存儲(chǔ)媒介單元的失效概率相對(duì)較高,面臨N-3挑戰(zhàn)。同時(shí),云儲(chǔ)存面臨信息存儲(chǔ)的私密性和完整性的挑戰(zhàn)。
[0006]大數(shù)據(jù)(Big Data),指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具,在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。從體量特征和技術(shù)范疇來講,電力大數(shù)據(jù)則是大數(shù)據(jù)在電力行業(yè)的聚焦和子集。電力大數(shù)據(jù)的特征可以概括為4 “V”3 “E”。其中,4 “V”特征分別是體量大(Volume)、類型多(Variety)、商業(yè)價(jià)值高(Value)和速度快(Velocity),3 “E”特征分別是電力特征(Electricity)、能量特征(Energy)、交互特征(Exchange)。
[0007]大數(shù)據(jù)是“未來的新石油”,大數(shù)據(jù)是待挖掘的“金礦”,大數(shù)據(jù)被譽(yù)為“第三次工業(yè)革命浪潮的華彩樂章”的根本。電力大數(shù)據(jù)將貫穿電力工業(yè)生產(chǎn)及管理等環(huán)節(jié),將起到巨大的作用,是電力工業(yè)未來有效應(yīng)對(duì)資源有限、環(huán)境壓力等問題,實(shí)現(xiàn)厚積厚發(fā)、綠色可持續(xù)性發(fā)展的關(guān)鍵。電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng)面臨容故障能力和擴(kuò)展性的挑戰(zhàn)。
[0008]對(duì)比目前的數(shù)據(jù)儲(chǔ)存系統(tǒng),采用鏡像(Miiroring)技術(shù)僅具備容N_1存儲(chǔ)媒介失效(存儲(chǔ)媒介單元中允許同時(shí)發(fā)生任意< I個(gè)存儲(chǔ)媒介單元失效),且可用容量?jī)H50% ;采用數(shù)據(jù)條帶(Data Stripping)和數(shù)據(jù)奇偶校驗(yàn)(Data odd-even parity)技術(shù)僅具備容N-2存儲(chǔ)媒介失效(存儲(chǔ)媒介單元中允許同時(shí)發(fā)生任意< 2個(gè)存儲(chǔ)媒介單元失效)。
【發(fā)明內(nèi)容】
[0009]為克服上述現(xiàn)有技術(shù)的不足,本發(fā)明提供一種具備容N-3存儲(chǔ)媒介失效的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),采用Reed-Muller碼編譯碼技術(shù)、哈希函數(shù)摘要技術(shù),允許同時(shí)發(fā)生任意< 3個(gè)存儲(chǔ)媒介失效(即N-3),滿足容N-3存儲(chǔ)媒介失效的能力,解決電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng)存儲(chǔ)容量、容故障能力和擴(kuò)展性三者均衡優(yōu)化問題,保護(hù)數(shù)據(jù)安全,且保障數(shù)據(jù)具有一定的私密性和完整性,以推進(jìn)電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng)的建設(shè)和發(fā)展。
[0010]實(shí)現(xiàn)上述目的所采用的解決方案為:
[0011]1、一種具備容N-3存儲(chǔ)媒介失效的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),其特征在于:所述系統(tǒng)包括依次連接的電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元、寫入通信傳輸通道、a行32列的存儲(chǔ)媒介陣列、讀出通信傳輸通道和電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼譯碼處理單兀;
[0012]云存儲(chǔ)控制管理單元分別與所述電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元、寫入通信傳輸通道、a行32列的存儲(chǔ)媒介陣列、讀出通信傳輸通道和電力大數(shù)據(jù)塊的[32,16,8] Reed-MulIer碼譯碼處理單元連接。
[0013]2、如權(quán)利要求1所述的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),其特征在于:所述電力大數(shù)據(jù)塊的[32,16,8]Reed-MUller碼編碼處理單元包括依次連接的電力大數(shù)據(jù)塊預(yù)處理單元、[32,16,8]Reed-Muller碼編碼器、串/并變換器、輸入緩存器和生成電力大數(shù)據(jù)塊子塊單元;
[0014]寫入控制管理單元分別與所述電力大數(shù)據(jù)塊預(yù)處理單元、[32,16,8]Reed-Muller碼編碼器、串/并變換器、輸入緩存器和生成電力大數(shù)據(jù)塊子塊單元連接。
[0015]3、如權(quán)利要求1所述的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),其特征在于:所述電力大數(shù)據(jù)塊的[32,16,8]Reed-MUller碼譯碼處理單元包括依次連接的匯聚電力大數(shù)據(jù)塊的子塊單元、輸出緩存器、并/串變換器、[32,16,8]Reed-MUller碼譯碼器和電力大數(shù)據(jù)塊后處理單元;
[0016]讀出控制管理單元分別與所述匯聚電力大數(shù)據(jù)塊的子塊單元、輸出緩存器、并/串變換器、[32,16,8]Reed-MUller碼譯碼器和電力大數(shù)據(jù)塊后處理單元連接。
[0017]4、如權(quán)利要求1所述的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),其特征在于:所述云存儲(chǔ)控制管理單元為所述電力大數(shù)據(jù)塊的[32,16,8]Reed-MUller碼編碼處理單元、寫入通信傳輸通道、a行32列的存儲(chǔ)媒介陣列、讀出通信傳輸通道和電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼譯碼處理單元提供時(shí)鐘信號(hào);
[0018]所述云存儲(chǔ)控制管理單元根據(jù)待存儲(chǔ)的電力大數(shù)據(jù)塊的大小確定所述a行32列的存儲(chǔ)媒介陣列中的存儲(chǔ)媒介單元的容量大小,所述a行32列的存儲(chǔ)媒介陣列中的每行均對(duì)應(yīng)一個(gè)Reed-Muller碼的碼組,a為正整數(shù)。
[0019]5、如權(quán)利要求1-3任一所述的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),其特征在于:所述電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元和所述電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼譯碼處理單元分別運(yùn)用Reed-Muller碼寫入和讀取數(shù)據(jù),所述Reed-Muller碼的碼長(zhǎng)η為32bits、信息位k為16bits、最小漢明距離dmin為8 ;
[0020]所述云存儲(chǔ)控制管理單元根據(jù)待存儲(chǔ)的電力大數(shù)據(jù)塊的信息生成相應(yīng)的目錄信息,所述目錄信息根據(jù)所述電力大數(shù)據(jù)塊的[32,16,8]Reed-MUller碼編碼處理單元的處
理結(jié)果獲得;
[0021]所述目錄信息包括所述電力大數(shù)據(jù)塊對(duì)應(yīng)的a行32列的存儲(chǔ)媒介陣列的行值a、32Xa個(gè)電力大數(shù)據(jù)塊子塊的位置信息及其對(duì)應(yīng)的哈希函數(shù)摘要信息;位于第j列第i行的電力大數(shù)據(jù)塊子塊的所述位置信息為(i,j),對(duì)應(yīng)的所述哈希函數(shù)摘要信息為hash (i, j), I≤ j ≤ 32,1 ≤ i ≤ a,;
[0022]所述云存儲(chǔ)控制管理單元將32Xa個(gè)電力大數(shù)據(jù)塊子塊的所述位置信息(i,j)、所述哈希函數(shù)摘要信息hash(i,j)和所述a行32列的存儲(chǔ)媒介陣列相應(yīng)的存儲(chǔ)位置信息發(fā)送至所述電力大數(shù)據(jù)塊的[32,16,8]Reed-MUller碼譯碼處理單元,I≤j,≤32,I≤i,≤a。
[0023]6、如權(quán)利要求2所述的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),其特征在于:所述寫入控制管理單元為所述電力大數(shù)據(jù)塊預(yù)處理單元、[32,16,8]Reed-MUller碼編碼器、串/并變換器、輸入緩存器和生成電力大數(shù)據(jù)塊子塊提供時(shí)鐘信號(hào),生成第j列第i行的電力大數(shù)據(jù)塊子塊位置信息(i,j)及所述電力大數(shù)據(jù)塊子塊的哈希函數(shù)摘要信息hash(i,j), I ^ j ^ 32,I ( i≤a,a為正整數(shù);
[0024]所述電力大數(shù)據(jù)塊預(yù)處理單元用于對(duì)待處理的所述電力大數(shù)據(jù)塊進(jìn)行預(yù)處理,使之變成16bytes的整倍數(shù);所述預(yù)處理方法包括:將待處理的電力大數(shù)據(jù)塊除以16bytes,獲得余數(shù)為C,若c = O,則所述電力大數(shù)據(jù)塊尾部不添加“O”,若c Φ O,則待存儲(chǔ)的所述電力大數(shù)據(jù)塊在尾部添加(16-c) bytes的“0”,所述c取I~15任一整數(shù);
[0025]所述[32,16,8] Reed-Muller碼編碼器為將16bits的數(shù)據(jù)信息編碼為32bits的Reed-Muller碼的編碼器;所述Reed-Muller碼的碼長(zhǎng)η為32bits、信息位k為16bits、最小漢明距離dmin為8 ;
[0026]所述串/并變換器為將I路串行信息變換為32路并行信息的變換器;
[0027]所述輸入緩存器為32路并行的先進(jìn)先出的緩存器;
[0028]所述生成電力大數(shù)據(jù)塊子塊單元根據(jù)待存儲(chǔ)的X bytes字節(jié)的電力大數(shù)據(jù)塊生成32 X a個(gè)電力大數(shù)據(jù)塊子塊,a為正整數(shù)。
[0029]7、如權(quán)利要求1所述的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),其特征在于:所述寫入通信傳輸通道和所述讀出通信傳輸通道用于32路電力大數(shù)據(jù)塊子塊的傳輸,32列a行的32Xa個(gè)電力大數(shù)據(jù)塊子塊的32列對(duì)應(yīng)32路;
[0030]所述寫入通信傳輸通道和所述讀出通信傳輸通道為電纜、光纖或無線通信傳輸通道。
[0031]8、如權(quán)利要求1所述的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),其特征在于:所述a行32列的存儲(chǔ)媒介陣列為用于存儲(chǔ)電力大數(shù)據(jù)塊、包括a行32列的存儲(chǔ)單元的存儲(chǔ)媒介陣列,a為正整數(shù);
[0032]待存儲(chǔ)電力大數(shù)據(jù)塊大小不同,對(duì)應(yīng)的行值a和存儲(chǔ)單元容量不同;所述存儲(chǔ)單元包括相同或不同大小的磁盤、硬盤、磁帶和/或光盤。
[0033]9、如權(quán)利要求1或8所述的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),其特征在于:對(duì)應(yīng)同一待存儲(chǔ)電力大數(shù)據(jù)塊,所述a行32列的存儲(chǔ)媒介陣列中的存儲(chǔ)媒介為相同結(jié)構(gòu)的存儲(chǔ)單元,a為正整數(shù);
[0034]10、如權(quán)利要求3所述的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),其特征在于:所述讀出控制管理單元為所述匯聚電力大數(shù)據(jù)塊的子塊單元、輸出緩存器、并/串變換器、[32,16,8]Reed-Muller碼譯碼器和電力大數(shù)據(jù)塊后處理單元提供時(shí)鐘信號(hào),生成第j’列第i’行的電力大數(shù)據(jù)塊子塊位置信息(i’,j’),I < j’ < 32,I^i' ^ a,對(duì)應(yīng)的所述電力大數(shù)據(jù)塊子塊的哈希函數(shù)摘要信息為hash(i’,j’);
[0035]所述匯聚電力大數(shù)據(jù)塊的子塊單元根據(jù)待存儲(chǔ)的X bytes字節(jié)的電力大數(shù)據(jù)塊生成32 X a個(gè)電力大數(shù)據(jù)塊子塊,a為正整數(shù);
[0036]所述輸出緩存器為32路并行的先進(jìn)先出的緩存器;
[0037]所述并/串變換器將32路并行信息變換為I路串行信息的變換器;
[0038]所述[32,16,8]Reed-MulIer碼譯碼器為將 32bits 的 Reed-Muller 碼譯碼為16bits的數(shù)據(jù)信息的譯碼器;所述Reed-Muller碼的碼長(zhǎng)η為32bits、信息位k為16bits、最小漢明距離dmin為8 ;
[0039]所述電力大數(shù)據(jù)塊后處理單元用于對(duì)待讀出的所述電力大數(shù)據(jù)塊以字節(jié)為單位進(jìn)行后處理;
[0040]所述后處理方法包括:檢測(cè)所述電力大數(shù)據(jù)塊的尾部,以字節(jié)為單位,若其尾部有連續(xù)(16_c)bytes的O,則刪除所述連續(xù)(16_c)bytes的“O”,若所述尾部無連續(xù)(16_c)bytes的“0”,則不做刪除處理;所述(:取I~15任一整數(shù),對(duì)應(yīng)同一所述電力大數(shù)據(jù)塊,與所述電力大數(shù)據(jù)塊的[32,16,8]Reed-MUller碼編碼處理單元中的電力大數(shù)據(jù)塊預(yù)處理單元中對(duì)應(yīng)的c取值相同。
[0041]11、如權(quán)利要求1所述的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),其特征在于:所述電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元、a行32列的存儲(chǔ)媒介陣列、電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼譯碼處理單元和云存儲(chǔ)控制管理單元通過通信傳輸系統(tǒng)連接。
[0042]12、如權(quán)利要求1所述的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),其特征在于:所述大數(shù)據(jù)儲(chǔ)存系統(tǒng)具有存儲(chǔ)容量的擴(kuò)展性,a行32列的存儲(chǔ)媒介陣列結(jié)構(gòu)能整行擴(kuò)展,a為正整數(shù),每行存儲(chǔ)媒介單元的容量相同,仍然能夠保持具備容N-3存儲(chǔ)媒介失效的能力。
[0043]13、如權(quán)利要求1、2、3、4、5、6、9、10、11、12任一所述的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),其特征在于:所述[32,16, 8] Reed-Muller碼Reed-Muller碼的碼長(zhǎng)η為32bits、信息位k為16bits、最小漢明距離dmin為8。
[0044]與現(xiàn)有技術(shù)相比,本發(fā)明具有以下有益效果:
[0045]1、本發(fā)明提供的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng)包括:電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元、寫入通信傳輸通道、a行32列的存儲(chǔ)媒介陣列、讀出通信傳輸通道、電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼譯碼處理單元、云存儲(chǔ)控制管理單元,將多個(gè)容量較小、相對(duì)廉價(jià)的存儲(chǔ)媒介(例如磁盤/含硬盤、磁帶或光盤)進(jìn)行有機(jī)組合,從而以較低的成本獲得與昂貴大容量存儲(chǔ)媒介相當(dāng)?shù)娜萘?、性能和可靠性,并使用的Reed-Muller碼編譯碼技術(shù)和哈希函數(shù)摘要技術(shù),允許同時(shí)發(fā)生任意<3個(gè)存儲(chǔ)媒介失效(即N-3),解決電力大數(shù)據(jù)儲(chǔ)存系統(tǒng)存儲(chǔ)容量、容故障能力和擴(kuò)展性三者均衡優(yōu)化問題,以推進(jìn)電力系統(tǒng)的建設(shè)和發(fā)展。[0046]2、本發(fā)明提供的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng)通過電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元、寫入通信傳輸通道、a行32列的存儲(chǔ)媒介陣列、讀出通信傳輸通道、電力大數(shù)據(jù)塊的[32,16,8]Reed-MUller碼譯碼處理單元和云存儲(chǔ)控制管理單元的完成對(duì)數(shù)據(jù)的處理,顯著改進(jìn)目前電力系統(tǒng)數(shù)據(jù)儲(chǔ)存系統(tǒng)的容故障能力和擴(kuò)展性,具備容N-3存儲(chǔ)媒介失效的能力。
[0047]3、本發(fā)明提供的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),以磁盤(含硬盤)、磁帶或光盤為存儲(chǔ)媒介單元,組成a行32列的存儲(chǔ)媒介陣列,a為正整數(shù),每一行的32個(gè)存儲(chǔ)媒介單元中允許同時(shí)發(fā)生任意< 3個(gè)存儲(chǔ)媒介單元失效(即N-3),且a行允許同時(shí)發(fā)生≤3a個(gè)存儲(chǔ)媒介單元失效,而不會(huì)發(fā)生數(shù)據(jù)丟失事件,且可用容量近50 %,進(jìn)而保證數(shù)據(jù)儲(chǔ)存系統(tǒng)正常工作;針對(duì)智能電網(wǎng)數(shù)據(jù)儲(chǔ)存系統(tǒng),保持和恢復(fù)設(shè)備的運(yùn)行力度,減少事故發(fā)生,降低經(jīng)濟(jì)損失,優(yōu)化運(yùn)行維護(hù)資源。[0048]對(duì)比目前的數(shù)據(jù)儲(chǔ)存系統(tǒng),采用鏡像(Mirroring)技術(shù)僅具備容N_1存儲(chǔ)媒介失效(存儲(chǔ)媒介單元中允許同時(shí)發(fā)生任意< I個(gè)存儲(chǔ)媒介單元失效),且可用容量?jī)H50%;采用數(shù)據(jù)條帶(Data Stripping)和數(shù)據(jù)校驗(yàn)(Data parity)技術(shù)僅具備容N-2存儲(chǔ)媒介失效(存儲(chǔ)媒介單元中允許同時(shí)發(fā)生任意< 2個(gè)存儲(chǔ)媒介單元失效)。
[0049]4、本發(fā)明提供的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng)具有廣泛的適用性和很高的實(shí)用性,并能產(chǎn)生積極效果。
[0050]5、本發(fā)明提供的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),能抵御電力大數(shù)據(jù)儲(chǔ)存系統(tǒng)多個(gè)存儲(chǔ)媒介單元失效故障,進(jìn)而保障和提高電力系統(tǒng)的安全、平穩(wěn)、可靠地運(yùn)行。因?yàn)殡娏Υ髷?shù)據(jù)儲(chǔ)存系統(tǒng)相當(dāng)于電力系統(tǒng)的神經(jīng)中樞大腦。其存儲(chǔ)媒介單元失效故障,造成數(shù)據(jù)丟失或錯(cuò)誤,將直接影響發(fā)電、輸電、變電、配電、用電、調(diào)度系統(tǒng)的安全、平穩(wěn)、可靠地運(yùn)行。
[0051]6、目前存儲(chǔ)媒介單元的失效概率相對(duì)較高,應(yīng)用本發(fā)明提供的具備容N-3存儲(chǔ)媒介失效的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),能抵御電力大數(shù)據(jù)儲(chǔ)存系統(tǒng)多個(gè)存儲(chǔ)媒介單元失效故障,進(jìn)而降低電力系統(tǒng)的失效概率,提高電力系統(tǒng)的供電可靠性,減小用戶停電時(shí)間,更好地為和諧社會(huì)服務(wù)。
[0052]7、本發(fā)明提供的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),使可用存儲(chǔ)容量、容故障能力和擴(kuò)展性三者均衡優(yōu)化,保障數(shù)據(jù)儲(chǔ)存系統(tǒng)的大容量、高性能和高可靠性,具有顯著的經(jīng)濟(jì)效益和良好的推廣應(yīng)用價(jià)值。
[0053]8、本發(fā)明提供的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),存儲(chǔ)在磁盤(含硬盤)、磁帶或光盤中的智能電網(wǎng)數(shù)據(jù),保障數(shù)據(jù)具有一定的私密性,需經(jīng)過Reed-Muller碼編譯碼,Reed-Muller碼的碼長(zhǎng)n = 32bits、信息位k = 16bits、最小漢明距離dmin = 8,才能正確識(shí)讀。
[0054]9、本發(fā)明提供的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng)能夠保障數(shù)據(jù)的完整性,所述讀出控制管理單元報(bào)告電力大數(shù)據(jù)塊子塊(i’,j’)的差錯(cuò)和糾錯(cuò)情況、哈希函數(shù)摘要信息hash(i,j)與hash(i’,j’)比對(duì)結(jié)果,hash(i, j) =hash(i’,j’)則表示能夠保證電力大數(shù)據(jù)塊子塊(i, j)的數(shù)據(jù)完整性。否則,電力大數(shù)據(jù)塊子塊(i’,j’)有被篡改或偽造的可能。
[0055]10、本發(fā)明提供的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng)的各單元通過通信傳輸系統(tǒng)的連接,能夠部署在相同或不同的地理位置;所述電力大數(shù)據(jù)塊的[32,16,8]Reed-MUller碼編碼處理單元、a行32列的存儲(chǔ)媒介陣列、電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼譯碼處理單元和云存儲(chǔ)控制管理單元通過通信傳輸系統(tǒng)連接,部署在同一或不同的地理位置。[0056]11、本發(fā)明提供的大數(shù)據(jù)儲(chǔ)存系統(tǒng),具有存儲(chǔ)容量的可擴(kuò)展性,a行32列的存儲(chǔ)媒介陣列結(jié)構(gòu)能整行擴(kuò)展,a為正整數(shù),仍然能夠保持具備容N-3存儲(chǔ)媒介失效的能力。
【專利附圖】
【附圖說明】
[0057]圖1為具備容N-3存儲(chǔ)媒介失效的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng)的處理流程圖;
[0058]圖2為a行32列的存儲(chǔ)媒介陣列結(jié)構(gòu)圖;
[0059]圖3為電力大數(shù)據(jù)塊的[32,16,8] Reed-Muller碼編碼處理單元的處理流程圖;
[0060]圖4為電力大數(shù)據(jù)塊的[32,16,8] Reed-Muller碼譯碼處理單元的處理流程圖。
【具體實(shí)施方式】
[0061]下面結(jié)合附圖對(duì)本發(fā)明的【具體實(shí)施方式】做進(jìn)一步的詳細(xì)說明。
[0062]如圖1所示,圖1為具備容N-3存儲(chǔ)媒介失效的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng)的處理流程圖,該系統(tǒng)包括依次連接的電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元、寫入通信傳輸通道、a行32列的存儲(chǔ)媒介陣列、讀出通信傳輸通道和電力大數(shù)據(jù)塊的[32,16,8]Reed-MulIer碼譯碼處理單元;電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元、寫入通信傳輸通道、a行32列的存儲(chǔ)媒介陣列、讀出通信傳輸通道和電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼譯碼處理單元分別與云存儲(chǔ)控制管理單元連接。
[0063]如圖3所示,圖3為電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元的處理流程圖;電力大數(shù)據(jù)塊的[32,16,8]Reed-MUller碼編碼處理單元包括依次連接的電力大數(shù)據(jù)塊預(yù)處理單元、[32,16,8]Reed-Muller碼編碼器、串/并變換器、輸入緩存器和生成電力大數(shù)據(jù)塊子塊單元;電力大數(shù)據(jù)塊預(yù)處理單元、[32,16,8]Reed-Muller碼編碼器、串/并變換器、輸入緩存器和生成電力大數(shù)據(jù)塊子塊單元分別與所述寫入控制管理單元連接
[0064]如圖4所示,圖4為電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼譯碼處理單元的處理流程圖;電力大數(shù)據(jù)塊的[32,16,8]Reed-MUller碼譯碼處理單元包括依次連接的匯聚電力大數(shù)據(jù)塊的子塊單元、輸出緩存器、并/串變換器、[32,16,8]Reed-MUller碼譯碼器和電力大數(shù)據(jù)塊后處理單元;匯聚電力大數(shù)據(jù)塊的子塊單元、輸出緩存器、并/串變換器、[32,16,8]Reed-Muller碼譯碼器和電力大數(shù)據(jù)塊后處理單元分別與所述讀出控制管理單元連接。
[0065]系統(tǒng)中,云存儲(chǔ)控制管理單元為所述電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元、寫入通信傳輸通道、a行32列的存儲(chǔ)媒介陣列、讀出通信傳輸通道和電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼譯碼處理單元提供時(shí)鐘信號(hào);云存儲(chǔ)控制管理單元根據(jù)待存儲(chǔ)的電力大數(shù)據(jù)塊的字節(jié)X (bytes),確定所述a行32列的存儲(chǔ)媒介陣列整體容量的字節(jié) y (bytes), x ^ y ;
[0066]云存儲(chǔ)控制管理單元控制所述a行32列的存儲(chǔ)媒介陣列使所述a行32列的存儲(chǔ)媒介陣列中的存儲(chǔ)媒介單元的容量為z (bytes),32列a行構(gòu)成32 X a的a行32列的存儲(chǔ)媒介陣列;其中,a 為正整數(shù),y = 32 XaXz, 32 X (a-1) X≤≤32 XaXz, lbyte = 8bits ;如圖2所示,圖2為a行32列的存儲(chǔ)媒介陣列結(jié)構(gòu)圖。
[0067]不同待存儲(chǔ)的電力大數(shù)據(jù)庫的容量可相同也可不同,不同行的容量可相同也可不同。[0068]云存儲(chǔ)控制管理單元保證所述a行32列的存儲(chǔ)媒介陣列中的每行32列均對(duì)應(yīng)一個(gè)Reed-Muller碼的碼組。
[0069]系統(tǒng)中,電力大數(shù)據(jù)塊的[32,16,8]Reed_Muller碼編碼處理單元和電力大數(shù)據(jù)塊的[32,16,8]Reed_Muller碼譯碼處理單元分別運(yùn)用Reed-Muller碼寫入和讀取數(shù)據(jù),Reed-Muller碼的碼長(zhǎng)n = 32bits、信息位k = 16bits、最小漢明距離dmin = 8 ;
[0070]云存儲(chǔ)控制管理單元根據(jù)待存儲(chǔ)的電力大數(shù)據(jù)塊的信息生成相應(yīng)的目錄信息,所述目錄信息根據(jù)所述電力大數(shù)據(jù)塊的[32,16,8]Reed-MUller碼編碼處理單元的處理結(jié)果獲得;
[0071 ]目錄信息包括所述電力大數(shù)據(jù)塊對(duì)應(yīng)的a行32列的存儲(chǔ)媒介陣列的行值a、32 X a個(gè)電力大數(shù)據(jù)塊子塊的位置信息及其對(duì)應(yīng)的哈希函數(shù)摘要信息;
[0072]其中,位于第j列第i行的電力大數(shù)據(jù)塊子塊的所述位置信息為(i,j),I≤j≤32,I≤i≤a,對(duì)應(yīng)的所述哈希函數(shù)摘要信息為hash(i,j);
[0073]云存儲(chǔ)控制管理單元將32Xa個(gè)電力大數(shù)據(jù)塊子塊的所述位置信息(i,j)、所述哈希函數(shù)摘要信息hash(i,j)和所述a行32列的存儲(chǔ)媒介陣列相應(yīng)的存儲(chǔ)位置信息發(fā)送至所述電力大數(shù)據(jù)塊的[32,16,8]Reed-MUller碼譯碼處理單元,I≤j’≤32,I≤i’≤a,a為正整數(shù)。
[0074]云存儲(chǔ)控制管理單元根據(jù)所述電力大數(shù)據(jù)塊的[32,16,8]Reed-MUller碼譯碼處理單元的、所述讀出控制管理單元報(bào)告電力大數(shù)據(jù)塊子塊a’,j’)的差錯(cuò)和糾錯(cuò)情況、哈希函數(shù)摘要信息hash(i, j)與hash(i’,j’)比對(duì)結(jié)果獲得告警信息,hash (i, j)=hash(i’,j’)表示電力大數(shù)據(jù)塊子塊(i,j)的數(shù)據(jù)完整。
[0075]電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元中,寫入控制管理單元為電力大數(shù)據(jù)塊預(yù)處理單元、[32,16,8]Reed-Muller碼編碼器、串/并變換器、輸入緩存器和生成電力大數(shù)據(jù)塊子塊提供時(shí)鐘信號(hào),生成第j列第i行的電力大數(shù)據(jù)塊子塊位置信息(i,j)及所述電力大數(shù)據(jù)塊子塊的哈希函數(shù)摘要信息hash(i,j),其中,I≤j≤32,
a,a為正整數(shù)。
[0076]電力大數(shù)據(jù)塊預(yù)處理單元用于對(duì)待處理的所述電力大數(shù)據(jù)塊進(jìn)行預(yù)處理,使之變成16bytes的整倍數(shù);
[0077]預(yù)處理方法包括:將待處理的電力大數(shù)據(jù)塊除以16bytes,獲得余數(shù)為C,若c =0,則所述電力大數(shù)據(jù)塊尾部不添加“0”,若c Φ 0,則待存儲(chǔ)的所述電力大數(shù)據(jù)塊在尾部添加(16-c)bytes 的 “0”,所述 c 取 1、2、3、4、5、6、7、8、9、10、11、12、13、14 或 15 ;
[0078][32, 16, 8]Reed-Muller 碼編碼器為實(shí)現(xiàn)(n, k, dmin) = [32, 16, 8]Reed-Muller 碼的編碼,將16bits的數(shù)據(jù)信息編碼為32bits的Reed-Muller碼的編碼器;
[0079][32,16,8] Reed-Muller碼編碼器將16bits數(shù)據(jù)消息變換成32bits碼元的碼字,所述Reed-Muller碼的碼長(zhǎng)n = 32bits、信息位k = 16bits、最小漢明距離dmin = 8 ;
[0080]串/并變換器為將I路串行信息變換為32路并行信息的變換器;
[0081]輸入緩存器為32路并行的先進(jìn)先出的緩存器;
[0082]生成電力大數(shù)據(jù)塊子塊單元為根據(jù)待存儲(chǔ)的X (bytes)字節(jié)的電力大數(shù)據(jù)塊生成32 X a個(gè)電力大數(shù)據(jù)塊子塊,a為正整數(shù)。
[0083]寫入通信傳輸通道和讀出通信傳輸通道用于32路電力大數(shù)據(jù)塊子塊的傳輸,32列a行的32 X a個(gè)電力大數(shù)據(jù)塊子塊的32列對(duì)應(yīng)32路;
[0084]寫入通信傳輸通道和所述讀出通信傳輸通道為電纜、光纖或無線通信傳輸通道。
[0085]a行32列的存儲(chǔ)媒介陣列為用于存儲(chǔ)電力大數(shù)據(jù)塊,包括32列a行的存儲(chǔ)單元的32 X a存儲(chǔ)媒介陣列,a為正整數(shù);
[0086]待存儲(chǔ)電力大數(shù)據(jù)塊大小不同,對(duì)應(yīng)的行值a和存儲(chǔ)單元容量不同;
[0087]所述存儲(chǔ)單元包括相同或不同大小的磁盤、硬盤、磁帶和/或光盤。
[0088]對(duì)應(yīng)同一待存儲(chǔ)電力大數(shù)據(jù)塊,所述a行32列的存儲(chǔ)媒介陣列中的存儲(chǔ)媒介為相同結(jié)構(gòu)的存儲(chǔ)單元,a行32列的存儲(chǔ)媒介陣列中的每個(gè)存儲(chǔ)媒介單元的容量均為z (bytes);
[0089]由32列a行構(gòu)成32 X a的a行32列的存儲(chǔ)媒介陣列,a為正整數(shù);
[0090]所述a行32列的存儲(chǔ)媒介陣列整體容量的字節(jié)y = 32XaX z (bytes),32X (a-1) Xz≤X≤32XaXz, X為待存儲(chǔ)的電力大數(shù)據(jù)塊的字節(jié)大小,lbyte = 8bits ;
[0091]電力大數(shù)據(jù)塊的[32,16,8]Reed_Muller碼譯碼處理單元中,讀出控制管理單元為所述匯聚電力大數(shù)據(jù)塊的子塊單元、輸出緩存器、并/串變換器、[32,16, 8]Reed-Muller碼譯碼器和電力大數(shù)據(jù)塊后處理單元提供時(shí)鐘信號(hào),生成第j’列第i’行的電力大數(shù)據(jù)塊子塊位置信息(i’,j’),I < j’ < 32,I ^ i' ^ a,對(duì)應(yīng)的所述電力大數(shù)據(jù)塊子塊的哈希函數(shù)摘要信息為hash;
[0092]匯聚電力大數(shù)據(jù)塊的子塊單元為X (bytes)字節(jié)的32 X a個(gè)電力大數(shù)據(jù)塊子塊,a為正整數(shù);
[0093]輸出緩存器為32路并行的先進(jìn)先出的緩存器;
[0094]并/串變換器將32路并行信息變換為I路串行信息的變換器;
[0095][32,16,8]Reed-Muller 碼譯碼器為實(shí)現(xiàn)(n, k, dmin) = [32, 16, 8]Reed-Muller 5?的譯碼,將32bits的Reed-Muller碼譯碼為16bits的數(shù)據(jù)信息的譯碼器;
[0096][32,16,8] Reed-Muller碼譯碼器將32bits碼元的碼字變換成16bits數(shù)據(jù)消息,所述Reed-Muller碼的碼長(zhǎng)n = 32bits、信息位k = 16bits、最小漢明距離dmin = 8 ;
[0097]電力大數(shù)據(jù)塊后處理單元用于對(duì)待讀出的所述電力大數(shù)據(jù)塊以字節(jié)為單位進(jìn)行后處理;
[0098]后處理方法包括:檢測(cè)所述電力大數(shù)據(jù)塊的尾部,以字節(jié)為單位,若其尾部有連續(xù)(16-c) bytes的O,則刪除所述連續(xù)(16_c) bytes的“O”,若所述尾部無連續(xù)(16_c) bytes的“0”,則不做刪除處理;所述c取1、2、3、4、5、6、7、8、9、10、11、12、13、14或15,對(duì)應(yīng)同一所述電力大數(shù)據(jù)塊,與所述電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元中的電力大數(shù)據(jù)塊預(yù)處理單元中對(duì)應(yīng)的c取值相同。
[0099]將本系統(tǒng)運(yùn)用于電力系統(tǒng)時(shí),電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元、a行32列的存儲(chǔ)媒介陣列、電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼譯碼處理單元和云存儲(chǔ)控制管理單元通過通信傳輸系統(tǒng)連接,部署在同一或不同的地理位置。
[0100]電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元、a行32列的存儲(chǔ)媒介陣列、電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼譯碼處理單元和云存儲(chǔ)控制管理單元可分別安裝,也可任意結(jié)合安裝。
[0101]大數(shù)據(jù)儲(chǔ)存系統(tǒng)具有存儲(chǔ)容量的擴(kuò)展性,a行32列的存儲(chǔ)媒介陣列結(jié)構(gòu)能整行擴(kuò)展,a為正整數(shù),每行存儲(chǔ)媒介單元的容量相同,仍然能夠保持N-3的容故障性。
[0102]本發(fā)明的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),將多個(gè)容量較小、相對(duì)廉價(jià)的磁盤進(jìn)行有機(jī)組合,從而以較低的成本獲得與昂貴大容量存儲(chǔ)媒介相當(dāng)?shù)娜萘?、性能和可靠性,并使用的Reed-Muller碼編譯碼技術(shù)和哈希函數(shù)摘要技術(shù),允許同時(shí)發(fā)生3個(gè)存儲(chǔ)媒介失效,即具有N-3安全性,滿足具備容N-3存儲(chǔ)媒介失效的能力。N-3表示大數(shù)據(jù)儲(chǔ)存系統(tǒng)允許同時(shí)發(fā)生任意< 3個(gè)存儲(chǔ)媒介失效。
[0103]能解決目前存儲(chǔ)媒介單元的失效概率相對(duì)較高、存儲(chǔ)媒介單元失效故障會(huì)造成數(shù)據(jù)丟失、面臨N-3安全性挑戰(zhàn)、電力大數(shù)據(jù)云儲(chǔ)存的私密性和完整性挑戰(zhàn)等問題。能實(shí)質(zhì)性地顯著改進(jìn)目前電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng)的容故障能力和擴(kuò)展性,具備容N-3存儲(chǔ)媒介失效的能力。
[0104]以下分別提供以某省電網(wǎng)運(yùn)檢系統(tǒng)大數(shù)據(jù)云存儲(chǔ)系統(tǒng)和某電力公司業(yè)務(wù)大數(shù)據(jù)災(zāi)害備份云儲(chǔ)存系統(tǒng)的實(shí)施例做詳細(xì)說明。
[0105]本發(fā)明提供的系統(tǒng)能解決目前電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng)中無法抵御多個(gè)存儲(chǔ)媒介單元失效故障問題,使可用存儲(chǔ)容量、容故障能力和擴(kuò)展性三者均衡優(yōu)化,保障數(shù)據(jù)儲(chǔ)存系統(tǒng)的大容量、高性能和高可靠性,減少故障的影響,降低經(jīng)濟(jì)損失,優(yōu)化運(yùn)行維護(hù)資源,提高檢修效率和運(yùn)行可靠性。具備容N-3存儲(chǔ)媒介失效的同時(shí),保障數(shù)據(jù)具有一定的私密性和完整性,以推進(jìn)電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng)的建設(shè)和發(fā)展。
[0106]本實(shí)施例中,系統(tǒng)包括:依次連接的電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元、寫入通信傳輸通道、a行32列的存儲(chǔ)媒介陣列、讀出通信傳輸通道和電力大數(shù)據(jù)塊的[32,16,8] Reed-Muller碼譯碼處理單元;
[0107]所述電力大數(shù)據(jù)塊的[32,16,8]Reed_Muller碼編碼處理單元、寫入通信傳輸通道、a行32列的存儲(chǔ)媒介陣列、讀出通信傳輸通道和電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼譯碼處理單元分別與云存儲(chǔ)控制管理單元連接。
[0108]1、云存儲(chǔ)控制管理單元
[0109]云存儲(chǔ)控制管理單元為所述電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元、寫入通信傳輸通道、a行32列的存儲(chǔ)媒介陣列、讀出通信傳輸通道和電力大數(shù)據(jù)塊的[32,16,8] Reed-Muller碼譯碼處理單元提供時(shí)鐘信號(hào);
[0110]云存儲(chǔ)控制管理單元根據(jù)待存儲(chǔ)的某個(gè)電力大數(shù)據(jù)塊的字節(jié)大小X(bytes),選定y (bytes)的所述a行32列的存儲(chǔ)媒介陣列整體容量的字節(jié)大小,x < y ;
[0111]云存儲(chǔ)控制管理單元控制管理所述a行32列的存儲(chǔ)媒介陣列,保證所述a行32列的存儲(chǔ)媒介陣列中的每存儲(chǔ)媒介單元的容量相同均為z (bytes),32列a行構(gòu)成32Xa的a行32列的存儲(chǔ)媒介陣列,a為正整數(shù),y = 32 X a X z,32 X (a-1) X z≤X≤32 X a X z,Ibyte=8bits ;
[0112]云存儲(chǔ)控制管理單元保證所述a行32列的存儲(chǔ)媒介陣列中的每行32列的對(duì)應(yīng)Reed-Muller碼的一個(gè)碼組,電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元和電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼譯碼處理單元使用Reed-Muller碼,所述Reed-Muller碼的碼長(zhǎng)n = 32bits、信息位k = 16bits、最小漢明距離Cimin = 8 ;
[0113] 云存儲(chǔ)控制管理單元根據(jù)待存儲(chǔ)的某個(gè)電力大數(shù)據(jù)塊的信息生成相應(yīng)的目錄信息,該目錄信息源自于所述電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元的處理結(jié)果,該目錄信息包括該電力大數(shù)據(jù)塊對(duì)應(yīng)的a行32列的存儲(chǔ)媒介陣列的a值、32Xa個(gè)電力大數(shù)據(jù)塊子塊每一個(gè)的位置信息和哈希函數(shù)摘要信息,位于第j列第i行的電力大數(shù)據(jù)塊子塊位置信息為(i,j),l <a,相應(yīng)的哈希函數(shù)摘要信息為
hash(i, j);
[0114]云存儲(chǔ)控制管理單元將32Xa個(gè)電力大數(shù)據(jù)塊子塊每一個(gè)的位置信息(i,j)和哈希函數(shù)摘要信息hash(i,j),及所述a行32列的存儲(chǔ)媒介陣列相應(yīng)的存儲(chǔ)位置信息(i,,j’),I≤j’ ( 32,I≤i’≤a,告知所述電力大數(shù)據(jù)塊的[32,16,8] Reed-Muller碼譯碼處理單元;
[0115]2、云存儲(chǔ)控制管理單元
[0116]云存儲(chǔ)控制管理單元根據(jù)該電力大數(shù)據(jù)塊的讀出情況生成相應(yīng)的告警信息,該告警信息源自于所述電力大數(shù)據(jù)塊的[32,16,8]Reed-MUller碼譯碼處理單元,所述讀出控制管理單元報(bào)告電力大數(shù)據(jù)塊子塊(i’,j’)的差錯(cuò)和糾錯(cuò)情況、哈希函數(shù)摘要信息hash(i, j)與hash(i’,j’)比對(duì)結(jié)果,hash (i, j) =hash(i’,j’)則表示能夠保證電力大數(shù)據(jù)塊子塊(i,j)的數(shù)據(jù)完整性。
[0117]3、電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元
[0118]電力大數(shù)據(jù)塊的[32,16,8] Reed-Muller碼編碼處理單元包括依次連接的電力大數(shù)據(jù)塊預(yù)處理單元、[32,16,8]Reed-Muller碼編碼器、串/并變換器、輸入緩存器和生成電力大數(shù)據(jù)塊子塊單元;
[0119]所述電力大數(shù)據(jù)塊預(yù)處理單元、[32,16,8]Reed-MUller碼編碼器、串/并變換器、輸入緩存器和生成電力大數(shù)據(jù)塊子塊單元分別與寫入控制管理單元連接;
[0120]3.1、寫入控制管理單元為所述電力大數(shù)據(jù)塊預(yù)處理單元、[32,16,8]Reed-Muller碼編碼器、串/并變換器、輸入緩存器和生成電力大數(shù)據(jù)塊子塊提供時(shí)鐘信號(hào),生成第j列第i行的電力大數(shù)據(jù)塊子塊位置信息為(i,j),l^ j^32,l^i^a,生成對(duì)應(yīng)所述電力大數(shù)據(jù)塊子塊的哈希函數(shù)摘要信息為hash (i,j);
[0121]3.2、電力大數(shù)據(jù)塊預(yù)處理單元用于對(duì)待處理的所述電力大數(shù)據(jù)塊以字節(jié)為單位進(jìn)行預(yù)處理,使之變成16bytes的整倍數(shù),所述預(yù)處理方法包括:將待處理的電力大數(shù)據(jù)塊除以16bytes,獲得余數(shù)為C,若c = 0,則所述電力大數(shù)據(jù)塊尾部不添加“0”,若c Φ 0,則待存儲(chǔ)的所述電力大數(shù)據(jù)塊在尾部添加(16-c) bytes的“0”,所述c取1、2、3、4、5、6、7、8、9、10、11、12、13、14 或 15 ;
[0122]3.3、[32,16,8] Reed-Muller 碼編碼器完成[n, k, dmin] = [32,16,8] Reed-Muller碼的編碼,為將16bits的數(shù)據(jù)信息編碼為32bits的Reed-Muller碼的編碼器,用于將16bits數(shù)據(jù)消息變換成32bits碼元的碼字,所述Reed-Muller碼的碼長(zhǎng)n = 32bits、信息位k = 16bits、最小漢明距離dmin = 8 ;
[0123]3.4、串/并變換器為將I路串行信息變換為32路并行信息的變換器;
[0124]3.5、輸入緩存器為32路并行的先進(jìn)先出緩存器;
[0125]3.6、生成電力大數(shù)據(jù)塊子塊單元為根據(jù)待存儲(chǔ)的某個(gè)電力大數(shù)據(jù)塊的字節(jié)大小X (bytes)生成字節(jié)大小相等的32 X a個(gè)電力大數(shù)據(jù)塊子塊,a為正整數(shù),對(duì)應(yīng)32列a行的a行32列的存儲(chǔ)媒介陣列。
[0126]4、寫入通信傳輸通道和讀出通信傳輸通道[0127]寫入通信傳輸通道和讀出通信傳輸通道完成32路電力大數(shù)據(jù)塊子塊的傳輸,32列a行的32Xa個(gè)電力大數(shù)據(jù)塊子塊的32列對(duì)應(yīng)32路,所述寫入通信傳輸通道和所述讀出通信傳輸通道為電纜、光纖或無線通信傳輸通道
[0128]5、a行32列的存儲(chǔ)媒介陣列
[0129]a行32列的存儲(chǔ)媒介陣列用于存儲(chǔ)電力大數(shù)據(jù)塊,為32列a行的存儲(chǔ)單元組成的32Xa的存儲(chǔ)媒介陣列,a為正整數(shù),不同大小的待存儲(chǔ)電力大數(shù)據(jù)塊對(duì)應(yīng)不同的a或和不同的存儲(chǔ)單元容量大??;
[0130]所述存儲(chǔ)單元包括相同或不同大小的磁盤、硬盤、磁帶和/或光盤。
[0131]對(duì)應(yīng)同一待存儲(chǔ)電力大數(shù)據(jù)塊,所述a行32列的存儲(chǔ)媒介陣列中的存儲(chǔ)媒介為相同結(jié)構(gòu)的存儲(chǔ)單元,a行32列的存儲(chǔ)媒介陣列中的每存儲(chǔ)媒介單元的容量相同均為z (bytes),a為正整數(shù),所述a行32列的存儲(chǔ)媒介陣列整體容量的字節(jié)大小為y (bytes),
Y= 32XaXz,32X (a-1) Xz ^ 32 X aX z,待存儲(chǔ)的某個(gè)電力大數(shù)據(jù)塊的字節(jié)大小為X(bytes),lbyte = 8bits ;
[0132]6、電力大數(shù)據(jù)塊的[32,16,8] Reed-Muller碼譯碼處理單元
[0133]電力大數(shù)據(jù) 塊的[32,16,8]Reed-Muller碼譯碼處理單元包括依次連接的匯聚電力大數(shù)據(jù)塊的子塊單元、輸出緩存器、并/串變換器、[32,16,8]Reed-Muller碼譯碼器和電力大數(shù)據(jù)塊后處理單元;
[0134]所述匯聚電力大數(shù)據(jù)塊的子塊單元、輸出緩存器、并/串變換器、[32,16,8]Reed-Muller碼譯碼器和電力大數(shù)據(jù)塊后處理單元分別與讀出控制管理單元連接。
[0135]6.1、讀出控制管理單元為所述匯聚電力大數(shù)據(jù)塊的子塊單元、輸出緩存器、并/串變換器、[32,16,8]Reed-MUller碼譯碼器和電力大數(shù)據(jù)塊后處理單元提供時(shí)鐘信號(hào),生成第j’列第i’行的電力大數(shù)據(jù)塊子塊位置信息為j’ <32,l<i’ <a,生成對(duì)應(yīng)所述電力大數(shù)據(jù)塊子塊的哈希函數(shù)摘要信息為hash(i’,j’);
[0136]6.2、匯聚電力大數(shù)據(jù)塊的子塊單元為x(bytes)字節(jié)的32Xa個(gè)電力大數(shù)據(jù)塊子塊,a為正整數(shù);
[0137]6.3、輸出緩存器為32路并行的先進(jìn)先出緩存器;
[0138]6.4、并/串變換器將32路并行信息變換為I路串行信息;
[0139]6.5、[32,16,8]Reed-Muller 碼譯碼器為完成[n, k, dmin] = [32, 16,8]Reed-Muller碼的譯碼,將32bits的Reed-Muller碼譯碼為16bits的數(shù)據(jù)信息的譯碼器,用于將32bits碼元的碼字變換成16bits數(shù)據(jù)消息,所述Reed-Muller碼的碼長(zhǎng)η =32bits、信息位k = 16bits、最小漢明距離dmin = 8 ;
[0140]6.6、電力大數(shù)據(jù)塊后處理單元用于對(duì)待讀出的所述電力大數(shù)據(jù)塊以字節(jié)為單位進(jìn)行后處理,所述后處理方法包括:檢測(cè)所述電力大數(shù)據(jù)塊的尾部,以字節(jié)為單位,若其尾部有連續(xù)(16-c)bytes的O,則刪除所述連續(xù)(16_c)bytes的“O”,若所述尾部無連續(xù)(16-c)bytes 的“0”,則不做刪除處理,所述 c 取 1、2、3、4、5、6、7、8、9、10、11、12、13、14 或15,對(duì)應(yīng)同一所述電力大數(shù)據(jù)塊,與所述電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元中的電力大數(shù)據(jù)塊預(yù)處理單元中對(duì)應(yīng)的c取值相同;
[0141]大數(shù)據(jù)儲(chǔ)存系統(tǒng)具有存儲(chǔ)容量的擴(kuò)展性,a行32列的存儲(chǔ)媒介陣列結(jié)構(gòu)能整行擴(kuò)展,a為正整數(shù),每行存儲(chǔ)媒介單元的容量相同,仍然能夠保持N-3的容故障性。[0142]一、以某省電網(wǎng)運(yùn)檢系統(tǒng)大數(shù)據(jù)云存儲(chǔ)系統(tǒng)為例
[0143]省級(jí)電網(wǎng)的運(yùn)行和檢修是保證電網(wǎng)安全生產(chǎn)的關(guān)鍵,需要利用大數(shù)據(jù)云存儲(chǔ)系統(tǒng)來存儲(chǔ)各類與省級(jí)電網(wǎng)運(yùn)行和檢修相關(guān)的數(shù)據(jù)。
[0144]例如,某省電網(wǎng)運(yùn)檢系統(tǒng)中的變電站視頻監(jiān)控系統(tǒng)涉及所轄變電站視頻監(jiān)控,由子站、總站兩大系統(tǒng)構(gòu)成,系統(tǒng)通過后臺(tái)控制、前端信號(hào)采集處理、信號(hào)匯總、傳輸?shù)人捻?xiàng)程序操作,對(duì)變電站的電力設(shè)備、運(yùn)行值班、檢修維護(hù)等情況進(jìn)行遠(yuǎn)程實(shí)時(shí)監(jiān)控,并通過SDH系統(tǒng)網(wǎng)絡(luò)將各變電站現(xiàn)場(chǎng)情況遠(yuǎn)傳到項(xiàng)目監(jiān)管部門,可實(shí)時(shí)了解現(xiàn)場(chǎng),做到零距離掌控。該系統(tǒng)同時(shí)具備防火、防盜報(bào)警功能,報(bào)警時(shí)可聯(lián)動(dòng)攝像機(jī)進(jìn)行圖像抓拍、錄像、聯(lián)動(dòng)手機(jī)短信發(fā)送報(bào)警信息,及時(shí)通知相關(guān)管理人員。該系統(tǒng)還支持門禁管理系統(tǒng),確保人員出入有記錄,通過監(jiān)控中心遠(yuǎn)程實(shí)現(xiàn)對(duì)變電站進(jìn)行開關(guān)門,遠(yuǎn)程查看門禁信息日志,為處置各類突發(fā)事件時(shí)提供了實(shí)時(shí)、直觀的現(xiàn)場(chǎng)及相關(guān)圖像服務(wù),在發(fā)生事故時(shí)可以第一時(shí)間對(duì)現(xiàn)場(chǎng)設(shè)備進(jìn)行概況巡視,填補(bǔ)操作隊(duì)伍到達(dá)現(xiàn)場(chǎng)時(shí)間長(zhǎng)的空缺。特別是在一些惡劣天氣發(fā)生時(shí),監(jiān)控班可以迅速的查看現(xiàn)場(chǎng)設(shè)備覆冰和積雪情況,及時(shí)發(fā)現(xiàn)缺陷。提升了管理效率和水平。
[0145]本實(shí)施例中,將該省電網(wǎng)32個(gè)下屬單位的多個(gè)300GB磁盤進(jìn)行有機(jī)組合,組成I個(gè)云存儲(chǔ)池,即32個(gè)地點(diǎn)、每個(gè)地點(diǎn)10塊300GB磁盤。
[0146]相當(dāng)于以300GB磁盤為存儲(chǔ)媒介單元而組成10行32列的存儲(chǔ)媒介陣列,容量為32*10*300GB = 96TB,從而以較低的成本獲得與昂貴大容量存儲(chǔ)媒介相當(dāng)?shù)娜萘?、性能和可靠性,并使用的Reed-Muller碼編譯碼技術(shù)和哈希函數(shù)摘要技術(shù),每一行的32個(gè)存儲(chǔ)媒介單元中允許同時(shí)發(fā)生任意≤3個(gè)存儲(chǔ)媒介單元失效(即N-3),且a = 10行允許同時(shí)發(fā)生≤ 3a = 30個(gè)存儲(chǔ)媒介單元(即每行≤ 3塊、10行≤ 30塊,極端情況:300GB磁盤30塊)失效,而不會(huì)發(fā)生數(shù)據(jù)丟失事件,且總可用容量近50 %,進(jìn)而保證數(shù)據(jù)儲(chǔ)存系統(tǒng)正常工作。針對(duì)電力系統(tǒng)數(shù)據(jù)儲(chǔ)存系統(tǒng),其創(chuàng)造性體現(xiàn)在以下方面:保持和恢復(fù)設(shè)備的運(yùn)行力度,減少事故發(fā)生,降低經(jīng)濟(jì)損失,優(yōu)化運(yùn)行維護(hù)資源,實(shí)現(xiàn)省級(jí)電網(wǎng)運(yùn)檢系統(tǒng)大數(shù)據(jù)的云存儲(chǔ)功能。
[0147]本發(fā)明提供的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),具有存儲(chǔ)容量的擴(kuò)展性,a行32列的存儲(chǔ)媒介陣列結(jié)構(gòu)能整行擴(kuò)展。實(shí)際需要存儲(chǔ)容量擴(kuò)展64TB時(shí),在本實(shí)施例的基礎(chǔ)上,以ITB磁盤為存儲(chǔ)媒介單元,32個(gè)地點(diǎn)、每個(gè)地點(diǎn)2塊ITB磁盤,組成2行32列的存儲(chǔ)媒介陣列(即ITB磁盤64塊),能增加存儲(chǔ)容量64TB。而且仍然能夠保持具備容N-3存儲(chǔ)媒介失效的能力,即每一行的32個(gè)存儲(chǔ)媒介單元中允許同時(shí)發(fā)生任意≤ 3個(gè)存儲(chǔ)媒介單元失效(即N-3),且a = (10+2)行允許同時(shí)發(fā)生≤3a = 36個(gè)存儲(chǔ)媒介單元(即每行≤3塊,300GB磁盤10行< 30塊,ITB磁盤2行≤6塊;極端情況:300GB磁盤30塊、ITB磁盤6塊)失效,而不會(huì)發(fā)生數(shù)據(jù)丟失事件,且總可用容量近50 %,進(jìn)而保證數(shù)據(jù)儲(chǔ)存系統(tǒng)的正常工作。
[0148]本實(shí)施例中提供的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),存儲(chǔ)在云端a行32列的存儲(chǔ)媒介陣列的電力大數(shù)據(jù),保障數(shù)據(jù)具有一定的私密性,需經(jīng)過Reed-Muller碼編譯碼,Reed-Muller碼的碼長(zhǎng)n = 32bits、信息位k = 16bits、最小漢明距離dmin = 8,才能正確識(shí)讀。
[0149]本實(shí)施例中,電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元、a行32列的存儲(chǔ)媒介陣列、電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼譯碼處理單元和云存儲(chǔ)控制管理單元通過通信傳輸系統(tǒng)連接,部署在同一地理位置。
[0150] 本實(shí)施例中提供的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),存儲(chǔ)在云端a行32列的存儲(chǔ)媒介陣列的電力大數(shù)據(jù),能夠保障數(shù)據(jù)的完整性,所述讀出控制管理單元報(bào)告電力大數(shù)據(jù)塊子塊α’,j’)的差錯(cuò)和糾錯(cuò)情況、哈希函數(shù)摘要信息hash (i,j)與hash(i’,j’)比對(duì)結(jié)果,hash(i, j) = hash(i’,j’)則表示能夠保證電力大數(shù)據(jù)塊子塊(i,j)的數(shù)據(jù)完整性。否則,電力大數(shù)據(jù)塊子塊(i’,j’)有被篡改或偽造的可能。
[0151]二、以某電力公司業(yè)務(wù)大數(shù)據(jù)災(zāi)害備份云儲(chǔ)存系統(tǒng)為例
[0152]電力公司業(yè)務(wù)數(shù)據(jù)包括為電力生產(chǎn)數(shù)據(jù)和企業(yè)管理數(shù)據(jù),電力公司業(yè)務(wù)數(shù)據(jù)災(zāi)害備份存貯系統(tǒng),地位非常重要。
[0153]本實(shí)施例的系統(tǒng)中,電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元、a行32列的存儲(chǔ)媒介陣列、電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼譯碼處理單元和云存儲(chǔ)控制管理單元通過通信傳輸系統(tǒng)連接,部署在同一或不同的地理位置。
[0154]大數(shù)據(jù)儲(chǔ)存系統(tǒng)具有存儲(chǔ)容量的擴(kuò)展性,a行32列的存儲(chǔ)媒介陣列結(jié)構(gòu)能整行擴(kuò)展,a為正整數(shù),每行存儲(chǔ)媒介單元的容量相同,仍然能夠保持N-3的容故障性。
[0155]本實(shí)施例中將該電力公司27個(gè)下屬單位的多個(gè)640GB磁盤進(jìn)行有機(jī)組合,組成I個(gè)云存儲(chǔ)池,即27個(gè)地點(diǎn)、每個(gè)地點(diǎn)32塊640GB磁盤。
[0156]相當(dāng)于以640GB磁盤為存儲(chǔ)媒介單元而組成32列27行的a行32列的存儲(chǔ)媒介陣列,容量為32*27*640GB = 552.96TB,從而以較低的成本獲得與昂貴大容量存儲(chǔ)媒介相當(dāng)?shù)娜萘俊⑿阅芎涂煽啃?,并使用的Reed-Muller碼編譯碼技術(shù)和哈希函數(shù)摘要技術(shù),每一行的32個(gè)存儲(chǔ)媒介單元中允許同時(shí)發(fā)生任意< 3個(gè)存儲(chǔ)媒介單元失效(即N-3),且a =27行允許同時(shí)發(fā)生< 3a = 81個(gè)存儲(chǔ)媒介單元(即每行< 3塊、27行< 81塊,極端情況:640GB磁盤81塊)失效,而不會(huì)發(fā)生數(shù)據(jù)丟失事件,且總可用容量近50 %,進(jìn)而保證數(shù)據(jù)儲(chǔ)存系統(tǒng)正常工作。針對(duì)電力系統(tǒng)數(shù)據(jù)儲(chǔ)存系統(tǒng),其創(chuàng)造性體現(xiàn)在以下方面,保持和恢復(fù)設(shè)備的運(yùn)行力度,減少事故發(fā)生,降低經(jīng)濟(jì)損失,優(yōu)化運(yùn)行維護(hù)資源,實(shí)現(xiàn)該電力公司業(yè)務(wù)大數(shù)據(jù)災(zāi)害備份的云儲(chǔ)存功能。
[0157]本實(shí)施例中提供的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),存儲(chǔ)在云端a行32列的存儲(chǔ)媒介陣列的電力大數(shù)據(jù),保障數(shù)據(jù)具有一定的私密性,需經(jīng)過Reed-Muller碼編譯碼,Reed-Muller碼的碼長(zhǎng)n = 32bits、信息位k = 16bits、最小漢明距離dmin = 8,才能正確識(shí)讀。
[0158]本實(shí)施例中,電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元、a行32列的存儲(chǔ)媒介陣列、電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼譯碼處理單元和云存儲(chǔ)控制管理單元通過通信傳輸系統(tǒng)連接,部署在不同的地理位置,電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元和a行32列的存儲(chǔ)媒介陣列部署于同一處,電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼譯碼處理單元和云存儲(chǔ)控制管理單元部署于同一處。
[0159]本實(shí)施例中提供的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),存儲(chǔ)在云端a行32列的存儲(chǔ)媒介陣列的電力大數(shù)據(jù),能夠保障數(shù)據(jù)的完整性,所述讀出控制管理單元報(bào)告電力大數(shù)據(jù)塊子塊(i’,j’)的差錯(cuò)和糾錯(cuò)情況、哈希函數(shù)摘要信息hash (i,j)與hash(i’,j’)比對(duì)結(jié)果,hash(i, j) = hash(i’,j’)則表示能夠保證電力大數(shù)據(jù)塊子塊(i,j)的數(shù)據(jù)完整性。否則,電力大數(shù)據(jù)塊子塊(i’,j’)有被篡改或偽造的可能。
[0160]最后應(yīng)當(dāng)說明的是:以上實(shí)施例僅用于說明本申請(qǐng)的技術(shù)方案而非對(duì)其保護(hù)范圍的限制,盡管參照上述實(shí)施例對(duì)本申請(qǐng)進(jìn)行了詳細(xì)的說明,所屬領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:本領(lǐng)域技術(shù)人員閱讀本申請(qǐng)后依然可對(duì)申請(qǐng)的【具體實(shí)施方式】進(jìn)行種種變更、修改或者等同替換,但這些變更、修改或者等同替換,均在申請(qǐng)待批的權(quán)利要求保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種具備容N-3存儲(chǔ)媒介失效的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),其特征在于:所述系統(tǒng)包括依次連接的電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元、寫入通信傳輸通道、a行32列的存儲(chǔ)媒介陣列、讀出通信傳輸通道和電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼譯碼處理單兀; 云存儲(chǔ)控制管理單元分別與所述電力大數(shù)據(jù)塊的[32,16,8]Reed-MUller碼編碼處理單元、寫入通信傳輸通道、a行32列的存儲(chǔ)媒介陣列、讀出通信傳輸通道和電力大數(shù)據(jù)塊的[32,16,8] Reed-Muller碼譯碼處理單元連接。
2.如權(quán)利要求1所述的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),其特征在于:所述電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元包括依次連接的電力大數(shù)據(jù)塊預(yù)處理單元、[32,16,8]Reed-Muller碼編碼器、串/并變換器、輸入緩存器和生成電力大數(shù)據(jù)塊子塊單元; 寫入控制管理單元分別與所述電力大數(shù)據(jù)塊預(yù)處理單元、[32,16,8]Reed-Muller碼編碼器、串/并變換器、輸入緩存器和生成電力大數(shù)據(jù)塊子塊單元連接。
3.如權(quán)利要求1所述的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),其特征在于:所述電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼譯碼處理單元包括依次連接的匯聚電力大數(shù)據(jù)塊的子塊單元、輸出緩存器、并/串變換 器、[32,16,8]Reed-Muller碼譯碼器和電力大數(shù)據(jù)塊后處理單元; 讀出控制管理單元分別與所述匯聚電力大數(shù)據(jù)塊的子塊單元、輸出緩存器、并/串變換器、[32,16,8]Reed-Muller碼譯碼器和電力大數(shù)據(jù)塊后處理單元連接。
4.如權(quán)利要求1所述的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),其特征在于:所述云存儲(chǔ)控制管理單元為所述電力大數(shù)據(jù)塊的[32,16,8]Reed-MUller碼編碼處理單元、寫入通信傳輸通道、a行32列的存儲(chǔ)媒介陣列、讀出通信傳輸通道和電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼譯碼處理單元提供時(shí)鐘信號(hào); 所述云存儲(chǔ)控制管理單元根據(jù)待存儲(chǔ)的電力大數(shù)據(jù)塊的大小確定所述a行32列的存儲(chǔ)媒介陣列中的存儲(chǔ)媒介單元的容量大小,所述a行32列的存儲(chǔ)媒介陣列中的每行均對(duì)應(yīng)一個(gè)Reed-Muller碼的碼組,a為正整數(shù)。
5.如權(quán)利要求1-3任一所述的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),其特征在于:所述電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元和所述電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼譯碼處理單元分別運(yùn)用Reed-Muller碼寫入和讀取數(shù)據(jù),所述Reed-Muller碼的碼長(zhǎng)η為32bits、信息位k為16bits、最小漢明距離dmin為8 ; 所述云存儲(chǔ)控制管理單元根據(jù)待存儲(chǔ)的電力大數(shù)據(jù)塊的信息生成相應(yīng)的目錄信息,所述目錄信息根據(jù)所述電力大數(shù)據(jù)塊的[32,16,8]Reed-MUller碼編碼處理單元的處理結(jié)果獲得; 所述目錄信息包括所述電力大數(shù)據(jù)塊對(duì)應(yīng)的a行32列的存儲(chǔ)媒介陣列的行值a、32 X a個(gè)電力大數(shù)據(jù)塊子塊的位置信息及其對(duì)應(yīng)的哈希函數(shù)摘要信息;位于第j列第i行的電力大數(shù)據(jù)塊子塊的所述位置信息為(i,j),對(duì)應(yīng)的所述哈希函數(shù)摘要信息為hash(i,j),1≤j≤32,1≤i≤a,; 所述云存儲(chǔ)控制管理單元將32Xa個(gè)電力大數(shù)據(jù)塊子塊的所述位置信息(i,j)、所述哈希函數(shù)摘要信息hash(i,j)和所述a行32列的存儲(chǔ)媒介陣列相應(yīng)的存儲(chǔ)位置信息發(fā)送至所述電力大數(shù)據(jù)塊的[32,16,8]Reed-MUller碼譯碼處理單元,I≤j,≤32,I≤i,≤a。
6.如權(quán)利要求2所述的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),其特征在于:所述寫入控制管理單元為所述電力大數(shù)據(jù)塊預(yù)處理單元、[32,16,8]Reed-Muller碼編碼器、串/并變換器、輸入緩存器和生成電力大數(shù)據(jù)塊子塊提供時(shí)鐘信號(hào),生成第j列第i行的電力大數(shù)據(jù)塊子塊位置信息(i,j)及所述電力大數(shù)據(jù)塊子塊的哈希函數(shù)摘要信息hash(i,j),l≤j≤32,I≤i≤a,a為正整數(shù); 所述電力大數(shù)據(jù)塊預(yù)處理單元用于對(duì)待處理的所述電力大數(shù)據(jù)塊進(jìn)行預(yù)處理,使之變成16bytes的整倍數(shù);所述預(yù)處理方法包括:將待處理的電力大數(shù)據(jù)塊除以16bytes,獲得余數(shù)為C,若c = O,則所述電力大數(shù)據(jù)塊尾部不添加“O”,若c Φ O,則待存儲(chǔ)的所述電力大數(shù)據(jù)塊在尾部添加(16-c)bytes的“O”,所述c取I~15任一整數(shù); 所述[32,16,8]Reed-MulIer碼編碼器為將16bits的數(shù)據(jù)信息編碼為32bits的Reed-Muller碼的編碼器;所述Reed-Muller碼的碼長(zhǎng)η為32bits、信息位k為16bits、最小漢明距離dmin為8 ; 所述串/并變換器為將I路串行信息變換為32路并行信息的變換器; 所述輸入緩存器為32路并行的先進(jìn)先出的緩存器; 所述生成電力大數(shù)據(jù)塊子塊單元根據(jù)待存儲(chǔ)的X bytes字節(jié)的電力大數(shù)據(jù)塊生成32 X a個(gè)電力大數(shù)據(jù)塊子塊,a為正整數(shù)。
7.如權(quán)利要求1所述的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),其特征在于:所述寫入通信傳輸通道和所述讀出通信傳輸通道用于32路電力大數(shù)據(jù)塊子塊的傳輸,32列a行的32Xa個(gè)電力大數(shù)據(jù)塊子塊的32列對(duì)應(yīng)32路; 所述寫入通信傳輸通道和所述讀出通信傳輸通道為電纜、光纖或無線通信傳輸通道。
8.如權(quán)利要求1所述的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),其特征在于:所述a行32列的存儲(chǔ)媒介陣列為用于存儲(chǔ)電力大數(shù)據(jù)塊、包括a行32列的存儲(chǔ)單元的存儲(chǔ)媒介陣列,a為正整數(shù); 待存儲(chǔ)電力大數(shù)據(jù)塊大小不同,對(duì)應(yīng)的行值a和存儲(chǔ)單元容量不同;所述存儲(chǔ)單元包括相同或不同大小的磁盤、硬盤、磁帶和/或光盤。
9.如權(quán)利要求1或8所述的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),其特征在于:對(duì)應(yīng)同一待存儲(chǔ)電力大數(shù)據(jù)塊,所述a行32列的存儲(chǔ)媒介陣列中的存儲(chǔ)媒介為相同結(jié)構(gòu)的存儲(chǔ)單元,a為正整數(shù)。
10.如權(quán)利要求3所述的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),其特征在于:所述讀出控制管理單元為所述匯聚電力大數(shù)據(jù)塊的子塊單元、輸出緩存器、并/串變換器、[32,16,8]Reed-Muller碼譯碼器和電力大數(shù)據(jù)塊后處理單元提供時(shí)鐘信號(hào),生成第j’列第i’行的電力大數(shù)據(jù)塊子塊位置信息(i’,j’),I < j’ < 32,I ^ i' ^ a,對(duì)應(yīng)的所述電力大數(shù)據(jù)塊子塊的哈希函數(shù)摘要信息為hash; 所述匯聚電力大數(shù)據(jù)塊的子塊單元根據(jù)待存儲(chǔ)的X bytes字節(jié)的電力大數(shù)據(jù)塊生成32 X a個(gè)電力大數(shù)據(jù)塊子塊,a為正整數(shù); 所述輸出緩存器為32路并行的先進(jìn)先出的緩存器; 所述并/串變換器將32路并行信息變換為I路串行信息的變換器; 所述[32, 16,8]Reed-Muller 碼譯碼器為將 32bits 的 Reed-Muller 碼譯碼為 16bits的數(shù)據(jù)信息的譯碼器;所述Reed-Muller碼的碼長(zhǎng)η為32bits、信息位k為16bits、最小漢明距離(Iniin為8 ; 所述電力大數(shù)據(jù)塊后處理單元用于對(duì)待讀出的所述電力大數(shù)據(jù)塊以字節(jié)為單位進(jìn)行后處理; 所述后處理方法包括:檢測(cè)所述電力大數(shù)據(jù)塊的尾部,以字節(jié)為單位,若其尾部有連續(xù)(16-c) bytes的O,則刪除所述連續(xù)(16_c) bytes的“O”,若所述尾部無連續(xù)(16_c) bytes的“O”,則不做刪除處理;所述c取1~15任一整數(shù),對(duì)應(yīng)同一所述電力大數(shù)據(jù)塊,與所述電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼編碼處理單元中的電力大數(shù)據(jù)塊預(yù)處理單元中對(duì)應(yīng)的c取值相同。
11.如權(quán)利要求1所述的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),其特征在于:所述電力大數(shù)據(jù)塊的[32,16,8] Reed-Muller碼編碼處理單元、a行32列的存儲(chǔ)媒介陣列、電力大數(shù)據(jù)塊的[32,16,8]Reed-Muller碼譯碼處理單元和云存儲(chǔ)控制管理單元通過通信傳輸系統(tǒng)連接。
12.如權(quán)利要求1所述的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),其特征在于:所述大數(shù)據(jù)儲(chǔ)存系統(tǒng)具有存儲(chǔ)容量的擴(kuò)展性,a行32列的存儲(chǔ)媒介陣列結(jié)構(gòu)能整行擴(kuò)展,a為正整數(shù),每行存儲(chǔ)媒介單元的容量相同,仍然能夠保持具備容N-3存儲(chǔ)媒介失效的能力。
13.如權(quán)利要求1、2、3、4、5、6、9、10、11、12任一所述的電力大數(shù)據(jù)云儲(chǔ)存系統(tǒng),其特征在于:所述[32,16, 8]Reed-Muller碼Reed-Muller碼的碼長(zhǎng)η為32bits、信息位k為16bits、最小漢明距離dmin為8。
【文檔編號(hào)】H04L29/08GK103957265SQ201410190619
【公開日】2014年7月30日 申請(qǐng)日期:2014年5月7日 優(yōu)先權(quán)日:2014年5月7日
【發(fā)明者】苗新 申請(qǐng)人:國(guó)家電網(wǎng)公司, 中國(guó)電力科學(xué)研究院