亚洲狠狠干,亚洲国产福利精品一区二区,国产八区,激情文学亚洲色图

一種基于深度置信網(wǎng)絡(luò)的電力系統(tǒng)負(fù)荷預(yù)測(cè)方法及裝置與流程

文檔序號(hào):12064665閱讀:584來(lái)源:國(guó)知局
一種基于深度置信網(wǎng)絡(luò)的電力系統(tǒng)負(fù)荷預(yù)測(cè)方法及裝置與流程

本發(fā)明的實(shí)施例涉及電力系統(tǒng)領(lǐng)域,尤其涉及一種基于深度置信網(wǎng)絡(luò)的電力系統(tǒng)負(fù)荷預(yù)測(cè)方法及裝置。



背景技術(shù):

電力系統(tǒng)負(fù)荷預(yù)測(cè)是電力系統(tǒng)規(guī)劃的重要組成部分,也是電力系統(tǒng)經(jīng)濟(jì)運(yùn)行的基礎(chǔ),它從已知的用電需求出發(fā),充分考慮政治、經(jīng)濟(jì)、氣候等相關(guān)因素的影響,預(yù)測(cè)未來(lái)的用電需求。精確的負(fù)荷預(yù)測(cè)數(shù)據(jù)有助于電網(wǎng)調(diào)度控制和安全運(yùn)行,制定合理的電源建設(shè)規(guī)劃以及提高電力系統(tǒng)的經(jīng)濟(jì)效益和社會(huì)效益。在負(fù)荷預(yù)測(cè)中,常采用回歸模型、時(shí)間序列預(yù)測(cè)技術(shù)和灰色理論預(yù)測(cè)技術(shù)等方法。近年來(lái),隨著人工神經(jīng)網(wǎng)絡(luò)研究的興起,利用神經(jīng)網(wǎng)絡(luò)進(jìn)行電力系統(tǒng)負(fù)荷預(yù)測(cè),使預(yù)測(cè)誤差有很大的降低,引起負(fù)荷預(yù)測(cè)工作者的高度重視。

現(xiàn)有技術(shù)中利用傳統(tǒng)神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行電力系統(tǒng)的負(fù)荷預(yù)測(cè)。然而,傳統(tǒng)神經(jīng)網(wǎng)絡(luò)是一種典型的全局逼近網(wǎng)絡(luò),網(wǎng)絡(luò)的一個(gè)或多個(gè)權(quán)值對(duì)每個(gè)輸出都有影響;另一方面,網(wǎng)絡(luò)在確定權(quán)值時(shí)具有隨機(jī)性,導(dǎo)致每次訓(xùn)練后輸入、輸出間的關(guān)系不定,預(yù)測(cè)結(jié)果存在差異??梢?jiàn)現(xiàn)有技術(shù)的方案存在收斂速度慢且預(yù)測(cè)誤差大的問(wèn)題。



技術(shù)實(shí)現(xiàn)要素:

本發(fā)明的實(shí)施例提供一種基于深度置信網(wǎng)絡(luò)的電力系統(tǒng)負(fù)荷預(yù)測(cè)方法及裝置,能夠提高收斂速度,降低預(yù)測(cè)誤差。

為了達(dá)成上述目的,本申請(qǐng)的實(shí)施例采用如下技術(shù)方案:

第一方面,提供一種基于DBN的電力系統(tǒng)負(fù)荷預(yù)測(cè)方法,DBN由多層受限玻爾茲曼機(jī)RBM構(gòu)成,包括至少一個(gè)隱層和一個(gè)可見(jiàn)層,所述電力系統(tǒng)負(fù)荷預(yù)測(cè)方法包括:

獲取訓(xùn)練樣本和測(cè)試樣本;構(gòu)造RBM模型的能量函數(shù);

利用所述訓(xùn)練樣本逐層訓(xùn)練所述至少一個(gè)隱層和可見(jiàn)層,得到所述訓(xùn)練樣本在所述至少一個(gè)隱層和可見(jiàn)層節(jié)點(diǎn)間的權(quán)值;

將由所述訓(xùn)練樣本得到的輸出數(shù)據(jù),以及所述測(cè)試樣本輸入經(jīng)過(guò)訓(xùn)練后的DBN,得到對(duì)電力系統(tǒng)負(fù)荷的預(yù)測(cè)值。

第二方面,提供一種基于DBN的電力系統(tǒng)負(fù)荷預(yù)測(cè)裝置,用于執(zhí)行第一方面所提供的方法。

本發(fā)明的實(shí)施例所提供的基于深度置信網(wǎng)絡(luò)的電力系統(tǒng)負(fù)荷預(yù)測(cè)方法及裝置,利用多層受限玻爾茲曼機(jī)構(gòu)成深度置信網(wǎng)絡(luò),包括若干隱層和一個(gè)可見(jiàn)層,可以通過(guò)采用層次無(wú)監(jiān)督貪婪預(yù)訓(xùn)練方法分層預(yù)訓(xùn)練RBM,并將得到的結(jié)果作為監(jiān)督學(xué)習(xí)訓(xùn)練概率模型的初始值,從而極大改善學(xué)習(xí)性能,提高收斂速度,降低預(yù)測(cè)誤差。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單地介紹,顯而易見(jiàn)地,下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明的實(shí)施例所提供的基于深度置信網(wǎng)絡(luò)的電力系統(tǒng)負(fù)荷預(yù)測(cè)方法流程示意圖;

圖2為RBM包括一個(gè)可見(jiàn)層和一個(gè)隱含層時(shí)的說(shuō)明示意圖;

圖3為本發(fā)明的實(shí)施例中對(duì)三種模型不同結(jié)構(gòu)下的最優(yōu)錯(cuò)誤識(shí)別率的說(shuō)明示意圖;

圖4本發(fā)明的實(shí)施例中對(duì)平均絕對(duì)百分誤差隨迭代次數(shù)變化的曲線圖;

圖5本發(fā)明的實(shí)施例所提供的基于DBN的電力系統(tǒng)負(fù)荷預(yù)測(cè)裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。

針對(duì)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的負(fù)荷預(yù)測(cè)收斂速度慢,預(yù)測(cè)誤差大的問(wèn)題,本文提出一種基于深度置信網(wǎng)絡(luò)(英文全稱:Deep Belief Network,英文簡(jiǎn)稱:DBN)的電力系統(tǒng)負(fù)荷預(yù)測(cè)方案,結(jié)合圖1所示,該方法包括以下步驟:

101、獲取訓(xùn)練樣本和測(cè)試樣本。

102、構(gòu)造RBM模型的能量函數(shù)。

103、利用訓(xùn)練樣本逐層訓(xùn)練至少一個(gè)隱層和可見(jiàn)層,得到訓(xùn)練樣本在至少一個(gè)隱層和可見(jiàn)層節(jié)點(diǎn)間的權(quán)值。

104、將由訓(xùn)練樣本得到的輸出數(shù)據(jù),以及測(cè)試樣本輸入經(jīng)過(guò)訓(xùn)練后的DBN,得到對(duì)電力系統(tǒng)負(fù)荷的預(yù)測(cè)值。

本發(fā)明的具體實(shí)施例中,DBN由多層受限玻爾茲曼機(jī)(英文全稱:Restricted Boltzmann Machine,RBM)構(gòu)成,包括至少一個(gè)隱層和一個(gè)可見(jiàn)層,通過(guò)采用層次無(wú)監(jiān)督貪婪預(yù)訓(xùn)練方法分層預(yù)訓(xùn)練RBM,并將得到的結(jié)果作為監(jiān)督學(xué)習(xí)訓(xùn)練概率模型的初始值,從而極大改善學(xué)習(xí)性能,說(shuō)明如下:

一、數(shù)據(jù)預(yù)處理

S1、對(duì)訓(xùn)練樣本進(jìn)行預(yù)處理:

假設(shè)所有訓(xùn)練樣本為X={X1,X2,...,XM},其中Xi表示一組負(fù)荷數(shù)據(jù),M表示負(fù)荷數(shù)據(jù)的個(gè)數(shù),對(duì)于輸入樣本,算法采用4個(gè)步驟進(jìn)行歸一化:

①計(jì)算均值:

其中,u表示樣本的均值。

②計(jì)算方差:

其中,δ表示樣本的方差。

③白化:

其中,Xi'表示樣本數(shù)據(jù)的白化參數(shù)。

④歸一化:

其中,Xi,n表示樣本數(shù)據(jù)的歸一化參數(shù);

S2、對(duì)測(cè)試樣本進(jìn)行預(yù)處理:

測(cè)試樣本的預(yù)處理需要將其按照訓(xùn)練樣本的均值和方差白化,然后按照訓(xùn)練樣本的最大、最小值均勻歸一化到0到1之間,假設(shè)單個(gè)測(cè)試樣本為T(mén),則歸一化步驟為:

①白化:

其中,T'表示測(cè)試樣本數(shù)據(jù)的白化參數(shù),T為單個(gè)測(cè)試樣本,u表示訓(xùn)練樣本的均值,δ表示訓(xùn)練樣本的方差。

②歸一化:

其中,Tn表示測(cè)試樣本數(shù)據(jù)的歸一化參數(shù)。

此處,白化的原因是因?yàn)樽匀粩?shù)據(jù)相鄰元素之間有較大的相關(guān)性,因此通過(guò)白化可以降低數(shù)據(jù)的冗余性,類似于主成分分析(英文全稱:Principal Component Analysis,英文間稱:PCA)降維。

二、深度置信網(wǎng)絡(luò)的基本原理及構(gòu)成

DBN是一種能量模型,它的特征學(xué)習(xí)能力非常強(qiáng)大,是一種很早便得到研究的深度網(wǎng)絡(luò)。其學(xué)習(xí)方法是由Hinton等人提出的,實(shí)質(zhì)是通過(guò)構(gòu)建具有很多隱層的機(jī)器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù),來(lái)學(xué)習(xí)更有用的特征,從而最終提升分類或預(yù)測(cè)的準(zhǔn)確性。

DBN可以看成由多層RBM構(gòu)成的復(fù)雜神經(jīng)網(wǎng)絡(luò),它包括一個(gè)可見(jiàn)層和若干隱層,采用對(duì)比散度的方法訓(xùn)練RBM的預(yù)權(quán)值。深度神經(jīng)網(wǎng)絡(luò)用層次無(wú)監(jiān)督貪婪預(yù)訓(xùn)練方法分層預(yù)訓(xùn)練RBM,將得到的結(jié)果作為監(jiān)督學(xué)習(xí)訓(xùn)練概率模型的初始值,學(xué)習(xí)性能得到很大改善。

RBM是生成式的隨機(jī)神經(jīng)網(wǎng)絡(luò),用來(lái)學(xué)習(xí)關(guān)于輸入數(shù)據(jù)的概率分布,可以根據(jù)需要使用在監(jiān)督和非監(jiān)督兩種方式訓(xùn)練,其在很多方面都有廣泛運(yùn)用。如圖2所示RBM有兩層網(wǎng)絡(luò)分別表示為:向量h=(h1,h2,…h(huán)m)表示隱層單元,共有m個(gè)元素;向量v=(v1,v2,…,vn)表示可見(jiàn)層,共有n個(gè)元素。因?yàn)閷觾?nèi)部元素之間是無(wú)連接的,所以層內(nèi)各個(gè)元素之間是互相獨(dú)立的,即有:

p(h|v)=p(h1|v)p(h2|v)…p(hm|v);

p(v|h)=p(v1|h)p(v2|h)…p(vn|h)。

一般可見(jiàn)層和隱層單元的分布滿足伯努利形式,那么有:

由此可知,通過(guò)每一層的概率分布就可以求出整個(gè)模型的概率分布,從而可以逐層進(jìn)行無(wú)監(jiān)督的訓(xùn)練。將下層RBM的輸出作為上層RBM的輸入。直到最后一層隱含層,將最后一層隱含層輸入到softmax分類器,然后計(jì)算估計(jì)誤差進(jìn)行反向微調(diào)。

S3、構(gòu)造RBM模型的能量函數(shù):

隱層和可見(jiàn)層的滿足伯努利分布的RBM模型的能量函數(shù)定義為:

其中,ai和bj表示偏置項(xiàng),wij表示可見(jiàn)單元與隱層單元之間的連接權(quán)值。θ=(a,b,w)是RBM模型的權(quán)值參數(shù),向量h=(h1,h2,…h(huán)m)表示隱層單元,共有m個(gè)元素,向量v=(v1,v2,…,vn)表示可見(jiàn)層,共有n個(gè)元素。

S4、計(jì)算可見(jiàn)層、隱層單元的聯(lián)合概率分布:

給定模型參數(shù),可見(jiàn)、隱層單元的聯(lián)合概率分布可以表示為:

其中,是一個(gè)歸一化因子,-E(v,h)是隱層和可見(jiàn)層的RBM模型的能量函數(shù),向量h=(h1,h2,…h(huán)m)表示隱層單元,共有m個(gè)元素。

根據(jù)式(7)和式(8)可以推導(dǎo)出:

式中,

S5、計(jì)算可見(jiàn)層與隱層的邊緣分布:

根據(jù)可見(jiàn)層與隱層的聯(lián)合概率分布P(v,h),可以得到邊緣分布:

其中,是一個(gè)歸一化因子,E(v,h)是隱層和可見(jiàn)層的RBM模型的能量函數(shù),向量h=(h1,h2,…h(huán)m)表示隱層單元,共有m個(gè)元素。

S6、構(gòu)造對(duì)數(shù)似然函數(shù)為:

其中,l是訓(xùn)練樣本的數(shù)目,θ=(a,b,w)是RBM模型的權(quán)值參數(shù),P(vi)是可見(jiàn)層與隱層的邊緣分布。

S7、計(jì)算對(duì)數(shù)似然函數(shù)的梯度:

根據(jù)梯度下降法對(duì)對(duì)數(shù)似然函數(shù)進(jìn)行求導(dǎo),可得:

整理可得:

其中,lnL(θ)是對(duì)數(shù)似然函數(shù),l是訓(xùn)練樣本的數(shù)目,θ=(a,b,w)是RBM模型的權(quán)值參數(shù),P(h|vi)是可見(jiàn)層與隱層的邊緣分布,E(v,h)是隱層和可見(jiàn)層的RBM模型的能量函數(shù),P(h,vi)是可見(jiàn)層、隱層單元的聯(lián)合概率分布。

三、利用深度置信網(wǎng)絡(luò)預(yù)測(cè)電力系統(tǒng)負(fù)荷的流程

對(duì)于深度學(xué)習(xí)來(lái)說(shuō),其思想就是對(duì)堆疊多個(gè)層,也就是說(shuō)這一層的輸出作為下一層的輸入。比如有一個(gè)系統(tǒng)S,它有n層(S1,…Sn),它的輸入是I,輸出是O,可表示為:I=>S1=>S2=>…..=>Sn=>O,通過(guò)調(diào)整系統(tǒng)中參數(shù),使得輸出O仍然是輸入I,那么就可以自動(dòng)地獲取得到輸入I的一系列層次特征,即S1,…,Sn。通過(guò)這種方式,可以實(shí)現(xiàn)對(duì)輸入信息進(jìn)行分級(jí)表達(dá)。利用深度置信網(wǎng)絡(luò)預(yù)測(cè)電力系統(tǒng)負(fù)荷的過(guò)程本質(zhì)上就是一個(gè)深度學(xué)習(xí)的過(guò)程。

利用深度置信網(wǎng)絡(luò)預(yù)測(cè)電力系統(tǒng)負(fù)荷的流程為:采用對(duì)比散度的方法訓(xùn)練RBM的預(yù)權(quán)值。通過(guò)分析,算法采用三層隱含層,并采用層次無(wú)監(jiān)督貪婪預(yù)訓(xùn)練方法分層預(yù)訓(xùn)練RBM,將得到的結(jié)果作為監(jiān)督學(xué)習(xí)訓(xùn)練概率模型的初始值,從而提高學(xué)習(xí)性能。仿真數(shù)據(jù)顯示,與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法相比,該算法收斂快,預(yù)測(cè)誤差小。

①采用對(duì)比散度的方法訓(xùn)練RBM的預(yù)權(quán)值。KL-散度是非對(duì)稱度量,所以KL(Q||P)與KL(P||Q)的值是不同的。兩個(gè)分布的差別越大,KL-散度的值也越大。RBM模型的對(duì)數(shù)似然函數(shù)的最大值最終演化為計(jì)算兩個(gè)概率分布的KL-散度之差:

KL(Q||P)-KL(Pk||P) (式15)

其中,Q是先驗(yàn)分布,Pk是k步Gibbs采樣后的分布。若Gibbs鏈達(dá)到平穩(wěn)狀態(tài)(由于初始狀態(tài)v(0)=v,已經(jīng)為平穩(wěn)狀態(tài)),則有Pk=P,也即KL(Pk||P)=0。這樣對(duì)比散度算法得到的估計(jì)誤差等于0。

②將得到的結(jié)果作為監(jiān)督學(xué)習(xí)訓(xùn)練概率模型的初始值,相對(duì)熵又稱為KL-散度常用來(lái)衡量?jī)蓚€(gè)概率分布的距離。兩個(gè)概率Q和P分布在狀態(tài)空間中的KL-散度定義如下:

KL(Q||P)是兩個(gè)概率Q和P分布在狀態(tài)空間中的KL-散度。

③將得到的預(yù)權(quán)值和初始值作為輸入數(shù)據(jù),傳遞至下一層,在下一層中再進(jìn)行訓(xùn)練。每次訓(xùn)練一層網(wǎng)絡(luò),逐層訓(xùn)練。具體的,先用無(wú)標(biāo)定數(shù)據(jù)訓(xùn)練第一層,訓(xùn)練時(shí)先學(xué)習(xí)第一層的參數(shù)(這一層可以看作是得到一個(gè)使得輸出和輸入差別最小的三層神經(jīng)網(wǎng)絡(luò)的隱層),在學(xué)習(xí)得到第n-1層后,將n-1層的輸出作為第n層的輸入,訓(xùn)練第n層,由此分別得到各層的參數(shù)。因此,訓(xùn)練過(guò)程就是一個(gè)重復(fù)迭代的過(guò)程。當(dāng)所有層訓(xùn)練完后,使用wake-sleep算法進(jìn)行調(diào)優(yōu)。

wake階段:認(rèn)知過(guò)程,通過(guò)外界的特征和向上的權(quán)重(認(rèn)知權(quán)重)產(chǎn)生每一層的抽象表示(結(jié)點(diǎn)狀態(tài)),并且使用梯度下降修改層間的下行權(quán)重(生成權(quán)重)。

sleep階段:生成過(guò)程,通過(guò)頂層表示和向下權(quán)重,生成底層的狀態(tài),同時(shí)修改層間向上的權(quán)重。

④在預(yù)訓(xùn)練后,DBN可以通過(guò)利用帶標(biāo)簽數(shù)據(jù)用BP算法去對(duì)判別性能做調(diào)整。在這里,一個(gè)標(biāo)簽集將被附加到頂層(推廣聯(lián)想記憶),通過(guò)一個(gè)自下向上的,學(xué)習(xí)到的識(shí)別權(quán)值獲得一個(gè)網(wǎng)絡(luò)的分類面。這個(gè)性能會(huì)比單純的BP算法訓(xùn)練的網(wǎng)絡(luò)好。這可以很直觀的解釋,DBNs的BP算法只需要對(duì)權(quán)值參數(shù)空間進(jìn)行一個(gè)局部的搜索,這相比前向神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō),訓(xùn)練是要快的,而且收斂的時(shí)間也少。

⑤當(dāng)訓(xùn)練和調(diào)優(yōu)步驟結(jié)束后,在最高兩層(即最后一層隱層和可見(jiàn)層),權(quán)值被連接到一起,這樣更低層的輸出將會(huì)提供一個(gè)參考的線索或者關(guān)聯(lián)給頂層,這樣頂層就會(huì)將其聯(lián)系到它的記憶內(nèi)容。從而,進(jìn)行電力系統(tǒng)的負(fù)荷值預(yù)測(cè)。

在一種具體的實(shí)施方式中,S8:根據(jù)式16計(jì)算可見(jiàn)層、隱層兩個(gè)概率Q和P分布在狀態(tài)空間中的KL-散度;S9:根據(jù)式15將RBM模型的對(duì)數(shù)似然函數(shù)的最大值最終演化為計(jì)算兩個(gè)概率分布Q和P的KL-散度之差。S10:S1-S9是通過(guò)RBM模型對(duì)訓(xùn)練樣本進(jìn)行分層訓(xùn)練,得到訓(xùn)練樣本在可見(jiàn)層節(jié)點(diǎn)和隱層節(jié)點(diǎn)間的權(quán)值,權(quán)值從隱層輸入到可見(jiàn)層,可見(jiàn)層會(huì)記憶該權(quán)值內(nèi)容并得出訓(xùn)練樣本的負(fù)荷預(yù)測(cè)值,用于電力系統(tǒng)的負(fù)荷的預(yù)測(cè)過(guò)程。S11、測(cè)試樣本加上S10得到的訓(xùn)練樣本的平均負(fù)荷值、最大負(fù)荷值、平均氣溫、數(shù)值天氣預(yù)報(bào)的預(yù)測(cè)日平均氣溫作為深度神經(jīng)網(wǎng)絡(luò)算法的輸入數(shù)據(jù),通過(guò)S1-S9的計(jì)算,輸出的數(shù)據(jù)即是預(yù)測(cè)電力系統(tǒng)的負(fù)荷值。

四、實(shí)驗(yàn)設(shè)置

負(fù)荷測(cè)試使用EUNITE競(jìng)賽所提供的東斯洛伐克電力公司2007年1月~10月負(fù)荷數(shù)據(jù)作訓(xùn)練數(shù)據(jù),11月~12月數(shù)據(jù)用作預(yù)測(cè)對(duì)比數(shù)據(jù)。其中神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)包括:前一天48個(gè)采樣點(diǎn)(每半小時(shí)的平均負(fù)荷數(shù)據(jù))、前一天的平均溫度、前一天負(fù)荷峰值、前一天負(fù)荷谷值、前一天平均值、預(yù)測(cè)日平均溫度。預(yù)測(cè)算法一次性預(yù)測(cè)第二天的48點(diǎn)數(shù)據(jù)。

在負(fù)荷預(yù)測(cè)的應(yīng)用中,一般需要0小時(shí)~24小時(shí)內(nèi)每半小時(shí)的負(fù)荷預(yù)測(cè)數(shù)據(jù),算法取預(yù)測(cè)日前一天0點(diǎn)~24點(diǎn)一共48個(gè)歷史數(shù)據(jù),加上預(yù)測(cè)日前一天平均負(fù)荷值、最大負(fù)荷值、平均氣溫、數(shù)值天氣預(yù)報(bào)的預(yù)測(cè)日平均氣溫作為深度神經(jīng)網(wǎng)絡(luò)算法的輸入數(shù)據(jù)。輸出數(shù)據(jù)是預(yù)測(cè)日0點(diǎn)~24點(diǎn)每半小時(shí)的負(fù)荷數(shù)據(jù)。

為了比較算法性能,選用了BP神經(jīng)網(wǎng)絡(luò)、自組織模糊神經(jīng)網(wǎng)絡(luò)(英文全稱:Self-organizing Fuzzy Neural Network,英文簡(jiǎn)稱:SOFNN)和深度置信網(wǎng)絡(luò)進(jìn)行對(duì)比。BP神經(jīng)網(wǎng)絡(luò)具有良好的捕捉非線性規(guī)律的特性,當(dāng)隱層的神經(jīng)元足夠多時(shí),3層感知器模型可以實(shí)現(xiàn)任何非線性函數(shù)的逼近。SOFNN算法的主要優(yōu)點(diǎn)在于能夠自動(dòng)地決定網(wǎng)絡(luò)結(jié)構(gòu)并且給出模型參數(shù),具有很好的預(yù)測(cè)精度。

評(píng)判標(biāo)準(zhǔn)為平均絕對(duì)百分誤差(MAPE),定義如下:

其中,Di和分別為1997年某月第i天最大負(fù)荷的真實(shí)值和預(yù)測(cè)值,n為1997年某月的天數(shù)。

五、性能評(píng)價(jià)

(1)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)算法性能的影響

首先,實(shí)驗(yàn)研究網(wǎng)絡(luò)結(jié)構(gòu)(隱含層即神經(jīng)元數(shù)目)對(duì)預(yù)測(cè)效果的影響,取2007年1月~10月負(fù)荷數(shù)據(jù)作訓(xùn)練數(shù)據(jù),11月負(fù)荷數(shù)據(jù)作為測(cè)試數(shù)據(jù)。網(wǎng)絡(luò)結(jié)構(gòu)分別使用1、2、3層隱含層。神經(jīng)元數(shù)目分別使用20、50、100、200、400。此處,為方便比較,每層的神經(jīng)元數(shù)目相同。對(duì)于初始參數(shù)的設(shè)置,下列參數(shù)的選擇將從這些范圍內(nèi)手動(dòng)選擇以獲取最優(yōu)識(shí)別率:BP學(xué)習(xí)率(0.1,0.05,0.02,0.01,0.005),預(yù)訓(xùn)練學(xué)習(xí)率(0.01,0.005,0.002,0.001)。圖3顯示了三種模型不同結(jié)構(gòu)下的最優(yōu)錯(cuò)誤識(shí)別率。由圖3可知,當(dāng)隱含層數(shù)較少或者神經(jīng)元個(gè)數(shù)較少時(shí)沒(méi)有經(jīng)過(guò)預(yù)訓(xùn)練的BP網(wǎng)絡(luò)性能較優(yōu),當(dāng)只有1層隱含層時(shí),神經(jīng)元個(gè)數(shù)達(dá)到200時(shí)SOFNN的錯(cuò)誤率才和BP的相當(dāng),而當(dāng)隱含層數(shù)為2層和3層時(shí),神經(jīng)元個(gè)數(shù)達(dá)到100和50時(shí)SOFNN的性能就將接近并超過(guò)BP。DBN也同樣,可以發(fā)現(xiàn)神經(jīng)元數(shù)目較少的情況下SOFNN的性能與DBN相比較優(yōu),神經(jīng)元數(shù)目較多的情況下則相反。并且當(dāng)隱含層數(shù)相同時(shí),因?yàn)檫^(guò)擬合問(wèn)題。BP網(wǎng)絡(luò)的性能并不是隨著節(jié)點(diǎn)個(gè)數(shù)遞增,當(dāng)節(jié)點(diǎn)數(shù)過(guò)多時(shí)反而下降,而深度模型則一直遞增并趨于穩(wěn)定,這說(shuō)明經(jīng)過(guò)預(yù)訓(xùn)練的深度網(wǎng)絡(luò)的性能隨著網(wǎng)絡(luò)規(guī)模的擴(kuò)大(包括隱含層數(shù)增多或節(jié)點(diǎn)數(shù)增多)是逐漸優(yōu)化的。可以看到,過(guò)少的隱含層數(shù)及隱含節(jié)點(diǎn)數(shù)會(huì)降低深度模型的性能。原因可以這樣解釋,預(yù)訓(xùn)練模型的作用是提取輸入特征中的核心特征,由于稀疏性條件的限制,假設(shè)神經(jīng)元個(gè)數(shù)過(guò)少,對(duì)于一些輸入樣本的輸入,只有少量的神經(jīng)元被激活,而這些特征無(wú)法代表原始的輸入,因此丟失了一些信息量,造成了性能的下降。雖然網(wǎng)絡(luò)規(guī)模越大深度模型的性能越好,但同時(shí)訓(xùn)練時(shí)間也加長(zhǎng)了,因此需要在性能與訓(xùn)練時(shí)間進(jìn)行權(quán)衡。

(2)算法收斂性比較

圖4是平均絕對(duì)百分誤差隨迭代次數(shù)變化曲線。算法采用三層隱含層,每層100每層100個(gè)神經(jīng)元的模型。預(yù)訓(xùn)練時(shí)學(xué)習(xí)率都取0.01。微調(diào)時(shí)學(xué)習(xí)率取0.1,動(dòng)量項(xiàng)系數(shù)取0.5。2007年1月~11月負(fù)荷數(shù)據(jù)作訓(xùn)練數(shù)據(jù),12月負(fù)荷數(shù)據(jù)作為測(cè)試數(shù)據(jù)。比較迭代1000次下的BP、SOFNN、DBN的平均絕對(duì)百分誤差變化。

分析圖4可以看到隨著迭代次數(shù)的增加,三種模型的錯(cuò)誤率都逐漸下降,這是由于隨著訓(xùn)練次數(shù)增加網(wǎng)絡(luò)參數(shù)的分布越來(lái)越接近最小值點(diǎn)。但是BP網(wǎng)絡(luò)在達(dá)到一定的訓(xùn)練次數(shù)后錯(cuò)誤率出現(xiàn)震蕩并且有逐漸增加的趨勢(shì),而經(jīng)過(guò)預(yù)訓(xùn)練DBN網(wǎng)絡(luò)的錯(cuò)誤率穩(wěn)定下降,這間接的證明了預(yù)訓(xùn)練可以使網(wǎng)絡(luò)初始參數(shù)的分布區(qū)域更加接近最小值點(diǎn),并且有效地避免了局部震蕩。

負(fù)荷預(yù)測(cè)為配電網(wǎng)管理決策和運(yùn)行方式提供了重要依據(jù)。本發(fā)明提出采用深度置信網(wǎng)絡(luò)的負(fù)荷預(yù)測(cè)算法,改進(jìn)現(xiàn)有神經(jīng)網(wǎng)絡(luò)算法學(xué)習(xí)速率較慢,預(yù)測(cè)效率低的問(wèn)題。仿真結(jié)果顯示,相比于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法,基于深度置信網(wǎng)絡(luò)的算法的電力負(fù)荷預(yù)測(cè)效果明顯。

本發(fā)明的實(shí)施例還提供一種基于DBN的電力系統(tǒng)負(fù)荷預(yù)測(cè)裝置,用于執(zhí)行上述實(shí)施例中所描述的電力系統(tǒng)負(fù)荷預(yù)測(cè)方法,結(jié)合圖5所示,電力系統(tǒng)負(fù)荷預(yù)測(cè)裝置包括:

數(shù)據(jù)處理單元501,用于獲取訓(xùn)練樣本和測(cè)試樣本;構(gòu)造RBM模型的能量函數(shù);

訓(xùn)練單元502,用于利用訓(xùn)練樣本逐層訓(xùn)練至少一個(gè)隱層和可見(jiàn)層,得到訓(xùn)練樣本在至少一個(gè)隱層和可見(jiàn)層節(jié)點(diǎn)間的權(quán)值;

預(yù)測(cè)單元503,用于將由訓(xùn)練樣本得到的輸出數(shù)據(jù),以及測(cè)試樣本輸入經(jīng)過(guò)訓(xùn)練后的DBN,得到對(duì)電力系統(tǒng)負(fù)荷的預(yù)測(cè)值。

可選的,數(shù)據(jù)處理單元501,還用于對(duì)由負(fù)荷數(shù)據(jù)Xi構(gòu)成的訓(xùn)練樣本X={X1,X2,...,XM}進(jìn)行歸一化;其中Xi表示一組負(fù)荷數(shù)據(jù),M表示負(fù)荷數(shù)據(jù)的個(gè)數(shù);還用于將測(cè)試樣本按照訓(xùn)練樣本的均值和方差白化,并按照訓(xùn)練樣本的最大、最小值均勻歸一化到0到1之間。

可選的,可見(jiàn)層和隱層單元的分布滿足伯努利形式;

數(shù)據(jù)處理單元501所定義的可見(jiàn)層和隱層的滿足伯努利分布的RBM模型的能量函數(shù)為:

其中,ai和bj表示偏置項(xiàng),wij表示可見(jiàn)單元與隱層單元之間的連接權(quán)值。θ=(a,b,w)是RBM模型的權(quán)值參數(shù),向量h=(h1,h2,…h(huán)m)表示隱層單元,共有m個(gè)元素,向量v=(v1,v2,…,vn)表示可見(jiàn)層,共有n個(gè)元素。

可選的,訓(xùn)練單元502,具體用于采用對(duì)比散度的裝置訓(xùn)練RBM的預(yù)權(quán)值,將得到的結(jié)果作為監(jiān)督學(xué)習(xí)訓(xùn)練概率模型的初始值;將得到的預(yù)權(quán)值和初始值作為輸入數(shù)據(jù),傳遞至下一層網(wǎng)絡(luò),在下一層網(wǎng)絡(luò)中再進(jìn)行訓(xùn)練;每次訓(xùn)練一層網(wǎng)絡(luò),逐層訓(xùn)練至少一個(gè)隱層和可見(jiàn)層。

可選的,由訓(xùn)練樣本得到的輸出數(shù)據(jù),至少包括訓(xùn)練樣本的平均負(fù)荷值、最大負(fù)荷值、平均氣溫、數(shù)值天氣預(yù)報(bào)的預(yù)測(cè)日平均氣溫。

本發(fā)明的實(shí)施例所提供的基于深度置信網(wǎng)絡(luò)的電力系統(tǒng)負(fù)荷預(yù)測(cè)方法及裝置,利用多層受限玻爾茲曼機(jī)構(gòu)成深度置信網(wǎng)絡(luò),包括若干隱層和一個(gè)可見(jiàn)層,可以通過(guò)采用層次無(wú)監(jiān)督貪婪預(yù)訓(xùn)練方法分層預(yù)訓(xùn)練RBM,并將得到的結(jié)果作為監(jiān)督學(xué)習(xí)訓(xùn)練概率模型的初始值,從而極大改善學(xué)習(xí)性能,提高收斂速度,降低預(yù)測(cè)誤差,改進(jìn)現(xiàn)有神經(jīng)網(wǎng)絡(luò)算法學(xué)習(xí)速率較慢,預(yù)測(cè)效率低的問(wèn)題。仿真結(jié)果顯示,相比于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法,基于深度置信網(wǎng)絡(luò)的算法的電力負(fù)荷預(yù)測(cè)效果明顯。

以上,僅為本發(fā)明的具體實(shí)施方式,但本發(fā)明的保護(hù)范圍并不局限于此,任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi),可輕易想到變化或替換,都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此,本發(fā)明的保護(hù)范圍應(yīng)以權(quán)利要求的保護(hù)范圍為準(zhǔn)。

當(dāng)前第1頁(yè)1 2 3 
網(wǎng)友詢問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1