本發(fā)明的實(shí)施例涉及電力系統(tǒng)領(lǐng)域，尤其涉及一種基于深度置信網(wǎng)絡(luò)的電力系統(tǒng)負(fù)荷預(yù)測(cè)方法及裝置。

背景技術(shù)：

電力系統(tǒng)負(fù)荷預(yù)測(cè)是電力系統(tǒng)規(guī)劃的重要組成部分，也是電力系統(tǒng)經(jīng)濟(jì)運(yùn)行的基礎(chǔ)，它從已知的用電需求出發(fā)，充分考慮政治、經(jīng)濟(jì)、氣候等相關(guān)因素的影響，預(yù)測(cè)未來(lái)的用電需求。精確的負(fù)荷預(yù)測(cè)數(shù)據(jù)有助于電網(wǎng)調(diào)度控制和安全運(yùn)行，制定合理的電源建設(shè)規(guī)劃以及提高電力系統(tǒng)的經(jīng)濟(jì)效益和社會(huì)效益。在負(fù)荷預(yù)測(cè)中，常采用回歸模型、時(shí)間序列預(yù)測(cè)技術(shù)和灰色理論預(yù)測(cè)技術(shù)等方法。近年來(lái)，隨著人工神經(jīng)網(wǎng)絡(luò)研究的興起，利用神經(jīng)網(wǎng)絡(luò)進(jìn)行電力系統(tǒng)負(fù)荷預(yù)測(cè)，使預(yù)測(cè)誤差有很大的降低，引起負(fù)荷預(yù)測(cè)工作者的高度重視。

現(xiàn)有技術(shù)中利用傳統(tǒng)神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行電力系統(tǒng)的負(fù)荷預(yù)測(cè)。然而，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)是一種典型的全局逼近網(wǎng)絡(luò)，網(wǎng)絡(luò)的一個(gè)或多個(gè)權(quán)值對(duì)每個(gè)輸出都有影響；另一方面，網(wǎng)絡(luò)在確定權(quán)值時(shí)具有隨機(jī)性，導(dǎo)致每次訓(xùn)練后輸入、輸出間的關(guān)系不定，預(yù)測(cè)結(jié)果存在差異?？梢?jiàn)現(xiàn)有技術(shù)的方案存在收斂速度慢且預(yù)測(cè)誤差大的問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的實(shí)施例提供一種基于深度置信網(wǎng)絡(luò)的電力系統(tǒng)負(fù)荷預(yù)測(cè)方法及裝置，能夠提高收斂速度，降低預(yù)測(cè)誤差。

為了達(dá)成上述目的，本申請(qǐng)的實(shí)施例采用如下技術(shù)方案：

第一方面，提供一種基于DBN的電力系統(tǒng)負(fù)荷預(yù)測(cè)方法，DBN由多層受限玻爾茲曼機(jī)RBM構(gòu)成，包括至少一個(gè)隱層和一個(gè)可見(jiàn)層，所述電力系統(tǒng)負(fù)荷預(yù)測(cè)方法包括：

獲取訓(xùn)練樣本和測(cè)試樣本；構(gòu)造RBM模型的能量函數(shù)；

利用所述訓(xùn)練樣本逐層訓(xùn)練所述至少一個(gè)隱層和可見(jiàn)層，得到所述訓(xùn)練樣本在所述至少一個(gè)隱層和可見(jiàn)層節(jié)點(diǎn)間的權(quán)值；

將由所述訓(xùn)練樣本得到的輸出數(shù)據(jù)，以及所述測(cè)試樣本輸入經(jīng)過(guò)訓(xùn)練后的DBN，得到對(duì)電力系統(tǒng)負(fù)荷的預(yù)測(cè)值。

第二方面，提供一種基于DBN的電力系統(tǒng)負(fù)荷預(yù)測(cè)裝置，用于執(zhí)行第一方面所提供的方法。

本發(fā)明的實(shí)施例所提供的基于深度置信網(wǎng)絡(luò)的電力系統(tǒng)負(fù)荷預(yù)測(cè)方法及裝置，利用多層受限玻爾茲曼機(jī)構(gòu)成深度置信網(wǎng)絡(luò)，包括若干隱層和一個(gè)可見(jiàn)層，可以通過(guò)采用層次無(wú)監(jiān)督貪婪預(yù)訓(xùn)練方法分層預(yù)訓(xùn)練RBM，并將得到的結(jié)果作為監(jiān)督學(xué)習(xí)訓(xùn)練概率模型的初始值，從而極大改善學(xué)習(xí)性能，提高收斂速度，降低預(yù)測(cè)誤差。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明的實(shí)施例所提供的基于深度置信網(wǎng)絡(luò)的電力系統(tǒng)負(fù)荷預(yù)測(cè)方法流程示意圖；

圖2為RBM包括一個(gè)可見(jiàn)層和一個(gè)隱含層時(shí)的說(shuō)明示意圖；

圖3為本發(fā)明的實(shí)施例中對(duì)三種模型不同結(jié)構(gòu)下的最優(yōu)錯(cuò)誤識(shí)別率的說(shuō)明示意圖；

圖4本發(fā)明的實(shí)施例中對(duì)平均絕對(duì)百分誤差隨迭代次數(shù)變化的曲線圖；

圖5本發(fā)明的實(shí)施例所提供的基于DBN的電力系統(tǒng)負(fù)荷預(yù)測(cè)裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

針對(duì)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的負(fù)荷預(yù)測(cè)收斂速度慢，預(yù)測(cè)誤差大的問(wèn)題，本文提出一種基于深度置信網(wǎng)絡(luò)(英文全稱：Deep Belief Network，英文簡(jiǎn)稱：DBN)的電力系統(tǒng)負(fù)荷預(yù)測(cè)方案，結(jié)合圖1所示，該方法包括以下步驟：

101、獲取訓(xùn)練樣本和測(cè)試樣本。

102、構(gòu)造RBM模型的能量函數(shù)。

103、利用訓(xùn)練樣本逐層訓(xùn)練至少一個(gè)隱層和可見(jiàn)層，得到訓(xùn)練樣本在至少一個(gè)隱層和可見(jiàn)層節(jié)點(diǎn)間的權(quán)值。

104、將由訓(xùn)練樣本得到的輸出數(shù)據(jù)，以及測(cè)試樣本輸入經(jīng)過(guò)訓(xùn)練后的DBN，得到對(duì)電力系統(tǒng)負(fù)荷的預(yù)測(cè)值。

本發(fā)明的具體實(shí)施例中，DBN由多層受限玻爾茲曼機(jī)(英文全稱：Restricted Boltzmann Machine，RBM)構(gòu)成，包括至少一個(gè)隱層和一個(gè)可見(jiàn)層，通過(guò)采用層次無(wú)監(jiān)督貪婪預(yù)訓(xùn)練方法分層預(yù)訓(xùn)練RBM，并將得到的結(jié)果作為監(jiān)督學(xué)習(xí)訓(xùn)練概率模型的初始值，從而極大改善學(xué)習(xí)性能，說(shuō)明如下：

一、數(shù)據(jù)預(yù)處理

S1、對(duì)訓(xùn)練樣本進(jìn)行預(yù)處理：

假設(shè)所有訓(xùn)練樣本為X＝{X₁,X₂,...,X_M}，其中X_i表示一組負(fù)荷數(shù)據(jù)，M表示負(fù)荷數(shù)據(jù)的個(gè)數(shù)，對(duì)于輸入樣本，算法采用4個(gè)步驟進(jìn)行歸一化：

①計(jì)算均值：

其中，u表示樣本的均值。

②計(jì)算方差：

其中，δ表示樣本的方差。

③白化：

其中，X_i'表示樣本數(shù)據(jù)的白化參數(shù)。

④歸一化：

其中，X_i,n表示樣本數(shù)據(jù)的歸一化參數(shù)；

S2、對(duì)測(cè)試樣本進(jìn)行預(yù)處理：

測(cè)試樣本的預(yù)處理需要將其按照訓(xùn)練樣本的均值和方差白化，然后按照訓(xùn)練樣本的最大、最小值均勻歸一化到0到1之間，假設(shè)單個(gè)測(cè)試樣本為T(mén)，則歸一化步驟為：

①白化：

其中，T'表示測(cè)試樣本數(shù)據(jù)的白化參數(shù)，T為單個(gè)測(cè)試樣本，u表示訓(xùn)練樣本的均值，δ表示訓(xùn)練樣本的方差。

②歸一化：

其中，T_n表示測(cè)試樣本數(shù)據(jù)的歸一化參數(shù)。

此處，白化的原因是因?yàn)樽匀粩?shù)據(jù)相鄰元素之間有較大的相關(guān)性，因此通過(guò)白化可以降低數(shù)據(jù)的冗余性，類似于主成分分析(英文全稱：Principal Component Analysis，英文間稱：PCA)降維。

二、深度置信網(wǎng)絡(luò)的基本原理及構(gòu)成

DBN是一種能量模型，它的特征學(xué)習(xí)能力非常強(qiáng)大，是一種很早便得到研究的深度網(wǎng)絡(luò)。其學(xué)習(xí)方法是由Hinton等人提出的，實(shí)質(zhì)是通過(guò)構(gòu)建具有很多隱層的機(jī)器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，來(lái)學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測(cè)的準(zhǔn)確性。

DBN可以看成由多層RBM構(gòu)成的復(fù)雜神經(jīng)網(wǎng)絡(luò)，它包括一個(gè)可見(jiàn)層和若干隱層，采用對(duì)比散度的方法訓(xùn)練RBM的預(yù)權(quán)值。深度神經(jīng)網(wǎng)絡(luò)用層次無(wú)監(jiān)督貪婪預(yù)訓(xùn)練方法分層預(yù)訓(xùn)練RBM，將得到的結(jié)果作為監(jiān)督學(xué)習(xí)訓(xùn)練概率模型的初始值，學(xué)習(xí)性能得到很大改善。

RBM是生成式的隨機(jī)神經(jīng)網(wǎng)絡(luò)，用來(lái)學(xué)習(xí)關(guān)于輸入數(shù)據(jù)的概率分布，可以根據(jù)需要使用在監(jiān)督和非監(jiān)督兩種方式訓(xùn)練，其在很多方面都有廣泛運(yùn)用。如圖2所示RBM有兩層網(wǎng)絡(luò)分別表示為：向量h＝(h₁,h₂,…h(huán)_m)表示隱層單元，共有m個(gè)元素；向量v＝(v₁,v₂,…,v_n)表示可見(jiàn)層，共有n個(gè)元素。因?yàn)閷觾?nèi)部元素之間是無(wú)連接的，所以層內(nèi)各個(gè)元素之間是互相獨(dú)立的，即有：

p(h|v)＝p(h₁|v)p(h₂|v)…p(h_m|v)；

p(v|h)＝p(v₁|h)p(v₂|h)…p(v_n|h)。

一般可見(jiàn)層和隱層單元的分布滿足伯努利形式，那么有：

由此可知，通過(guò)每一層的概率分布就可以求出整個(gè)模型的概率分布，從而可以逐層進(jìn)行無(wú)監(jiān)督的訓(xùn)練。將下層RBM的輸出作為上層RBM的輸入。直到最后一層隱含層，將最后一層隱含層輸入到softmax分類器，然后計(jì)算估計(jì)誤差進(jìn)行反向微調(diào)。

S3、構(gòu)造RBM模型的能量函數(shù)：

隱層和可見(jiàn)層的滿足伯努利分布的RBM模型的能量函數(shù)定義為：

其中，a_i和b_j表示偏置項(xiàng)，w_ij表示可見(jiàn)單元與隱層單元之間的連接權(quán)值。θ＝(a,b,w)是RBM模型的權(quán)值參數(shù)，向量h＝(h₁,h₂,…h(huán)_m)表示隱層單元，共有m個(gè)元素，向量v＝(v₁,v₂,…,v_n)表示可見(jiàn)層，共有n個(gè)元素。

S4、計(jì)算可見(jiàn)層、隱層單元的聯(lián)合概率分布：

給定模型參數(shù)，可見(jiàn)、隱層單元的聯(lián)合概率分布可以表示為：

其中，是一個(gè)歸一化因子，-E(v,h)是隱層和可見(jiàn)層的RBM模型的能量函數(shù)，向量h＝(h₁,h₂,…h(huán)_m)表示隱層單元，共有m個(gè)元素。

根據(jù)式(7)和式(8)可以推導(dǎo)出：

式中，

S5、計(jì)算可見(jiàn)層與隱層的邊緣分布：

根據(jù)可見(jiàn)層與隱層的聯(lián)合概率分布P(v,h)，可以得到邊緣分布：

其中，是一個(gè)歸一化因子，E(v,h)是隱層和可見(jiàn)層的RBM模型的能量函數(shù)，向量h＝(h₁,h₂,…h(huán)_m)表示隱層單元，共有m個(gè)元素。

S6、構(gòu)造對(duì)數(shù)似然函數(shù)為：

其中，l是訓(xùn)練樣本的數(shù)目，θ＝(a,b,w)是RBM模型的權(quán)值參數(shù)，P(v_i)是可見(jiàn)層與隱層的邊緣分布。

S7、計(jì)算對(duì)數(shù)似然函數(shù)的梯度：

根據(jù)梯度下降法對(duì)對(duì)數(shù)似然函數(shù)進(jìn)行求導(dǎo)，可得：

整理可得：

其中，lnL(θ)是對(duì)數(shù)似然函數(shù)，l是訓(xùn)練樣本的數(shù)目，θ＝(a,b,w)是RBM模型的權(quán)值參數(shù)，P(h|v_i)是可見(jiàn)層與隱層的邊緣分布，E(v,h)是隱層和可見(jiàn)層的RBM模型的能量函數(shù)，P(h,v_i)是可見(jiàn)層、隱層單元的聯(lián)合概率分布。

三、利用深度置信網(wǎng)絡(luò)預(yù)測(cè)電力系統(tǒng)負(fù)荷的流程

對(duì)于深度學(xué)習(xí)來(lái)說(shuō)，其思想就是對(duì)堆疊多個(gè)層，也就是說(shuō)這一層的輸出作為下一層的輸入。比如有一個(gè)系統(tǒng)S，它有n層(S1,…Sn)，它的輸入是I，輸出是O，可表示為：I＝>S1＝>S2＝>…..＝>Sn＝>O，通過(guò)調(diào)整系統(tǒng)中參數(shù)，使得輸出O仍然是輸入I，那么就可以自動(dòng)地獲取得到輸入I的一系列層次特征，即S1，…,Sn。通過(guò)這種方式，可以實(shí)現(xiàn)對(duì)輸入信息進(jìn)行分級(jí)表達(dá)。利用深度置信網(wǎng)絡(luò)預(yù)測(cè)電力系統(tǒng)負(fù)荷的過(guò)程本質(zhì)上就是一個(gè)深度學(xué)習(xí)的過(guò)程。

利用深度置信網(wǎng)絡(luò)預(yù)測(cè)電力系統(tǒng)負(fù)荷的流程為：采用對(duì)比散度的方法訓(xùn)練RBM的預(yù)權(quán)值。通過(guò)分析，算法采用三層隱含層，并采用層次無(wú)監(jiān)督貪婪預(yù)訓(xùn)練方法分層預(yù)訓(xùn)練RBM，將得到的結(jié)果作為監(jiān)督學(xué)習(xí)訓(xùn)練概率模型的初始值，從而提高學(xué)習(xí)性能。仿真數(shù)據(jù)顯示，與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法相比，該算法收斂快，預(yù)測(cè)誤差小。

①采用對(duì)比散度的方法訓(xùn)練RBM的預(yù)權(quán)值。KL-散度是非對(duì)稱度量，所以KL(Q||P)與KL(P||Q)的值是不同的。兩個(gè)分布的差別越大，KL-散度的值也越大。RBM模型的對(duì)數(shù)似然函數(shù)的最大值最終演化為計(jì)算兩個(gè)概率分布的KL-散度之差：

KL(Q||P)-KL(P_k||P) (式15)

其中，Q是先驗(yàn)分布，P_k是k步Gibbs采樣后的分布。若Gibbs鏈達(dá)到平穩(wěn)狀態(tài)(由于初始狀態(tài)v⁽⁰⁾＝v，已經(jīng)為平穩(wěn)狀態(tài))，則有P_k＝P，也即KL(P_k||P)＝0。這樣對(duì)比散度算法得到的估計(jì)誤差等于0。

②將得到的結(jié)果作為監(jiān)督學(xué)習(xí)訓(xùn)練概率模型的初始值，相對(duì)熵又稱為KL-散度常用來(lái)衡量?jī)蓚€(gè)概率分布的距離。兩個(gè)概率Q和P分布在狀態(tài)空間中的KL-散度定義如下：

KL(Q||P)是兩個(gè)概率Q和P分布在狀態(tài)空間中的KL-散度。

③將得到的預(yù)權(quán)值和初始值作為輸入數(shù)據(jù)，傳遞至下一層，在下一層中再進(jìn)行訓(xùn)練。每次訓(xùn)練一層網(wǎng)絡(luò)，逐層訓(xùn)練。具體的，先用無(wú)標(biāo)定數(shù)據(jù)訓(xùn)練第一層，訓(xùn)練時(shí)先學(xué)習(xí)第一層的參數(shù)(這一層可以看作是得到一個(gè)使得輸出和輸入差別最小的三層神經(jīng)網(wǎng)絡(luò)的隱層)，在學(xué)習(xí)得到第n-1層后，將n-1層的輸出作為第n層的輸入，訓(xùn)練第n層，由此分別得到各層的參數(shù)。因此，訓(xùn)練過(guò)程就是一個(gè)重復(fù)迭代的過(guò)程。當(dāng)所有層訓(xùn)練完后，使用wake-sleep算法進(jìn)行調(diào)優(yōu)。

wake階段：認(rèn)知過(guò)程，通過(guò)外界的特征和向上的權(quán)重(認(rèn)知權(quán)重)產(chǎn)生每一層的抽象表示(結(jié)點(diǎn)狀態(tài))，并且使用梯度下降修改層間的下行權(quán)重(生成權(quán)重)。

sleep階段：生成過(guò)程，通過(guò)頂層表示和向下權(quán)重，生成底層的狀態(tài)，同時(shí)修改層間向上的權(quán)重。

④在預(yù)訓(xùn)練后，DBN可以通過(guò)利用帶標(biāo)簽數(shù)據(jù)用BP算法去對(duì)判別性能做調(diào)整。在這里，一個(gè)標(biāo)簽集將被附加到頂層(推廣聯(lián)想記憶)，通過(guò)一個(gè)自下向上的，學(xué)習(xí)到的識(shí)別權(quán)值獲得一個(gè)網(wǎng)絡(luò)的分類面。這個(gè)性能會(huì)比單純的BP算法訓(xùn)練的網(wǎng)絡(luò)好。這可以很直觀的解釋，DBNs的BP算法只需要對(duì)權(quán)值參數(shù)空間進(jìn)行一個(gè)局部的搜索，這相比前向神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，訓(xùn)練是要快的，而且收斂的時(shí)間也少。

⑤當(dāng)訓(xùn)練和調(diào)優(yōu)步驟結(jié)束后，在最高兩層(即最后一層隱層和可見(jiàn)層)，權(quán)值被連接到一起，這樣更低層的輸出將會(huì)提供一個(gè)參考的線索或者關(guān)聯(lián)給頂層，這樣頂層就會(huì)將其聯(lián)系到它的記憶內(nèi)容。從而，進(jìn)行電力系統(tǒng)的負(fù)荷值預(yù)測(cè)。

在一種具體的實(shí)施方式中，S8：根據(jù)式16計(jì)算可見(jiàn)層、隱層兩個(gè)概率Q和P分布在狀態(tài)空間中的KL-散度；S9：根據(jù)式15將RBM模型的對(duì)數(shù)似然函數(shù)的最大值最終演化為計(jì)算兩個(gè)概率分布Q和P的KL-散度之差。S10：S1-S9是通過(guò)RBM模型對(duì)訓(xùn)練樣本進(jìn)行分層訓(xùn)練，得到訓(xùn)練樣本在可見(jiàn)層節(jié)點(diǎn)和隱層節(jié)點(diǎn)間的權(quán)值，權(quán)值從隱層輸入到可見(jiàn)層，可見(jiàn)層會(huì)記憶該權(quán)值內(nèi)容并得出訓(xùn)練樣本的負(fù)荷預(yù)測(cè)值，用于電力系統(tǒng)的負(fù)荷的預(yù)測(cè)過(guò)程。S11、測(cè)試樣本加上S10得到的訓(xùn)練樣本的平均負(fù)荷值、最大負(fù)荷值、平均氣溫、數(shù)值天氣預(yù)報(bào)的預(yù)測(cè)日平均氣溫作為深度神經(jīng)網(wǎng)絡(luò)算法的輸入數(shù)據(jù)，通過(guò)S1-S9的計(jì)算，輸出的數(shù)據(jù)即是預(yù)測(cè)電力系統(tǒng)的負(fù)荷值。

四、實(shí)驗(yàn)設(shè)置

負(fù)荷測(cè)試使用EUNITE競(jìng)賽所提供的東斯洛伐克電力公司2007年1月～10月負(fù)荷數(shù)據(jù)作訓(xùn)練數(shù)據(jù)，11月～12月數(shù)據(jù)用作預(yù)測(cè)對(duì)比數(shù)據(jù)。其中神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)包括：前一天48個(gè)采樣點(diǎn)(每半小時(shí)的平均負(fù)荷數(shù)據(jù))、前一天的平均溫度、前一天負(fù)荷峰值、前一天負(fù)荷谷值、前一天平均值、預(yù)測(cè)日平均溫度。預(yù)測(cè)算法一次性預(yù)測(cè)第二天的48點(diǎn)數(shù)據(jù)。

在負(fù)荷預(yù)測(cè)的應(yīng)用中，一般需要0小時(shí)～24小時(shí)內(nèi)每半小時(shí)的負(fù)荷預(yù)測(cè)數(shù)據(jù)，算法取預(yù)測(cè)日前一天0點(diǎn)～24點(diǎn)一共48個(gè)歷史數(shù)據(jù)，加上預(yù)測(cè)日前一天平均負(fù)荷值、最大負(fù)荷值、平均氣溫、數(shù)值天氣預(yù)報(bào)的預(yù)測(cè)日平均氣溫作為深度神經(jīng)網(wǎng)絡(luò)算法的輸入數(shù)據(jù)。輸出數(shù)據(jù)是預(yù)測(cè)日0點(diǎn)～24點(diǎn)每半小時(shí)的負(fù)荷數(shù)據(jù)。

為了比較算法性能，選用了BP神經(jīng)網(wǎng)絡(luò)、自組織模糊神經(jīng)網(wǎng)絡(luò)(英文全稱：Self-organizing Fuzzy Neural Network，英文簡(jiǎn)稱：SOFNN)和深度置信網(wǎng)絡(luò)進(jìn)行對(duì)比。BP神經(jīng)網(wǎng)絡(luò)具有良好的捕捉非線性規(guī)律的特性，當(dāng)隱層的神經(jīng)元足夠多時(shí)，3層感知器模型可以實(shí)現(xiàn)任何非線性函數(shù)的逼近。SOFNN算法的主要優(yōu)點(diǎn)在于能夠自動(dòng)地決定網(wǎng)絡(luò)結(jié)構(gòu)并且給出模型參數(shù)，具有很好的預(yù)測(cè)精度。

評(píng)判標(biāo)準(zhǔn)為平均絕對(duì)百分誤差(MAPE)，定義如下：

其中，D_i和分別為1997年某月第i天最大負(fù)荷的真實(shí)值和預(yù)測(cè)值，n為1997年某月的天數(shù)。

五、性能評(píng)價(jià)

(1)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)算法性能的影響

首先，實(shí)驗(yàn)研究網(wǎng)絡(luò)結(jié)構(gòu)(隱含層即神經(jīng)元數(shù)目)對(duì)預(yù)測(cè)效果的影響，取2007年1月～10月負(fù)荷數(shù)據(jù)作訓(xùn)練數(shù)據(jù)，11月負(fù)荷數(shù)據(jù)作為測(cè)試數(shù)據(jù)。網(wǎng)絡(luò)結(jié)構(gòu)分別使用1、2、3層隱含層。神經(jīng)元數(shù)目分別使用20、50、100、200、400。此處，為方便比較，每層的神經(jīng)元數(shù)目相同。對(duì)于初始參數(shù)的設(shè)置，下列參數(shù)的選擇將從這些范圍內(nèi)手動(dòng)選擇以獲取最優(yōu)識(shí)別率：BP學(xué)習(xí)率(0.1，0.05，0.02，0.01，0.005)，預(yù)訓(xùn)練學(xué)習(xí)率(0.01，0.005，0.002，0.001)。圖3顯示了三種模型不同結(jié)構(gòu)下的最優(yōu)錯(cuò)誤識(shí)別率。由圖3可知，當(dāng)隱含層數(shù)較少或者神經(jīng)元個(gè)數(shù)較少時(shí)沒(méi)有經(jīng)過(guò)預(yù)訓(xùn)練的BP網(wǎng)絡(luò)性能較優(yōu)，當(dāng)只有1層隱含層時(shí)，神經(jīng)元個(gè)數(shù)達(dá)到200時(shí)SOFNN的錯(cuò)誤率才和BP的相當(dāng)，而當(dāng)隱含層數(shù)為2層和3層時(shí)，神經(jīng)元個(gè)數(shù)達(dá)到100和50時(shí)SOFNN的性能就將接近并超過(guò)BP。DBN也同樣，可以發(fā)現(xiàn)神經(jīng)元數(shù)目較少的情況下SOFNN的性能與DBN相比較優(yōu)，神經(jīng)元數(shù)目較多的情況下則相反。并且當(dāng)隱含層數(shù)相同時(shí)，因?yàn)檫^(guò)擬合問(wèn)題。BP網(wǎng)絡(luò)的性能并不是隨著節(jié)點(diǎn)個(gè)數(shù)遞增，當(dāng)節(jié)點(diǎn)數(shù)過(guò)多時(shí)反而下降，而深度模型則一直遞增并趨于穩(wěn)定，這說(shuō)明經(jīng)過(guò)預(yù)訓(xùn)練的深度網(wǎng)絡(luò)的性能隨著網(wǎng)絡(luò)規(guī)模的擴(kuò)大(包括隱含層數(shù)增多或節(jié)點(diǎn)數(shù)增多)是逐漸優(yōu)化的。可以看到，過(guò)少的隱含層數(shù)及隱含節(jié)點(diǎn)數(shù)會(huì)降低深度模型的性能。原因可以這樣解釋，預(yù)訓(xùn)練模型的作用是提取輸入特征中的核心特征，由于稀疏性條件的限制，假設(shè)神經(jīng)元個(gè)數(shù)過(guò)少，對(duì)于一些輸入樣本的輸入，只有少量的神經(jīng)元被激活，而這些特征無(wú)法代表原始的輸入，因此丟失了一些信息量，造成了性能的下降。雖然網(wǎng)絡(luò)規(guī)模越大深度模型的性能越好，但同時(shí)訓(xùn)練時(shí)間也加長(zhǎng)了，因此需要在性能與訓(xùn)練時(shí)間進(jìn)行權(quán)衡。

(2)算法收斂性比較

圖4是平均絕對(duì)百分誤差隨迭代次數(shù)變化曲線。算法采用三層隱含層，每層100每層100個(gè)神經(jīng)元的模型。預(yù)訓(xùn)練時(shí)學(xué)習(xí)率都取0.01。微調(diào)時(shí)學(xué)習(xí)率取0.1，動(dòng)量項(xiàng)系數(shù)取0.5。2007年1月～11月負(fù)荷數(shù)據(jù)作訓(xùn)練數(shù)據(jù)，12月負(fù)荷數(shù)據(jù)作為測(cè)試數(shù)據(jù)。比較迭代1000次下的BP、SOFNN、DBN的平均絕對(duì)百分誤差變化。

分析圖4可以看到隨著迭代次數(shù)的增加，三種模型的錯(cuò)誤率都逐漸下降，這是由于隨著訓(xùn)練次數(shù)增加網(wǎng)絡(luò)參數(shù)的分布越來(lái)越接近最小值點(diǎn)。但是BP網(wǎng)絡(luò)在達(dá)到一定的訓(xùn)練次數(shù)后錯(cuò)誤率出現(xiàn)震蕩并且有逐漸增加的趨勢(shì)，而經(jīng)過(guò)預(yù)訓(xùn)練DBN網(wǎng)絡(luò)的錯(cuò)誤率穩(wěn)定下降，這間接的證明了預(yù)訓(xùn)練可以使網(wǎng)絡(luò)初始參數(shù)的分布區(qū)域更加接近最小值點(diǎn)，并且有效地避免了局部震蕩。

負(fù)荷預(yù)測(cè)為配電網(wǎng)管理決策和運(yùn)行方式提供了重要依據(jù)。本發(fā)明提出采用深度置信網(wǎng)絡(luò)的負(fù)荷預(yù)測(cè)算法，改進(jìn)現(xiàn)有神經(jīng)網(wǎng)絡(luò)算法學(xué)習(xí)速率較慢，預(yù)測(cè)效率低的問(wèn)題。仿真結(jié)果顯示，相比于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法，基于深度置信網(wǎng)絡(luò)的算法的電力負(fù)荷預(yù)測(cè)效果明顯。

本發(fā)明的實(shí)施例還提供一種基于DBN的電力系統(tǒng)負(fù)荷預(yù)測(cè)裝置，用于執(zhí)行上述實(shí)施例中所描述的電力系統(tǒng)負(fù)荷預(yù)測(cè)方法，結(jié)合圖5所示，電力系統(tǒng)負(fù)荷預(yù)測(cè)裝置包括：

數(shù)據(jù)處理單元501，用于獲取訓(xùn)練樣本和測(cè)試樣本；構(gòu)造RBM模型的能量函數(shù)；

訓(xùn)練單元502，用于利用訓(xùn)練樣本逐層訓(xùn)練至少一個(gè)隱層和可見(jiàn)層，得到訓(xùn)練樣本在至少一個(gè)隱層和可見(jiàn)層節(jié)點(diǎn)間的權(quán)值；

預(yù)測(cè)單元503，用于將由訓(xùn)練樣本得到的輸出數(shù)據(jù)，以及測(cè)試樣本輸入經(jīng)過(guò)訓(xùn)練后的DBN，得到對(duì)電力系統(tǒng)負(fù)荷的預(yù)測(cè)值。

可選的，數(shù)據(jù)處理單元501，還用于對(duì)由負(fù)荷數(shù)據(jù)X_i構(gòu)成的訓(xùn)練樣本X＝{X₁,X₂,...,X_M}進(jìn)行歸一化；其中X_i表示一組負(fù)荷數(shù)據(jù)，M表示負(fù)荷數(shù)據(jù)的個(gè)數(shù)；還用于將測(cè)試樣本按照訓(xùn)練樣本的均值和方差白化，并按照訓(xùn)練樣本的最大、最小值均勻歸一化到0到1之間。

可選的，可見(jiàn)層和隱層單元的分布滿足伯努利形式；

數(shù)據(jù)處理單元501所定義的可見(jiàn)層和隱層的滿足伯努利分布的RBM模型的能量函數(shù)為：

其中，a_i和b_j表示偏置項(xiàng)，w_ij表示可見(jiàn)單元與隱層單元之間的連接權(quán)值。θ＝(a,b,w)是RBM模型的權(quán)值參數(shù)，向量h＝(h₁,h₂,…h(huán)_m)表示隱層單元，共有m個(gè)元素，向量v＝(v₁,v₂,…,v_n)表示可見(jiàn)層，共有n個(gè)元素。

可選的，訓(xùn)練單元502，具體用于采用對(duì)比散度的裝置訓(xùn)練RBM的預(yù)權(quán)值，將得到的結(jié)果作為監(jiān)督學(xué)習(xí)訓(xùn)練概率模型的初始值；將得到的預(yù)權(quán)值和初始值作為輸入數(shù)據(jù)，傳遞至下一層網(wǎng)絡(luò)，在下一層網(wǎng)絡(luò)中再進(jìn)行訓(xùn)練；每次訓(xùn)練一層網(wǎng)絡(luò)，逐層訓(xùn)練至少一個(gè)隱層和可見(jiàn)層。

可選的，由訓(xùn)練樣本得到的輸出數(shù)據(jù)，至少包括訓(xùn)練樣本的平均負(fù)荷值、最大負(fù)荷值、平均氣溫、數(shù)值天氣預(yù)報(bào)的預(yù)測(cè)日平均氣溫。

本發(fā)明的實(shí)施例所提供的基于深度置信網(wǎng)絡(luò)的電力系統(tǒng)負(fù)荷預(yù)測(cè)方法及裝置，利用多層受限玻爾茲曼機(jī)構(gòu)成深度置信網(wǎng)絡(luò)，包括若干隱層和一個(gè)可見(jiàn)層，可以通過(guò)采用層次無(wú)監(jiān)督貪婪預(yù)訓(xùn)練方法分層預(yù)訓(xùn)練RBM，并將得到的結(jié)果作為監(jiān)督學(xué)習(xí)訓(xùn)練概率模型的初始值，從而極大改善學(xué)習(xí)性能，提高收斂速度，降低預(yù)測(cè)誤差，改進(jìn)現(xiàn)有神經(jīng)網(wǎng)絡(luò)算法學(xué)習(xí)速率較慢，預(yù)測(cè)效率低的問(wèn)題。仿真結(jié)果顯示，相比于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法，基于深度置信網(wǎng)絡(luò)的算法的電力負(fù)荷預(yù)測(cè)效果明顯。

以上，僅為本發(fā)明的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)以權(quán)利要求的保護(hù)范圍為準(zhǔn)。