專利名稱：一種混合svm回歸算法的oin神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)據(jù)分析方法，尤其涉及一種混合SVM回歸算法的OIN神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法。
背景技術(shù)：
人工神經(jīng)網(wǎng)絡(luò)(ANN, Artificial Neural Network)是一種優(yōu)化的機(jī)器學(xué)習(xí)方法，并被廣泛應(yīng)用到各種數(shù)據(jù)分析領(lǐng)域中，來替代或補(bǔ)充基于多項(xiàng)式的回歸分析和分類?，F(xiàn)有的神經(jīng)網(wǎng)絡(luò)應(yīng)用只能限定在含有少量設(shè)計(jì)參數(shù)的簡(jiǎn)單設(shè)計(jì)中，其用于建模的所需數(shù)據(jù)集規(guī)模應(yīng)隨設(shè)計(jì)參數(shù)的數(shù)量呈幾何或指數(shù)級(jí)增加，因此，一個(gè)神經(jīng)元分析需要具有大量充分的密度分布和實(shí)驗(yàn)數(shù)據(jù)，而另一方面，計(jì)算成本也相應(yīng)增加，而在設(shè)計(jì)空間中的大量數(shù)據(jù)的低效利用也可能導(dǎo)致計(jì)算成本的過度浪費(fèi)。利用人工神經(jīng)網(wǎng)絡(luò)ANN來分析一個(gè)物理對(duì)象，優(yōu)化在特定物理環(huán)境對(duì)象的反應(yīng)，是非常常見的方法。人工神經(jīng)網(wǎng)絡(luò)ANN適合于多維數(shù)據(jù)的插補(bǔ)并提供合理的數(shù)學(xué)模型，即對(duì)現(xiàn)實(shí)的物理對(duì)象用復(fù)雜和精確的一系列數(shù)值解進(jìn)行表達(dá)和優(yōu)化。人工神經(jīng)網(wǎng)絡(luò)ANN尤其適合于需要滿足多個(gè)設(shè)計(jì)條件的情況。在人工神經(jīng)網(wǎng)絡(luò)ANN中，一個(gè)前向感知機(jī)人工神經(jīng)網(wǎng)絡(luò)(MLP ANN, MultilayerPerceptron Artificial Neural Network)是一種非線性估計(jì)技術(shù)。使用MLP ANN的困難來自于需要對(duì)連接權(quán)值進(jìn)行非線性優(yōu)化。當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)增大時(shí)，訓(xùn)練過程的成本可能非常高。因此，MLP ANN只適合小網(wǎng)絡(luò)，且MLP ANN的優(yōu)化主要是Newton法，這種算法的缺點(diǎn)是得到的優(yōu)化都是局部的，無法實(shí)現(xiàn)全局優(yōu)化。另外，某種程度上，MLP ANN采用Sigmoidal函數(shù)作為激活函數(shù)，這種函數(shù)在很多數(shù)據(jù)建模中不一定是最合適的基函數(shù)。為了減少底層函數(shù)和激活函數(shù)間的差異性，一些神經(jīng)網(wǎng)絡(luò)，例如RBF神經(jīng)網(wǎng)絡(luò)，提供了一個(gè)從輸入空間到特征空間的非線性轉(zhuǎn)化。這個(gè)高維的特征空間可以通過包含特征空間坐標(biāo)的kernel函數(shù)得到。從單變量輸入空間到輸出空間的全部映射就是特征空間的一個(gè)超平面。例如，對(duì)于一個(gè)需要具有線性項(xiàng)和二次項(xiàng)的輸出空間，輸入空間變量可以通過內(nèi)積的kernel函數(shù)模型來得到。這種方法需要具有特征空間中輸入和輸出間的函數(shù)關(guān)系的先驗(yàn)知識(shí)。為了解決人工神經(jīng)網(wǎng)絡(luò)ANN的局部最優(yōu)問題，一種常見的方法是采用支持向量機(jī)SVM的方法。SVM法原本應(yīng)用于統(tǒng)計(jì)學(xué)習(xí)理論，現(xiàn)在已經(jīng)被開發(fā)和應(yīng)用到各種分類和回歸問題中。SVM可以很好得解決稀疏訓(xùn)練數(shù)據(jù)集的問題，并且利用高維特征空間來解決非線性分類。另一個(gè)SVM的好處是目標(biāo)函數(shù)是凸包的，所以SVM得到的局部最優(yōu)解通常也是全局最優(yōu)解。這一點(diǎn)是多數(shù)神經(jīng)網(wǎng)絡(luò)所不具備的。然而，傳統(tǒng)SVM方法對(duì)特征空間，即kernel函數(shù)(如多項(xiàng)式、Gaussian等)的選擇也必須具有先驗(yàn)知識(shí)并預(yù)定義出來，而且當(dāng)訓(xùn)練數(shù)據(jù)集過大時(shí)，需要計(jì)算成本來劃分子集以實(shí)現(xiàn)模型的可用性。現(xiàn)有一種將ANN分析和SVM分析相結(jié)合的混合機(jī)制，可以滿足上述所有的需要。通過這種機(jī)制，學(xué)習(xí)過程不僅不需要提供對(duì)非線性函數(shù)的先驗(yàn)知識(shí)來實(shí)現(xiàn)非線性分析，而且利用了 SVM實(shí)現(xiàn)全局最優(yōu)的特點(diǎn)。但是根據(jù)該機(jī)制描述的輸出是由SVM分類算法直接得到的一個(gè)布爾型的類別值，而布爾值在很難應(yīng)用到神經(jīng)網(wǎng)絡(luò)的后向傳播過程中；因此，該機(jī)制并沒有具體指出ANN-SVM是如何進(jìn)行訓(xùn)練并如何實(shí)現(xiàn)權(quán)值修正。本發(fā)明適用于解決數(shù)據(jù)分析方面的相關(guān)問題，例如，圖像分割中的顏色恒常性問題，即在不同光照影響下的圖像分割問題，現(xiàn)有的圖像分割沒有利用學(xué)習(xí)算法，僅僅利用顏色空間的轉(zhuǎn)換，在復(fù)雜的光照影響下，達(dá)不到理想的要求。

發(fā)明內(nèi)容
本發(fā)明的目的就是為了解決上述問題，提出了一種混合SVM回歸算法的OIN神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法。該方法利用一種優(yōu)化的快速收斂MLP ANN算法一優(yōu)化輸入向量規(guī)格化神經(jīng)網(wǎng)絡(luò)(OIN, optimal input normalization)和SVM回歸算法相結(jié)合,實(shí)現(xiàn)多分類和回歸分析，是對(duì)現(xiàn)有SVM/ANN的機(jī)制具體實(shí)現(xiàn)和優(yōu)化。為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案一種混合SVM回歸算法的OIN神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，主要包括以下步驟Step (I):初始化部分，對(duì)輸入樣本值進(jìn)行歸一化，產(chǎn)生初始隱含層權(quán)值，并計(jì)算出隱含層神經(jīng)元的輸入值，根據(jù)隱含層神經(jīng)元采用的激活函數(shù)得到相應(yīng)的隱含層神經(jīng)元輸出值；Step (2):根據(jù)類別數(shù)M和原始樣本的類別，利用輸出重定向OR建立各個(gè)原始樣本相應(yīng)的MLP分類訓(xùn)練的M維理想分類向量；Step (3):根據(jù)類別數(shù)M建立M個(gè)SVM回歸分析模型，每個(gè)SVM回歸分析模型的輸入向量是Step (I)得到的隱含層神經(jīng)元輸出值，而每個(gè)SVM回歸分析模型的理想輸出值是Step (2)建立的M維理想分類向量的其中一個(gè)元素；Step (4) SVM回歸訓(xùn)練分別對(duì)M個(gè)SVM回歸分析模型進(jìn)行訓(xùn)練，得到M個(gè)SVM回歸分析訓(xùn)練模型；Step (5):根據(jù)訓(xùn)練后的SVM回歸分析訓(xùn)練模型進(jìn)行SVM回歸預(yù)測(cè)；Step (6) :0ΙΝ后向傳播部分。將Step (5)的SVM回歸預(yù)測(cè)結(jié)果進(jìn)行組合得到一個(gè)新的分類向量，并通過比較M維理想分類向量，采用OIN后向傳播算法對(duì)權(quán)值進(jìn)行調(diào)整；Step (7):迭代下一次訓(xùn)練，根據(jù)調(diào)整后的新的隱含層權(quán)值再回到St印(I)中，計(jì)算出新的隱含層神經(jīng)元輸入，繼續(xù)Step (2)- (7)，直至訓(xùn)練周期結(jié)束或達(dá)到理想值時(shí)結(jié)束；經(jīng)過反復(fù)迭代最終得到一個(gè)優(yōu)化的0IN/SVM混合模型。在測(cè)試階段，將測(cè)試樣本輸入到優(yōu)化后的0IN/SVM混合模型中，就得到預(yù)測(cè)結(jié)果，從而實(shí)現(xiàn)對(duì)樣本的分類的預(yù)測(cè)或回歸的預(yù)測(cè)。所述St印(I)細(xì)分為如下具體步驟Step (1.1):通過使用正態(tài)分布隨機(jī)函數(shù)初始化隱含層權(quán)值向量Wih，即從第i個(gè)到第h個(gè)權(quán)值；歸一化所有輸入向量為零均值；Step (1. 2):對(duì)每一個(gè)輸入樣本計(jì)算出其在各個(gè)隱含層神經(jīng)元的輸入值并對(duì)這些神經(jīng)元輸入值進(jìn)行歸一化處理；Step (1.3):根據(jù)神經(jīng)元的激活函數(shù)計(jì)算出各個(gè)隱含層神經(jīng)元的輸出值。所述St印(1.2)神經(jīng)元的輸入值的計(jì)算為
權(quán)利要求
1.一種混合SVM回歸算法的OIN神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征是，主要包括以下步驟 Step (I):初始化部分，對(duì)輸入樣本值進(jìn)行歸一化，產(chǎn)生初始隱含層權(quán)值，并計(jì)算出隱含層神經(jīng)元的輸入值，根據(jù)隱含層神經(jīng)元采用的激活函數(shù)得到相應(yīng)的隱含層神經(jīng)元輸出值；Step (2):根據(jù)類別數(shù)M和原始樣本的類別，利用輸出重定向OR建立各個(gè)原始樣本相應(yīng)的MLP分類訓(xùn)練的M維理想分類向量； Step (3):根據(jù)類別數(shù)M建立M個(gè)SVM回歸分析模型，每個(gè)SVM回歸分析模型的輸入向量是Step (I)得到的隱含層神經(jīng)元輸出值，而每個(gè)SVM回歸分析模型的理想輸出值是Step(2)建立的M維理想分類向量的其中一個(gè)元素； Step (4 ) : SVM回歸訓(xùn)練分別對(duì)M個(gè)SVM回歸分析模型進(jìn)行訓(xùn)練，得到M個(gè)SVM回歸分析訓(xùn)練模型； Step (5):根據(jù)訓(xùn)練后的SVM回歸分析訓(xùn)練模型進(jìn)行SVM回歸預(yù)測(cè)； Step (6) :0ΙΝ后向傳播部分；將Step (5)的SVM回歸預(yù)測(cè)結(jié)果進(jìn)行組合得到一個(gè)新的分類向量，并通過比較M維理想分類向量，采用OIN后向傳播算法對(duì)權(quán)值進(jìn)行調(diào)整； Step (7):迭代下一次訓(xùn)練，根據(jù)調(diào)整后的新的隱含層權(quán)值再回到Step (I)中，計(jì)算出新的隱含層神經(jīng)元輸入，繼續(xù)Step (2)- (7)，直至訓(xùn)練周期結(jié)束或達(dá)到理想值時(shí)結(jié)束；經(jīng)過反復(fù)迭代最終得到一個(gè)優(yōu)化的0IN/SVM混合模型； 在測(cè)試階段，將測(cè)試樣本輸入到優(yōu)化后的0IN/SVM混合模型中，就得到預(yù)測(cè)結(jié)果，從而實(shí)現(xiàn)對(duì)樣本的分類的預(yù)測(cè)或回歸的預(yù)測(cè)。
2.如權(quán)利要求I所述的一種混合SVM回歸算法的OIN神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征是，所述Step (I)分為如下具體步驟 Step (1.1):通過使用正態(tài)分布隨機(jī)函數(shù)初始化隱含層權(quán)值Wih，即從第i個(gè)到第h個(gè)權(quán)值；歸一化所有輸入向量為零均值； Step (1.2):對(duì)每一個(gè)輸入樣本計(jì)算出其在各個(gè)隱含層神經(jīng)元的輸入值并對(duì)這些神經(jīng)兀輸入值進(jìn)行歸一化處理； Step (1.3):根據(jù)神經(jīng)元的激活函數(shù)計(jì)算出各個(gè)隱含層神經(jīng)元的輸出值。
3.如權(quán)利要求2所述的一種混合SVM回歸算法的OIN神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征是，所述St印(I. 2)神經(jīng)元的輸入值的計(jì)算為
4.如權(quán)利要求2所述的一種混合SVM回歸算法的OIN神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征是，所述Step (I. 3)中神經(jīng)元的輸出值為 這里，f ( ·)代表了第k個(gè)非線性隱含層激活函數(shù)一Sigmoid函數(shù)，Op (k)表示神經(jīng)元的輸出值，np (k)表示第P個(gè)樣本的第k個(gè)隱含層單元的輸入值；
5.如權(quán)利要求1所述的一種混合SVM回歸算法的OIN神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征是，所述Step (2)中的OR表示輸出重定向；根據(jù)第P個(gè)樣本所屬的類別設(shè)定一個(gè)理想的輸出向量，即tp=[tp⑴，tp⑵，…，tp (M) ]，M為類別總數(shù)；如果用Cp代表了類別，k代表了向量分量的索引號(hào)，則只有與第P個(gè)樣本所屬類別號(hào)Cp在相同的索引號(hào)所對(duì)應(yīng)的分量值為1，其他分量值為0，即設(shè)定第P個(gè)樣本的理想輸出向量的第k個(gè)分量為
6.如權(quán)利要求1所述的一種混合SVM回歸算法的OIN神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征是，所述Step (4)分為如下步驟 Step (4.1):選擇某個(gè)kernal函數(shù)，在確定的復(fù)雜性妥協(xié)參數(shù)C和松弛變量ε下，計(jì)算 Langruange 乘子 α * 和 b* ; Step (4.2):根據(jù)全部滿足優(yōu)化條件的乘子，SVM將得到一個(gè)高維空間優(yōu)化權(quán)值，從而建立SVM的輸出模型yp。
7.如權(quán)利要求6所述的一種混合SVM回歸算法的OIN神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征是，所述Step (4.1) SVM回歸中如果定義誤差松弛變量不少于ε，C為復(fù)雜性和最小損失的妥協(xié)參數(shù)，則SVM回歸的二次損失函數(shù)
8.如權(quán)利要求6所述的一種混合SVM回歸算法的OIN神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征是，所述Step (4. 2)根據(jù)Karush-Kuhm-Tucker互補(bǔ)條件得到下列二次優(yōu)化求解式為
9.如權(quán)利要求1所述的一種混合SVM回歸算法的OIN神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征是，所述Step (6)的OIN后向傳播部分中，采用最小均方值作為決策衡量標(biāo)準(zhǔn)，SP
全文摘要
本發(fā)明公開了一種混合SVM回歸算法的OIN神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，主要包括以下步驟OIN前向傳播部分；SVM回歸部分；OIN后向傳播部分；經(jīng)過多次訓(xùn)練后最終得到一個(gè)優(yōu)化的OIN/SVM混合模型，在測(cè)試階段，將測(cè)試樣本輸入到優(yōu)化后的OIN/SVM混合模型中，就得到預(yù)測(cè)結(jié)果，從而實(shí)現(xiàn)對(duì)樣本的分類的預(yù)測(cè)或回歸的預(yù)測(cè)。本發(fā)明采用最新設(shè)計(jì)的OIN人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，該方法可以大大提高傳統(tǒng)后播算法的收斂性。
文檔編號(hào)G06N3/02GK102982373SQ20121059453
公開日2013年3月20日 申請(qǐng)日期2012年12月31日 優(yōu)先權(quán)日2012年12月31日
發(fā)明者蔡珣, 蔡菲, 呂知辛, 朱波, 馬軍 申請(qǐng)人:山東大學(xué)