一種基于改進(jìn)有效集算法優(yōu)化的極限學(xué)習(xí)機(jī)二元分類方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，具體設(shè)及一種基于改進(jìn)有效集算法優(yōu)化的極限學(xué) 習(xí)機(jī)二元分類方法。
【背景技術(shù)】
[0002] 人們?nèi)粘Ｉ畹姆椒矫婷嬷校^大部分的實(shí)際問(wèn)題都可W轉(zhuǎn)換成一個(gè)分類問(wèn)題， 分類器的性能往往是一個(gè)應(yīng)用成果與否的關(guān)鍵。機(jī)器學(xué)習(xí)的研究成果被廣泛應(yīng)用到分類器 中，因此，不斷提高分類器的分類性能已經(jīng)成為了當(dāng)今機(jī)器學(xué)習(xí)的主流研究方向。
[0003]極限學(xué)習(xí)機(jī)巧xtremeLearningMachine,ELM)是新加坡南洋理工大學(xué)的黃廣斌 教授提出來(lái)的，利用極限學(xué)習(xí)機(jī)解決二元分類問(wèn)題，使得人工智能的發(fā)展更進(jìn)一步。該種算 法是針對(duì)SLFNs(即單隱層前饋神經(jīng)網(wǎng)絡(luò)）的監(jiān)督型學(xué)習(xí)算法，其主要思想是；輸入層和隱 藏層之間的權(quán)值參數(shù)，W及隱藏層上的偏置向量參數(shù)是一次性設(shè)置的，不需要像其他基于 梯度的學(xué)習(xí)算法一樣通過(guò)迭代反復(fù)調(diào)整刷新，求解很直接，只需要解一個(gè)最小范數(shù)的最小 二乘問(wèn)題，從而最終劃歸成求解一個(gè)矩陣的Moore-Penrose廣義逆問(wèn)題。因此，該算法具有 訓(xùn)練參數(shù)少、速度非?？斓葍?yōu)點(diǎn)。在接下來(lái)的一段時(shí)間，其團(tuán)隊(duì)在ELM的基礎(chǔ)上又做了更多 的發(fā)展，其中最優(yōu)化極限學(xué)習(xí)機(jī)（0ELM)就是其中的重要內(nèi)容。訓(xùn)練0ELM的核屯、是包含了 凸二次規(guī)劃問(wèn)題，0ELM已經(jīng)在很多應(yīng)用中很優(yōu)越地顯現(xiàn)出對(duì)用戶設(shè)置的參數(shù)不敏感，但是 由于密集海森矩陣問(wèn)題，0ELM計(jì)算優(yōu)化過(guò)程的代價(jià)相對(duì)復(fù)雜。
[0004]優(yōu)化0ELM常利用利用BAS有效集算法。BAS有效集法通過(guò)迭代求解子優(yōu)化問(wèn)題求 得原始優(yōu)化問(wèn)題的最優(yōu)解。有效集法是一種增量迭代方法，迭代的過(guò)程就是不斷識(shí)別正確 的有效集和工作集的過(guò)程，當(dāng)工作集和有效集都被正確識(shí)別出時(shí)，優(yōu)化問(wèn)題得到最優(yōu)解。雖 然有效集方法在很多基準(zhǔn)數(shù)據(jù)集和不同性能指標(biāo)測(cè)試中表現(xiàn)出了高效性，但是該些有效集 方法的識(shí)別策略仍然存在兩個(gè)問(wèn)題：
[0005] (1)迭代次數(shù)較多。在識(shí)別有效集過(guò)程中，由于采用單方向下降策略，每次迭代的 識(shí)別階段只能識(shí)別一個(gè)有效集變量。對(duì)于N個(gè)訓(xùn)練樣本，通常會(huì)產(chǎn)生0(3N/2)次迭代，迭代 次數(shù)過(guò)多顯然會(huì)影響樣本訓(xùn)練的時(shí)間。
[0006] (2)誤迭代率較高。有效集算法通常先正確識(shí)別完所有有效集變量，才開(kāi)始識(shí)別 工作集變量。如果上次迭代結(jié)束時(shí)所識(shí)別的有效集變量在本次迭代后仍然判定到邊界約束 上，那么此次迭代稱為誤迭代，誤迭代會(huì)增加算法的計(jì)算代價(jià)。
[0007] 由于傳統(tǒng)BAS有效集算法的缺點(diǎn)使得現(xiàn)有的極限學(xué)習(xí)機(jī)進(jìn)行優(yōu)化時(shí)存在計(jì)算時(shí) 間長(zhǎng)、誤迭代次數(shù)高的問(wèn)題。

【發(fā)明內(nèi)容】

[0008]本發(fā)明的目的是提供一種基于改進(jìn)有效集算法優(yōu)化的極限學(xué)習(xí)機(jī)二元分類方法， 實(shí)現(xiàn)對(duì)極限學(xué)習(xí)機(jī)進(jìn)行高效優(yōu)化，解決了現(xiàn)有技術(shù)存在的計(jì)算時(shí)間長(zhǎng)、誤迭代次數(shù)高的問(wèn) 題。
[0009] 本發(fā)明采用的技術(shù)方案是，一種基于改進(jìn)有效集算法優(yōu)化的極限學(xué)習(xí)機(jī)二元分類 方法，包括W下步驟：
[0010] 步驟一，給定訓(xùn)練樣本集，優(yōu)化求解問(wèn)題；
[0011] 訓(xùn)練樣本集為一個(gè)含有N個(gè)樣本的訓(xùn)練樣本集G/T和 tfG ;求解問(wèn)題的求解式及限制條件為
[0012]
【主權(quán)項(xiàng)】
1. 一種基于改進(jìn)有效集算法優(yōu)化的極限學(xué)習(xí)機(jī)二元分類方法，其特征在于，包括以下 步驟： 步驟一，給定訓(xùn)練樣本集，確定優(yōu)化的求解問(wèn)題； 訓(xùn)練樣本集為一個(gè)含有N個(gè)樣本的訓(xùn)練樣本集 XiE RmtiE {-1，+1};求解問(wèn)題的求解式及限制條件為
其中，M ·| I表示歐幾里得范數(shù)，β為法向量，h(Xi)為將m維訓(xùn)練樣本輸入映射到ELM 特征空間的函數(shù)，C是人工設(shè)置的參數(shù)； 根據(jù)KKT定理和拉格朗日乘子理論，訓(xùn)練極限學(xué)習(xí)機(jī)等價(jià)于求解公式
-~…^ ^ ^ '- 1 - - 7 - - - ?、-/ 其中，a e Rn是非負(fù)拉格朗日乘子對(duì)應(yīng)的不等式約束的向量， e = [1，. . . l]Te R N，K = KEIJ1tT(t e Rnxn)為半正定矩陣，核函數(shù)為 Xj)= h (Xi) · h (Xj)，定義集合 L = U I a i= 0}，U = U I a F C}和 S = U |〇 < α < C}，α 3和 a u是分別屬于集 合S和U的α的分量構(gòu)成的向量，Kss和Kus表不K的子矩陣； 步驟二，根據(jù)BAS有效集算法計(jì)算下降方向dk并沿著下降方向dk找到不違反約束條件 的最大搜索步長(zhǎng)/^(Α); 步驟三，根據(jù)EAS有效集算法設(shè)置臨時(shí)迭代步長(zhǎng)μ_ρ和/Ziu^繼續(xù)尋找最優(yōu)步長(zhǎng) μΤ ； 設(shè)置臨時(shí)迭代步長(zhǎng)(μ，ι]，通過(guò)臨時(shí)步長(zhǎng)μ tMP判斷函數(shù)值/tafW)能否較 + 進(jìn)一步下降，如果可以繼續(xù)下降，重復(fù)選取yt?p直至函數(shù)值不再下降為 止； 步驟四，使用預(yù)測(cè)賦值法減少工作集變量迭代到最優(yōu)值花費(fèi)的計(jì)算代價(jià)；采用優(yōu)化后 的極限學(xué)習(xí)機(jī)對(duì)未知樣本分類。
2. 根據(jù)權(quán)利要求1所述的基于改進(jìn)有效集算法優(yōu)化的極限學(xué)習(xí)機(jī)二元分類方法，其特 征在于，所述步驟二包括以下子步驟： 步驟2-1，設(shè)有效集
步驟2-2,計(jì)算下降方向 <·是式（3)的解向量；
? 步驟2-3,如果條件符合則去掉一個(gè)約束條件，按照步驟2-2繼續(xù)計(jì)算新的下降方向 d(k)； 步驟2-4,沿著下降方向d(k)找到不違反約束條件O < α C，i e S的最大搜索步長(zhǎng) 。
3. 根據(jù)權(quán)利要求1所述的基于改進(jìn)有效集算法優(yōu)化的極限學(xué)習(xí)機(jī)二元分類方法，其特 征在于，所述步驟三包括以下子步驟： 定義映射因子
其中α: = Π (α+μ(1)，μ為搜索步長(zhǎng)，d為下降方向； 定義集合B e { a i e RI 〇彡a C}，//f>為符合EAS算法條件的最優(yōu)搜索步長(zhǎng)，則第 k次迭代過(guò)程的EAS可描述如下： 輸入：變量d(k)，實(shí)數(shù)M > 1， 輸出：變量af+1) ， ，
果/^ > 1，則設(shè)//f) = l，c4A+1) =?(/)+,-)，終止迭代；否則，轉(zhuǎn)向步驟3-2; ^r
_ >和相應(yīng)的函數(shù)值 f{afp);
4. 根據(jù)權(quán)利要求1所述的基于改進(jìn)有效集算法優(yōu)化的極限學(xué)習(xí)機(jī)二元分類方法，其特 征在于，步驟四所述預(yù)測(cè)賦值法為： 當(dāng)找到滿足條件的最優(yōu)步長(zhǎng)后，若計(jì)算
中分量的值 都等于O或者等于C時(shí)，先從指標(biāo)集中約減掉有效集指標(biāo)，然后從指標(biāo)集中隨機(jī)選取一個(gè)指 標(biāo)加入工作集中，并對(duì)相應(yīng)的變量賦值為C/2,以進(jìn)行下一次迭代。
【專利摘要】本發(fā)明公開(kāi)了一種基于改進(jìn)有效集算法優(yōu)化的極限學(xué)習(xí)機(jī)二元分類方法，包括以下步驟：步驟一，給定訓(xùn)練樣本集，確定優(yōu)化的求解問(wèn)題；步驟二，根據(jù)BAS有效集算法計(jì)算下降方向dk并沿著下降方向dk找到不違反約束條件的最大搜索步長(zhǎng)步驟三，根據(jù)EAS有效集算法設(shè)置臨時(shí)迭代步長(zhǎng)μtemp和繼續(xù)尋找最優(yōu)步長(zhǎng)步驟四，使用預(yù)測(cè)賦值法減少工作集變量迭代到最優(yōu)值花費(fèi)的計(jì)算代價(jià)；采用優(yōu)化好后的極限學(xué)習(xí)機(jī)對(duì)未知樣本進(jìn)行分類。
【IPC分類】G06N3-08, G06F17-30
【公開(kāi)號(hào)】CN104866901
【申請(qǐng)?zhí)枴緾N201510239330
【發(fā)明人】趙明華, 丁曉楓, 莫瑞陽(yáng), 曹慧, 原永芹, 石爭(zhēng)浩, 姚全珠
【申請(qǐng)人】西安理工大學(xué)
【公開(kāi)日】2015年8月26日
【申請(qǐng)日】2015年5月12日