本發(fā)明涉及一種基于自適應(yīng)粒子群的最小二乘支持向量機(jī)預(yù)測(cè)方法。

背景技術(shù)：

設(shè)訓(xùn)練集S＝{(x_i,y_i)|i＝1,2,…,m}，其中x_i∈Rⁿ和y_i∈R分別為輸入數(shù)據(jù)和輸出數(shù)據(jù)，最小二乘支持向量機(jī)LS-SVM利用結(jié)構(gòu)風(fēng)險(xiǎn)最小化——SRM準(zhǔn)則構(gòu)造最小化目標(biāo)函數(shù)J(ω,e)及其約束條件如下：

s.t.y_i＝w^TΦ(x_i)+b+e_i

其中，w為權(quán)重向量，γ為常數(shù)，b為常值偏差，e_i為偏差。

為了求解上式的優(yōu)化問題，轉(zhuǎn)化為求解如下線性方程組：

其中，Q＝y(tǒng)_iy_jΦ(x_i)^TΦ(x_i)＝y(tǒng)_iy_jK(x_i,x_j)，K(x_i,x_j)是滿足Mercer條件的核函數(shù)，I為單位矩陣，L＝[1,1,…,1]∈R^m，α＝[α₁,α₂,…,α_m]^T∈R^m，y＝[y₁,y₂,…,y_m]^T∈R^m。則最小二乘支持向量機(jī)LS-SVM的分類決策函數(shù)為：

式中x為某樣本，選取徑向基函數(shù)為核函數(shù):

K(x,x_i)＝exp(-||x-x_i||²/2σ²) (4)

將方程改寫為矩陣方程的形式，如下表示：

AX＝z (5)

由式AX＝z可知，最小二乘支持向量機(jī)LS-SVM算法是用最小二乘法來求解X，需要對(duì)A求逆。然而，對(duì)于實(shí)際工程的大規(guī)模問題，由于A^TA維數(shù)較大，很難實(shí)現(xiàn)矩陣求逆的過程。因此，可以采用粒子群優(yōu)化算法PSO迭代計(jì)算來求解矩陣方程。

粒子群優(yōu)化算法PSO基本思想是通過群體中個(gè)體之間的協(xié)作和信息共享尋找最優(yōu)解，即系統(tǒng)初始化一組隨機(jī)粒子，然后通過迭代找到最優(yōu)解，在每次迭代中，粒子通過跟蹤兩個(gè)“極值”更新自己，在找到這兩個(gè)最優(yōu)值后，粒子會(huì)調(diào)整其在每一維空間的速度并計(jì)算出其新的位置，粒子進(jìn)化公式為：

其中，r₁,r₂∈U(0,1)，表示粒子在第k次迭代的速度，表示粒子第k次迭代的位置，表示粒子在k次迭代過程中的個(gè)體極值；表示種群在k次迭代過程中目前的全局極值點(diǎn)，ω為慣性權(quán)重因子，常量c₁,c₂稱為加速度因子。

從粒子群優(yōu)化算法PSO的模型中可以看出，如果加速度因子c₁,c₂或者慣性權(quán)重因子ω取值較大，粒子群有可能錯(cuò)過最優(yōu)解，導(dǎo)致算法不收斂，即使收斂，由于粒子的追蹤是粒子群逐漸趨同的過程，所有粒子都趨向最優(yōu)解，容易造成未成熟收斂，導(dǎo)致算法后期收斂速度減緩，精度也可能降低。

技術(shù)實(shí)現(xiàn)要素：

為了解決上述技術(shù)問題，將矩陣方程AX＝z的最小二乘求解轉(zhuǎn)化為采用自適應(yīng)PSO算法來進(jìn)行迭代求解。避免出現(xiàn)矩陣求逆，既保證了算法的收斂性，加快計(jì)算速度，又提高了求解精度。

本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案是：一種基于自適應(yīng)粒子群的最小二乘支持向量機(jī)預(yù)測(cè)方法，包括如下步驟：

步驟一)采取調(diào)整慣性權(quán)重因子ω和增加約束因子α以及借助遷移學(xué)習(xí)的思想引入源域因子和目標(biāo)域因子的措施，對(duì)基本PSO模型進(jìn)行改進(jìn)，得到改進(jìn)的自適應(yīng)PSO模型：

其中，ξ_q,ξ_q-1∈Rⁿ，ξ_q成為目標(biāo)域因子，ξ_q-1源域因子；特別的，當(dāng)ξ_q-1＝0時(shí)ξ_q＝1，PSO是APSO算法的一種特殊情況，從心理學(xué)的角度看，利用源領(lǐng)域知識(shí)意味著粒子個(gè)體搜索經(jīng)驗(yàn)的積累，有利于算法更快收斂；

步驟二)根據(jù)粒子適應(yīng)度優(yōu)劣調(diào)整慣性權(quán)重因子ω，即在算法初期，賦予ω一個(gè)較大的正值，以獲得較好的全局搜索能力；而在算法后期，賦予ω一個(gè)較小的值，使算法更易于收斂；根據(jù)群體的收斂程度和個(gè)體適應(yīng)值來動(dòng)態(tài)調(diào)整ω，具體方法如下：

當(dāng)f(x_i)＜f(p_i)時(shí)，滿足此條件的粒子時(shí)群體中的一般粒子，具有良好的全局尋優(yōu)能力和局部尋優(yōu)能力，慣性權(quán)重ω隨著搜索的進(jìn)行按如下公式變化：

其中，f(x_i)為當(dāng)前適應(yīng)度；f(p_i)為歷史最好位置適應(yīng)度；ω_max為搜索開始時(shí)最大的ω值，設(shè)為0.9；ω_min為搜索結(jié)束時(shí)最小的ω值，設(shè)為0.2；k位迭代所進(jìn)行的步數(shù)；k_max為最大迭代次數(shù)；

當(dāng)f(x_i)＜f(p_g)時(shí)，滿足此條件的粒子是群體中的較優(yōu)粒子，已經(jīng)比較接近全局最優(yōu)，所以應(yīng)賦予較小的慣性權(quán)重，以加速向全局最優(yōu)收斂，慣性權(quán)重ω隨著搜索的進(jìn)行按如下公式變化：

其中，f(p_g)為群體最好位置適應(yīng)度；ω_min為搜索結(jié)束時(shí)最小的ω值，設(shè)為0.2，粒子適應(yīng)值越好，其慣性權(quán)重越小，有利于局部尋優(yōu)；

步驟三)基于自適應(yīng)PSO模型的最小二乘支持向量機(jī)算法的流程如下：

Step 1：選擇合適的訓(xùn)練樣本和測(cè)試樣本并進(jìn)行預(yù)處理；

Step 2：初始化粒子群參數(shù)，包括微粒的速度和位置。設(shè)定粒子群參數(shù)，在空間Rⁿ中隨機(jī)產(chǎn)生m個(gè)粒子(x₁,x₂,…,x_m)組成初始種群X(k)；隨機(jī)產(chǎn)生各粒子x_i的初始速度(v_i1,v_i2,…,v_im)組成速度矩陣V(k)；每個(gè)粒子的個(gè)體最優(yōu)值p_i初始值為x_i的初始值；

Step 3：用訓(xùn)練樣本訓(xùn)練最小二乘支持向量機(jī)LS-SVM，計(jì)算每個(gè)粒子個(gè)體的適應(yīng)值f(x)，適應(yīng)值函數(shù)為：

式中，x_i為第i個(gè)樣本的實(shí)際值，y_i為第i個(gè)樣本的預(yù)測(cè)值，l為測(cè)試樣本個(gè)數(shù)，根據(jù)粒子的適應(yīng)度值更新p_id和p_gd；

Step 4：對(duì)每個(gè)粒子，進(jìn)行相應(yīng)的比較

Step 4.1：比較當(dāng)前適應(yīng)度f(wàn)(x_i)和歷史最好位置適應(yīng)度f(wàn)(p_i)，若f(x_i)＜f(p_i)時(shí)，則p_i＝x_i，并根據(jù)式調(diào)整ω；

Step 4.2：比較群體所有粒子當(dāng)前適應(yīng)度f(wàn)(x_i)和群體最好位置適應(yīng)度f(wàn)(p_g)，若f(x_i)＜f(p_g)時(shí)，則p_g＝x_i，并根據(jù)式調(diào)整ω；

Step 5：根據(jù)改進(jìn)的PSO模型更新粒子的速度和位置，產(chǎn)生新種群X(k+1)；

Step 6：判斷速度向量是否滿足約束條件-v_max≤v_i≤v_max，若不滿足則按照如下規(guī)則調(diào)整：

Step 7：判斷適應(yīng)度值是否滿足要求或者是否達(dá)到最大迭代次數(shù)，若滿足停止條件，則尋優(yōu)結(jié)束，將全局最優(yōu)粒子映射為優(yōu)化的LS-SVM模型參數(shù)；否則k＝k+1，轉(zhuǎn)至Step3；

Step 8：利用訓(xùn)練樣本數(shù)據(jù)和Step 7得出的參數(shù)對(duì)LS-SVM進(jìn)行求解，得到矩陣方程的最小二乘解，即對(duì)應(yīng)式中最優(yōu)參數(shù)α_i和b。

本發(fā)明的有益效果是：本發(fā)明解決了預(yù)測(cè)時(shí)特征維數(shù)較高、特征之間存在冗余且樣本有限的問題。該方法根據(jù)群體的收斂程度和個(gè)體的適應(yīng)值來調(diào)整慣性權(quán)重，加快訓(xùn)練速度，利用該算法迭代求解LS-SVM中出現(xiàn)的矩陣方程，避免矩陣求逆，節(jié)省內(nèi)存，并求得最優(yōu)解。該方法可以有效簡(jiǎn)化訓(xùn)練樣本，提高訓(xùn)練速度，且分類精度良好，收斂速度快，有很好的泛化能力。

附圖說明

附圖1是基于自適應(yīng)PSO模型的最小二乘支持向量機(jī)算法流程圖。

附圖2是C-SVM、LS-SVM、PSO-LSSVM和本發(fā)明的APSO-LSSVM數(shù)據(jù)樣本測(cè)試的訓(xùn)練時(shí)間對(duì)比曲線圖。

附圖3是C-SVM、LS-SVM、PSO-LSSVM和本發(fā)明的APSO-LSSVM數(shù)據(jù)樣本測(cè)試的測(cè)試時(shí)間對(duì)比曲線圖。

附圖4是C-SVM、LS-SVM、PSO-LSSVM和本發(fā)明的APSO-LSSVM數(shù)據(jù)樣本測(cè)試的預(yù)測(cè)準(zhǔn)確率對(duì)比曲線圖。

具體實(shí)施方式

本發(fā)明的效果可以通過以下對(duì)煤自燃預(yù)測(cè)進(jìn)一步說明：

煤自燃是一種非常復(fù)雜的物理化學(xué)過程，隨著煤體氧化升溫會(huì)釋放出相應(yīng)的指標(biāo)氣體，如CO、CO₂、CH₄、C₂H₆、C₂H₄、C₂H₂、N₂等，因此煤自燃程度與氣體產(chǎn)物之間存在非常復(fù)雜的非線性關(guān)系。當(dāng)煤質(zhì)一定時(shí)，其生成物的種類、數(shù)量以及溫度等有一定的規(guī)律，找出這些指標(biāo)氣體與煤溫的對(duì)應(yīng)關(guān)系，通過監(jiān)測(cè)煤樣反應(yīng)氣體產(chǎn)物和溫度、耗氧量等其他指標(biāo)，便可發(fā)現(xiàn)煤自燃征兆，預(yù)測(cè)自燃發(fā)展的趨勢(shì)。

1.實(shí)驗(yàn)設(shè)置

2013年采集鶴壁某礦煤樣并進(jìn)行煤自然發(fā)火試驗(yàn)，采集得到樣本數(shù)據(jù)。通過分析煤自然發(fā)火過程中產(chǎn)生的指標(biāo)氣體的濃度、比值、發(fā)生速率等特征參數(shù)，對(duì)煤自然發(fā)火發(fā)展趨勢(shì)等做出預(yù)報(bào)。煤自燃過程大體分為3個(gè)階段：準(zhǔn)備期(60℃以下)、自熱期(60-240℃)和燃燒期(240℃以上)，為了能更好的預(yù)測(cè)煤自燃發(fā)火狀態(tài)，將自熱期再細(xì)分為3個(gè)階段：自熱前期(60-80℃)、自熱中期(80-150℃)和自熱后期(150-240℃)。

本文采用的指標(biāo)氣體有O₂、N₂、CO、CO₂、CH₄、C₂H₆的濃度及CO₂/O₂、CO/O₂、CH4/C₂H₆、CO₂/CO的值，并根據(jù)不同的溫度段劃分不同的類別，設(shè)定5個(gè)危險(xiǎn)等級(jí)。

實(shí)驗(yàn)采用C-SVM、LS-SVM、PSO-LSSVM和本發(fā)明的APSO-LSSVM算法進(jìn)行危險(xiǎn)程度預(yù)測(cè)。實(shí)驗(yàn)在CUP2.19GHz，內(nèi)存2GB下使用MATLAB2010版本編寫程序。

為提高樣本準(zhǔn)確率首先對(duì)樣本進(jìn)行歸一化處理，避免奇異點(diǎn)數(shù)據(jù)對(duì)支持向量機(jī)性能的影響。設(shè)粒子群規(guī)模為25，解空間為350維，最大迭代次數(shù)為1000，加速度因子c₁＝c₂＝2，初始ω＝0.9。正規(guī)化參數(shù)γ＝1000，徑向基核函數(shù)的寬度參數(shù)σ²＝0.15，建立5個(gè)LS-SVM分類器。

2.結(jié)果與分析

將自適應(yīng)PSO迭代后得到的預(yù)測(cè)模型對(duì)數(shù)據(jù)樣本進(jìn)行測(cè)試，分別建立C-SVM模型、LS-SVM模型和標(biāo)準(zhǔn)PSO的LS-SVM模型，并將結(jié)果與本文提出的預(yù)測(cè)結(jié)果相比較。C-SVM模型采用徑向基核函數(shù)；標(biāo)準(zhǔn)PSO的LS-SVM模型中的慣性權(quán)重ω恒定。訓(xùn)練時(shí)間對(duì)比曲線如圖2所示，其訓(xùn)練樣本數(shù)據(jù)數(shù)量范圍取[50,300]；測(cè)試時(shí)間對(duì)比曲線如圖3所示，其中測(cè)試樣本數(shù)量范圍取[50,300]，訓(xùn)練樣本數(shù)量取300；預(yù)測(cè)準(zhǔn)確率對(duì)比曲線如圖4所示，其中訓(xùn)練樣本數(shù)量范圍取[50,300]，測(cè)試樣本數(shù)量取300。

從圖1-4的響應(yīng)曲線可以看出：隨著訓(xùn)練樣本數(shù)量的增加，4種分類算法的訓(xùn)練時(shí)間都有明顯增加，但APSO-LSSVM的訓(xùn)練時(shí)間明顯低于C-SVM、LS-SVM和PSO-LSSVM，說明APSO-LSSVM對(duì)不同樣本數(shù)量測(cè)試條件和環(huán)境都具有良好的適應(yīng)能力，學(xué)習(xí)過程快；在測(cè)試時(shí)間上，4種算法的處理時(shí)間隨著測(cè)試樣本數(shù)量的增加而線性增加，但APSO-LSSVM的處理時(shí)間明顯短于C-SVM、LS-SVM和PSO-LSSVM，APSO-LSSVM表現(xiàn)出較好的實(shí)時(shí)處理能力；在相同條件下，4種算法分類準(zhǔn)確率也都具有隨著訓(xùn)練樣本數(shù)量增加而增加的趨勢(shì)，但是APSO-LSSVM略高于C-SVM、LS-SVM和PSO-LSSVM，可見自適應(yīng)PSO算法在矩陣迭代過程中獲得了更高的精度。

其次，為了測(cè)試4種算法的性能，以及在不同樣本分布下預(yù)測(cè)結(jié)果的準(zhǔn)確率，選取不同煤礦煤樣進(jìn)行煤自然發(fā)火試驗(yàn)，得到第二組樣本數(shù)據(jù)。分別用不同個(gè)數(shù)的訓(xùn)練樣本建立預(yù)測(cè)模型，訓(xùn)練樣本分布如表1所示：

表1 實(shí)驗(yàn)樣本數(shù)據(jù)

測(cè)試參數(shù)分別為：訓(xùn)練時(shí)間、測(cè)試時(shí)間、預(yù)測(cè)準(zhǔn)確率，性能測(cè)試如表2所示：

表2 算法性能比較

從兩個(gè)地區(qū)的不同煤樣數(shù)據(jù)性能測(cè)試的統(tǒng)計(jì)結(jié)果可看出，APSO-LSSVM訓(xùn)練時(shí)耗和測(cè)試時(shí)耗明顯比C-SVM、LS-SVM和PSO-LSSVM都小，說明在處理相對(duì)復(fù)雜的問題和實(shí)時(shí)性能要求較高的問題時(shí)，APSO-LSSVM具有較強(qiáng)的優(yōu)勢(shì)；APSO-LSSVM訓(xùn)練集和測(cè)試集的準(zhǔn)確概率都略高于C-SVM、LS-SVM和PSO-LSSVM，誤差相對(duì)較小，顯示了APSO-LSSVM具有較好的分類效果。

因此，由上述實(shí)驗(yàn)結(jié)果可以進(jìn)一步看出，本發(fā)明的優(yōu)勢(shì)為：1.將最小二乘法引入支持向量機(jī)用于解決其求解規(guī)模小的問題，極大的減少了支持向量機(jī)由于解二次規(guī)劃問題帶來的技術(shù)復(fù)雜性，通過解線性方程組實(shí)現(xiàn)最終的決策函數(shù)，提高求解速度，并且在一定程度上保證了解的稀疏性；2.充分利用了粒子群算法的全局搜索能力來優(yōu)化最小二乘法支持向量機(jī)的參數(shù)，克服了支持向量機(jī)參數(shù)選擇的盲目性，具有良好的預(yù)測(cè)精度。3.針對(duì)標(biāo)準(zhǔn)粒子群算法過分依賴初始參數(shù)并且經(jīng)常容易陷入局部最優(yōu)值而導(dǎo)致早熟現(xiàn)象，引入慣性權(quán)重，在算法初期階段賦予一個(gè)較大的值，以獲得較好的全局搜索能力；而在算法后期賦予一個(gè)較小的值，使搜索步長(zhǎng)逐漸減小，從而使搜索更精細(xì)。4.針對(duì)標(biāo)準(zhǔn)粒子群算法在尋優(yōu)過程中由于所有例子都向最優(yōu)解的方向飛去，粒子易于趨向同一化，使得后期收斂速度變慢的問題，引入源域因子和目標(biāo)域因子，得到自適應(yīng)粒子群模型，利用源領(lǐng)域知識(shí)意味著粒子個(gè)體搜索經(jīng)驗(yàn)的積累，有利于算法更快收斂，精度更高，適合優(yōu)化多目標(biāo)。

上述實(shí)例是在以本發(fā)明技術(shù)方案為前提下進(jìn)行實(shí)施的，給出了詳細(xì)的實(shí)施方式和具體的操作過程，但本發(fā)明的保護(hù)范圍不限于上述實(shí)施例。