一種基于Fisher準(zhǔn)則的嵌入流形回歸模型的制作方法
【專利摘要】一種基于Fisher準(zhǔn)則的嵌入流形回歸模型，包括：初始化，將訓(xùn)練樣本用矩陣表示，xm對(duì)應(yīng)的類別標(biāo)簽是l(xm)∈{1,2,…,c}；對(duì)訓(xùn)練樣本進(jìn)行預(yù)處理：將訓(xùn)練樣本映射到主成分分析子空間；建立相似矩陣，利用Fisher準(zhǔn)則，將類內(nèi)樣本和類間樣本分開處理；計(jì)算嵌入子空間：定義D×d的映射矩陣W＝[ω1…ωd]，d是特征轉(zhuǎn)換后樣本的維數(shù)，通過求解矩陣的特征向量來尋找映射子空間；樣本從原始高維空間到低維流形空間的轉(zhuǎn)換形式為yi＝WTxi＝F(xi)，用矩陣表示為：Y＝WTX＝F(X)，Y＝[y1,…,yM]。本發(fā)明在充分利用樣本的標(biāo)簽信息的前提下，使降維前后同類樣本保持局部幾何結(jié)構(gòu)，而使在原始空間不同類別但相似度高的樣本在降維后相似度減小。
【專利說明】-種基于Fisher準(zhǔn)則的嵌入流形回歸模型

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種嵌入流形回歸模型。特別是涉及一種利用標(biāo)注信息和線性回歸模 型，對(duì)傳統(tǒng)的流形學(xué)習(xí)和線性判別分析進(jìn)行改進(jìn)的基于Fisher準(zhǔn)則的嵌入流形回歸模型。

【背景技術(shù)】
[0002] 子空間學(xué)習(xí)和特征提取是機(jī)器視覺和模式識(shí)別領(lǐng)域的一個(gè)重要研究方向，當(dāng)前普 遍的方法是尋找一個(gè)映射矩陣將原始輸入空間中的特征轉(zhuǎn)換到低維的子空間中，傳統(tǒng)的 方法有主成分分析（Principal component analysis, PCA),獨(dú)立成分分析（Independent component analysis, ICA)等未利用標(biāo)簽信息的無監(jiān)督學(xué)習(xí)方法；以及線性判別分析 (Linear discriminative analysis, LDA)等利用訓(xùn)練樣本標(biāo)簽信息的監(jiān)督學(xué)習(xí)方法，以 及這些學(xué)習(xí)方法的核變種，這些方法大多使用歐式距離來衡量樣本之間的相似度，然而測(cè) 地線距離能在宏觀層面上較真實(shí)地反映數(shù)據(jù)中所隱含的幾何結(jié)構(gòu)，所以利用流形學(xué)習(xí)方 法將原始樣本特征投影到流形空間往往可以得到更好的分類效果，當(dāng)前利用流形學(xué)習(xí)的 算法主要利用圖嵌入的方式對(duì)非線性的方法進(jìn)行線性近似，如局部保持映射（Locality preserving projection, LPP)，局部嵌入分析（Locally Embedded Analysis, LEA),近鄰 保持嵌入（Neighborhood Preserving Embedding, NPE)等，這些算法的基本思想是利用親 和圖保持模型的局部流形結(jié)構(gòu)，但這些方法只關(guān)注局部保持結(jié)構(gòu)卻忽視了類別間的判別信 肩、。
[0003] 此外，線性回歸分類模型也可以用于特征提取。例如，Chai等應(yīng)用線性回歸分類 技術(shù)利用側(cè)臉的人臉樣本來預(yù)測(cè)其對(duì)應(yīng)的正臉樣本；Naseem等基于同類的人臉圖像位于 同一線性子空間的假設(shè)提出了用于人臉識(shí)別的線性回歸分類模型，通過最小二乘估計(jì)法得 至徊歸系數(shù)，并根據(jù)原始向量和映射向量之間的歐式距離來判斷類別的歸屬。Huang等提出 了一種用于人臉識(shí)別的增強(qiáng)主成分回歸模型，這種方法可以解決線性回歸模型中多重共線 性的問題。2013年，Huang等在線性回歸模型上嵌入線性判別分析的思想，提出了一種線性 判別回歸分類模型，該方法利用最大化類間重構(gòu)誤差和類內(nèi)重構(gòu)誤差的比值尋找一個(gè)最優(yōu) 映射矩陣，通過最優(yōu)映射矩陣將原始樣本特征映射到子空間，在此子空間上利用線性回歸 模型以實(shí)現(xiàn)更好的判別分類。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明所要解決的技術(shù)問題是，提供一種基于Fisher準(zhǔn)則的嵌入流形回歸模型， 充分利用標(biāo)簽信息，對(duì)屬于同類的樣本之間及屬于不同類的樣本之間分別構(gòu)建一個(gè)親和圖 以保持同類樣本之間的局部流形結(jié)構(gòu)，同時(shí)切斷屬于不同類別相似度高的樣本之間的聯(lián) 系，將原始空間的樣本映射到一個(gè)能夠保持局部流形結(jié)構(gòu)并且具有判別能力的子空間。
[0005] 本發(fā)明所采用的技術(shù)方案是：一種基于Fisher準(zhǔn)則的嵌入流形回歸模型，包括如 下步驟：
[0006] 1)初始化，設(shè)有c個(gè)類共有M個(gè)訓(xùn)練圖像樣本，每幅圖像樣本的大小為aXb，可以 用矩陣Vni e9Τα來表示，其中m = 1，2,…，M，將每一個(gè)圖像矩陣轉(zhuǎn)換成列向量，用Xffl eMim 表示，D = aXb，所以訓(xùn)練樣本可以用矩陣\對(duì)應(yīng)的類別標(biāo)簽 是 I (Xm) e {1，2,…，c};
[0007] 2)對(duì)訓(xùn)練樣本進(jìn)行預(yù)處理：將訓(xùn)練樣本映射到主成分分析子空間。
[0008] 3)建立相似矩陣，利用Fisher準(zhǔn)則，將類內(nèi)樣本和類間樣本分開處理，定義兩個(gè) 都是M個(gè)節(jié)點(diǎn)的類內(nèi)親和圖G b和類間親和圖Gw，每個(gè)節(jié)點(diǎn)代表一個(gè)樣本，對(duì)于類內(nèi)親和圖 Gb，只考慮屬于同類的樣本數(shù)據(jù)對(duì)Xi，Xj，l(Xi) = l(Xj)，i，j e {1，···，Μ};對(duì)于類間親和圖 Gw，只考慮不同類別之間的樣本數(shù)據(jù)對(duì)^，\，I(Xi)關(guān)I(Xj);
[0009] 4)計(jì)算嵌入子空間：定義D X d的映射矩陣W =[ ω廣· ω d]，d是特征轉(zhuǎn)換 后樣本的維數(shù)，通過求解矩陣A = E"!Ea的特征向量{ω,匕來尋找映射子空間，其中，

【權(quán)利要求】
1. 一種基于Fisher準(zhǔn)則的嵌入流形回歸模型，其特征在于，包括如下步驟： 1) 初始化，設(shè)有c個(gè)類共有M個(gè)訓(xùn)練圖像樣本，每幅圖像樣本的大小為aXb，用矩陣 v",eyr"來表示，其中m= 1，2,...，M，將每一個(gè)圖像矩陣轉(zhuǎn)換成列向量，用Xw 表 示，D=aXb，所以訓(xùn)練樣本用矩陣X= [XΧΛ/]ΡΛ?Μ?表示，xm對(duì)應(yīng)的類別標(biāo)簽是l(xje{1，2,…，c}; 2) 對(duì)訓(xùn)練樣本進(jìn)行預(yù)處理：將訓(xùn)練樣本映射到主成分分析子空間； 3) 建立相似矩陣，利用Fisher準(zhǔn)則，將類內(nèi)樣本和類間樣本分開處理，定義兩個(gè)都是M 個(gè)節(jié)點(diǎn)的類內(nèi)親和圖Gb和類間親和圖Gw，每個(gè)節(jié)點(diǎn)代表一個(gè)樣本，對(duì)于類內(nèi)親和圖Gb，只考 慮屬于同類的樣本數(shù)據(jù)對(duì)Xi，X」，I(Xi) =l(Xj)，i，je{1，...，M};對(duì)于類間親和圖6"，只 考慮不同類別之間的樣本數(shù)據(jù)對(duì)Xi,χρI(Xi)關(guān)IUP; 4) 計(jì)算嵌入子空間：定義DXd的映射矩陣W= [Co1-Cod],d是特征轉(zhuǎn)換后 樣本的維數(shù)，通過求解矩陣A=E^Eil的特征向量來尋找映射子空間，其中，
為對(duì)應(yīng)的前d個(gè) 最大特征向量，X￥是第j個(gè)樣本在第k類上的線性回歸映像； 5) 樣本從原始高維空間到低維流形空間的轉(zhuǎn)換形式為Yi=W1Xi=F(Xi)，用矩陣表示 為：Y=W1X=F(X)，Y=Iiy1, · · ·，yM]。
2. 根據(jù)權(quán)利要求1所述的一種基于Fisher準(zhǔn)則的嵌入流形回歸模型，其特征在于，步 驟3)中，對(duì)于類間親和圖Gw和類內(nèi)親和圖Gb中節(jié)點(diǎn)之間相似度，定義以下兩種方式： (1) 軟權(quán)重，如果節(jié)點(diǎn)i和j相連，則對(duì)應(yīng)的樣本Xi和Xj之間的相似度為：Sij = exp(_|Ixi-XjII2/σ)，其中=f||x廠xv|| //?，Xip表示Xi樣本的第p近鄰，如果節(jié)點(diǎn)i和 *=1 j不相連，則對(duì)應(yīng)的樣本Xi和Xj之間的相似度為Sij = 0 ; (2) 硬權(quán)重，如果節(jié)點(diǎn)i和j相連，則對(duì)應(yīng)的樣本Xi和\之間的相似度為：su = 1，如 果節(jié)點(diǎn)i和j不相連，則對(duì)應(yīng)的樣本Xi和Xj之間的相似度為Sij = 0。
3. 根據(jù)權(quán)利要求1所述的一種基于Fisher準(zhǔn)則的嵌入流形回歸模型，其特征在于，步 驟3)中，對(duì)于類內(nèi)親和圖Gw，定義以下兩種方式來連接樣本所對(duì)應(yīng)的節(jié)點(diǎn)： (1) 軟連接，如果樣本Xi與樣本&類別相同，并且樣本Xi屬于樣本&的kw近鄰，或者 樣本Xj屬于樣本Xi的kw近鄰,連接節(jié)點(diǎn)i與節(jié)點(diǎn)j。 (2) 硬連接，如果樣本Xi與樣本\類別相同，將樣本所對(duì)應(yīng)的節(jié)點(diǎn)之間兩兩相連。
4. 根據(jù)權(quán)利要求1所述的一種基于Fisher準(zhǔn)則的嵌入流形回歸模型，其特征在于，步 驟3)中對(duì)于類間親和圖Gb，定義以下兩種方式來連接樣本所對(duì)應(yīng)的節(jié)點(diǎn)： (1) 軟連接，如果樣本Xi與樣本&類別不相同，并且樣本Xi屬于樣本&的kB近鄰，或 者樣本Xj屬于樣本Xi的kB近鄰,連接節(jié)點(diǎn)i與節(jié)點(diǎn)j。 (2) 硬連接，如果樣本Xi與樣本\類別不相同，將樣本所對(duì)應(yīng)的節(jié)點(diǎn)之間兩兩相連。
5. 根據(jù)權(quán)利要求3或4所述的一種基于Fisher準(zhǔn)則的嵌入流形回歸模型，其特征在 于，kB和1^相同或不相同。
6.根據(jù)權(quán)利要求1所述的一種基于Fisher準(zhǔn)則的嵌入流形回歸模型，其特征在于，步 驟4)中所述的~是通過下述公式得到：
?中， Kk表示第k個(gè)類的標(biāo)注樣本的特征向量，Kt = [xw5xWt]e9iw^
【文檔編號(hào)】G06F19/00GK104462818SQ201410745821
【公開日】2015年3月25日 申請(qǐng)日期:2014年12月8日 優(yōu)先權(quán)日:2014年12月8日
【發(fā)明者】冀中, 于云龍 申請(qǐng)人:天津大學(xué)