有監(jiān)督的流形學習算法
【技術領域】
[0001] 本發(fā)明屬于目標識別領域的數(shù)據(jù)降維方法，具體是一種有監(jiān)督的流形學習算法。
【背景技術】
[0002] 隨著科學技術的發(fā)展，人類獲得的數(shù)據(jù)越來越多，而且這些數(shù)據(jù)往往具有很高的 維數(shù)，對于典型的圖像數(shù)據(jù)來說，其維數(shù)就是圖像的像素數(shù)，而圖像的像素數(shù)一般都很高。 如何從這些高維的數(shù)據(jù)提取中有用的數(shù)據(jù)用來進行后續(xù)的處理是個巨大的問題。特征提取 技術是解決這個問題的一個重要的方法。對于許多問題例如數(shù)據(jù)可視化、計算機視覺和模 式識別特征提取都是一個基礎性的問題。對于人臉識別來說，特征提取是完成人臉識別的 關鍵。
[0003] 在過去幾十年中，人們提出了很多關于特征提取的方法，這些方法中有監(jiān)督學習 的方法也有非監(jiān)督學習的方法，有線性的方法也有非線性的方法。在這些方法中，文獻1 (I. Joliffe, Principal Component Analysis. Springer-Verlag, 1986)中提出 了主成分分析 (PCA)，文獻2 (K. Fukunnaga, Introduction to Statistical Pattern Recognition, second ed. Academic Press, 1991)提出了線性判別式分析（LDA)是兩種使用最多的線性特征提取 方法。PCA將原始的高維數(shù)據(jù)映射到由全部原始數(shù)據(jù)協(xié)方差矩陣的最大特征值對應的特征 向量所張成一個低維子空間中。PCA能夠在最小均方意義下，尋找最能代表原始數(shù)據(jù)的投影 方法。另外，由于沒用利用到類別信息，所以PCA是一種完全的非監(jiān)督學習方法。
[0004] 與PCA不同，LDA是一種有監(jiān)督的學習方法，最早可以追溯到1936年Fisher發(fā)表 的論文，其本質(zhì)思想是選擇使Fisher準則函數(shù)達到極值的向量作為最佳投影方向。從而使 得樣本在該方向上投影后，能夠同時達到類間離散度最大和類內(nèi)離散度最小。
[0005] 然而，PCA和LDA都是從全局的歐式結構進行考慮的而不是從流形結構上進行 考慮。而最近的研宄表明人臉圖像有可能是駐留在一個非線性的流形之上，同時不同 的人臉圖像會處在不同的流形之上。為此人們提出了很多流形學習算法來尋找嵌入在 原始高維數(shù)據(jù)中的本質(zhì)低維流形，在這些算法中包括等距特征映射算法（IS0MAP)(文 獻 3, J. B. Tenenbaum, V. de. Silva, J. C. Langford, A global geometric framework for nonlinear dimensionality reduction, Science 290(2000)2319 - 2323.)，局部線性嵌 入（LLE)(文獻 4，S. T. Roweis, L. K. Saul, Nonlinear dimension reduction by locally linear embedding, Science290 (2000) 2323 - 2326.)和拉普拉斯特征映射（LE)(文獻 5， M. Belkin, P. Niyogi, Laplacian eigenmaps for dimensionality reduction and data representation, Neural Computation 15(6) (2003) 1373 - 1396.)等。實驗表明這些算 法對于模擬數(shù)據(jù)和真實的數(shù)據(jù)，比如人臉圖像能夠找到這些數(shù)據(jù)的有意義的低維嵌入。 He 等人提出了 局部保留映射（LPP)(文獻 6, X. He, S. Yan，Y. Hu，P. Niyogi, H. Zhang, Face recognition using laplacian faces, IEEE Transactions on Pattern Analysis and Machine Intelligence 27(3) (2005)328 - 340.)，LPP的目標函數(shù)是最小化映射后的數(shù)據(jù) 的局部散布矩陣。與其他的流形學習算法相比較，LPP算法擁有明顯的優(yōu)勢比如能夠得到 更加明顯的映射，更加易于計算等。但是這些算法都屬于非監(jiān)督學習算法，無法利用到數(shù)據(jù) 的類別信息而且在計算的過程中需要認為的設定一下參數(shù)，而這些參數(shù)對于最終結果的影 響很大。但是如何選取這些參數(shù)，卻沒有統(tǒng)一的標準。
[0006] 在文獻 7 (Bo Li, De-Shuang Huang, Chaoffang, Kun-Hong Liu, Feature extraction using constrained maximum variance mapping, Pattern Recognition 41 (2008)3287 -3294)中 Bo 等人提出了 CMVM 算法（constrained maximum variance mapping)，該算法將 不同類別分開同時保持任意流形的全局結構。換句話說改算法可以在得到最優(yōu)結果的同 時不破壞其他類大的全局結構。這種算法在分離不同的類別時，將與本類不同的其他全部 類都考慮進去，這樣雖然能夠達到將不同類的分開的目的，但是由于各個類之間的距離不 同，距離最遠的和距離最近的類應該分別對待而不應該是一視同仁。同時在構建局部散布 矩陣時沒有考慮到近鄰點的類別信息，有可能會使得一個點的近鄰包含不是該點算在類的 點，對后續(xù)的處理有不利影響。文獻 8(Shuicheng Yan，Dong Xu，Benyu Zhang，Hong-Jiang Zhang, Qiang Yang, Senior, Stephen Lin, Graph Embedding and Extensions:A General Framework for Dimensionality Reduction, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol, 29, No. 1，January, 2007)中 Yan 等人提出了 MFA 算法 (Marginal Fisher Analysis)該算法設計了一個本質(zhì)圖（intrinsic graph)來描述流形 內(nèi)部的緊湊性和另外一個懲罰矩陣來描述不同類之間的離散性。本質(zhì)圖描述了每一類的類 內(nèi)部近鄰點的關系，并且每個點都與它的K近鄰相連，懲罰矩陣描述了邊緣點的鄰域關系， 不同類的邊緣點點對被連接起來。但是該算法存在不同類之間的邊緣點點對的個數(shù)難以 確定，而且距離最遠的和距離最近的類應該分別對待而不應該是一視同仁。文獻9 (Wankou Yang, Changyin Sun, Lei Zhang, A multi-manifold discriminant analysis method for image feature extraction, Pattern Recognition 44 (2011) 1649 - 1657)中Wankou Yang 等人提出 MMDA 算法（Multi-Manifold Discriminant Analysis)，該算法在 LPP 的基礎上， 使用每一類數(shù)據(jù)的類內(nèi)權重矩陣的和去加權該類的均值，然后將類間均值視為新的數(shù)據(jù)， 尋找一個最優(yōu)的投影矩陣使得加權類均值的類間散布矩陣達到最大同時每一類的類內(nèi)散 布矩陣達到最小。但是該算法存在使用加權的類均值去衡量類內(nèi)數(shù)據(jù)存在一定的偏差，尤 其是當數(shù)據(jù)分布比較無規(guī)則的情況下這種表現(xiàn)更加明顯。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的在于提供一種有監(jiān)督的流形學習算法。
[0008] 實現(xiàn)本發(fā)明目的的技術方案為：一種有監(jiān)督的流形學習算法，步驟如下：
[0009] 步驟一：使用KNN方法尋找每一個樣本的近鄰樣本。在尋找時限定只在同一類樣 本中尋找與該樣本點最近鄰的K個樣本，并置對應的類內(nèi)權重矩陣W(i，j) = 1，遍歷所有樣 本從而完成類內(nèi)權重矩陣的構建，使用得到的類內(nèi)權重矩陣建立類內(nèi)散布矩陣去描述流形 的局部結構。
[0010] 步驟二：對于每個樣本Xi，使用KNN方法尋找不同類的K1個最近鄰的樣本，統(tǒng)計這 K1個樣本的