一種基于不定核的多視圖分類方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及模式識別與機器學(xué)習(xí)技術(shù)領(lǐng)域，特別涉及一種基于不定核的多視圖分 類方法。
【背景技術(shù)】
[0002] 核方法是機器學(xué)習(xí)中的核心技術(shù)之一，是解決實際問題中存在的非線性學(xué)習(xí)問題 的一類重要方法，其核心思想是通過一種非線性映射將原始數(shù)據(jù)嵌入到高維特征空間，然 后利用線性學(xué)習(xí)器在新空間分析及處理數(shù)據(jù)。其優(yōu)點主要體現(xiàn)在，無需提前知道非線性映 射的具體形式與參數(shù)，而是引入核函數(shù)，通過改變核函數(shù)形式和參數(shù)，隱式地實現(xiàn)從低維輸 入空間到高維特征空間的映射；利用核函數(shù)，可將高維特征空間中復(fù)雜的內(nèi)積運算轉(zhuǎn)化為 低維輸入空間的核函數(shù)計算，從而巧妙地解決了在高維特征空間運算時可能出現(xiàn)的"維數(shù) 災(zāi)難"等問題，大大降低了計算量；可根據(jù)具體問題，靈活地選擇核函數(shù)，以嵌入更多學(xué)習(xí)問 題的先驗知識。
[0003] 盡管核方法具有上述諸多的關(guān)鍵優(yōu)點，但受限于傳統(tǒng)的統(tǒng)計學(xué)習(xí)理論，現(xiàn)有的大 部分核方法都要求核正定，滿足Mercer條件。然而，在許多實際應(yīng)用中，正定核有時并不能 取得很好的泛化性能，甚至很難利用。相反地，不定核恰能表現(xiàn)出比正定核更優(yōu)的經(jīng)驗分 類效果，正逐漸成為機器學(xué)習(xí)領(lǐng)域中的一個研宄熱點，受到越來越多研宄者的關(guān)注。例如， 在人臉識別問題中，Liu在核主成分分析（KPCA)中使用了不定的分數(shù)階多項式核，取得了 比使用正定的多項式核KPCA更好的識別效果；在視頻跟蹤問題中，Liwicki等進一步利用 了不定的魯棒梯度核，以解決在正定核KPCA中為了保持更新速度而使用簡化的樣本集表 示所可能帶來的不精確解問題。實驗表明，采用不定核的KPCA明顯優(yōu)于使用正定的高斯核 KPCA。但是，現(xiàn)有的不定核方法均局限于傳統(tǒng)的單視圖問題中。隨著數(shù)據(jù)采集技術(shù)的不斷 發(fā)展，研宄者發(fā)現(xiàn)在越來越多的真實世界問題中存在著大量多視圖樣本，譬如，人可以用人 臉圖像和聲音描述，每個因特網(wǎng)網(wǎng)頁可以用文檔和網(wǎng)頁鏈接表示等等。因此，將不定核方法 進一步拓展到多視圖學(xué)習(xí)問題中，以更好地適應(yīng)實際應(yīng)用的需要，是很有必要的。
[0004] 多視圖學(xué)習(xí)是機器學(xué)習(xí)的另一熱點問題。大量研宄表明，多視圖數(shù)據(jù)中往往蘊藏 著學(xué)習(xí)問題中更多的先驗信息。多視圖學(xué)習(xí)的目的就在于，深入挖掘多個視圖間的潛在信 息，通過視圖間相互促進，以獲得更好的學(xué)習(xí)性能。但是，在傳統(tǒng)的多視圖學(xué)習(xí)中，往往要求 每個視圖上數(shù)據(jù)的類標(biāo)號完整，但在現(xiàn)實問題中這一要求常常很難滿足。例如，在一段視 頻錄像中，每秒鐘都會閃過多幀圖片，想要在每幀圖片中標(biāo)記出每個人幾乎是不可能的；同 時，如果錄像中有多個人進行交談，想要標(biāo)記出每個人的音頻也很難。因此，在視頻和音頻 兩個視圖上的數(shù)據(jù)只有少量有標(biāo)號的情況下，要保證每個視圖上的數(shù)據(jù)均標(biāo)記了所有的人 更是難上加難。因此，多個視圖上標(biāo)號不完整是多視圖學(xué)習(xí)中的難題之一，現(xiàn)有的多視圖學(xué) 習(xí)方法均不能或者很難有效地解決此問題。
[0005] 在現(xiàn)有的多視圖學(xué)習(xí)中，幾乎所有的學(xué)習(xí)算法都是基于兩個視圖而設(shè)計的。當(dāng)視 圖的個數(shù)多于兩個時，可采用一對一的策略進行學(xué)習(xí)，即將視圖兩兩組合，應(yīng)用現(xiàn)有算法進 行分類，然后投票決定最終的分類結(jié)果。因此，兩個視圖的多視圖學(xué)習(xí)問題是解決多視圖分 類問題的關(guān)鍵。

【發(fā)明內(nèi)容】

[0006] 發(fā)明目的：針對現(xiàn)有技術(shù)存在的問題，本發(fā)明提出一種基于不定核的多視圖分類 方法，該方法通過將多個視圖空間映射到一個新的統(tǒng)一的低維空間和引入不定核方法，有 效避免了 "維度災(zāi)難"，提高了后續(xù)分類的靈活性和有效性。
[0007] 技術(shù)方案：在對該方法具體步驟進行描述之前，首先給出相關(guān)定義及表示：
[0008] (a)樣本：一組亞馬遜數(shù)據(jù)庫圖片數(shù)據(jù)集；
[0009] (b)類別標(biāo)記：即一個樣本的所屬類別；
[0010] (C)不定核：由再生核Krein空間中數(shù)據(jù)內(nèi)積演化而來的不定核函數(shù)；
[0011] (d)典型相關(guān)分析算法（CCA):CanonicalCorrelationAnalysis;
[0012] (e)主成分分析（PCA):PrincipalComponentAnalysis;
[0013] (f)半監(jiān)督典型相關(guān)分析算法（SemiCCA) :Semi_supervisedCanonical CorrelationAnalysis；
[0014] (g)半配對半監(jiān)督廣義相關(guān)性分析（S2GCA) :Semi-pairedandSemi-supervised GeneralizedCorrelationAnalysis；
[0015] (h)基于非對稱核轉(zhuǎn)換的域適應(yīng)方法（ARC_t):AsymmetricRegularized Cross-domainTransformationProblemwithsimilarityanddissimilarity constraints；
[0016] ⑴半監(jiān)督判別性不定核正則化最小二乘分類器（Semi-IKRLSC): Semi-superviseddiscriminativelyIndefiniteKernelRegularizedLeast-Square Classifier；
[0017] (j)空間同步：將多個視圖空間映射到新的單一的視圖空間。
[0018] 本發(fā)明提供一種基于不定核的多視圖分類方法，主要針對兩個視圖的多視圖分類 方法，該方法包括兩個階段：訓(xùn)練和應(yīng)用，具體包括如下步驟：
[0019] 1)獲取用于訓(xùn)練的多視圖圖像集；
[0020] 2)利用多視圖數(shù)據(jù)生成投影矩陣，將不同視圖數(shù)據(jù)投影到統(tǒng)一的低維空間；
[0021] 3)利用不定核技術(shù)對低維投影空間中的樣本進行訓(xùn)練，得到分類器；
[0022] 4)規(guī)范化新的多視圖數(shù)據(jù)集，將數(shù)據(jù)集投影到訓(xùn)練得到的低維空間，并把投影后 的數(shù)據(jù)集輸入到訓(xùn)練得到的分類器中，得到分類結(jié)果。
[0023] 所述步驟2)采用SemiCCA算法進行降維，具體包括如下步驟：
[0024] 1)根據(jù)兩個視圖的數(shù)據(jù)，求解投影矩陣：
[0025] 設(shè)X= (X(L)，X?)，Y= (Ya)，Y?)分別表示兩個視圖View-X和View-Y中的 數(shù)據(jù)，其中
【主權(quán)項】
1. 一種基于不定核的多視圖分類方法，其特征在于，包括如下步驟： 1) 獲取用于訓(xùn)練的多視圖圖像集； 2) 利用多視圖數(shù)據(jù)生成投影矩陣，將不同視圖數(shù)據(jù)投影到統(tǒng)一的低維空間； 3) 利用不定核技術(shù)對低維投影空間中的樣本進行訓(xùn)練，得到分類器； 4) 規(guī)范化新的多視圖數(shù)據(jù)集，將數(shù)據(jù)集投影到訓(xùn)練得到的低維空間，并把投影后的數(shù) 據(jù)集輸入到訓(xùn)練得到的分類器中，得到分類結(jié)果。
2. 根據(jù)權(quán)利要求1所述的基于不定核的多視圖分類方法，其特征在于，所述步驟2)采 用SemiCCA算法進行降維，具體包括如下步驟： 1) 根據(jù)兩個視圖的數(shù)據(jù)，求解投影矩陣； 設(shè)X= (Xa)，X(u))，Y= (Ya)，Y(u))分別表示兩個視圖View-X和View-Y中的數(shù)據(jù)，其中 尤⑴=匕丨^和7? =丨兄,；^分別表示View-X和View-Y中已配對的樣本，Z(c/) = 和}^ =丨.V"丨;^+1分別表示View-X和View-Y中未配對的樣本，則求解投影矩陣的公式為：
(1) 其中，QY表示對應(yīng)于View-X的投影矩陣，Qv表示對應(yīng)于View-Y的投影矩陣，
【表示 View-X中已配對樣本的協(xié)方差矩陣，凡乂表示View-Y中已配對樣本的協(xié) 方差矩陣，丨表示View-X和View-Y兩個視圖間已配對樣本的協(xié)方差 矩陣，<1 = 兄乂表示View-Y和View-X兩個視圖間已配對樣本的協(xié)方差矩陣， 表示View-X中全部數(shù)據(jù)的協(xié)方差矩陣，七表示 View-Y中全部數(shù)據(jù)的協(xié)方差矩陣，y是取值范圍為[0, 1]的正則化參數(shù)，X是廣義特征值，D，Dy分別表示View-X和View-Y的維度，八表示DxXDjII的單位矩陣，&表示DyXDy 維的單位矩陣； 2) 根據(jù)求解的投影矩陣，將多視圖數(shù)據(jù)X和Y統(tǒng)一映射到低維空間。
3. 根據(jù)權(quán)利要求1所述的基于不定核的多視圖分類方法，其特征在于，所述步驟3) 采用Semi-IKRLSC算法訓(xùn)練分類器，給定樣本集合5 = ^，…，…，其中 是來自。個類的有標(biāo)號樣本，Yi表不類別標(biāo)號，在7=1(')1+1是未標(biāo)號樣 本，具體訓(xùn)練過程為： 1)獲取有標(biāo)號樣本的局部類內(nèi)緊湊度和類間分離度Tlw和Tlb:
其中，f(X) =QTX是待求的分類器函數(shù)，X,(i>表示第k個類別的第i個標(biāo)記樣本，lk為 第k個類別總共標(biāo)記的樣本個數(shù)，Q是分類判別向量， [ l/!~U少V,少/
Z -1 '
^用以衡量同類中樣本的相對位 置，s為方差； 2) 計算數(shù)據(jù)的全局結(jié)構(gòu)信息Tp:
(7) 其中，f是分類器函數(shù)，Q是分類判別向量，F(xiàn)f;=l/?，
3)將數(shù)據(jù)的全局結(jié)構(gòu)信息引入局部類內(nèi)緊湊度和類間分離度：
其中，G(sa)(f)和J(sa)(f)分別為引入全局結(jié)構(gòu)信息的類內(nèi)緊湊度和類間分離度，y為正則化參數(shù)，Tlw為有標(biāo)號數(shù)據(jù)的局部類內(nèi)緊湊度，Q是分類判別向量，I為單位陣， ?TZ>=(l-r)MM. +r/，Tlb為有標(biāo)號數(shù)據(jù)的局部類間分離度，Tp為數(shù)據(jù)的全局結(jié)構(gòu)信息，
4)利用不定核分類方法，訓(xùn)練所有樣本，得到分類器函數(shù)f%
其中，1表示再生核KrcTn空間，1為有標(biāo)號樣本的個數(shù)，yi為樣本xi的類別標(biāo)號，f是分類器函數(shù)，0 <n< 1為正則化參數(shù)，G(ssl) (f)為引入全局結(jié)構(gòu)信息的類內(nèi)緊湊度， j(SSL)(f)為引入全局結(jié)構(gòu)信息的類間分離度，Q是分類判另丨j向量，JTi>=a_r)M,w +rJ，
【專利摘要】本發(fā)明公布了一種基于不定核的多視圖分類方法，該方法包括如下步驟：1）獲取用于訓(xùn)練的多視圖圖像集；2）利用多視圖數(shù)據(jù)生成投影矩陣，將不同視圖數(shù)據(jù)投影到統(tǒng)一的低維空間；3）利用不定核技術(shù)對低維投影空間中的樣本進行訓(xùn)練，得到分類器；4）規(guī)范化新的多視圖數(shù)據(jù)集，將數(shù)據(jù)集投影到訓(xùn)練得到的低維空間，并把投影后的數(shù)據(jù)集輸入到訓(xùn)練得到的分類器中，得到分類結(jié)果。本發(fā)明將需要解決的標(biāo)號不完整多視圖分類問題轉(zhuǎn)化為在統(tǒng)一低維空間中的單視圖半監(jiān)督分類問題，可實現(xiàn)在單視圖上的標(biāo)號完整；充分利用了有標(biāo)號數(shù)據(jù)的判別信息以及無標(biāo)號數(shù)據(jù)的結(jié)構(gòu)信息，提升了分類器性能；并且可直接對新的多視圖數(shù)據(jù)進行測試和分類。
【IPC分類】G06K9-62
【公開號】CN104809468
【申請?zhí)枴緾N201510188546
【發(fā)明人】薛暉
【申請人】東南大學(xué)
【公開日】2015年7月29日
【申請日】2015年4月20日