基于增量線性判別分析的多類標場景分類方法
【技術領域】
[0001] 本發(fā)明屬于圖像處理技術領域，特別涉及一種多類標圖像場景分類方法，可用于 快速準確地處理特征豐富且類別數(shù)較多的復雜場景檢測。
【背景技術】
[0002] 近年來，隨著電腦和其他數(shù)據(jù)采集設備容量的增加，數(shù)據(jù)的規(guī)模變得越來越大。 由于高維度和數(shù)據(jù)的擴充涌現(xiàn)出了大量的數(shù)據(jù)。人們普遍預期可以通過降低數(shù)據(jù)維數(shù)來減 少時間和資源消耗。降維可以在很大程度上減少數(shù)據(jù)量，通過將數(shù)據(jù)從高維維特征空間映 射到低維特征空間為后面的處理提供了便利。投影保持了在高維空間中盡可能多的信息。 一個廣泛使用的監(jiān)督降維方法是線性判別分析。當數(shù)據(jù)投影到低維空間，線性判別分析通 過同時最小化類內距離和最大化類間距離從不同類別中尋求數(shù)據(jù)最好的分離。在許多應用 中線性判別分析表現(xiàn)良好。由于線性判別分析良好的屬性和流數(shù)據(jù)挖掘的需求，增量線性 判別分析吸引了越來越多的興趣。在數(shù)據(jù)流進的情況下，用需要的流入數(shù)據(jù)更新線性判別 分析的解，因為它避免了線性判別分析的解決方案中耗時的批模式再計算。在過去的幾年 里，各種增量線性判別分析算法被開發(fā)出來。他們中的大多數(shù)提供近似解并面臨著很高的 計算成本。
[0003] C.Chatterjee等人在1997年使用神經(jīng)網(wǎng)絡研宄增量線性判別分析，但經(jīng)常面臨 收斂緩慢的問題，違背了增量學習的重要性。S.Pang等人在2009年提出了線性判別分析的 增量版本，它提供了一種方法來更新類內和類間的散布矩陣，但是卻沒有給出更新后續(xù)特 征分析的耗時步驟。J.Ye等人在2005年出的IDR/QR算法將線性判別分析應用于一個類 間距最大的投影子空間。但是該算法的不足是在第一次投影中丟失了大量的信息。T.-K. Kim等人在2007年提出一種增量線性判別分析算法，該算法將足夠的生成集的概念用來更 新類間和類內的散射矩陣，其中在每一步中都要移除保存和更新矩陣的特征向量和次要成 分，在判別成份的計算中，散射矩陣投影到一個完成了本征分解的低維空間。H.Zhao等人 在2008年提出增量線性判別分析算法，GSVD-ILDA，該算法的核心步驟是更新集中數(shù)據(jù)矩 陣的特征向量。在更新過程中，次要的成份被刪除，從而降低計算成本。但是T.-K.Kim等 人提出的增量線性判別分析算法和H.Zhao等人提出的GSVD-ILDA算法遇到了一個同樣的 問題，即很難確定效率與性能的權衡等級。如果刪除太多的次要成份，性能會惡化，否則效 率會很低。此外，性能對于參數(shù)設置很敏感，不易調節(jié)參數(shù)，導致分類結果不穩(wěn)定。

【發(fā)明內容】

[0004] 本發(fā)明的目的在于針對上述已有技術的不足，提出一種基于增量線性判別分析的 多類標場景分類方法，以縮短分類時間，提高分類精度。
[0005] 實現(xiàn)本發(fā)明目的的技術方案是：在新的樣本到來，通過增量算法更新線性判別分 析的最小二乘解，將高維數(shù)據(jù)投影到低維空間，得到低維特征；使用多類標K最近鄰分類器 對降維后的特征樣本進行分類。其實現(xiàn)步驟包括如下：
[0006] (1)提取圖像庫中每一個樣本的特征得到特征集{七丨二，其中毛表示第i個樣本的 特征，i= 1，…，N,N表示特征集中樣本個數(shù)；
[0007] (2)將上述圖庫中樣本的地物標簽矩陣表示為Y，當?shù)趇個樣本屬于第j個類別 時，則地物標簽矩陣Y中的元素y(i，j) = 1，否則，y(i，j) = -1，并規(guī)定上述特征集中任 意一個樣本至少屬于一個類別，其中j= 1，…，M，M表示類別數(shù)；
[0008] (3)使用步驟⑴所述的特征集和步驟⑵所述的地物標簽矩陣構成樣本集
【主權項】
1. 一種用于基于增量線性判別分析的多類標場景分類方法，包括如下步驟： (1) 提取圖像庫中每一個樣本的特征得到特征集化匕，其中4表示第i個樣本的特 征，i= 1，…，N,N表示特征集中樣本個數(shù)； (2) 將上述圖庫中樣本的地物標簽矩陣表示為Y，當?shù)趇個樣本屬于第j個類別時，則 地物標簽矩陣Y中的元素y(i，j) = 1，否則，y(i，j) = -1，并規(guī)定上述特征集中任意一個 樣本至少屬于一個類別，其中j= 1，…，D，D表示類別數(shù)； (3) 使用步驟⑴所述的特征集和步驟⑵所述的地物標簽矩陣構成樣本集 {xk，yf^，其中，xk是第k個樣本特征，用一個行向量表示，yf是與xk相對應的第j個類 別的地物標簽，N是樣本個數(shù)； (4) 采用增量線性判別分析的方法對上述樣本集{xk，進行降維，得到低維樣本 集{ik，yAL; (5) 從上述低維樣本集{lk，7丨\，中隨機選取訓練樣本集江，yfUP測試樣本集 {4,tyf}^，其中，4是第k個訓練特征樣本，用一個行向量表示，y!"是與【相對應的第j個 類別的地物標簽，n是訓練樣本個數(shù)，&是第k個測試特征樣本，用一個行向量表示，ty^是 與tlk相對應的第j個類別的地物標簽，tn是測試樣本個數(shù)； (6) 將上述訓練樣本集和測試樣本集輸入到基于單示例多標簽的K最近鄰分類器中進 行分類，得到測試樣本的輸出向量Tk; (7) 根據(jù)測試樣本的輸出向量Tk判斷測試樣本的標簽向量： 當測試樣本的輸出向量Tk中每一個值都小于0時，則第k個測試樣本的標簽向量為：
當測試樣本的輸出向量Tk中至少有一個值大于0時，則第k個測試樣本的標簽向量 為：
其中j= 1，2~6表示類別數(shù)，k= 1，2…tn表示測試樣本數(shù)； (8) 根據(jù)步驟（7)的判別結果得到測試樣本的標簽向量tyk，再由標簽向量tyk構成測 試樣本的標簽矩陣，即得到測試樣本的分類結果。
2. 根據(jù)權利要求1所述的方法，其中所述步驟4中采用增量線性判別分析的方法對樣 本集{xk，y〗1}:進行降維，得到低維樣本集隊，巧\~，按如下步驟進行： 4a)取樣本集丨Xk，$>丨【中前50%作為初始樣本集{&，，后50%作為新增樣本 2 集 4b)用初始樣本集中的特征集丨構成特征矩陣X; 4c)分別求取特征矩陣X的類間離散矩陣Sh和離散矩陣St:
其中XeRrfxn是以列為樣本的特征矩陣，m是特征矩陣的均值向量，m。是樣本屬于第c類的均值向量，n是樣本個數(shù)，n。是屬于第c類的樣本個數(shù)，1T是單位行向量，T表示矩陣轉 置，C是總類別數(shù)； 4d)根據(jù)離散矩陣St的奇異性，計算得到變換矩陣W: 當離散矩陣St是非奇異的矩陣時，變換矩陣W是對離散矩陣的逆矩陣&1與類間離散矩 陣Sb的乘積進行特征值分解得到的非零特征值所對應的特征向量； 當離散矩陣St是奇異矩陣時，變換矩陣W是對離散矩陣的逆矩陣乂+與類間離散矩陣Sb 的乘積進行特征值分解得到的非零特征值所對應的特征向量； 4e)初始化特征矩陣X和它的偽逆矩陣X+、均值向量m、標簽矩陣Y、新增樣本？和它 的標簽向量y; 4f)利用新增樣本的標簽向量y對標簽矩陣Y更新，得到新的標簽矩陣h4g)通過上述新增樣本x'對上述均值向量m更新，得到新的均值向量rh， m = m +」一(x'-m); 77+1 4h)根據(jù)特征維數(shù)與樣本個數(shù)的大小關系，對變換矩陣w更新得到新的變換矩陣r; 4i)對原始樣本特征X進行投影，得到低維特征矩陣：z 義，從而得到低維樣本集 {ik，，其中{U匕是低維特征矩陣L的集合形式。
3.根據(jù)權利要求2所述的方法，其中所述步驟4f)中利用新增樣本的標簽向量y對標 簽矩陣Y更新，按如下步驟進行： 4fl)設新增樣本x'屬于第p類，np=np+l，np表示屬于類別p的樣本個數(shù)； 4f2)定義上述新增樣本的標簽向量y中的第j個類別的標簽yu)為：
4f3)將新增樣本的標簽向量7以一個新增行的形式添加到標簽矩陣Y的最后一行中； 4f4)根據(jù)下式更新得到新的標簽矩陣f: CN 104809475 A 不乂利旻豕書 3/4頁
其中迭代系數(shù)操作符表示如果P小于等于Y的列數(shù)，則Y的第p列乘以ap，否則，給Y添加一列零元素。
4.根據(jù)權利要求2所述的方法，其中所述步驟4h)中根據(jù)特征維數(shù)與樣本個數(shù)的大小 關系，更新得到新的變換矩陣#，按如下兩種情況進行： 4hl)當數(shù)據(jù)維數(shù)大于樣本個數(shù)時，其更新步驟如下： 4hll)按照如下公式對上述特征矩陣的偽逆矩陣X+更新，得到新的偽逆矩陣f+，
J 其中h表示空間參數(shù)，
1表示單位列向量； 4hl2)通過新的標簽矩陣f、新的均值向量rh和新的偽逆矩陣f+，計算得到新的變換 矩陣
其中x'表示新增樣本，n表示樣本個數(shù)，m表示目前的均值向量，X表示目前的特征矩 陣，1T表示單位行向量，W表示目前的變換矩陣，操作符表示如果p小于等于Y的列數(shù)， 貝1JY的第p列乘以ap，否則，給Y添加一列零元素； 4h2)當數(shù)據(jù)維數(shù)小于等于樣本個數(shù)時，其更新步驟如下： 4h21)通過下式利用特征矩陣X計算散射矩陣?。? <i> =XXT； 4h22)通過散射矩陣巾的秩判斷信號參數(shù)t的取值：
其中d表示特征矩陣X的行數(shù)，rank〇表示求矩陣的秩； 4h23)通過信號參數(shù)t的取值，對散射矩陣的偽逆矩陣巾+更新，得到新的散射矩陣的 偽逆矩陣多+:
其中U表示中心參數(shù)，m= s表示核參數(shù)，s=巾+u，0表示偏置系數(shù)，0 V? +l =l+uT <})+u； 4h24)通過新的標簽矩陣f、新的均值向量A:和新的散射矩陣<i>+對變換矩陣W進行更 新，得到新的變換矩陣#:
【專利摘要】本發(fā)明公開了一種基于增量線性判別分析的多類標場景分類方法，主要解決現(xiàn)有技術中圖像降維和多標記分類的問題。其實現(xiàn)步驟為：首先，將多類標分解成多個單類標；其次使用初始樣本計算初始線性判別分析的變換矩陣，使用新增樣本增量更新線性判別分析的變換矩陣，并將高維數(shù)據(jù)投影到低維空間；再從降維后的樣本集中隨機選取訓練樣本和測試樣本，使用單示例多標記的K最近鄰分類器對降維后的特征樣本分類，并得到測試樣本輸出值；最后，預測出測試樣本的標簽，得到分類結果。本發(fā)明具有分類精度更高，分類時間更短的優(yōu)點，可用于快速準確地處理海量高維度并且類別較多的多類標數(shù)據(jù)分類問題。
【IPC分類】G06K9-62
【公開號】CN104809475
【申請?zhí)枴緾N201510227553
【發(fā)明人】焦李成, 馬文萍, 張曼, 屈嶸, 楊淑媛, 侯彪, 王爽, 馬晶晶, 劉紅英
【申請人】西安電子科技大學
【公開日】2015年7月29日
【申請日】2015年5月6日