一種基于多模態(tài)特征融合的遙感影像分類方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于多模態(tài)特征融合的遙感影像分類方法，屬于遙感影像分類技 術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 遙感影像技術(shù)的進(jìn)步使得地理空間信息在數(shù)量和質(zhì)量上得到爆炸式的增長，研究 如何自動分析理解圖像內(nèi)容、獲取有價值的信息是十分必要的，而其中最基礎(chǔ)的工作就是 遙感影像的分類。當(dāng)前的高分辨率遙感影像具有豐富的視覺信息來描述地球表面，這些圖 像的使用可以使我們確定圖像類別，如建筑物、道路、農(nóng)場、森林、河流等等。環(huán)境以及社會 經(jīng)濟(jì)研究都必須基于遙感影像分類結(jié)果，因此許多學(xué)者研究了不同的圖像特征和分類技 術(shù)，并取得了很好的結(jié)果。
[0003] 然而，由于遙感影像的復(fù)雜性和多樣性，提高圖像分類精度仍然是項(xiàng)充滿挑戰(zhàn)的 工作。每張圖像上的特征提取基本上依賴于要被識別的圖像，描述圖像的一般特征包括紋 理、顏色、空間關(guān)系和結(jié)構(gòu)特征等。現(xiàn)有的分類方法大都是通過密集提取淺層特征，如SIFT 特征描述符，使用稀疏編碼的方式對描述符進(jìn)行量化，編碼的特征包含特征圖，通過BOW模 型或者空間金字塔進(jìn)行池化。
[0004] 卷積神經(jīng)網(wǎng)絡(luò)（CNNS)作為有效的深度學(xué)習(xí)模型，在圖像分類領(lǐng)域具有明顯的優(yōu) 勢，這種深度結(jié)構(gòu)使得其具有學(xué)習(xí)深度特征的能力，這種魯棒性的訓(xùn)練算法能夠更好的對 圖像物體進(jìn)行表達(dá)，并且無需手動設(shè)計特征，已經(jīng)被應(yīng)用到圖像集的分類中。例如文獻(xiàn)7 (Rich feature hierarchies for accurate object detection and semantic segmentation)公開了采用CNNS提取適應(yīng)長度的特征向量，然后使用特定的線性分類其SVM 對每個區(qū)域進(jìn)行分類的方法。文獻(xiàn)8(Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition)公開了一種通過引入了空間金字塔池化(SPP)層移除 CNNS中適當(dāng)尺寸的限制，SPP層對特征進(jìn)行池化產(chǎn)生相應(yīng)長度的輸出，作為連接層的輸入。 圖像分類結(jié)果表明CNNS產(chǎn)生的深度特征具有更強(qiáng)的分類能力，并且逐漸取代淺層和手動設(shè) 計的特征，例如SIFT、GIST等。雖然采用深度特征進(jìn)行分類精度比較淺層特征高，但是深度 特征缺少淺層特征包含的信息，其分類的結(jié)果無法全面表達(dá)圖像的信息。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是提供一種基于多模態(tài)特征融合的遙感影像分類方法，以提高遙感 影像分類的精度。
[0006] 本發(fā)明為解決上述技術(shù)問題提供了一種基于多模態(tài)特征融合的遙感影像分類方 法，該分類方法的步驟如下：
[0007] 1)將原始遙感影像中具有相似顏色、紋理的鄰近像素聚合在一起，對遙感影像進(jìn) 行超像素分割，得到超像素區(qū)域；
[0008] 2)至少提取兩個模態(tài)的特征；
[0009] 3)將得到的各個模態(tài)的特征融合后輸入到RBM模型中進(jìn)行學(xué)習(xí)，得到各模態(tài)特征 的聯(lián)合表達(dá)；
[0010] 4)根據(jù)得到聯(lián)合表達(dá)對每一個超像素區(qū)域進(jìn)行類型估計，從而實(shí)現(xiàn)對遙感影像的 分類。
[0011] 所述步驟2)中的至少兩個模態(tài)的特征包括淺層模態(tài)特征和深層模態(tài)特征，其中淺 層模態(tài)特征為從遙感影像中提取出的SIFT特征，顏色直方圖特征和CENRIST特征，深層模態(tài) 特征為采用卷積神經(jīng)網(wǎng)絡(luò)從遙感影像中提取出的特征。
[0012] 所述淺層模態(tài)特征和深層模態(tài)特征在輸入到RBM模型進(jìn)行學(xué)習(xí)之前均需通過對應(yīng) 的DBN模型進(jìn)行處理，以分別得到淺層模態(tài)的高層特征和深層模態(tài)的高層特征。
[0013] 所述輸入到DBN模型進(jìn)行處理的深層模態(tài)特征為深層模態(tài)中的中層特征，該中層 特征的提取過程如下：
[0014] A.從采用卷積神經(jīng)網(wǎng)絡(luò)得到深層模態(tài)特征中提取設(shè)定層的特征圖；
[0015] B.將提取的特征圖調(diào)整至原圖像大小，利用調(diào)整后各個特征圖作為向量對每一個 超像素區(qū)域進(jìn)行描述，該特征即為深層模態(tài)的中層特征。
[0016] 所述輸入到DBN模型進(jìn)行處理的淺層模態(tài)特征為淺層模態(tài)中的中層特征，該中層 特征指的是從遙感影像中提取出的SIFT特征，顏色直方圖特征和CENRIST特征
[0017] 所述步驟A中設(shè)定層指的是卷積神經(jīng)網(wǎng)絡(luò)的第4卷積層、第2池化層和第5池化層。
[0018] 本發(fā)明的有益效果是:本發(fā)明首先至少提取兩個模態(tài)的特征;然后將得到的各個 模態(tài)的特征均輸入到RBM模型中進(jìn)行融合，得到各模態(tài)特征的聯(lián)合表達(dá);最后根據(jù)得到聯(lián)合 表達(dá)對每一個超像素區(qū)域進(jìn)行類型估計，從而實(shí)現(xiàn)對遙感影像的分類。本發(fā)明通過融合多 種模式特征，即將淺層模態(tài)特征和深層模態(tài)特征均通過RBM模型進(jìn)行融合以得到相應(yīng)的聯(lián) 合表達(dá)，該聯(lián)合表達(dá)即包含了遙感影像深層模態(tài)特征的層節(jié)表達(dá)，又包含了淺層模態(tài)特征 的外部可視相似度，具有非常高的區(qū)分能力，提高了遙感影像的分類精度。
【附圖說明】
[0019] 圖1是基于深度學(xué)習(xí)和多特征融合的遙感影像分類方法的原理示意圖；
[0020]圖2特征學(xué)習(xí)準(zhǔn)則示意圖；
[0021] 圖3是DBN產(chǎn)生模型示意圖；
[0022] 圖4是本發(fā)明實(shí)施例中所選取的8類型影像示意圖；
[0023] 圖5是本發(fā)明實(shí)施例中所選用的卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖；
[0024] 圖6是本發(fā)明實(shí)施例中利用卷積神經(jīng)網(wǎng)絡(luò)得到的特征圖；
[0025] 圖7是本發(fā)明實(shí)施例中不同淺層特征組合的分類精度；
[0026] 圖8-a是深度模態(tài)下不同層數(shù)BRM稀疏精度示意圖；
[0027]圖8-b是淺層模態(tài)下不同層數(shù)BRM稀疏精度示意圖；
[0028]圖9-a是待分類的高層建筑圖像；
[0029] 圖9-b是采用淺層特征聯(lián)合分類方法對高層建筑圖像的分類結(jié)果圖；
[0030] 圖9-c是采用深層特征聯(lián)合分類方法對高層建筑圖像的分類結(jié)果圖；
[0031] 圖9-d是采用本發(fā)明多模態(tài)聯(lián)合分類方法對高層建筑圖像的分類結(jié)果圖；
[0032] 圖ΙΟ-a是待分類的稠密建筑圖像；
[0033] 圖10-b是采用淺層特征聯(lián)合分類方法對稠密建筑圖像的分類結(jié)果圖；
[0034] 圖10-c是采用深層特征聯(lián)合分類方法對稠密建筑圖像的分類結(jié)果圖；
[0035] 圖ΙΟ-d是采用本發(fā)明多模態(tài)聯(lián)合分類方法對稠密建筑圖像的分類結(jié)果圖；
[0036]圖ΙΙ-a是待分類的耕地圖像；
[0037] 圖ΙΙ-b是采用淺層特征聯(lián)合分類方法對耕地圖像的分類結(jié)果圖；
[0038] 圖11-c是采用深層特征聯(lián)合分類方法對耕地圖像的分類結(jié)果圖；
[0039] 圖ΙΙ-d是采用本發(fā)明多模態(tài)聯(lián)合分類方法對耕地圖像的分類結(jié)果圖；
[0040] 圖12-a是待分類的山脈河流圖像；
[0041] 圖12-b是采用淺層特征聯(lián)合分類方法對山脈河流圖像的分類結(jié)果圖；
[0042] 圖12-c是采用深層特征聯(lián)合分類方法對山脈河流圖像的分類結(jié)果圖；
[0043] 圖12-d是采用本發(fā)明多模態(tài)聯(lián)合分類方法對山脈河流圖像的分類結(jié)果圖。
【具體實(shí)施方式】
[0044]下面結(jié)合附圖對本發(fā)明的【具體實(shí)施方式】做進(jìn)一步的說明。
[0045] 本發(fā)明的基于多模態(tài)特征融合的遙感影像分類方法首先至少提取兩個模態(tài)的特 征;然后將得到的各個模態(tài)的特征均輸入到RBM模型中進(jìn)行融合，得到各模態(tài)特征的聯(lián)合表 達(dá);最后根據(jù)得到聯(lián)合表達(dá)對每一個超像素區(qū)域進(jìn)行類型估計，從而實(shí)現(xiàn)對遙感影像的分 類。下面以深層模態(tài)特征和淺層模態(tài)特征作為選取的特征為具體的實(shí)例進(jìn)行說明，其流程 如圖1所示，具體的實(shí)施步驟如下：
[0046] -、超像素分割
[0047] 超像素指的是圖像中由一系列位置相鄰且顏色、亮度、紋理等特征相似的像素點(diǎn) 組成的小區(qū)域，這些小區(qū)域保留了進(jìn)一步進(jìn)行圖像分割的有效信息，且一般不會破環(huán)圖像 中物體的邊界信息。對于每一幅