本發(fā)明涉及超光譜成像平臺中雙相機圖像的對齊方法，具體涉及超光譜成像的圖像融合平臺中低分辨率超光譜相機和高分辨率rgb相機拍攝的兩張圖像的對齊方法，屬于計算攝像學領域。

背景技術：

超光譜成像是一項具有重要意義的技術，它可以提高目標分割、目標追蹤、目標識別等算法的性能，在遙感方面的應用使其對地質、海洋、大氣和環(huán)境領域的研究有重要推動作用。近年來，該項技術也越來越多地應用于商業(yè)市場，例如生物技術、生命科學及醫(yī)學領域。

傳統(tǒng)的超光譜成像技術通常利用分光器件如光柵、棱鏡等，通過多次成像的方式獲取平面場景的超光譜圖像。這些技術存在一些缺點，例如設備造價昂貴、成像過程耗時較長、每次曝光要求場景不變等。

隨著稀疏表達技術的發(fā)展，出現(xiàn)了基于單次曝光的超光譜成像技術。其中，圖像融合平臺自從出現(xiàn)以來，被國內外研究者不斷改進，達到了較好的成像效果。這種平臺使用兩臺相機拍攝完全相同的場景，一臺相機為低分辨率超光譜相機，另一臺為高分辨率rgb相機。在得到兩臺相機拍攝的圖像后，使用基于稀疏表達的算法，對兩張圖像進行融合而得到高分辨率超光譜圖像。

圖像融合平臺較好地解決了傳統(tǒng)超光譜成像技術需要多次曝光的缺點，但是仍存在一些不足。其中最明顯的不足是雙相機對齊問題，即該平臺要求兩臺相機拍攝完全相同的場景。圖像融合平臺通常使用一種半反半透鏡(beamsplitter)來解決這一問題，這種元件可以將完全相同的場景投射到不同的成像設備。然后，通過使用標定板等裝置，對相機位置進行調整，盡可能達到雙相機對齊的效果。

對于兩臺高分辨率相機，傳統(tǒng)的對齊方法能夠達到不錯的效果。但是，由于圖像融合平臺采用低分辨率超光譜相機，得到的圖像相對高分辨率圖像常常有8倍到32倍的模糊，這樣的模糊程度使得人眼識別標定點的過程更加困難。另外，傳統(tǒng)的軟件對齊算法，也要求兩張圖像有較高重合程度，而圖像融合平臺拍攝的兩張圖像顯然不能滿足這種要求。因此，圖像融合平臺對于一種針對分辨率不同的兩張圖像的對齊算法，具有十分急切的需求。

技術實現(xiàn)要素：

針對現(xiàn)有技術不具備對高分辨率rgb圖像和低分辨率超光譜圖像的對齊方法的問題。基于超光譜成像平臺中雙相機圖像對齊提高超光譜成像算法精度的同一發(fā)明構思，本發(fā)明公開兩種用于超光譜成像平臺中雙相機圖像對齊的方法：

第一種用于超光譜成像平臺中雙相機圖像對齊的方法要解決的技術問題是：提供一種針對低分辨率超光譜圖像和高分辨率rgb圖像的對齊方法，通過圖像對齊能夠提高基于圖像融合平臺的超光譜成像算法的精度。

第二種用于超光譜成像平臺中雙相機圖像對齊的方法要解決的技術問題是：提供一種適用于超光譜成像的圖像融合平臺中的高分辨率rgb圖像和低分辨率超光譜圖像的對齊方法，通過超光譜重建和對齊過程的迭代，能夠提高圖像對齊的精確度和超光譜重建的精度。

為達到以上目的，本發(fā)明采取以下技術方案：

本發(fā)明公開的第一種用于超光譜成像平臺中雙相機圖像對齊的方法，應用于超光譜成像的圖像融合平臺，使用超光譜相機獲取場景的低分辨率超光譜圖像，同時使用rgb相機獲取相同場景的高分辨率rgb圖像；對rgb圖像進行空間下采樣得到低分辨率rgb圖像，對超光譜圖像進行光譜域下采樣得到與空間下采樣相同尺寸的低分辨率rgb圖像；對所述的兩張低分辨率rgb圖像建立圖像對齊模型；使用對齊模型求解算法求解對齊模型中的單應變換矩陣；使用所述單應變換矩陣，對所述高分辨率rgb圖像進行變換，使高分辨率rgb圖像與所述低分辨率超光譜圖像對齊，從而提高基于圖像融合平臺的超光譜成像算法的精度。

本發(fā)明公開的第一種用于超光譜成像平臺中雙相機圖像對齊的方法，包括以下步驟：

步驟101：使用超光譜相機獲取場景的低分辨率超光譜圖像，同時使用rgb相機獲取相同場景的高分辨率rgb圖像。

步驟102：對rgb圖像進行空間下采樣得到低分辨率rgb圖像，對超光譜圖像進行光譜域下采樣得到與空間下采樣相同尺寸的低分辨率rgb圖像。

步驟103：根據(jù)圖像對齊模型對步驟2所述的兩張低分辨率rgb圖像進行對齊處理。

步驟103所述的圖像對齊模型優(yōu)選公式(1)所示的圖像對齊模型：

其中t表示待求單應變換，x表示二維平面上的坐標點，y表示所述高分辨率rgb圖像，l表示拍攝的低分辨率超光譜圖像，h表示所述低分辨率超光譜圖像的空間下采樣矩陣，p代表rgb相機光譜響應曲線，即光譜域下采樣矩陣，||·||f表示矩陣的frobenius范數(shù)。

上述模型要求高分辨率rgb圖像和低分辨率超光譜圖像具有完全相同的輻射強度。但是在實際應用中，兩臺相機因為硬件原因，總體亮度上通常會存在差別，因此，步驟103所述的圖像對齊模型優(yōu)選增強相關系數(shù)模型，即如公式(2)所述的圖像對齊模型：

步驟104：根據(jù)對齊模型求解方法求解步驟103所述的圖像對齊模型，得到矩陣形式的單應變換。

所述的對齊模型求解方法優(yōu)選lucas-kanade方法、運動估計方法、基于傅里葉變換的對齊方法等。

其中l(wèi)ucas-kanade方法可以通過迭代的方式求解單應變換矩陣。為了加快迭代的收斂速度，lucas-kanade組合算法和反向組合算法等變種也同樣適用于本問題的求解。

步驟105：根據(jù)所述單應變換矩陣，對所述高分辨率rgb圖像進行變換，使高分辨率rgb圖像與所述低分辨率超光譜圖像對齊。通過圖像對齊能夠提高基于圖像融合平臺的超光譜成像算法的精度。

本發(fā)明還公開第二種用于超光譜成像平臺中雙相機圖像對齊的方法，應用于超光譜成像的圖像融合平臺，使用超光譜相機獲取場景的低分辨率超光譜圖像，同時使用rgb相機獲取相同場景的高分辨率rgb圖像；把單應變換矩陣初始化為單位矩陣；迭代進行以下超光譜重建和對齊的步驟，直至達到預設的迭代次數(shù)：對所述高分辨率rgb圖像和低分辨率超光譜圖像使用圖像融合算法進行超光譜圖像重建，得到重建的超光譜圖像；對重建的超光譜圖像進行空間下采樣；對采集的低分辨率超光譜圖像和空間下采樣后的重建的超光譜圖像，建立對齊模型；使用對齊模型求解算法，更新所述單應變換矩陣；使用更新后的單應變換矩陣對所述高分辨率rgb圖像進行變換。通過上述超光譜重建和對齊的迭代步驟，能夠提高圖像對齊的精確度和超光譜重建的精度。

本發(fā)明還公開第二種用于超光譜成像平臺中雙相機圖像對齊的方法，包括以下步驟：

步驟201：使用超光譜相機獲取場景的低分辨率超光譜圖像，同時使用rgb相機獲取相同場景的高分辨率rgb圖像。

步驟202：把單應變換矩陣進行初始化，設置為單位矩陣。

步驟203：對獲取的高分辨率rgb圖像和低分辨率超光譜圖像通過圖像融合算法進行超光譜圖像重建，得到重建的超光譜圖像。

所述的圖像融合算法優(yōu)選：基于稀疏矩陣分解的圖像融合算法，基于空間-光譜稀疏表達的圖像融合算法，基于成對圖像光譜分解的圖像融合算法，基于非負結構化稀疏表達的圖像融合算法等。

步驟204：對重建的超光譜圖像進行空間下采樣，使它的空間分辨率與采集的低分辨率超光譜圖像一致。

步驟205：對采集的低分辨率超光譜圖像和空間下采樣后的重建的超光譜圖像，根據(jù)對齊模型進行對齊處理。

步驟205所述的對齊模型優(yōu)選公式(3)所示對齊模型。

其中t表示待求單應變換，x表示二維平面上的坐標點，l′表示所述空間下采樣后的重建的超光譜圖像，l表示拍攝的低分辨率超光譜圖像，||·||f表示矩陣的frobenius范數(shù)。

步驟206：使用對齊模型求解算法求解對齊模型，對矩陣形式的單應變換進行更新。

所述的對齊模型求解方法優(yōu)選lucas-kanade方法、運動估計方法、基于傅里葉變換的對齊方法等。

其中l(wèi)ucas-kanade方法可以通過迭代的方式求解單應變換矩陣。為了加快迭代的收斂速度，lucas-kanade組合算法和反向組合算法等變種也同樣適用于本問題的求解。

步驟207：根據(jù)更新后的單應變換矩陣，對所述的高分辨率rgb圖像進行變換。

步驟208：迭代進行步驟203至步驟207所述的超光譜重建和對齊過程，提高圖像對齊的精確度和超光譜重建的精度，直到達到預設的迭代次數(shù)。迭代結束后，步驟203中得到的超光譜圖像，即為最終的超光譜成像結果。

有益效果：

現(xiàn)有技術中沒有適用于超光譜成像的圖像融合平臺中的高分辨率rgb圖像和低分辨率超光譜圖像的對齊方法，本發(fā)明公開的兩種用于超光譜成像平臺中雙相機圖像對齊的方法。

第一種用于超光譜成像平臺中雙相機圖像對齊的方法有益效果為：提供一種針對低分辨率超光譜圖像和高分辨率rgb圖像的對齊方法，通過圖像對齊能夠提高基于圖像融合平臺的超光譜成像算法的精度。

第二種用于超光譜成像平臺中雙相機圖像對齊的方法有益效果為：提供一種適用于超光譜成像的圖像融合平臺中的高分辨率rgb圖像和低分辨率超光譜圖像的對齊方法，通過超光譜重建和對齊過程的迭代，能夠提高圖像對齊的精確度和超光譜重建的精度。

附圖說明

圖1是本發(fā)明中用于超光譜成像平臺中雙相機圖像對齊的方法的流程圖。

圖2是本發(fā)明中用于超光譜成像平臺中雙相機圖像對齊的另一種方法的流程圖。

圖3是本發(fā)明中對齊方法適用的圖像融合平臺的示意圖。

圖4是本發(fā)明中對齊過程的示意圖。

具體實施方式

為了更好的說明本發(fā)明的目的和優(yōu)點，下面結合附圖和實例對發(fā)明內容做進一步說明。

實施例1：

本實施例公開的一種用于超光譜成像平臺中雙相機圖像對齊的方法，應用于超光譜成像的圖像融合平臺，使用超光譜相機獲取場景的低分辨率超光譜圖像，同時使用rgb相機獲取相同場景的高分辨率rgb圖像；對rgb圖像進行空間下采樣得到低分辨率rgb圖像，對超光譜圖像進行光譜域下采樣得到與空間下采樣相同尺寸的低分辨率rgb圖像；對所述的兩張低分辨率rgb圖像建立圖像對齊模型；使用對齊模型求解算法求解對齊模型中的單應變換矩陣；使用所述單應變換矩陣，對所述高分辨率rgb圖像進行變換，使高分辨率rgb圖像與所述低分辨率超光譜圖像對齊，從而提高基于圖像融合平臺的超光譜成像算法的精度。以上方法的流程圖如圖1所示。

在圖像融合平臺中，雙相機必須保證采集的是相同場景的圖像，否則基于圖像融合平臺的各種超光譜成像方法的性能都會有不同程度的下降。因此，圖像融合平臺除了在硬件上需要使兩個相機對齊之外，對于拍攝到的圖像，也應該使用軟件的方式進行進一步對齊。圖像融合平臺的示意圖如圖3所示。

對于兩張相同場景但沒有對齊的二維圖像，它們之間的幾何形變通常由一個變換矩陣來表示。常見的變換類型有：平移變換、歐氏變換、相似變換、仿射變換、投影(單應)變換等。在圖像融合平臺中，為了簡化對齊的過程，本實施例中的對齊方法假設兩張圖像之間的變換為以上幾種變換中的一種。這些變換都可以通過一個三維方陣來表示(詳見szeliskir.imagealignmentandstitching:atutorial[j].foundationsandtrendsincomputergraphicsandvision,2006,2(1):1-104.)。

如圖2所示，本實施例公開的一種用于超光譜成像平臺中雙相機圖像的對齊方法，包括以下步驟：

步驟101：使用超光譜相機獲取場景的低分辨率超光譜圖像，同時使用rgb相機獲取相同場景的高分辨率rgb圖像。

步驟102：對rgb圖像進行空間下采樣得到低分辨率rgb圖像，對超光譜圖像進行光譜域下采樣得到與空間下采樣相同尺寸的低分辨率rgb圖像。

步驟103：根據(jù)圖像對齊模型對步驟2所述的兩張低分辨率rgb圖像進行對齊處理。

步驟103所述的圖像對齊模型優(yōu)選公式(1)所述的圖像對齊模型：

其中t表示待求單應變換，x表示二維平面上的坐標點，y表示所述高分辨率rgb圖像，h表示所述低分辨率超光譜圖像的空間下采樣矩陣，p代表rgb相機光譜響應曲線，即光譜域下采樣矩陣，||·||f表示矩陣的弗羅賓尼斯(frobenius)范數(shù)。

上述模型要求高分辨率rgb圖像和低分辨率超光譜圖像具有完全相同的輻射強度。但是在實際應用中，兩臺相機因為硬件原因，總體亮度上通常會存在差別，因此，步驟103所述的圖像對齊模型優(yōu)選增強相關系數(shù)模型，即如公式(2)所述的圖像對齊模型：

步驟104：根據(jù)對齊模型求解方法求解步驟3所述的圖像對齊模型，得到矩陣形式的單應變換。

所述的對齊模型求解方法優(yōu)選lucas-kanade方法、運動估計方法、基于傅里葉變換的對齊方法等。

其中l(wèi)ucas-kanade方法可以通過迭代的方式求解單應變換矩陣。為了加快迭代的收斂速度，lucas-kanade組合算法和反向組合算法等變種也同樣適用于本問題的求解。關于lucas-kanade方法詳見(bakers,matthewsi.lucas-kanade20yearson:aunifyingframework[j].internationaljournalofcomputervision,2004,56(3):221-255.)。

步驟105：根據(jù)所述單應變換矩陣，對所述高分辨率rgb圖像進行變換，使高分辨率rgb圖像與所述低分辨率超光譜圖像對齊。

通過圖像對齊能夠提高基于圖像融合平臺的超光譜成像算法的精度。

實施例2：

本實施例還公開一種用于超光譜成像平臺中雙相機圖像對齊的方法，應用于超光譜成像的圖像融合平臺，使用超光譜相機獲取場景的低分辨率超光譜圖像，同時使用rgb相機獲取相同場景的高分辨率rgb圖像；把單應變換矩陣初始化為單位矩陣；迭代進行以下超光譜重建和對齊的步驟，直至達到預設的迭代次數(shù)：對所述高分辨率rgb圖像和低分辨率超光譜圖像使用圖像融合算法進行超光譜圖像重建，得到重建的超光譜圖像；對重建的超光譜圖像進行空間下采樣；對采集的低分辨率超光譜圖像和空間下采樣后的重建的超光譜圖像，建立對齊模型；使用對齊模型求解算法，更新所述單應變換矩陣；使用更新后的單應變換矩陣對所述高分辨率rgb圖像進行變換。通過上述超光譜重建和對齊的迭代步驟，能夠提高圖像對齊的精確度和超光譜重建的精度。以上方法的流程圖如圖2所示。

在圖像融合平臺中，雙相機必須保證采集的是相同場景的圖像，否則基于圖像融合平臺的各種超光譜成像方法的性能都會有不同程度的下降。因此，圖像融合平臺除了在硬件上需要使兩個相機對齊之外，對于拍攝到的圖像，也應該使用軟件的方式進行進一步對齊。圖像融合平臺的示意圖如圖3所示。

對于兩張相同場景但沒有對齊的二維圖像，它們之間的幾何形變通常由一個變換矩陣來表示。常見的變換類型有：平移變換、歐氏變換、相似變換、仿射變換、投影(單應)變換等。在圖像融合平臺中，為了簡化對齊的過程，本實施例中的對齊方法假設兩張圖像之間的變換為以上幾種變換中的一種。這些變換都可以通過一個三維方陣來表示(詳見szeliskir.imagealignmentandstitching:atutorial[j].foundationsandtrendsincomputergraphicsandvision,2006,2(1):1-104.)。

傳統(tǒng)的圖像對齊方法在進行兩張圖像的對齊時，一般要求兩張圖像具有較大的重合，也即幾何形變的程度不能太大，而圖像融合平臺拍攝的兩張圖像之間最多具有32倍的分辨率差別。顯然不能滿足這種要求。因此，本實施例公開一種用于超光譜成像平臺中雙相機圖像的對齊方法，利用如下相等關系：

y(x)h＝pl(t(x))

其中y表示高分辨率rgb圖像，h表示空間下采樣矩陣，l表示低分辨率超光譜圖像，p表示rgb相機的光譜響應曲線，x代表二維空間坐標點，t表示幾何形變。即如果對高分辨率rgb圖像進行空間下采樣，對低分辨率超光譜圖像進行光譜域下采樣，下采樣后的兩張圖像能夠滿足傳統(tǒng)圖像對齊方法的要求。

根據(jù)對圖像融合平臺的特點的分析，本實施例還公開一種用于超光譜成像平臺中雙相機圖像對齊的方法，包括以下步驟：

步驟201：使用超光譜相機獲取場景的低分辨率超光譜圖像，同時使用rgb相機獲取相同場景的高分辨率rgb圖像。

步驟202：把單應變換矩陣進行初始化，設置為單位矩陣。

步驟203：對獲取的高分辨率rgb圖像和低分辨率超光譜圖像通過圖像融合算法進行超光譜圖像重建，得到重建的超光譜圖像。圖像融合算法優(yōu)選：基于稀疏矩陣分解的圖像融合算法(詳見kawakamir,matsushitay,wrightj,etal.high-resolutionhyperspectralimagingviamatrixfactorization[c]//computervisionandpatternrecognition(cvpr),2011ieeeconferenceon.ieee,2011:2329-2336.)，基于空間-光譜稀疏表達的圖像融合算法(詳見akhtarn,shafaitf,miana.sparsespatio-spectralrepresentationforhyperspectralimagesuper-resolution[c]//europeanconferenceoncomputervision.springerinternationalpublishing,2014:63-78.)，基于成對圖像光譜分解的圖像融合算法(詳見lanarasc,baltsaviase,schindlerk.hyperspectralsuper-resolutionbycoupledspectralunmixing[c]//proceedingsoftheieeeinternationalconferenceoncomputervision.2015:3586-3594.)，基于非負結構化稀疏表達的圖像融合算法等(詳見dongw,fuf,shig,etal.hyperspectralimagesuper-resolutionvianon-negativestructuredsparserepresentation[j].ieeetransactionsonimageprocessing,2016,25(5):2337-2352.)。

步驟204：對重建的超光譜圖像進行空間下采樣，使它的空間分辨率與采集的低分辨率超光譜圖像一致。

步驟205：對采集的低分辨率超光譜圖像和空間下采樣后的重建的超光譜圖像，根據(jù)對齊模型進行對齊處理。

步驟205所述的對齊模型優(yōu)選公式(3)所示對齊模型。

其中t表示待求單應變換，x表示二維平面上的坐標點，l′表示所述空間下采樣后的重建的超光譜圖像，l表示拍攝的低分辨率超光譜圖像，||·||f表示矩陣的frobenius范數(shù)。

步驟206：使用對齊模型求解算法，求解公式(3)所示的對齊模型，對矩陣形式的單應變換進行更新。所述的對齊模型求解方法優(yōu)選lucas-kanade方法、運動估計方法、基于傅里葉變換的對齊方法等。

其中l(wèi)ucas-kanade方法可以通過迭代的方式求解單應變換矩陣。為了加快迭代的收斂速度，lucas-kanade組合算法和反向組合算法等變種也同樣適用于本問題的求解。

步驟207：根據(jù)更新后的單應變換矩陣，對所述的高分辨率rgb圖像進行變換。

步驟208：迭代進行步驟203至步驟207所述的超光譜重建和對齊過程，提高圖像對齊的精確度和超光譜重建的精度，直到達到預設的迭代次數(shù)。迭代結束后，步驟203中得到的超光譜圖像，即為最終的超光譜成像結果。

以上所述的具體描述，對發(fā)明的目的、技術方案和有益效果進行了進一步詳細說明，所應理解的是，以上所述僅為本發(fā)明的具體實施例而已，并不用于限定本發(fā)明的保護范圍，凡在本發(fā)明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內。