基于非局部回歸和總差分的多視點rgb-d圖像超分辨率方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像超分辨率技術(shù)領(lǐng)域，具體涉及一種基于非局部回歸和總差分的多 視點RGB-D圖像超分辨率方法。
【背景技術(shù)】
[0002] 隨著4K時代的到來，高清圖像的應(yīng)用和需求日益增多，圖像超分辨率技術(shù)的成 為不可或缺的圖像恢復(fù)手段，也被視為第二代圖像恢復(fù)技術(shù)，為后續(xù)圖像處理和可視化提 供了良好的細節(jié)信息和顯著的特征，同時也便利于后續(xù)的基于幾何的計算機圖形應(yīng)用（例 如：三維重構(gòu)和3D打印等）。不同于傳統(tǒng)的圖像恢復(fù)技術(shù)，圖像超分辨率的目的是通過最 大化的利用輸入單張圖像或圖像序列中的固有信息來生成一個高質(zhì)量的放大圖像，其中由 于輸入圖像為超分辨率圖像的模糊、下采樣以及噪聲等一系列操作的結(jié)果，因此，圖像超分 辨率技術(shù)被視為一個病態(tài)的圖像逆問題。
[0003] 常用的圖像超分辨率方法可分為三種，分別為：基于插值的方法、基于重構(gòu)的方 法、基于學(xué)習(xí)的方法?；诓逯档姆椒ㄍǔ?yīng)用線性或非線性插值技術(shù)實現(xiàn)圖像的超分辨 率，該類方法簡單快速易實現(xiàn)，被廣泛的應(yīng)用于現(xiàn)存的商業(yè)軟件中。但是由于基于插值的方 法僅使用了插值位置周邊的有限信息做為插值依據(jù)，通常會造成插值效果中包含鋸齒、邊 界過模糊以及細節(jié)信息丟失。對于基于重構(gòu)的方法而言，輸入圖像序列的多幅圖像需要使 用圖像配準(zhǔn)技術(shù)來獲得圖像間的相關(guān)性，由于輸入低分辨率圖像通常比較模糊，且包含了 有限的特征信息，造成了現(xiàn)有的圖像配準(zhǔn)技術(shù)并適用于該類低分辨率的圖像，也不能得到 準(zhǔn)確的圖間相關(guān)性，因此后續(xù)的基于重構(gòu)的方法不能得到滿意的超分辨率效果。同時現(xiàn)存 的基于重構(gòu)的技術(shù)為了能夠得到好的重構(gòu)效果，均采用了約束項從大量的重構(gòu)效果中獲得 一個滿意的結(jié)果，但目前的約束項并不能保證所獲得重構(gòu)效果和真實高清圖像的有效一致 性。第三類基于學(xué)習(xí)的方法利用了外部高低分辨率數(shù)據(jù)集，通過學(xué)習(xí)高低分辨率圖像對間 的相關(guān)性，在算法獲得最小重構(gòu)誤差時，建立了高分辨率圖像對間的映射關(guān)系，并將該映射 關(guān)系應(yīng)用于測試數(shù)據(jù)中。該類方法最大的問題是外部圖像集的選擇問題，過小的圖像集不 能達到有效的訓(xùn)練效果，過大的圖像集造成訓(xùn)練時間過長且存在重構(gòu)數(shù)據(jù)過擬合的現(xiàn)象， 同時該類方法過度依賴于測試圖像和訓(xùn)練圖像間的相似性。以上三類圖像超分辨率技術(shù)也 被應(yīng)用于深度圖的超分辨率應(yīng)用中，被針對深度圖的特殊應(yīng)用需求，在以上三類方法的基 礎(chǔ)上，將彩色圖像做為先驗信息來實現(xiàn)深度圖的放大，該類方法需要一個額外的高分辨率 RGB圖像的輔助設(shè)備來獲取高清圖像。針對通常使用的MicrosoftKinect，所獲得RGB圖 像及深度圖的默認(rèn)分辨率俊文640X480,因此針對此類應(yīng)用，深度圖的超分辨率將及其困 難。
[0004] 目前RGB-D圖像超分辨率的關(guān)鍵技術(shù)在于如何利用深度圖和RGB圖像間的固有相 關(guān)性構(gòu)建圖像序列間的映射關(guān)系，如何設(shè)計一個有效的先驗信息使得重構(gòu)超分辨率圖像能 最大限度的與真實的高清圖像保持一致，如何利用RGB圖像與深度圖間的相關(guān)性實現(xiàn)深度 圖的超分辨率等。
[0005] 為了解決上述問題，本發(fā)明非局部回歸和總差分的多視點RGB-D圖像超分辨率 方法，該方法通過初始化的超分辨率深度圖構(gòu)建參考圖像的點云，并利用小孔成像原理構(gòu) 建輸入圖像序列與超分辨率重構(gòu)圖像間的映射矩陣，提高了低分辨率輸入圖像間的配準(zhǔn)精 度；利用所提出的歸一化的雙邊總差分約束項，并使用主對偶求解方法快速實現(xiàn)RGB圖像 的超分辨率，該約束項有效的保持了重構(gòu)的RGB圖像與真實高清圖像的一致性，使得所獲 得的重構(gòu)高分辨率圖像較好的保持了細節(jié)和邊界的清晰性；基于所重構(gòu)的RGB圖像，利用 所提出的基于像素點的非局部回歸方法實現(xiàn)深度圖的重構(gòu)，該重構(gòu)方法提高了算法的求解 速度，同時RGB信息的使用有效的防止了深度彩色信息的不一致問題。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明要解決的技術(shù)問題是：克服了現(xiàn)有算法對圖像配準(zhǔn)技術(shù)的依賴性，提供了 一種基于深度圖的圖間映射矩陣構(gòu)建方法，通過小孔成像技術(shù)，提高了所發(fā)明的算法的理 論可行性?？朔丝偛罘址椒ㄖ貥?gòu)效果存在的鋸齒和過模糊的現(xiàn)象，提出了歸一化的雙邊 總差分先驗的RGB圖像超分辨重構(gòu)方法；克服了基于RGB圖像構(gòu)建超分辨率深度圖穩(wěn)定性 第、邊界模糊以及細節(jié)丟失的問題，提出了基于非局部回歸和RGB圖像誘導(dǎo)的深度圖超分 辨率方法。
[0007] 本發(fā)明采用的技術(shù)方案為：一種基于非局部回歸和總差分的多視點RGB-D圖像超 分辨率方法，包括以下步驟：
[0008] 步驟（1)、基于深度圖的圖間映射矩陣構(gòu)建：將參考視點的深度圖利用Bicubic 算法插值到目的超分辨率維數(shù)，并利用反向投影技術(shù)獲得參考視點的點云重構(gòu)，并使用 MonoSLAM算法獲取圖像序列相對于參考圖像的偏移量，利用重構(gòu)的點云數(shù)據(jù)、深度信息、偏 移量以及小孔成像原理，分別構(gòu)建相同視點下超分辨率圖像和低分辨率圖像間的映射矩陣 和不同視點下的低分辨率輸入圖像和超分辨率圖像間的映射矩陣，實現(xiàn)了映射矩陣Μ的初 始化；
[0009] 步驟（2)、基于歸一化的雙邊總差分的RGB圖像超分辨率：通過步驟（1)所獲得的 映射矩陣，并利用所提出的歸一化的雙邊總差分先驗知識，構(gòu)建RGB圖像重構(gòu)能量函數(shù)，利 用主對偶算法實現(xiàn)重構(gòu)圖像的快速求解，該步驟所使用的改進的總差分先驗?zāi)軌蛴行У谋?證重構(gòu)的超分辨率圖像與真實的高清圖像的一致性，并且所使用的主對偶求解方法可以保 證求解過程的快速性；
[0010] 步驟（3)、基于非局部回歸和RGB圖像誘導(dǎo)的深度圖超分辨率：通過步驟（2)中重 構(gòu)的超分辨率RGB圖像，使用了基于方差的RGB圖像通道選擇方法獲得結(jié)構(gòu)特征最強的通 道，利用深度圖和所選擇通道的RGB圖像的雙邊核信息構(gòu)建圖像的重構(gòu)系數(shù)，并使用非局 部約束構(gòu)建深度圖的重構(gòu)優(yōu)化函數(shù)，該步驟有效的防止了深度彩色信息的不一致問題。
[0011] 進一步的，步驟（1)中所述的深度圖的圖間映射矩陣構(gòu)建方法，有效的解決了低 分辨率圖像間的配準(zhǔn)不準(zhǔn)確性問題，降低了對圖像配準(zhǔn)算法的依賴性提高了算法映射矩陣 構(gòu)建的準(zhǔn)確性。
[0012] 進一步的，步驟（2)中所述的基于歸一化的雙邊總差分的RGB圖像超分辨率，提出 了一個歸一化的雙邊總差分的先驗知識，并將其做為約束項來構(gòu)建RGB圖像的優(yōu)化函數(shù)， 并利用主對偶算法實現(xiàn)圖像的快速重構(gòu)，該方法提出了一個全新的先驗知識，該先驗知識 能有效的保證重構(gòu)的超分辨率圖像和真實的高清圖像間的一致性，同時所使用的主對偶方 法能有效的加快算法的求解速度，減少的求解時間，提高了算法實時性。
[0013] 進一步的，步驟（3)中所述的基于非局部回歸和RGB圖像誘導(dǎo)的深度圖超分辨率 方法，首先將步驟（2)所構(gòu)建的RGB超分辨率圖像做為先驗信息，并通過使用基于像素點的 重構(gòu)方法，提出了基于局部方差的RGB圖像通道選擇方法，利用了所選擇通道的圖像結(jié)構(gòu) 信息和輸入的深度信息來構(gòu)建重構(gòu)系數(shù)，采用了非局部的構(gòu)建方法來獲取最相似的重構(gòu)約 束項，使用預(yù)條件共輒梯度算法來實現(xiàn)二次函數(shù)的快速求解；該方法利用了通道選擇方法 和RGB圖像的局部結(jié)構(gòu)信息，有效的防止了深度彩色信息的不一致問題，有效的提高了算 法的邊界和細節(jié)信息的重構(gòu)準(zhǔn)確性；同時使用了非局部的重構(gòu)約束項增加了約束像素點的 候選項，提高了算法的求解穩(wěn)定性。
[0014] 本發(fā)明的原理在于：
[0015] (1)本發(fā)明所提出的基于深度圖的圖間映射矩陣構(gòu)建方法，該發(fā)明基于小孔成像 原理，利用了深度圖和RGB圖像間的固有關(guān)系構(gòu)建圖像序列與重構(gòu)圖像的映射矩陣，有效 的減少了對配準(zhǔn)算法的強依賴性，提高了算法的準(zhǔn)確性。
[0016] (2)本發(fā)明所提出的基于歸一化的雙邊總差分的RGB圖像超分辨率方法，通過使 用歸一化的雙邊總差分先驗知識做為重構(gòu)約束項，有效的保留了細節(jié)信息和提高了重構(gòu)結(jié) 果中邊界的清晰性，提高了重構(gòu)的超分辨率圖像和真實的高清圖像間的一致性。
[0017] (3)本發(fā)明所提出的基于非局部回歸和RGB圖像誘導(dǎo)的深度圖超分辨率方法，利 用了RBG三通道的不同結(jié)構(gòu)表示能力構(gòu)建局部結(jié)構(gòu)核，并使用深度信息構(gòu)建非局部重構(gòu)系 數(shù)，有效的防止了深度彩色信息的不一致問題，提高了算法的邊界和細