專利名稱：超分辨率方法和裝置的制作方法
技術領域：
本發(fā)明涉及圖像處理技術，尤其涉及ー種超分辨率方法和裝置。
背景技術：
隨著多媒體技術和計算機網(wǎng)絡技術的發(fā)展，圖像信息在人們工作、學習和生活中發(fā)揮越來越重要的作用。圖像分辨率是圖像質(zhì)量的關鍵指標，分辨率越高意味著提供的信息也越豐富。然而，由于成像儀器本身性能的限制以及外界環(huán)境條件的干擾，圖像分辨率往往不能滿足某些應用的要求，需要采用超分辨率(Super-Resolution,簡稱SR)還原圖像高頻信息，該SR指的是通過信息處理方法提高原有圖像的分辨率，例如，視頻通話時使用的攝像頭分辨率不高時，可以使用超分辨率方法將低清圖像轉(zhuǎn)換成高清圖像。其中ー種SR是基于學習的超分辨率方法，其包括訓練集生成步驟和超分辨率重建步驟；訓練集生成步驟是根據(jù)高分辨率(High Resolution，簡稱HR)訓練圖像構造訓練集，該訓練集中存放低分辨率(Low Resolution，簡稱LR)的圖像塊(patch)及其對應的HRpatch的對應關系信息。而超分辨率重建步驟則是將待處理的LR圖像分割成多個patch，姆個LR patch在訓練集中搜索與該LR patch相似的patch (通常不會具有完全相同的patch),再根據(jù)該相似的LR patch得到對應的HR patch,然后，再將各HR patch組合成LR圖像對應的HR圖像，即完成了從LR圖像到HR圖像的轉(zhuǎn)換，實現(xiàn)了分辨率的提高。但是，在上述的SR過程中，對于LR圖像分割得到的每個LR patch，均會在整個訓練集中進行對應的HR patch的捜索，這需要花費大量的時間，效率很低，無法滿足在某些情況下例如視頻播放時快速進行超分辨率的要求。

發(fā)明內(nèi)容
本發(fā)明提供ー種超分辨率方法和裝置，以提高超分辨率的效率。本發(fā)明提供ー種超分辨率方法，包括根據(jù)待處理的低分辨率LR圖像，分別生成對應的LR高頻圖像以及初始高分辨率HR圖像；將所述待處理的LR圖像、LR高頻圖像和所述初始HR圖像分別切割成內(nèi)容對應的多個圖像塊patch，所述LR高頻圖像和所述待處理的LR圖像切割的圖像塊的尺寸為N2，N為所述圖像塊的邊長的像素単元數(shù)目；所述初始HR圖像切割的圖像塊的尺寸為(KXN)2，K為超分辨率放大倍數(shù)；檢測所述LR高頻圖像切割成的每個圖像塊高頻LR patch是否含有高頻分量；若否，則將與所述高頻LR patch內(nèi)容對應的所述初始HR圖像切割成的圖像塊初始HR patch作為最終HR patch ；若是,則計算與所述高頻LR patch內(nèi)容對應的所述LR圖像切割成的圖像塊LRpatch的離散余弦變換DCT交流系數(shù)；并根據(jù)所述DCT交流系數(shù)，得到訓練集中的與所述高頻LR patch對應的類,在所述類中獲取與所述高頻LR patch對應的HR patch ;將所述HRpatch疊加在與所述高頻LR patch內(nèi)容對應的所述初始HR patch上,將所述疊加后的初始HR patch 作為最終 HR patch ；將分別與姆個高頻LR patch對應的多個最終HR patch組合,構成與所述待處理的LR圖像對應的最終HR圖像。本發(fā)明還提供ー種超分辨率方法，包括根據(jù)待訓練的高分辨率HR圖像生成對應的低分辨率LR圖像；并將所述HR圖像和所述LR圖像分別轉(zhuǎn)換為對應的HR高頻圖像和LR高頻圖像；將所述HR高頻圖像、LR高頻圖像和所述LR圖像分別切割成內(nèi)容對應的多個圖像塊patch，所述LR高頻圖像和所述LR圖像切割的圖像塊的尺寸為N2，N為所述圖像塊的邊長的像素単元數(shù)目；所述HR高頻圖像切割的圖像塊的尺寸為(KXN)2，K為超分辨率放大倍數(shù)；對所述LR圖像切割得到的每個圖像塊進行離散余弦變換DCT得到DCT交流系數(shù)，并在所述訓練集中建立(N2-1)M個類；根據(jù)所述DCT交流系數(shù)，將與所述LR圖像的圖像塊內(nèi)容對應的HR高頻圖像的圖像塊HR patch、LR高頻圖像的圖像塊高頻LR patch、以及所述HR patch和高頻LR patch的對應關系信息存儲至所述訓練集中的對應的類中。本發(fā)明提供ー種超分辨率裝置，包括超分辨率重建模塊；所述超分辨率重建模塊包括圖像轉(zhuǎn)換單元，用于根據(jù)待處理的低分辨率LR圖像，分別生成對應的LR高頻圖像以及初始高分辨率HR圖像；圖像切割単元，用于將所述待處理的LR圖像、LR高頻圖像和所述初始HR圖像分別切割成內(nèi)容對應的多個圖像塊patch，所述LR高頻圖像和所述待處理的LR圖像切割的圖像塊的尺寸為N2，N為所述圖像塊的邊長的像素単元數(shù)目；所述初始HR圖像切割的圖像塊的尺寸為(KXN)2，K為超分辨率放大倍數(shù)；圖像檢測單元，用于檢測所述LR高頻圖像切割成的每個圖像塊高頻LRpatch是否含有高頻分量；圖像處理單元，用于在所述圖像檢測單元的檢測結果為否時，則將與所述高頻LR patch內(nèi)容對應的所述初始HR圖像切割成的圖像塊初始HR patch作為最終HR patch ;以及，用于在所述圖像檢測單元的檢測結果為是時，則計算與所述高頻LR patch內(nèi)容對應的所述LR圖像切割成的圖像塊LR patch的離散余弦變換DCT交流系數(shù)；圖像搜索単元，用于根據(jù)所述DCT交流系數(shù)，得到訓練集中的與所述高頻LRpatch對應的類,在所述類中獲取與所述高頻LR patch對應的HR patch;將所述HR patch疊加在與所述高頻LR patch內(nèi)容對應的所述初始HR patch上，將所述疊加后的初始HRpatch 作為最終 HR patch ；圖像合成單元，用于將分別與姆個高頻LR patch對應的多個最終HR patch組合，構成與所述待處理的LR圖像對應的最終HR圖像。本發(fā)明還提供ー種超分辨率裝置，包括訓練集生成模塊；所述訓練集生成模塊包括圖像轉(zhuǎn)換單元，用于根據(jù)待訓練的高分辨率HR圖像生成對應的低分辨率LR圖像；并將所述HR圖像和所述LR圖像分別轉(zhuǎn)換為對應的HR高頻圖像和LR高頻圖像；圖像切割単元，用于將所述HR高頻圖像、LR高頻圖像和所述LR圖像分別切割成內(nèi)容對應的多個圖像塊patch，所述LR高頻圖像和所述LR圖像切割的圖像塊的尺寸為N2，N為所述圖像塊的邊長的像素単元數(shù)目；所述HR高頻圖像切割的圖像塊的尺寸為(KXN)2，K為超分辨率放大倍數(shù)；圖像處理單元，用于對所述LR圖像切割得到的每個圖像塊進行離散余弦變換DCT得到DCT交流系數(shù)；訓練集管理単元，用于在所述訓練集中建立(N2-1)M個類，所述類用于存儲HR高頻圖像的圖像塊HR patch、LR高頻圖像的圖像塊高頻LR patch以及所述HR patch和高頻LRpatch的對應關系信息；訓練集生成単元，用于根據(jù)所述DCT交流系數(shù)，將與所述LR圖像的圖像塊內(nèi)容對應的HR高頻圖像的圖像塊HR patch、LR高頻圖像的圖像塊高頻LR patch、以及所述HR patch和高頻LR patch的對應關系信息存儲至所述訓練集中的對應的類中。本發(fā)明提供的超分辨率方法和裝置，通過根據(jù)LR圖像切割成的patch做DCT變換得到的DCT交流系數(shù)將訓練集中的各patch進行分類，使得在超分辨重建時，可以根據(jù)該DCT交流系數(shù)，在訓練集中找到待處理的LR圖像的高頻LR patch對應的HR patch所在的分類，并僅在該類中搜索對應的HR patch，相對于現(xiàn)有技術中的在整個訓練集中搜索的方式，大大縮小了搜索范圍，因此有效減少了搜索時間，提高了超分辨率的效率。


圖I為本發(fā)明超分辨率方法一實施例的流程示意圖；圖2為本發(fā)明超分辨率方法另ー實施例的流程示意圖；圖3為本發(fā)明超分辨率方法實施例的ー應用示意圖；圖4為本發(fā)明超分辨率方法實施例的另ー應用示意圖；圖5為本發(fā)明超分辨率方法實施例的又ー應用不意圖；圖6為本發(fā)明超分辨率方法實施例的再ー應用示意圖；圖7為本發(fā)明超分辨率裝置一實施例的結構示意圖；圖8為本發(fā)明超分辨率裝置另ー實施例的結構示意圖；圖9為本發(fā)明超分辨率裝置又一實施例的結構示意圖。
具體實施例方式本發(fā)明實施例的超分辨率方法包括訓練集生成、以及超分辨率重建兩個部分；其中，訓練集生成部分主要是根據(jù)待訓練的HR圖像構造訓練集，該訓練集中存儲高頻LRpatch、HR patch及其對應關系；超分辨率重建部分主要是將待處理的LR圖像切割為多個patch,并根據(jù)上述的訓練集生成部分中構造的訓練集，獲取到對應的HR patch，然后再將HR patch組合成HR圖像。具體實施中，上述的訓練集生成、以及超分辨率重建可以是獨立的兩個部分，例如，某功能模塊只負責訓練集生成，另ー個功能模塊只負責超分辨率重建，只是在重建時根據(jù)訓練集進行重建。下面的實施例中，為了對超分辨率方法的說明更清楚，將訓練集生成和超分辨率重建兩個部分合在一個實施例中進行描述，以清楚表明兩者之間的關系及如何實施；在另一個實施例中再詳細描述訓練集生成和超分辨率重建兩個部分在具體實施中是如何部署的。實施例一本實施例將首先說明訓練集生成的流程，在此基礎上，接著說明是如何根據(jù)訓練集生成流程中構造的訓練集進行超分辨率重建的。圖I為本發(fā)明超分辨率方法一實施例的流程示意圖，如圖I所示，本實施例主要說明的是訓練集生成的流程，包括101、根據(jù)待訓練的高分辨率HR圖像生成對應的低分辨率LR圖像；其中，所述的待訓練的HR圖像指的是，用于構造訓練集的HR圖像?？梢詫R圖 像進行降質(zhì)和下采樣處理后，獲得對應的LR圖像。102、將HR圖像和LR圖像分別轉(zhuǎn)換為對應的HR高頻圖像和LR高頻圖像；可選的，采用如下方法生成對應的高頻圖像根據(jù)LR圖像生成對應的HR結果圖像，例如，可以對LR圖像進行雙立方差值算法處理后得到HR結果圖像，再由101中的待訓練的HR圖像減去所述HR結果圖像得到差值圖像，該差值圖像即為HR高頻圖像。對所述LR圖像進行濾波處理例如高斯濾波處理后得到LR結果圖像，再由所述LR圖像減去LR結果圖像得到差值圖像，即為所述LR高頻圖像；103、將HR高頻圖像、LR高頻圖像和所述LR圖像分別切割成內(nèi)容對應的多個圖像塊 patch ；其中，所述的內(nèi)容對應的多個圖像塊patch指的是，在切割上述的HR高頻圖像、LR高頻圖像和所述LR圖像時，要使得這三種圖像所切割到的圖像內(nèi)容對應；例如，HR高頻圖像的某個圖像塊al、LR高頻圖像的某個圖像塊a2、LR圖像的某個圖像塊a3對應的圖像內(nèi)容都是該圖像中的內(nèi)容A。所述LR高頻圖像和所述LR圖像切割的圖像塊的尺寸為N2，N為所述圖像塊的邊長的像素単元數(shù)目，例如，圖像塊都是正方形的，邊長為3個像素。HR高頻圖像切割的圖像塊的尺寸為(KXN)2，K為超分辨率放大倍數(shù)。104、對所述LR圖像切割得到的姆個圖像塊進行離散余弦變換(Discrete CosineTransform,簡稱DCT)得到DCT交流系數(shù)；其中，LR圖像切割后可以得到多個圖像塊即patch，對于每ー個patch都要進行DCT變換，DCT變換后可以得到N2-I個DCT交流系數(shù)；并將所述DCT交流系數(shù)按數(shù)值從大到小排序，將前M個DCT交流系數(shù)對應的系數(shù)編號設定為Ii i = I，2，...，M，M為預設值，例如，可以設定M為N2的I % 50 %，優(yōu)選可以為20%，該20 %的設定值可以使得后續(xù)的根據(jù)patch的DCT系數(shù)分類效果更好，即相似的高頻LR patch能夠盡可能分到同一個類中，使得后續(xù)超分辨率搜索時準確度更高，并且搜索速度也較快。105、在訓練集中建立(N2-1)M個類，所述類用于存儲HR高頻圖像的圖像塊HRpatch、LR高頻圖像的圖像塊高頻LR patch、以及所述HR patch和高頻LR patch的對應關系信息；該105和上述的104執(zhí)行的先后順序不做限制。其中，所述的類是ー個抽象的劃分，相當于ー個類別的概念。例如，具體實施中，可以把不同類的圖像塊放入不同的存儲實體(該存儲實體例如是文件)，也可以放入同一個存儲實體，即圖像塊的放置不嚴格限制，可以任意存儲，只要通過索引文件記錄下存儲實體中的圖像塊屬于哪個類就可以了。舉例說明，可以將所有的高頻LR patch放入一個文件L，所有的HR patch放入一個文件H,然后通過索引文件記錄上述的高頻LR patch和HR patch所屬的類就可以，例如，文件L中的某個高頻LR patch和文件H中的某個HR patch對應，且兩者屬于類F1。106、根據(jù)104中生成的DCT交流系數(shù)，將103中切割生成的HR高頻圖像的圖像塊HR patch、以及LR高頻圖像的圖像塊高頻LR patch進行分類，并對應存入105中在訓練集建立的類中；
本步驟中，是根據(jù)所述DCT交流系數(shù)，將與所述LR圖像的圖像塊內(nèi)容對應的HR高頻圖像的圖像塊HR patch、LR高頻圖像的圖像塊高頻LR patch、以及所述HR patch和高頻LR patch的對應關系信息存儲至所述訓練集中的對應的類中?？蛇x的，具體可以按照如下方式根據(jù)DCT交流系數(shù)進行分類若在104中按照DCT交流系數(shù)的數(shù)值從大到小排序之后，其中的前M個DCT交流系數(shù)均不為0，則將與LR圖像的圖像塊內(nèi)容對應的高頻LR patch、以及HR patch以及所述HR patch和高頻LR patch的對應關系信息存儲至訓練集中的第(I1-I)X(N-I)M_1+(I2-I) X (N-I)M_2+. . . +Im 個類中。若所述前M個DCT交流系數(shù)均為0，則不再將與LR圖像的圖像塊內(nèi)容對應的高頻LR patch、以及HR patch存儲至訓練集。若所述前M個DCT交流系數(shù)中有T個不為0，該T小于M，則將與LR圖像的圖像塊內(nèi)容對應的高頻LR patch、以及HR patch、以及所述HR patch和高頻LR patch的對應關系信息存儲至訓練集中的第(I「l) X (N-I)m^(I2-I) X (N-1)m_2+. . .+(It-I) X (N-I)m^t+(It-I) X (N-1)m_h+.+It 個類中。對于103中切割得到的所有的HR高頻圖像的圖像塊HR patch、以及LR高頻圖像的圖像塊高頻LR patch,均按照與該HR patch和高頻LR patch內(nèi)容對應的LR圖像的圖像塊的DCT交流系數(shù)進行分類，分類方法即上述的106中的方法。例如，HR patch (編號bl)、高頻LR patch(編號b2)和LR圖像的圖像塊(編號b3)是內(nèi)容對應的一組，HR patch(編號Cl)、高頻LR patch(編號c2)和LR圖像的圖像塊(編號c3)是內(nèi)容對應的另ー組，則根據(jù)b3的DCT交流系數(shù)可以將bl、b2及其對應關系存儲至訓練集中的類B中，根據(jù)c3的DCT交流系數(shù)可以將Cl、c2及其對應關系存儲至訓練集中的類C中；直至將所有的圖像塊都存儲至訓練集中對應的類。通過上述的訓練集生成的流程可以得到，在訓練集的生成過程中，不是像現(xiàn)有技術那樣將所有的HR patch、高頻LR patch混合放在一起,而是在訓練集中建立了多個類,上述的HR patch、高頻LR patch是按照一定的規(guī)則分別存儲至不同的類中的，這樣就使得在對待處理的LR圖像進行超分辨率吋，也能夠按照所述的一定的規(guī)則找到HR patch、高頻LRpatch是存儲在哪個類中的，所以就可以僅在該類中捜索對應的HR patch，而不用如現(xiàn)有技術那樣需要在整個訓練集中捜索，減少了捜索時間，提高了超分辨率的效率。下面描述如何根據(jù)上面生成的訓練集進行超分辨率的流程圖2為本發(fā)明超分辨率方法另ー實施例的流程示意圖，如圖2所示，本實施例主要說明的是超分辨率重建的流程，包括201、根據(jù)待處理的低分辨率LR圖像，生成對應的LR高頻圖像以及初始高分辨率HR圖像；其中，所述的待處理的LR圖像指的是，需要轉(zhuǎn)換為高分辨率HR圖像的LR圖像?？蛇x的，根據(jù)LR圖像生成LR高頻圖像的方法可以采用與102中相同的方法；而初始HR圖像可以由待處理的LR圖像采用雙立方差值算法生成。202、將所述待處理的LR圖像、LR高頻圖像和所述初始HR圖像分別切割成內(nèi)容對應的多個圖像塊patch ；其中，LR高頻圖像和所述待處理的LR圖像切割的圖像塊的尺寸為N2，N為所述圖像塊的邊長的像素単元數(shù)目；所述初始HR圖像切割的圖像塊的尺寸為(KXN)2，K為超分辨率放大倍數(shù)。203、判斷LR高頻圖像切割成圖像塊高頻LR patch是否全部已經(jīng)檢測完畢，若是，則繼續(xù)執(zhí)行207 ;否則，則在該步驟中檢測某個高頻LR patch是否含有高頻分量；若是，則繼續(xù)執(zhí)行205 206 ;若否，則繼續(xù)執(zhí)行204。204、將與所述高頻LR patch內(nèi)容對應的所述初始HR圖像切割成的圖像塊初始HRpatch作為最終HR patch ;返回203，檢測下ー個圖像塊LR patch是否含有高頻分量；205、計算與所述高頻LR patch內(nèi)容對應的所述LR圖像切割成的圖像塊的離散余弦變換DCT交流系數(shù)；206、根據(jù)DCT交流系數(shù)，得到訓練集中的與所述高頻LR patch對應的類，在所述類中獲取與所述高頻LR patch對應的HR patch ;返回203 ；具體的，所述DCT交流系數(shù)的個數(shù)為N2-I ;并將所述DCT交流系數(shù)按數(shù)值從大到小排序，將前M個DCT交流系數(shù)對應的系數(shù)編號設定為Id = 1，2，...，M。M為預設值，例如可以選擇M為N2的20%。若DCT交流系數(shù)中的前M個DCT交流系數(shù)均不為0，則在訓練集中的第(I1-I) X (N-I)m^1+(I2-I) X (N-I).2+. +Im個類中，獲取與高頻 LR patch對應的 HR patch,并將所述HR patch疊加在與該高頻LR patch內(nèi)容對應的所述初始HR patch上，將疊加后的初始HR patch作為高頻LR patch的最終HR patch ；若DCT交流系數(shù)中的前M個DCT交流系數(shù)中有T個不為0，則在訓練集中的第(I「l) X (N-Dsh+(I2-I) x (n—dm-2+. +(J^1) X (N-I).T+(It-I) X (N-I)m^t-I+. . . +It 個類中，獲取與所述高頻LR patch對應的HR patch,并將所述HR patch疊加在與該高頻LRpatch內(nèi)容對應的所述初始HR patch上，將疊加后的初始HRpatch作為該高頻LR patch的最終HR patch?？蛇x的，上述的在類中獲取與高頻LR patch對應的HR patch的具體步驟為根據(jù)所述LR高頻圖像切割成圖像塊高頻LR patch，在所述的對應類中搜索與所述的高頻LR patch較為相似的K個圖像塊(通常不會有完全相同的，所以就搜索最相似的圖像塊)，該圖像塊指的是類中包括的高頻LR patch，所述的K是超分辨率的放大倍數(shù)。然后，可以按照臨近嵌入算法求出對應的HR patch,即對姆個相似圖像塊對應的HR patch做加權 平均后得到的HR patch作為所述與高頻LR patch對應的HR patch ;或者,從所述K個圖像塊中找出ー個最相似的圖像塊，以該圖像塊對應的HR patch作為所述與高頻LR patch對應的HR patch。最后，將各HR patch分別疊加在對應的初始HR圖像切割成的圖像塊上作為最終HR patch。207、將分別與每個高頻LR patch對應的多個最終HR patch組合，構成與所述待處理的LR圖像對應的最終HR圖像。在對LR高頻圖像切割成圖像塊高頻LR patch全部找到訓練集中對應的HRpatch,并形成最終HR patch之后,本步驟將各最終HR patch組合，即構成最終HR圖像,該最終HR圖像是與待處理的LR圖像對應的，是將LR圖像經(jīng)過超分辨率重建后形成的分辨率提聞了的HR圖像。本實施例的超分辨率方法，通過根 據(jù)LR圖像切割成的patch做DCT變換得到的DCT交流系數(shù)將訓練集中的各patch進行分類，使得在超分辨重建時，可以根據(jù)該DCT交流系數(shù)，在訓練集中找到待處理的LR圖像的高頻LRpatch對應的HR patch所在的分類，并僅在該類中搜索對應的HR patch，相對于現(xiàn)有技術中的在整個訓練集中搜索的方式，大大縮小了搜索范圍，因此有效減少了搜索時間，提高了超分辨率的效率。實施例ニ本實施例將描述訓練集生成和超分辨率重建兩個部分在具體實施中是如何部署的。這兩個部分可以采取分開部署的方式或者合并部署的方式。其中，分開部署是將訓練集生成部分和超分辨率重建部分分開部署在兩個設備上，例如，訓練集生成部分部署在服務器端，將超分辨率重建部分部署在終端，服務器端將生成的訓練集傳遞給終端，由終端進行超分辨率重建；合并部署是將訓練集生成部分和超分辨率重建部分合并部署在一個設備上，例如，將兩者都部署在服務器端，由服務器端完成訓練集生成和超分辨率重建。下面以四個應用示例說明上述的部署方式以及數(shù)據(jù)的交互流程圖3為本發(fā)明超分辨率方法實施例的ー應用示意圖，如圖3所示，本實施例是采用分開部署的方式，訓練集生成部分部署在服務器，超分辨率重建部署在終端；并且是由終端獲取待處理的LR圖像。具體的，例如，服務器按照實施例一所述的方法生成訓練集；終端可以為手機或者電腦等，且終端可以與服務器交互，檢查訓練集是否更新，當服務器的訓練集更新時，終端可以從服務器下載最新的訓練集。終端可以獲取待處理的LR圖像，該LR圖像例如可以為存儲在手機或電腦中的攝像頭文件、視頻文件等。終端在獲取到圖像后，將按照實施例一所述的方法根據(jù)訓練集對圖像進行超分辨率處理，并將處理后的圖像在終端顯示、或者存儲、或者將處理結果返回給需要的設備。圖4為本發(fā)明超分辨率方法實施例的另ー應用示意圖，如圖4所示，本實施例是采用分開部署的方式，訓練集生成部分部署在服務器，超分辨率重建部署在終端；并且是由服務器獲取待處理的LR圖像。具體的，例如，服務器按照實施例一所述的方法生成訓練集；終端可以為機頂盒，且終端可以與服務器交互，檢查訓練集是否更新，當服務器的訓練集更新時，終端可以從服務器下載最新的訓練集。服務器可以獲取待處理的LR圖像例如低清電視信號，并將該低清電視信號傳送到終端，由終端按照實施例一所述的方法根據(jù)訓練集對圖像進行超分辨率處理，將其轉(zhuǎn)換為高清電視信號，并將處理結果返回給服務器。圖5為本發(fā)明超分辨率方法實施例的又ー應用示意圖,如圖5所示,本實施例是采用合并部署的方式，訓練集生成部分和超分辨率重建部分均部署在服務器；并且是由終端獲取待處理的LR圖像。具體的，例如，服務器是一個超分辨率平臺，其既可以按照實施例一所述的方法執(zhí)行訓練集生成，也可以執(zhí)行超分辨率重建。終端在獲取到待處理的LR圖像后，將圖像傳送到該服務器，由服務器進行超分辨率處理，服務器會將處理結果返回給終端。圖6為本發(fā)明超分辨率方法實施例的再ー應用示意圖,如圖6所示,本實施例是采用合并部署的方式，訓練集生成部分和超分辨率重建部分均部署在服務器；并且是由服務器獲取待處理的LR圖像。具體的，例如，服務器按照 實施例一所述的方法生成訓練集；服務器是ー個視頻網(wǎng)站，其可以獲取待處理的LR圖像，該圖像例如為普通視頻，或者該普通視頻可以是存儲在服務器中的。當客戶需要看高清視頻時，服務器可以使用超分辨率方法進行處理，將其轉(zhuǎn)換為高清視頻，并將轉(zhuǎn)換后的結果傳送給終端進行顯示。實施例三圖7為本發(fā)明超分辨率裝置一實施例的結構示意圖，該裝置可以執(zhí)行本發(fā)明任意實施例的超分辨率方法，本實施例只對該裝置的結構做簡單說明，其具體的工作原理可以結合參見方法實施例所述。如圖7所示，本實施例的超分辨率裝置可以包括超分辨率重建模塊78 ;所述超分辨率重建模塊78包括圖像轉(zhuǎn)換單元71、圖像切割単元72、圖像檢測單元73、圖像處理單元74、圖像搜索單元75和圖像合成單元76 ;其中，圖像轉(zhuǎn)換單元71，用于根據(jù)待處理的低分辨率LR圖像，分別生成對應的LR高頻圖像以及初始高分辨率HR圖像；圖像切割單元72，用于將所述待處理的LR圖像、LR高頻圖像和所述初始HR圖像分別切割成內(nèi)容對應的多個圖像塊patch，所述LR高頻圖像和所述待處理的LR圖像切割的圖像塊的尺寸為N2，N為所述圖像塊的邊長的像素単元數(shù)目；所述初始HR圖像切割的圖像塊的尺寸為(KXN)2，K為超分辨率放大倍數(shù)；圖像檢測單元73，用于檢測所述LR高頻圖像切割成的每個圖像塊高頻LR patch是否含有高頻分量；圖像處理單元74，用于在所述圖像檢測單元的檢測結果為否時，則將與所述高頻LR patch內(nèi)容對應的所述初始HR圖像切割成的圖像塊初始HRpatch作為最終HR patch ；以及，用于在所述圖像檢測單元的檢測結果為是時，則計算與所述高頻LR patch內(nèi)容對應的所述LR圖像切割成的圖像塊LRpatch的離散余弦變換DCT交流系數(shù)；圖像搜索単元75，用于根據(jù)所述DCT交流系數(shù)，得到訓練集中的與所述高頻LRpatch對應的類,在所述類中獲取與所述高頻LR patch對應的HR patch;將所述HR patch疊加在與所述高頻LR patch內(nèi)容對應的所述初始HR patch上，將所述疊加后的初始HRpatch 作為最終 HR patch ；圖像合成單元76,用于將分別與姆個高頻LR patch對應的多個最終HR patch組合，構成與所述待處理的LR圖像對應的最終HR圖像。進ー步的，所述DCT交流系數(shù)的個數(shù)為N2-I ;所述圖像處理單元74，還用于將所述DCT交流系數(shù)按數(shù)值從大到小排序，將前M個DCT交流系數(shù)對應的系數(shù)編號設定為Ii i =1，2，...，M;M為預設值；
相應的，圖像搜索單元75，具體用于在所述前M個DCT交流系數(shù)均不為0時，則在訓練集中的第(I1-D X (N-I)か1+(I2-I) X (N-I).2+. +Im個類中，獲取與所述高頻LRpatch對應的HR patch,并將所述HR patch疊加在與所述高頻LR patch內(nèi)容對應的所述HR圖像切割成的圖像塊初始HR patch上，將所述疊加后的初始HR patch作為最終HR patch ；或者，在所述前M個DCT交流系數(shù)中有T個不為0吋，則在訓練集中的第(I1-I) X (N-I)M_1+(I2-I) X (N-I)M_2+. . .+(It-I) X (N-I)m^t+(It-I) X (N-I)m+. . . +It 個類中，獲取與所述高頻LR patch對應的HR patch,并將所述HR patch疊加在與所述高頻LR patch內(nèi)容對應的所述HR圖像切割成的圖像塊初始HR patch上，將所述疊加后的初始HR patch作為最終HR patch。 上述結構的超分辨率裝置例如相當于圖3和圖4中采用分開部署方式時的終端，該終端上可以只包括超分辨率重建模塊，負責圖像的超分辨率處理。可選的，所述超分辨率重建模塊還包括訓練集獲取單元77，用于在所述根據(jù)待處理的LR圖像，生成對應的LR高頻圖像以及HR圖像之前，獲取所述訓練集；所述訓練集中包括(N2-I)m個類，所述類中包括HR高頻圖像的圖像塊HR patch、LR高頻圖像的圖像塊高頻LR patch、以及所述HR patch和高頻LR patch的對應關系信息。該結構的超分辨率裝置例如相當于圖3和圖4中采用分開部署方式時的終端，該終端上可以通過訓練集獲取單元77從服務器獲取更新的訓練集。進ー步的，圖8為本發(fā)明超分辨率裝置另ー實施例的結構示意圖，如圖8所示，可選的，本實施例的超分辨率裝置在圖7所示結構的基礎上還可以包括訓練集生成模塊79，用于在所述根據(jù)待處理的LR圖像，生成對應的LR高頻圖像和HR圖像之前，生成所述訓練集。所述訓練集生成模塊的具體結構詳細參見圖9中的訓練集生成模塊的結構，在此不再贅述。該結構的超分辨率裝置例如相當于圖5和圖6中采用合并部署方式時的服務器，該服務器可以既執(zhí)行訓練集生成，也可以執(zhí)行超分辨率重建處理。圖9為本發(fā)明超分辨率裝置又一實施例的結構示意圖，如圖9所示，該裝置包括訓練集生成模塊79，可選的，可以是只包括該訓練集生成模塊79，即不包括超分辨率重建模塊；則此時的超分辨率裝置相當于圖3和圖4中采用分開部署方式時的服務器，該服務器只負責生成訓練集，而由終端執(zhí)行超分辨率重建。所述訓練集生成模塊79包括圖像轉(zhuǎn)換單元81、圖像切割単元82、圖像處理單元83、訓練集管理單元84和訓練集生成單元85 ;其中，圖像轉(zhuǎn)換單元81，用于根據(jù)待訓練的高分辨率HR圖像生成對應的低分辨率LR圖像；并將所述HR圖像和所述LR圖像分別轉(zhuǎn)換為對應的HR高頻圖像和LR高頻圖像；圖像切割単元82，用于將所述HR高頻圖像、LR高頻圖像和所述LR圖像分別切割成內(nèi)容對應的多個圖像塊patch，所述LR高頻圖像和所述LR圖像切割的圖像塊的尺寸為N2，N為所述圖像塊的邊長的像素単元數(shù)目；所述HR高頻圖像切割的圖像塊的尺寸為(KXN)2, K為超分辨率放大倍數(shù)；圖像處理單元83，用于對所述LR圖像切割得到的每個圖像塊進行離散余弦變換DCT得到DCT交流系數(shù)，所述DCT交流系數(shù)的個數(shù)為N2-I ;并將所述DCT交流系數(shù)按數(shù)值從大到小排序，將前M個DCT交流系數(shù)對應的系數(shù)編號設定為Ii i = 1,2, , M;M為預設值；訓練集管理単元84，用于在所述訓練集中建立(N2-1)M個類，所述類用于存儲HR高頻圖像的圖像塊HR patch、LR高頻圖像的圖像塊高頻LR patch、以及所述HR patch和高頻LR patch的對應關系信息；訓練集生成単元85，用于根據(jù)所述DCT交流系數(shù)，將與所述LR圖像的圖像塊內(nèi)容對應的HR高頻圖像的圖像塊HR patch、LR高頻圖像的圖像塊高頻LR patch、以及所述HRpatch和高頻LR patch的對應關系信息存儲至所述訓練集中的對應的類中。進ー步的，所述的訓練集生成単元85，具體用于若所述前M個DCT交流系數(shù)均不為0，則將與所述LR圖像的圖像塊內(nèi)容對應的高頻LR patch、HR patch以及所述HR patch和高頻LR patch的對應關系信息存儲至所述訓 練集中的第(I1-D X (N-I)か1+(I2-I) X (N-I).2+. +Im 個類中；若所述前M個DCT交流系數(shù)均為0，則不再將與所述LR圖像的圖像塊內(nèi)容對應的高頻LR patch、以及HR patch存儲至所述訓練集；若所述前M個DCT交流系數(shù)中有T個不為0，則將與所述LR圖像的圖像塊內(nèi)容對應的高頻LR patch、以及HR patch以及所述HR patch和高頻LR patch的對應關系信息存儲至所述訓練集中的第(I「l) X (N-I)m^(I2-I) X (N-I) m_2+. . .+(It-I) X (N-I)m^t+(It-I) X (N-1)m_h+.+It 個類中。本實施例的超分辨率裝置，通過根據(jù)LR圖像切割成的patch做DCT變換得到的DCT交流系數(shù)將訓練集中的各patch進行分類，使得在超分辨重建時，可以根據(jù)該DCT交流系數(shù)，在訓練集中找到待處理的LR圖像的高頻LR patch對應的HR patch所在的分類，并僅在該類中搜索對應的HR patch，相對于現(xiàn)有技術中的在整個訓練集中搜索的方式，大大縮小了搜索范圍，因此有效減少了搜索時間，提高了超分辨率的效率。本領域普通技術人員可以理解實現(xiàn)上述各方法實施例的全部或部分步驟可以通過程序指令相關硬件來完成。前述程序可以存儲于ー計算機可讀取存儲介質(zhì)中。該程序在執(zhí)行時，執(zhí)行包括上述各方法實施例的步驟；而前述存儲介質(zhì)包括R0M、RAM、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。最后應說明的是以上各實施例僅用以說明本發(fā)明的技術方案，而非對其限制；盡管參照前述各實施例對本發(fā)明進行了詳細的說明，本領域的普通技術人員應當理解其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分或者全部技術特征進行等同替換；而這些修改或者替換，并不使相應技術方案的本質(zhì)脫離本發(fā)明各實施例技術方案的范圍。
權利要求
1.一種超分辨率方法，其特征在于，包括根據(jù)待處理的低分辨率LR圖像，分別生成對應的LR高頻圖像以及初始高分辨率HR圖將所述待處理的LR圖像、LR高頻圖像和所述初始HR圖像分別切割成內(nèi)容對應的多個 圖像塊patch，所述LR高頻圖像和所述待處理的LR圖像切割的圖像塊的尺寸為N2，N為所 述圖像塊的邊長的像素單元數(shù)目；所述初始HR圖像切割的圖像塊的尺寸為(KXN)2，K為超 分辨率放大倍數(shù)；檢測所述LR高頻圖像切割成的每個圖像塊高頻LR patch是否含有高頻分量；若否，則將與所述高頻LR patch內(nèi)容對應的所述初始HR圖像切割成的圖像塊初始HR patch 作為最終 HR patch ；若是，則計算與所述高頻LR patch內(nèi)容對應的所述LR圖像切割成的圖像塊LR patch 的離散余弦變換DCT交流系數(shù)；并根據(jù)所述DCT交流系數(shù)，得到訓練集中的與所述高頻LR patch對應的類,在所述類中獲取與所述高頻LR patch對應的HR patch;將所述HR patch 疊加在與所述高頻LR patch內(nèi)容對應的所述初始HR patch上，將所述疊加后的初始HR patch 作為最終 HR patch ；將分別與每個高頻LR patch對應的多個最終HR patch組合，構成與所述待處理的LR 圖像對應的最終HR圖像。
2.根據(jù)權利要求1所述的超分辨率方法，其特征在于，所述根據(jù)所述DCT交流系數(shù)，得 到訓練集中的與所述高頻LR patch對應的類,在所述類中獲取與所述高頻LR patch對應 的HR patch,包括所述DCT交流系數(shù)的個數(shù)為N2-l ;并將所述DCT交流系數(shù)按數(shù)值從大到小排序，將前M 個DCT交流系數(shù)對應的系數(shù)編號設定為Ii i = 1,2,... ,M…為預設值；若所述前M個DCT交流系數(shù)均不為0，則在訓練集中的第(L-l) X (N-1) M_1+(I2-1) X (N_1)m_2+. +IM個類中，獲取與所述高頻LR patch對應的HR patch，并將所述 HR patch疊加在與所述高頻LR patch內(nèi)容對應的所述初始HR patch上，將所述疊加后的 初始HR patch作為最終HR patch ；若所述前M個DCT交流系數(shù)中有T個不為0，則在訓練集中的第(1「1) X (N-1) m_1+(i2-D X (N-1)m_2+. . .+(IT-1) X (N-1)m_t+(It-1) X (N-l)m+. . . +IT 個類中，獲取與所述 高頻LR patch對應的HR patch,并將所述HR patch疊加在與所述高頻LR patch內(nèi)容對應 的所述初始HR patch上，將所述疊加后的初始HR patch作為最終HR patch。
3.根據(jù)權利要求1所述的超分辨率方法，其特征在于，在所述根據(jù)待處理的LR圖像，分 別生成對應的LR高頻圖像以及初始HR圖像之前，還包括獲取所述訓練集；所述訓練集中包括(N2_1)M個類，所述類中包括HR高頻圖像的圖像塊HR patch、LR高 頻圖像的圖像塊高頻LR patch、以及所述HR patch和高頻LR patch的對應關系信息。
4.根據(jù)權利要求1所述的超分辨率方法，其特征在于，在所述根據(jù)待處理的LR圖像，分 別生成對應的LR高頻圖像和初始HR圖像之前，還包括根據(jù)待訓練的高分辨率HR圖像，生成對應的低分辨率LR圖像；并將所述HR圖像和所 述LR圖像分別轉(zhuǎn)換為對應的HR高頻圖像和LR高頻圖像；將所述HR高頻圖像、LR高頻圖像和所述LR圖像分別切割成內(nèi)容對應的多個圖像塊 patch，所述LR高頻圖像和所述LR圖像切割的圖像塊的尺寸為N2，N為所述圖像塊的邊長的 像素単元數(shù)目；所述HR高頻圖像切割的圖像塊的尺寸為(KXN)2，K為超分辨率放大倍數(shù)；對所述LR圖像切割得到的每個圖像塊進行離散余弦變換DCT得到DCT交流系數(shù)，所述 DCT交流系數(shù)的個數(shù)為N2-I ;將所述DCT交流系數(shù)按數(shù)值從大到小排序，將前M個DCT交流 系數(shù)對應的系數(shù)編號設定為Ii i = 1，2，. . .，M ”為預設值；并在所述訓練集中建立(N2-I) M個類；根據(jù)所述DCT交流系數(shù)，將與所述LR圖像的圖像塊內(nèi)容對應的HR高頻圖像的圖像塊 HR patch、LR高頻圖像的圖像塊高頻LR patch、以及所述HR patch和高頻LR patch的對 應關系信息存儲至所述訓練集中的對應的類中。
5.根據(jù)權利要求4所述的超分辨率方法，其特征在于，所述根據(jù)所述DCT交流系數(shù)，將 與所述LR圖像的圖像塊內(nèi)容對應的HR高頻圖像的圖像塊HR patch、LR高頻圖像的圖像塊 高頻LR patch、以及所述HR patch和高頻LR patch的對應關系信息存儲至所述訓練集中 的對應的類中，包括若所述前M個DCT交流系數(shù)均不為0，則將與所述LR圖像的圖像塊內(nèi)容對應的高頻LR patch、HR patch以及所述HR patch和高頻LR patch的對應關系信息存儲至所述訓練集 中的第(I1-D X (N-I)ゎ1+(I2-I) X (N-I).2+. +Im 個類中；若所述前M個DCT交流系數(shù)均為0，則不再將與所述LR圖像的圖像塊內(nèi)容對應的高頻 LR patch、以及HR patch存儲至所述訓練集；若所述前M個DCT交流系數(shù)中有T個不為0，則將與所述LR圖像的圖像塊內(nèi)容對應的 高頻LR patch、以及HR patch以及所述HR patch和高頻LRpatch的對應關系信息存儲至所 述訓練集中的第(I1-D X (N-I)m^1+(I2-I) X (N-I).2+. .+(It-I) X (N-I).t+(It-I) X (N-I) m_h+. +It 個類中。
6.ー種超分辨率方法，其特征在于，包括根據(jù)待訓練的高分辨率HR圖像生成對應的低分辨率LR圖像；并將所述HR圖像和所述 LR圖像分別轉(zhuǎn)換為對應的HR高頻圖像和LR高頻圖像；將所述HR高頻圖像、LR高頻圖像和所述LR圖像分別切割成內(nèi)容對應的多個圖像塊 patch，所述LR高頻圖像和所述LR圖像切割的圖像塊的尺寸為N2，N為所述圖像塊的邊長的 像素単元數(shù)目；所述HR高頻圖像切割的圖像塊的尺寸為(KXN)2，K為超分辨率放大倍數(shù)；對所述LR圖像切割得到的每個圖像塊進行離散余弦變換DCT得到DCT交流系數(shù)，所述 DCT交流系數(shù)的個數(shù)為N2-I ;將所述DCT交流系數(shù)按數(shù)值從大到小排序，將前M個DCT交流 系數(shù)對應的系數(shù)編號設定為Ii i = 1，2，. . .，M ”為預設值；并在所述訓練集中建立(N2-I) M個類；根據(jù)所述DCT交流系數(shù)，將與所述LR圖像的圖像塊內(nèi)容對應的HR高頻圖像的圖像塊 HR patch、LR高頻圖像的圖像塊高頻LR patch、以及所述HR patch和高頻LR patch的對 應關系信息存儲至所述訓練集中的對應的類中。
7.根據(jù)權利要求6所述的超分辨率方法，其特征在于，所述根據(jù)所述DCT交流系數(shù)，將 與所述LR圖像的圖像塊內(nèi)容對應的HR高頻圖像的圖像塊HR patch、LR高頻圖像的圖像塊 高頻LR patch、以及所述HR patch和高頻LR patch的對應關系信息存儲至所述訓練集中的對應的類中，包括若所述前M個DCT交流系數(shù)均不為O，則將與所述LR圖像的圖像塊內(nèi)容對應的高頻LR patch、以及HR patch以及所述HR patch和高頻LR patch的對應關系信息存儲至所述訓 練集中的第(I「l) X (N-I)m^1+(I2-I) X (N-1)m_2+. . . +Im個類中，以使得在確定待處理的LR 圖像切割成的圖像塊的離散余弦變換DCT交流系數(shù)中，所述前M個DCT交流系數(shù)均不為O 時，從所述第(I「l) X (N-I)m^(I2-I) X (N-Dm-2+. . . +Im個類中獲取與待處理的LR圖像對 應的LR高頻圖像的圖像塊高頻LR patch對應的HR patch ；若所述前M個DCT交流系數(shù)均為O，則不再將與所述LR圖像的圖像塊內(nèi)容對應的高頻 LR patch、以及HR patch存儲至所述訓練集；若所述前M個DCT交流系數(shù)中有T個不為O，則將與所述LR圖像的圖像塊內(nèi)容對應的 高頻LR patch、以及HR patch以及所述HR patch和高頻LRpatch的對應關系信息存儲至所 述訓練集中的第(I1-D X (N-I)m^1+(I2-I) X (N-1)m_2+. · .+(It-I) X (N-I)m^(It-I) X (N-I) μ_η+...+ΙτΑ類中，以使得在確定待處理的LR圖像切割成的圖像塊的離散余弦變換 DCT交流系數(shù)中，所述前M個DCT交流系數(shù)中有T個不為O時，從所述第(I1-I) X (N-I) M_1+(I2-I) X (N-I)M_2+· . . +(It-I) X (N-I)m_t+(It-I) X (N-I)m+. . . +It 個類中獲取與待處 理的LR圖像對應的LR高頻圖像的圖像塊高頻LR patch對應的HR patch。
8.根據(jù)權利要求6所述的超分辨率方法，其特征在于，所述將所述HR圖像和所述LR圖 像均分別轉(zhuǎn)換為對應的HR高頻圖像和LR高頻圖像，包括根據(jù)所述LR圖像生成對應的HR結果圖像，確定由所述HR圖像減去所述HR結果圖像 得到的差值圖像為所述HR高頻圖像；對所述LR圖像進行濾波處理后得到LR結果圖像，確定由所述LR圖像減去所述LR結 果圖像得到的差值圖像為所述LR高頻圖像。
9.一種超分辨率裝置，其特征在于，包括超分辨率重建模塊；所述超分辨率重建模塊 包括圖像轉(zhuǎn)換單元，用于根據(jù)待處理的低分辨率LR圖像，分別生成對應的LR高頻圖像以及 初始高分辨率HR圖像；圖像切割單元，用于將所述待處理的LR圖像、LR高頻圖像和所述初始HR圖像分別切 割成內(nèi)容對應的多個圖像塊patch，所述LR高頻圖像和所述待處理的LR圖像切割的圖像塊 的尺寸為N2，N為所述圖像塊的邊長的像素單元數(shù)目；所述初始HR圖像切割的圖像塊的尺 寸為(KXN)2，K為超分辨率放大倍數(shù)；圖像檢測單元，用于檢測所述LR高頻圖像切割成的每個圖像塊高頻LR patch是否含 有高頻分量；圖像處理單元，用于在所述圖像檢測單元的檢測結果為否時，則將與所述高頻LR patch內(nèi)容對應的所述初始HR圖像切割成的圖像塊初始HR patch作為最終HR patch ;以 及，用于在所述圖像檢測單元的檢測結果為是時，則計算與所述高頻LR patch內(nèi)容對應的 所述LR圖像切割成的圖像塊LR patch的離散余弦變換DCT交流系數(shù)；圖像搜索單元，用于根據(jù)所述DCT交流系數(shù)，得到訓練集中的與所述高頻LR patch對 應的類，在所述類中獲取與所述高頻LR patch對應的HR patch ;將所述HR patch疊加在 與所述高頻LR patch內(nèi)容對應的所述初始HR patch上,將所述疊加后的初始HR patch作為最終HR patch ；圖像合成單元，用于將分別與每個高頻LR patch對應的多個最終HR patch組合，構成 與所述待處理的LR圖像對應的最終HR圖像。
10.根據(jù)權利要求9所述的超分辨率裝置，其特征在于，所述DCT交流系數(shù)的個數(shù)為 n2-i ；所述圖像處理單元，還用于將所述DCT交流系數(shù)按數(shù)值從大到小排序，將前M個DCT交 流系數(shù)對應的系數(shù)編號設定為Ii i = 1，2，...，M;M為預設值；所述圖像搜索單元，具體用于若所述前M個DCT交流系數(shù)均不為0，則在訓練集中的第(L-l) X (N-1) M_1+(I2-1) X (N_1)m_2+. . . +IM個類中，獲取與所述高頻LR patch對應的HR patch，并將所述 HR patch疊加在與所述高頻LR patch內(nèi)容對應的所述初始HR patch上，將所述疊加后的 初始HR patch作為最終HR patch ；若所述前M個DCT交流系數(shù)中有T個不為0，則在訓練集中的第(1「1) X (N-1) m_1+(i2-D X (N-1)m_2+. . .+(IT-1) X (N-1)m_t+(It-1) X (N-l)m+. . . +IT 個類中，獲取與所述 高頻LR patch對應的HR patch,并將所述HR patch疊加在與所述高頻LR patch內(nèi)容對應 的所述初始HR patch上，將所述疊加后的初始HR patch作為最終HR patch。
11.根據(jù)權利要求9所述的超分辨率裝置，其特征在于，所述超分辨率重建模塊還包括訓練集獲取單元，用于在所述根據(jù)待處理的LR圖像，生成對應的LR高頻圖像以及HR 圖像之前，獲取所述訓練集；所述訓練集中包括(N2_1)M個類，所述類中包括HR高頻圖像的 圖像塊HR patch、LR高頻圖像的圖像塊高頻LR patch、以及所述HR patch和高頻LR patch 的對應關系信息。
12.根據(jù)權利要求9所述的超分辨率裝置，其特征在于，還包括訓練集生成模塊，用于 在所述根據(jù)待處理的LR圖像，生成對應的LR高頻圖像和HR圖像之前，生成所述訓練集；所述訓練集生成模塊包括圖像轉(zhuǎn)換單元，用于根據(jù)待訓練的高分辨率HR圖像生成對應的低分辨率LR圖像；并將 所述HR圖像和所述LR圖像分別轉(zhuǎn)換為對應的HR高頻圖像和LR高頻圖像；圖像切割單元，用于將所述HR高頻圖像、LR高頻圖像和所述LR圖像分別切割成內(nèi)容 對應的多個圖像塊patch，所述LR高頻圖像和所述LR圖像切割的圖像塊的尺寸為N2，N為 所述圖像塊的邊長的像素單元數(shù)目；所述HR高頻圖像切割的圖像塊的尺寸為(KXN)2，K為 超分辨率放大倍數(shù)；圖像處理單元，用于對所述LR圖像切割得到的每個圖像塊進行離散余弦變換DCT得到 DCT交流系數(shù)，所述DCT交流系數(shù)的個數(shù)為N2-l ;并將所述DCT交流系數(shù)按數(shù)值從大到小排 序，將前M個DCT交流系數(shù)對應的系數(shù)編號設定為Ii i = 1，2，...，M;M為預設值；訓練集管理單元，用于在所述訓練集中建立(N2_1)M個類，所述類用于存儲HR高頻圖 像的圖像塊HR patch、LR高頻圖像的圖像塊高頻LR patch以及所述HR patch和高頻LR patch的對應關系信息；訓練集生成單元，用于根據(jù)所述DCT交流系數(shù)，將與所述LR圖像的圖像塊內(nèi)容對應的 HR高頻圖像的圖像塊HR patch、LR高頻圖像的圖像塊高頻LR patch、以及所述HR patch和高頻LR patch的對應關系信息存儲至所述訓練集中的對應的類中。
13.根據(jù)權利要求12所述的超分辨率裝置，其特征在于，所述訓練集生成單元，具體用于若所述前M個DCT交流系數(shù)均不為0，則將與所述LR圖像的圖像塊內(nèi)容對應的高頻LR patch、HR patch以及所述HR patch和高頻LR patch的對應關系信息存儲至所述訓練集 中的第(I「l) X 0-1廣+(12-1) X (N_1)m_2+. +IM 個類中；若所述前M個DCT交流系數(shù)均為0，則不再將與所述LR圖像的圖像塊內(nèi)容對應的高頻 LR patch、以及HR patch存儲至所述訓練集；若所述前M個DCT交流系數(shù)中有T個不為0，則將與所述LR圖像的圖像塊內(nèi)容對應的高 頻LR patch、以及HR patch以及所述HR patch和高頻LR patch的對應關系信息存儲至所 述訓練集中的第(1「1) X (N-1)m^+(I2-1) X (N-1)m_2+. . . +(IT_1) X (N-1)m_t+(It-1) X (N-l) m—h+.-.+ItA類中。
14.一種超分辨率裝置，其特征在于，包括訓練集生成模塊；所述訓練集生成模塊包括圖像轉(zhuǎn)換單元，用于根據(jù)待訓練的高分辨率HR圖像生成對應的低分辨率LR圖像；并將 所述HR圖像和所述LR圖像分別轉(zhuǎn)換為對應的HR高頻圖像和LR高頻圖像；圖像切割單元，用于將所述HR高頻圖像、LR高頻圖像和所述LR圖像分別切割成內(nèi)容 對應的多個圖像塊patch，所述LR高頻圖像和所述LR圖像切割的圖像塊的尺寸為N2，N為 所述圖像塊的邊長的像素單元數(shù)目；所述HR高頻圖像切割的圖像塊的尺寸為(KXN)2，K為 超分辨率放大倍數(shù)；圖像處理單元，用于對所述LR圖像切割得到的每個圖像塊進行離散余弦變換DCT得到 DCT交流系數(shù)，所述DCT交流系數(shù)的個數(shù)為N2-l ;并將所述DCT交流系數(shù)按數(shù)值從大到小排 序，將前M個DCT交流系數(shù)對應的系數(shù)編號設定為Ii i = 1，2，...，M;M為預設值；訓練集管理單元，用于在所述訓練集中建立(N2_1)M個類，所述類用于存儲HR高頻圖 像的圖像塊HR patch、LR高頻圖像的圖像塊高頻LR patch以及所述HR patch和高頻LR patch的對應關系信息；訓練集生成單元，用于根據(jù)所述DCT交流系數(shù)，將與所述LR圖像的圖像塊內(nèi)容對應的 HR高頻圖像的圖像塊HR patch、LR高頻圖像的圖像塊高頻LR patch、以及所述HR patch 和高頻LR patch的對應關系信息存儲至所述訓練集中的對應的類中。
15.根據(jù)權利要求14所述的超分辨率裝置，其特征在于，所述訓練集生成單元，具體用于若所述前M個DCT交流系數(shù)均不為0，則將與所述LR圖像的圖像塊內(nèi)容對應的高頻LR patch、HR patch以及所述HR patch和高頻LR patch的對應關系信息存儲至所述訓練集 中的第(I「l) X 0-1廣+(12-1) X (N_1)m_2+. +IM 個類中；若所述前M個DCT交流系數(shù)均為0，則不再將與所述LR圖像的圖像塊內(nèi)容對應的高頻 LR patch、以及HR patch存儲至所述訓練集；若所述前M個DCT交流系數(shù)中有T個不為0，則將與所述LR圖像的圖像塊內(nèi)容對應的高 頻LR patch、以及HR patch以及所述HR patch和高頻LR patch的對應關系信息存儲至所 述訓練集中的第(1「1) X (N-1)m^+(I2-1) X (N-1)m_2+. . . +(IT_1) X (N-1)m_t+(It-1) X (N-l)m—h+.-.+ItA類中。
全文摘要
本發(fā)明提供一種超分辨率方法和裝置，方法包括根據(jù)待處理LR圖像生成對應的LR高頻圖像以及HR圖像；將上述三個圖像分別切割成內(nèi)容對應的多個patch；若LR高頻圖像切割成的高頻LR patch含有高頻分量，則計算對應的LR圖像切割成的圖像塊的DCT交流系數(shù)；并根據(jù)DCT交流系數(shù)，得到訓練集中的對應類，在類中獲取對應的HR patch；將HR patch疊加在與初始HR patch上作為最終HR patch；將分別與每個高頻LR patch對應的多個最終HR patch組合構成最終HR圖像。本發(fā)明僅在對應類中搜索對應的HR patch，大大縮小了搜索范圍，有效減少了搜索時間，提高了超分辨率的效率。
文檔編號H04N21/44GK102663715SQ20121005317
公開日2012年9月12日 申請日期2012年3月2日 優(yōu)先權日2012年3月2日
發(fā)明者夏青, 干宗良, 張園園, 朱秀昌, 石騰 申請人:華為軟件技術有限公司