本發(fā)明涉及圖像視頻領(lǐng)域，特別涉及一種實(shí)時(shí)超分辨率重建方法。
背景技術(shù)：
圖像超分辨率重建技術(shù)就是利用一組低質(zhì)量、低分辨率圖像(或運(yùn)動(dòng)序列)來產(chǎn)生單幅高質(zhì)量、高分辨率圖像。圖像超分辨率重建應(yīng)用領(lǐng)域及其寬廣，在軍事，醫(yī)學(xué)，公共安全，計(jì)算機(jī)視覺等方面都存在著重要的應(yīng)用前景。在計(jì)算機(jī)視覺領(lǐng)域，圖像超分辨率重建技術(shù)有可能使圖像實(shí)現(xiàn)從檢出水平(detectionlevel)向識(shí)別水平(recognitionlevel)的轉(zhuǎn)化，或更進(jìn)一步實(shí)現(xiàn)向細(xì)辨水平(identificationlevel)的轉(zhuǎn)化。圖像超分辨率重建技術(shù)可以提高圖像的識(shí)別能力和識(shí)別精度。圖像超分辨率重建技術(shù)可以實(shí)現(xiàn)目標(biāo)物的專注分析，從而可以獲取感興趣區(qū)域更高空間分辨率的圖像，而不必直接采用數(shù)據(jù)量巨大的高空間分辨率圖像的配置。
隨著計(jì)算機(jī)技術(shù)發(fā)展，人們?cè)谲娛骂I(lǐng)域、衛(wèi)星遙感成像領(lǐng)域及醫(yī)學(xué)等領(lǐng)域?qū)Ω叻直媛蕡D像的需求越來越迫切，然而由于傳統(tǒng)設(shè)備在成像過程中會(huì)受到系統(tǒng)模糊、大氣運(yùn)動(dòng)、噪聲、成像環(huán)境等各種因素影響，導(dǎo)致獲取圖像分辨率較低，難以滿足特定需求。若通過硬件設(shè)備來提升分辨率這種傳統(tǒng)手段，會(huì)造成設(shè)備體積增大、制造成本高、加工困難等一系列新問題。因此，通過軟件技術(shù)來提升圖像分辨率成為新的方式。
目前的超分辨率重建算法主要有基于插值的重建算法、基于模型的重建算法和基于學(xué)習(xí)的重建算法，從重建圖像質(zhì)量而言，基于學(xué)習(xí)的重建算法效果更佳，可以顯著提升圖像分辨率?；趯W(xué)習(xí)的超分辨率重建算法雖然效果好，但是由于需要訓(xùn)練大量的先驗(yàn)信息，因而重建效率卻比較低，無法實(shí)現(xiàn)實(shí)時(shí)超分辨率重建的目的。
技術(shù)實(shí)現(xiàn)要素：
因此，為解決現(xiàn)有技術(shù)存在的技術(shù)缺陷和不足，本發(fā)明提出一種實(shí)時(shí)超分辨率重建方法。
具體地，本發(fā)明一個(gè)實(shí)施例提出的一種實(shí)時(shí)超分辨率重建算法，包括：
步驟1、根據(jù)第一分辨率圖像處理形成第二分別率圖像，由所述第一分辨率圖像和所述第二分別率圖像確定分辨率字典；
步驟2、對(duì)待重建的圖像進(jìn)行分塊處理形成多個(gè)待重建圖像塊；
步驟3、設(shè)置信息量閾值并判斷所述待重建圖像塊的信息量是否大于所述信息量閾值；若是，則根據(jù)所述分辨率字典對(duì)所述待重建圖像塊進(jìn)行圖像重建以形成第一子區(qū)域；
步驟4、對(duì)所述第一子區(qū)域進(jìn)行圖像拼接得到超分辨率重建圖像。
在本發(fā)明的一個(gè)實(shí)施例中，根據(jù)第一分辨率圖像處理形成第二分別率圖像，包括：
將所述第一分辨率圖像按照退化模型進(jìn)行模糊處理和n倍下采樣處理形成所述第二分辨率圖像。
在本發(fā)明的一個(gè)實(shí)施例中，由所述第一分辨率圖像和所述第二分別率圖像確定分辨率字典，包括：
根據(jù)特征提取算法提取圖像特征，獲得第一分辨率圖像特征信息和第二分辨率圖像特征信息；
根據(jù)k-svd算法，對(duì)所述第一分辨率圖像特征信息和所述第二分辨率圖像特征信息進(jìn)行訓(xùn)練以獲得第一分辨率字典和第二分辨率字典。
在本發(fā)明的一個(gè)實(shí)施例中，獲得第一分辨率字典和第二分辨率字典，包括：
通過最小化逼近誤差計(jì)算所述第一分辨率字典：：
dh＝xsa+＝xsat(aat)-1；
其中，假設(shè)所述第一分辨率字典和所述第二分辨率字典的稀疏表示系數(shù)相同且都為a，dh為所述第一分辨率字典，xs表示第一分辨率圖像特征信息；
通過稀疏k-svd算法求解所述第二分辨率字典：
dl＝φw
其中，dl為所述第二分辨率字典，φ為基字典，w為原子表示矩陣。在本發(fā)明的一個(gè)實(shí)施例中，在步驟2之前，還包括：
對(duì)所述待重建的圖像去噪聲處理和去模糊處理。
在本發(fā)明的一個(gè)實(shí)施例中，設(shè)置信息量閾值，包括：
將所述第二分辨率圖像進(jìn)行分塊處理形成第二分辨率圖像塊，利用邊緣提取算法提取所述第二分辨率圖像塊的邊緣信息量；
根據(jù)所述第二分辨率圖像塊的邊緣信息量的分布情況選取x(x>1)個(gè)所述邊緣信息量作為候選信息量閾值；
根據(jù)超分辨率算法的重建時(shí)間以及對(duì)應(yīng)重建形成的圖像分辨率，從x個(gè)所述候選信息量閾值中選擇一個(gè)作為所述信息量閾值。
在本發(fā)明的一個(gè)實(shí)施例中，根據(jù)所述分辨率字典對(duì)所述待重建圖像塊進(jìn)行圖像重建之前，還包括：
對(duì)所述待重建圖像塊進(jìn)行濾波操作，提取高頻特征，獲取所述待重建圖像塊的高頻信息以完成降維處理。
在本發(fā)明的一個(gè)實(shí)施例中，根據(jù)所述分辨率字典對(duì)所述待重建圖像塊進(jìn)行圖像重建以形成第一子區(qū)域，包括：
通過omp算法求解所述待重建圖像塊在所述第二分辨率字典下的稀疏表示系數(shù)；
將所述稀疏表示系數(shù)與所述第一分辨率字典相乘，形成第一子區(qū)域。
在本發(fā)明的一個(gè)實(shí)施例中，所述稀疏表示系數(shù)的求解方程為：
其中，β為稀疏表示系數(shù)，t0為給定的稀疏度，βi為矩陣β中的子元素
在本發(fā)明的一個(gè)實(shí)施例中，步驟3還包括：
若否，根據(jù)雙三次插值算法對(duì)所述待重建圖像塊進(jìn)行圖像重建形成第二子區(qū)域；
相應(yīng)地，步驟4可以包括：
對(duì)所述第一子區(qū)域及所述第二子區(qū)域進(jìn)行圖像拼接得到超分辨率重建圖像。
基于此，本發(fā)明具備如下優(yōu)點(diǎn)：
由于本發(fā)明基于學(xué)習(xí)的超分辨率重建算法實(shí)現(xiàn)圖像實(shí)時(shí)分辨率重建，成本低，不需要改變成像系統(tǒng)硬件結(jié)構(gòu)。
本發(fā)明對(duì)學(xué)習(xí)字典進(jìn)行處理，有效減少字典原子個(gè)數(shù)的同時(shí)，仍能夠線性表示初始化字典的所有信息，從而提高了字典的訓(xùn)練效率。
本發(fā)明對(duì)待重建圖像進(jìn)行分塊管理，通過設(shè)定信息量閾值的重建策略對(duì)圖像塊進(jìn)行信息量判斷，根據(jù)圖像信息量的大小選擇圖像重建的方法，大幅提升了算法的計(jì)算效率。
通過以下參考附圖的詳細(xì)說明，本發(fā)明的其它方面和特征變得明顯。但是應(yīng)當(dāng)知道，該附圖僅僅為解釋的目的設(shè)計(jì)，而不是作為本發(fā)明的范圍的限定，這是因?yàn)槠鋺?yīng)當(dāng)參考附加的權(quán)利要求。還應(yīng)當(dāng)知道，除非另外指出，不必要依比例繪制附圖，它們僅僅力圖概念地說明此處描述的結(jié)構(gòu)和流程。
附圖說明
下面將結(jié)合附圖，對(duì)本發(fā)明的具體實(shí)施方式進(jìn)行詳細(xì)的說明。
圖1為本發(fā)明實(shí)施例提供的一種實(shí)時(shí)超分辨率重建方法的示意圖。
具體實(shí)施方式
為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式做詳細(xì)的說明。
實(shí)施例一
請(qǐng)參見圖1，圖1為本發(fā)明實(shí)施例提供的一種實(shí)時(shí)超分辨率重建方法的示意圖。該方法包括如下步驟：
步驟1、根據(jù)第一分辨率圖像處理形成第二分別率圖像，由所述第一分辨率圖像和所述第二分別率圖像確定分辨率字典；
步驟2、對(duì)待重建的圖像進(jìn)行分塊處理形成多個(gè)待重建圖像塊；
步驟3、設(shè)置信息量閾值并判斷所述待重建圖像塊的信息量是否大于所述信息量閾值；若是，則根據(jù)所述分辨率字典對(duì)所述待重建圖像塊進(jìn)行圖像重建以形成第一子區(qū)域；
步驟4、對(duì)所述第一子區(qū)域進(jìn)行圖像拼接得到超分辨率重建圖像。
其中，對(duì)于步驟1，可以包括：
將所述第一分辨率圖像按照退化模型進(jìn)行模糊處理和n倍下采樣處理形成所述第二分辨率圖像。
其中，對(duì)于步驟1，還可以包括：
a1)、根據(jù)特征提取算法提取圖像特征，獲得第一分辨率圖像特征信息和第二分辨率圖像特征信息；
a2)、根據(jù)k-svd算法，對(duì)所述第一分辨率圖像特征信息和所述第二分辨率圖像特征信息進(jìn)行訓(xùn)練以獲得第一分辨率字典和第二分辨率字典。
進(jìn)一步，對(duì)于步驟a2)中獲得第一分辨率字典和第二分辨率字典還可以包括：
a21)、通過最小化逼近誤差計(jì)算所述第一分辨率字典dh：
dh＝xsa+＝xsat(aat)-1；
其中，假設(shè)所述第一分辨率字典和所述第二分辨率字典的稀疏表示系數(shù)相同且都為a，dh為所述第一分辨率字典，xs表示第一分辨率圖像特征信息；
a22)、通過稀疏k-svd算法求解所述第二分辨率字典：
dl＝φw
其中，dl為所述第二分辨率字典，φ為基字典，w為原子表示矩陣
其中，在步驟2之前，還可以包括：
對(duì)所述待重建的圖像去噪聲處理和去模糊處理。
其中，對(duì)于步驟3，可以包括：
b1)、將所述第二分辨率圖像進(jìn)行分塊處理形成第二分辨率圖像塊，利用邊緣提取算法提取所述第二分辨率圖像塊的邊緣信息量；
b2)、根據(jù)所述第二分辨率圖像塊的邊緣信息量的分布情況選取x(x>1)個(gè)所述邊緣信息量作為候選信息量閾值；
b3)、根據(jù)超分辨率算法的重建時(shí)間以及對(duì)應(yīng)重建形成的圖像分辨率，從x個(gè)所述候選信息量閾值中選擇一個(gè)作為所述信息量閾值。
其中，對(duì)于步驟3中根據(jù)所述分辨率字典對(duì)所述待重建圖像塊進(jìn)行圖像重建之前，還包括：
對(duì)所述待重建圖像塊進(jìn)行濾波操作，提取高頻特征，獲取所述待重建圖像塊的高頻信息以完成降維處理。
進(jìn)一步地，對(duì)于步驟3，還可以包括：
c1)、通過omp算法求解所述待重建圖像塊在所述第二分辨率字典下的稀疏表示系數(shù)；
c2)、將所述稀疏表示系數(shù)與所述第一分辨率字典相乘，形成第一子區(qū)域。
進(jìn)一步地，步驟3中c1)，還可以包括：
所述稀疏表示系數(shù)的求解方程為：
其中，β為稀疏表示系數(shù)，t0為給定的稀疏度，βi為矩陣β中的子元素。
進(jìn)一步地，對(duì)于步驟3，還可以包括：
若否，根據(jù)雙三次插值算法對(duì)所述待重建圖像塊進(jìn)行圖像重建形成第二子區(qū)域；
相應(yīng)地，步驟4可以包括：
對(duì)所述第一子區(qū)域及所述第二子區(qū)域進(jìn)行圖像拼接得到超分辨率重建圖像。
本發(fā)明的有益效果具體為：
1、本發(fā)明實(shí)施例提出建立圖像庫訓(xùn)練字典的方法，將圖像集離線訓(xùn)練字典庫，得到高分辨率圖像與低分辨率圖像的映射關(guān)系，優(yōu)化圖像重建步驟，有效減少算法運(yùn)行時(shí)間，具有自適應(yīng)性和高效性。
2、本發(fā)明中算法中的閾值是基于大量對(duì)比試驗(yàn)后進(jìn)行優(yōu)化固定，在處過程中不需要進(jìn)行改變，在不影響圖像重建效果的情況下，有效的提高了圖像重建效率。
3、由于本發(fā)明基于學(xué)習(xí)的超分辨率重建算法實(shí)現(xiàn)圖像實(shí)時(shí)分辨率重建，因此不需要改變成像系統(tǒng)硬件結(jié)構(gòu)，具有成本低，經(jīng)濟(jì)效益高的優(yōu)點(diǎn)。
實(shí)施例二
本實(shí)施例在上述實(shí)施例的基礎(chǔ)上，對(duì)本發(fā)明的技術(shù)方案進(jìn)行詳細(xì)描述。具體地，該方法包括：
步驟1：利用大量高分辨率圖像(即第一分辨率圖像)樣本，將高分辨率圖像按照修正后的退化模型進(jìn)行模糊處理和n倍下采樣處理，得到相應(yīng)的低分辨率圖像(即第二分辨率圖像)樣本。
步驟2：對(duì)步驟1中獲得的低分辨率圖像，通過特征提取算法提取圖像特征，得到空間目標(biāo)的高分辨率特征信息xs(即第一分辨率特征信息)和低分辨率特征信息ys(即第二分辨率特征信息)。
步驟3：利用k-svd算法，對(duì)特征信息進(jìn)行聯(lián)合訓(xùn)練，得到高分辨率字典dh(即第一分辨率字典)和低分辨率字典dl(即第二分辨率字典)。
步驟3a)：訓(xùn)練低分辨率字典。基字典φ選擇過完備dct字典，利用稀疏k-svd算法求解：
則低分辨率字典dl＝φw。
步驟3b)：計(jì)算高分辨率字典。假設(shè)高分辨率圖像塊，低分辨率圖像塊在相應(yīng)的高分辨率字典，低分辨率字典下具有相同的稀疏表示系數(shù)a，則可以通過最小化以下公式中的逼近誤差來計(jì)算高分辨率字典dh：
使用偽逆求解：
dh＝xsa+＝xsat(aat)-1(3)
其中，上標(biāo)“+”表示偽逆。
步驟4：對(duì)待重建的低分辨率圖像進(jìn)行預(yù)處理，其中主要包括圖像去噪、圖像去模糊和樣本分塊操作。其處理步驟為：
步驟4a)：對(duì)步驟1中得到的低分辨率圖像去噪聲；
步驟4b)：對(duì)步驟4a)得到的低分辨率圖像去模糊，得到待重建低分辨率圖像；
步驟4c)：對(duì)待重建低分辨率圖像進(jìn)行區(qū)塊劃分，將整幅圖像按照固定長(zhǎng)寬進(jìn)行分割保存；
步驟5：對(duì)待重建低分辨率圖像塊進(jìn)行分塊管理，通過設(shè)定信息量閾值的重建策略對(duì)待重建圖像塊的信息量判斷，根據(jù)圖像信息量的大小選擇待重建圖像重建的方法，具體處理步驟如下：
步驟5a)：將步驟1得到的大量低分辨率圖像樣本進(jìn)行區(qū)塊分割，低分辨率圖像塊的長(zhǎng)寬同步驟4c；利用邊緣提取算法提取低分辨率圖像塊邊緣信息，統(tǒng)計(jì)各低分辨率圖像塊的信息量及所有圖像塊的信息量分布情況；根據(jù)信息量分布選擇若干具有代表性的信息量數(shù)值作為候選閾值，通過對(duì)照試驗(yàn)比較不同候選閾值對(duì)于超分辨率算法重建質(zhì)量及速度的影響，根據(jù)項(xiàng)目需求確定最合適的候選閾值作為信息量閾值。
步驟5b)：輸入待重建的低分辨率圖像塊，采用邊緣提取算法提取圖像塊邊緣信息，當(dāng)改圖像塊信息量不超過步驟5a)確定的信息量閾值時(shí)，采用雙三次插值算法進(jìn)行重建；否則，采用超分辨率重建算法進(jìn)行圖像重建。該策略保證了圖像細(xì)節(jié)的重建質(zhì)量，同時(shí)大幅提升了算法的計(jì)算速度。
其中，對(duì)于步驟5a)，信息量閾值的設(shè)置還可以使用如下的實(shí)施方式：
s1：將大量低分辨率圖像樣本進(jìn)行區(qū)塊分割獲得圖像塊；
s2：利用邊緣提取算法提取低分辨率圖像塊邊緣信息，統(tǒng)計(jì)各低分辨率圖像塊的信息量及所有低分辨率圖像塊的信息量分布情況；
s3：選取低分辨率圖像塊中信息量最高的值，獲取該低分辨率圖像塊的像素值為f1，取f＝f1/4，則f*40％<＝閾值<＝f*60％，取該范圍內(nèi)若干代表閾值，例如，可以取如下代表閾值：f*40％，f*45％，f*50％，f*55％，f*60％，計(jì)算每個(gè)閾值點(diǎn)對(duì)應(yīng)的基于學(xué)習(xí)的稀疏表示圖像超分辨率重建算法的重建時(shí)間和重建后圖像的分辨率，可以根據(jù)主觀評(píng)價(jià)和psnr來判斷。然后根據(jù)使用者需求從若干代表閾值中確定固定閾值作為信息量閾值，如使用者需求更注重時(shí)間，那就調(diào)高比例，時(shí)間就快；相反使用者如果注重重建效果，那就調(diào)低比例，帶來的就是重建效果較好但時(shí)間較長(zhǎng)。例如，經(jīng)計(jì)算后f*50％最符合使用者需求，則取信息量閾值＝f*50％。
s4：輸入待重建的低分辨率圖像塊，采用邊緣提取算法提取圖像塊邊緣信息，當(dāng)該圖像塊信息量不超過步驟s3確定的信息量閾值時(shí)該圖像塊為低信息量圖像塊；否則，為高信息量圖像塊。優(yōu)選地，所述邊緣提取算法為canny算子邊緣檢測(cè)算法
步驟6：針對(duì)待重建圖像塊進(jìn)行圖像濾波操作，進(jìn)行高頻特征提取，采用2*2的濾波器組，所用濾波器組為f＝{f1,f2,f3,f4}，其由四個(gè)不同的濾波器組成，分別為：
f1＝[1,-1],f2＝f1t(4)
f3＝log,f3＝f3t(5)
其中上角標(biāo)t表示矩陣轉(zhuǎn)置操作，log代表一種5×5的二維濾波算子。經(jīng)過高頻特征提取操作后獲得圖像塊高頻信息，以xl表示。
步驟7：對(duì)采用超分辨率重建算法的圖像塊進(jìn)行kpca降維，實(shí)現(xiàn)高維數(shù)據(jù)壓縮。降維步驟如下：
步驟7a)：將高維數(shù)據(jù)集合表示為x＝{x1,x2,x3,…,xm},xi∈rd，kpca算法經(jīng)過非線性映射函數(shù)
x→φ(x)∈f，其中f是特征空間，這樣便能將每個(gè)數(shù)據(jù)x映射到一個(gè)高維特征空間。
步驟7b)：核函數(shù)通過φ將進(jìn)行一個(gè)點(diǎn)x到f的對(duì)應(yīng)操作，并且由此獲得的f數(shù)據(jù)滿足中心化的條件，即：
其中，φ為映射矩陣，可以實(shí)現(xiàn)點(diǎn)x到f的映射，xμ為樣本圖像特征。
則特征空間f中的協(xié)方差矩陣c為：
其中，m為樣本總數(shù)。
步驟7c)：求c的特征值λ≥0以及特征向量v，v＝1,2，…，m
v∈f\{0},cv＝λv(8)
則有
(φ(xv)·cv)＝λ(φ(xv)·v)(9)
考慮到所有的特征向量可表示為φ(x1),φ(x2),…,φ(xm)的線性組合，即：
則有：
式中，v＝1,2,3,…,m，定義m×m維矩陣kμv
kμv:＝(φ(xμ)·φ(xv))(12)
步驟7d)：求解上式得到特征值及特征向量，對(duì)于數(shù)據(jù)集合在特征向量空間vk的投影可以寫成：
那么，數(shù)據(jù)被投影到協(xié)方差矩陣的特征向量vk上，投影結(jié)果(也就是低維數(shù)據(jù)的表示y)可以表示為：
步驟8：對(duì)經(jīng)過降維壓縮后的圖像塊數(shù)據(jù)進(jìn)行超分辨率重建，具體步驟如下：
步驟8a)：采用omp算法求解待重建子區(qū)域y在低分辨率字典dl下的稀疏表示系數(shù)β，即求解如下方程：
其中t0為給定的稀疏度，βi為矩陣β中的子元素。
步驟8b)：將求得的稀疏表示系數(shù)β與高分辨率字典dh相乘，得到重建的超分辨率重建子區(qū)域(即第一子區(qū)域)，即：
x＝dhβ(16)
其中x為求得的超分辨率重建子區(qū)域。
步驟9：對(duì)步驟8中求得的超分辨率重建子區(qū)域以及步驟5中雙三次插值算法進(jìn)行重建形成的重建子區(qū)域進(jìn)行圖像拼接，得到超分辨率重建圖像。
綜上所述，本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明基于實(shí)時(shí)超分辨率率重建方法進(jìn)行了闡述，以上實(shí)施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制，本發(fā)明的保護(hù)范圍應(yīng)以所附的權(quán)利要求為準(zhǔn)。