一種用于圖像超分辨的分層亞像素運(yùn)動(dòng)估計(jì)方法
【專利摘要】本發(fā)明提供一種用于圖像超分辨的分層亞像素運(yùn)動(dòng)估計(jì)方法，屬于圖像處理領(lǐng)域。該方法分為整像素運(yùn)動(dòng)估計(jì)和亞像素運(yùn)動(dòng)估計(jì)兩個(gè)階段。進(jìn)行整像素運(yùn)動(dòng)估計(jì)時(shí)采用小波分解，構(gòu)造圖像金字塔，并通過采用重疊塊運(yùn)動(dòng)估計(jì)和UMHexagonS算法逐層進(jìn)行由粗到精的快速匹配。進(jìn)行亞像素運(yùn)動(dòng)估計(jì)時(shí)采用NEDI插值，以快速得到準(zhǔn)確的估計(jì)結(jié)果。實(shí)驗(yàn)結(jié)果表明該方法以極小的搜索代價(jià)獲得了相當(dāng)準(zhǔn)確的搜索結(jié)果。
【專利說明】—種用于圖像超分辨的分層亞像素運(yùn)動(dòng)估計(jì)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于圖像超分辨的分層亞像素運(yùn)動(dòng)估計(jì)方法，屬于圖像處理【技術(shù)領(lǐng)域】。
【背景技術(shù)】
[0002]在大量的電子圖像應(yīng)用領(lǐng)域，人們經(jīng)常期望得到高分辨率(簡稱HR)圖像。高分辨率意味著圖像中的像素密度高，能夠提供更多的細(xì)節(jié)，而這些細(xì)節(jié)在許多實(shí)際應(yīng)用中不可或缺。例如，高分辨率醫(yī)療圖像對(duì)于醫(yī)生做出正確的診斷是非常有幫助的；使用高分辨率衛(wèi)星圖像就能很容易從相似物中區(qū)別相似的對(duì)象；如果能夠提供高分辨的圖像，計(jì)算機(jī)視覺中的模式識(shí)別的性能就會(huì)大大提高。因此，尋找一種增強(qiáng)當(dāng)前分辨率水平的方法是非常必須的。
[0003]一種很有前途的方法就是采用信號(hào)處理的方法從多個(gè)可觀察到的低分辨率(簡稱LR)圖像得到高分辨率圖像。其基本前提是對(duì)于同一場景可以獲取多幅LR細(xì)節(jié)圖像，并且LR圖像是基于亞像素精度的平移亞采樣。如果每幅LR圖像彼此之間都是不同的亞像素平移，那么它們彼此之間就不會(huì)相互包含，在這種情況下，每一幅LR圖像都會(huì)為HR圖像的復(fù)原提供一些不同的信息。通過亞像素運(yùn)動(dòng)估計(jì)，得到低分辨率圖像間的運(yùn)動(dòng)矢量就可以從多幅LR圖像中合成出HR圖像。因此，精確而快速的亞像素運(yùn)動(dòng)估計(jì)成為決定超分辨效果的關(guān)鍵技術(shù)。
[0004]亞像素運(yùn)動(dòng)估計(jì)是在整像素運(yùn)動(dòng)估計(jì)的基礎(chǔ)上將估計(jì)精度提聞到亞像素級(jí)別，其普遍采用的方法是塊搜索與插值相結(jié)合的算法。在所有塊搜索算法中，全搜索算法是精度最高的，但由于其計(jì)算量過高，難以用于實(shí)際應(yīng)用。而普遍采用的菱形搜索、三步搜索等快速搜索算法由于其算法自身缺陷容易陷入局部最優(yōu)解，影響運(yùn)動(dòng)估計(jì)的準(zhǔn)確性。在插值階段常用的雙線性插值算法以灰度加權(quán)值作為新的灰度值，使得新圖像出現(xiàn)邊緣模糊問題。因此，一種好的亞像素運(yùn)動(dòng)估計(jì)方法必須同時(shí)考慮搜索精度和運(yùn)算速度。

【發(fā)明內(nèi)容】

[0005]為解決傳統(tǒng)亞像素運(yùn)動(dòng)估計(jì)方法中的局部最優(yōu)和邊緣模糊問題，實(shí)現(xiàn)準(zhǔn)確而快速的亞像素運(yùn)動(dòng)估計(jì)，本發(fā)明提出一種UMHexagonS算法與小波分解相結(jié)合的方法。UMHexagonS算法使用非對(duì)稱十字型多層次六邊形格點(diǎn)搜索策略，對(duì)小幅度運(yùn)動(dòng)向量和大幅度運(yùn)動(dòng)向量都有很好的適應(yīng)性，能盡可能避免菱形搜索、三步搜索等快速搜索算法的局部最優(yōu)問題，UMHexagonS算法與小波分解相結(jié)合,進(jìn)行由粗到精的分層搜索，進(jìn)一步降低了算法的計(jì)算復(fù)雜度，使算法最終達(dá)到的估計(jì)精度與全搜索近似，而計(jì)算復(fù)雜度與全搜索相比大大降低。進(jìn)行亞像素運(yùn)動(dòng)估計(jì)時(shí)采用NEDI插值，以快速得到準(zhǔn)確的估計(jì)結(jié)果。
[0006]為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明采用下述技術(shù)方案:
[0007]—種用于圖像超分辨的分層亞像素運(yùn)動(dòng)估計(jì)方法，該方法將UMHexagonS算法與小波分解相結(jié)合，實(shí)現(xiàn)準(zhǔn)確而快速的亞像素運(yùn)動(dòng)估計(jì)，該方法包括以下步驟:[0008]步驟1:將參考圖像R和待配準(zhǔn)圖像F分別采用小波分解生成圖像金字塔，并分別取其低頻信息LL分量作為搜索對(duì)象；
[0009]步驟2:從最頂層開始,采用UMHexagonS算法進(jìn)行搜索；
[0010]步驟3:以上一層的搜索結(jié)果作為下一層搜索的粗略位置，直到得到原分辨率圖像的搜索結(jié)果；
[0011]步驟4:對(duì)待配準(zhǔn)圖像進(jìn)行NEDI插值，放大倍數(shù)為N ；
[0012]步驟5:對(duì)插值后的圖像塊下采樣，生成一組低分辨率的圖像塊；
[0013]步驟6:將參考圖像R中的匹配塊與步驟5得到的低分辨率圖像塊進(jìn)行匹配，得到亞像素級(jí)的配準(zhǔn)結(jié)果。
[0014]優(yōu)選的，在步驟I中采用haar小波對(duì)參考圖像R和待配準(zhǔn)圖像F分解生成圖像金字塔。
[0015]優(yōu)選的，在步驟2和步驟3中采用重疊塊運(yùn)動(dòng)估計(jì)，以提高運(yùn)動(dòng)估計(jì)的效果，降低塊效應(yīng)。
[0016]優(yōu)選的，在步驟5中對(duì)插值后的圖像塊在水平方向上和垂直方向上每隔N個(gè)點(diǎn)取一個(gè)點(diǎn)，生成一組低分辨率圖像塊。
[0017]優(yōu)選的，在步驟5中對(duì)待配準(zhǔn)圖像F進(jìn)行分塊時(shí)采用重疊塊的形式。
[0018]優(yōu)選的，在步驟6中采用重疊塊運(yùn)動(dòng)估計(jì)，以提高運(yùn)動(dòng)估計(jì)的效果，降低塊效應(yīng)。
[0019]本發(fā)明中，采用小波分解構(gòu)造圖像金字塔，具有抗噪聲和平滑的特點(diǎn)，進(jìn)行由粗到精的逐級(jí)搜索以加快搜索速度，并且采用NEDI插值，它運(yùn)用了自相似性的概念，其邊緣導(dǎo)向特性可以協(xié)調(diào)插值的系數(shù)，使得隨機(jī)導(dǎo)向的階躍邊緣更加匹配。在進(jìn)行塊運(yùn)動(dòng)估計(jì)時(shí)，采用重疊塊運(yùn)動(dòng)估計(jì)，提升了運(yùn)動(dòng)估計(jì)的效果，降低了塊效應(yīng)。并且采用了 UMHexagonS搜索算法，其運(yùn)算精度與全搜索近似，而運(yùn)算復(fù)雜度大大降低。實(shí)驗(yàn)結(jié)果表明，本方法搜索位置數(shù)下降率在90%以上，而搜索精度比全搜索沒有明顯下降，本發(fā)明提出的分層亞像素運(yùn)動(dòng)估計(jì)方法，在兼顧到配準(zhǔn)精度的同時(shí)，極大地降低了算法的運(yùn)算量，提升了配準(zhǔn)效率。
【專利附圖】

【附圖說明】
[0020]圖1是本發(fā)明所述的用于圖像超分辨的分層亞像素運(yùn)動(dòng)估計(jì)方法的流程圖；
[0021]圖2是Lena圖像小波多分辨率分解結(jié)果示意圖；
[0022](a)原圖
[0023](b)—級(jí)分解圖
[0024](C) 二級(jí)分解圖
[0025]圖3是圖像金字塔模型示意圖；
[0026]圖4是UMHexagonS算法搜索過程的示意圖；
[0027]圖5是多分辨率法分層搜索示意圖；
[0028]圖6是NEDI插值過程示意圖。
[0029](a)第一步
[0030](b)第二步
【具體實(shí)施方式】[0031]本發(fā)明提出一種UMHexagonS算法與小波分解相結(jié)合的方法。UMHexagonS算法使用非對(duì)稱十字型多層次六邊形格點(diǎn)搜索策略，對(duì)小幅度運(yùn)動(dòng)向量和大幅度運(yùn)動(dòng)向量都有很好的適應(yīng)性，能盡可能避免菱形搜索、三步搜索等快速搜索算法的局部最優(yōu)問題，UMHexagonS算法與小波分解相結(jié)合,進(jìn)行由粗到精的分層搜索,進(jìn)一步降低了算法的計(jì)算復(fù)雜度，使算法最終達(dá)到的估計(jì)精度與全搜索近似，而計(jì)算復(fù)雜度與全搜索相比大大降低。進(jìn)行亞像素運(yùn)動(dòng)估計(jì)時(shí)采用NEDI插值，以快速得到準(zhǔn)確的估計(jì)結(jié)果。圖1中明確表示了本發(fā)明所述方法的整體流程，具體實(shí)施步驟如下:
[0032]步驟1:將參考圖像R和待配準(zhǔn)圖像F用haar小波分解后生成圖像金字塔模型，它的每一級(jí)都包括LL、LH、HL、HH分量，選取LL分量作為搜索的對(duì)象，圖2所示為Iena圖像小波分解結(jié)果的示意圖，圖3所示為生成三層圖像金字塔模型的示意圖。
[0033]步驟2:從最頂層開始進(jìn)行搜索，搜索時(shí)采用重疊塊運(yùn)動(dòng)估計(jì)，將圖像分塊向外擴(kuò)展一部分，以減輕塊效應(yīng)。采用UMHexagonS算法進(jìn)行搜索,UMHexagonS算法的搜索過程如圖4所示:
[0034](I)首先進(jìn)行非對(duì)稱的十字型搜索，用“Λ”表示，水平方向的搜索范圍為豎直方向的兩倍，這一步可以為下一步的搜索提供精確的搜索起點(diǎn)；
[0035](2)以步驟(1)確定的搜索起點(diǎn)為中心進(jìn)行5x5的全搜索，用“O”表示，以確定小運(yùn)動(dòng)的精確運(yùn)動(dòng)向量；
[0036](3)進(jìn)行16個(gè)點(diǎn)的六邊形搜索，用“□”表示，構(gòu)造不同尺度的多六邊形網(wǎng)格，其最佳搜索位置作為下一步搜索的搜索中心；
[0037](4)進(jìn)行擴(kuò)展搜`索，直到最佳搜索位置位于搜索區(qū)域的中心，用“ V ”和“`”表示。
[0038]步驟3:以上一層的搜索結(jié)果作為下一層搜索的粗略位置，直到得到原分辨率圖像的搜索結(jié)果，在進(jìn)行逐級(jí)搜索時(shí)，以一層分解為例，先對(duì)低分辨率圖像塊進(jìn)行搜索配準(zhǔn)，得到一個(gè)運(yùn)動(dòng)向量(x，y)，然后再將高分辨率圖像塊，即原待配準(zhǔn)圖像塊，在以參考圖像的坐標(biāo)點(diǎn)(2x, 2y)為中心的周圍進(jìn)行小范圍的配準(zhǔn),如圖5所示,在(2x, 2y)點(diǎn)向四周擴(kuò)展兩個(gè)像素(灰色圓點(diǎn)處)細(xì)化配準(zhǔn)結(jié)果。
[0039]步驟4:對(duì)待配準(zhǔn)圖像F進(jìn)行插值，放大倍數(shù)為N，插值時(shí)采用NEDI插值，假設(shè)縮放系數(shù)N等于2，NEDI插值可以分成兩步，如圖6所示。第一步是對(duì)點(diǎn)(2i+l，2j+l)進(jìn)行插值，插值后的灰度值根據(jù)四個(gè)臨近對(duì)角的像素灰度值按以下公式計(jì)算確定:

I I
[0040]^2/+1,27+1 - ΣΣα2^+1 * ^+中如)

k=Q 1=0
[0041]第二步是用同樣的方法在旋轉(zhuǎn)45°之后，將剩余的空白點(diǎn)進(jìn)行插值。
[0042]步驟5:對(duì)插值后的圖像塊下采樣，即在水平和垂直方向上每間隔N個(gè)點(diǎn)取一點(diǎn)，生成一組低分辨率的圖像塊。
[0043]步驟6:將參考圖像R中的匹配塊與步驟5得到的插值圖像塊進(jìn)行匹配，得到最佳運(yùn)動(dòng)向量。將這個(gè)運(yùn)動(dòng)乘以后，就得到了亞像素級(jí)的配準(zhǔn)結(jié)果。
[0044]以上公開的僅為本發(fā)明的具體實(shí)施例，根據(jù)本發(fā)明提供的思想，本領(lǐng)域的技術(shù)人員能思及的變化，都應(yīng)落入本發(fā)明的保護(hù)范圍內(nèi)。
【權(quán)利要求】
1.一種用于圖像超分辨的分層亞像素運(yùn)動(dòng)估計(jì)方法，該方法將UMHexagonS算法與小波分解相結(jié)合，實(shí)現(xiàn)準(zhǔn)確而快速的亞像素運(yùn)動(dòng)估計(jì)，其特征在于進(jìn)一步包括以下步驟: 步驟1:將參考圖像R和待配準(zhǔn)圖像F分別采用小波分解生成圖像金字塔，并分別取其低頻信息LL分量作為搜索對(duì)象； 步驟2:從最頂層開始,采用UMHexagonS算法進(jìn)行搜索； 步驟3:以上一層的搜索結(jié)果作為下一層搜索的粗略位置，直到得到原分辨率圖像的搜索結(jié)果； 步驟4:對(duì)待配準(zhǔn)圖像進(jìn)行NEDI插值，放大倍數(shù)為N ； 步驟5:對(duì)插值后的圖像塊下采樣，生成一組低分辨率的圖像塊； 步驟6:將參考圖像R中的匹配塊與步驟5得到的低分辨率圖像塊進(jìn)行匹配，得到亞像素級(jí)的配準(zhǔn)結(jié)果。
2.根據(jù)權(quán)利要求1所述的用于圖像超分辨的分層亞像素運(yùn)動(dòng)估計(jì)方法，其特征在于在步驟I中采用haar小波對(duì)參考圖像R和待配準(zhǔn)圖像F分解生成圖像金字塔。
3.根據(jù)權(quán)利要求1所述的用于圖像超分辨的分層亞像素運(yùn)動(dòng)估計(jì)方法，其特征在于在步驟2和步驟3中采用重疊塊運(yùn)動(dòng)估計(jì)，以提高運(yùn)動(dòng)估計(jì)的效果，降低塊效應(yīng)。
4.根據(jù)權(quán)利要求1所述的用于圖像超分辨的分層亞像素運(yùn)動(dòng)估計(jì)方法，其特征在于在步驟5中對(duì)插值后的圖像塊在水平方向上和垂直方向上每隔N個(gè)點(diǎn)取一個(gè)點(diǎn)，生成一組低分辨率圖像塊。
5.根據(jù)權(quán)利要求1所述的用于圖像超分辨的分層亞像素運(yùn)動(dòng)估計(jì)方法，其特征在于在步驟5中對(duì)待配準(zhǔn)圖像F進(jìn)行分塊時(shí)采用重疊塊的形式。
6.根據(jù)權(quán)利要求1所述的用于圖像超分辨的分層亞像素運(yùn)動(dòng)估計(jì)方法，其特征在于在步驟6中采用重疊塊運(yùn)動(dòng)估計(jì)，以提高運(yùn)動(dòng)估計(jì)的效果，降低塊效應(yīng)。
【文檔編號(hào)】H04N19/53GK103873875SQ201410114075
【公開日】2014年6月18日 申請(qǐng)日期:2014年3月25日 優(yōu)先權(quán)日:2014年3月25日
【發(fā)明者】劉琚, 伯君, 孫國霞, 趙悅 申請(qǐng)人:山東大學(xué)