基于帶鄰邊樣例的圖像超分辨率方法
【專利摘要】本發(fā)明公開了一種基于樣例的圖像超分辨率的方法。該方法中的樣例和傳統(tǒng)方法不同，其在傳統(tǒng)的低分辨率的樣例的四周加了一個邊。在本發(fā)明的在線處理過程中，沒有選擇傳統(tǒng)的對每一圖像塊各自進行放大的方法，而采用一種放大過程中有重疊區(qū)域的放大方法。為此，本發(fā)明新定義了一種匹配準則，以優(yōu)化地選擇要放大區(qū)域所對應的在數(shù)據(jù)庫中存儲的高分辨率塊。最后，對重疊區(qū)域中的高分辨率像素值進行加權平均，以得到最終的和給定的低分辨率圖像相對應的高分辨率圖像。
【專利說明】基于帶鄰邊樣例的圖像超分辨率方法
【技術領域】
[0001]本發(fā)明涉及圖像處理中的超分辨技術，即對于給定的一個圖像，希望得到一個對此圖像進行放大的圖像，所得到的放大的圖像越清晰越好。此技術可以應用于放大互聯(lián)網(wǎng)上由于帶寬限制而存儲的小圖像等領域，有著廣闊的應用領域。
【背景技術】
[0002]國際上現(xiàn)今有兩類超分辨率方法。一類方法是基于插值的方法，另一類是基于樣例(example)的方法。其中，基于差值的超分辨率方法雖然比較簡單，復雜度較低，但是其得到的放大圖像一般比較模糊，圖像邊緣部分不清晰。為了克服這一缺點，人們提出了基于樣例的超分辨率方法。在此類方法中，分為兩個步驟。第一個步驟是建立圖像樣例數(shù)據(jù)庫，第二個步驟是基于樣例的圖像超分辨率的實現(xiàn)。在第一個步驟中，首先進行離線的訓練過程。此過程中，首先設法得到一批高分辨率的清晰圖像，然后對每一個高分辨率的圖像通過下采樣或濾波的方法得到對應的低分辨率的圖像。然后對低分辨率和高分辨率的圖像進行分塊處理，對低分辨率的圖像所劃分的塊的大小可以為4X 4或者5 X 5等，對每一個在低分辨率圖像中的塊，可以在高分辨率的圖像塊中找到和其對應的塊。例如:如要求的放大倍數(shù)為2時，對每一個在低分辨率圖中的4 X 4大小的塊，在高分辨率的圖中都有一個8X8大小的塊和其對應或匹配。這樣，在低分辨率的圖像塊的大小為NXN時，低分辨率的圖像塊中的像素值組成一個集合:[0003]q(x, y, k) = {fL (x, y, k, i, j) | x ≤ i ≤ x+N-1, y ≤ j ≤ y+N-1}
[0004]這里k表示訓練庫中的第k個圖像，(X，y)為圖像塊的左上角在低分辨率的圖像中的位置，fL(x, y，k，i，j)為第k個低分辨率的圖像在(i，j)處的像素點的值。和集合q(x，y，k)所表示的低分辨率的圖像塊相對應，有一個高分辨率的圖像塊的像素值所組成的集合:
[0005]Q(x, y, k) = {fH(x, y, k, i, j) | 2x ≤ i ≤ 2x+2N_l,2y ≤ j ≤ 2y+2N_l}
[0006]這里fH(x，y, k，i，j)為第k個高分辨率的圖像在(i，j)處的像素點的值。然后，可以把每一個低分辨率的集合q(x，1，k)所表示的塊、其匹配的高分辨率的集合Q (X，y, k)所表示的塊、以及這種對應關系都存儲在樣例數(shù)據(jù)庫中。每一個存儲的低分辨率的塊可稱為一個樣例。在對訓練庫中每一個高分辨率的圖像都經(jīng)過此處理后，可得到一個樣例數(shù)據(jù)庫，此數(shù)據(jù)庫描述了一大批低分辨率塊(樣例)、和其對應的高分辨率塊。
[0007]在訓練數(shù)據(jù)庫建設好之后，就可以對給定的不在訓練庫中的低分辨率的圖像進行在線的超分辨率處理。在此處理步驟中，首先把訓練庫中沒有的待放大的低分辨率的圖像進行分塊，塊的大小和樣例數(shù)據(jù)庫中的低分辨率的塊的大小一樣。即，若樣例數(shù)據(jù)庫中的樣例都為4X4大小的，那么，把待放大的低分辨率的圖像劃分為具有4X4大小的塊。然后，對每個待放大的塊，在樣例數(shù)據(jù)庫中找到最接近此待放大的塊的樣例。即對于待放大的塊中的像素所組成的集合
[0008]s (x0, y0) = {gL(i，j) |x0 ≤ i ≤ Xq+N-1 , y0 ≤ j ≤ y0+N-l}[0009]首先計算待放大的塊和訓練庫中塊q(x，y，k)之間的絕對差值之和:
[0010]
【權利要求】
1.一種基于帶鄰邊的超分辨率圖像放大的方法。本發(fā)明包括離線的處理過程和在線的處理過程。在離線的處理過程中，建立供超分辨率圖像放大所需的訓練數(shù)據(jù)庫。在在線的處理過程中，對任意給定的一幅圖像進行放大。在低分辨率的圖像塊的坐標為UyyJ處，所提出的帶鄰邊的樣例為從到(xdN-m-1, yjN-m-l)區(qū)域的正方形的圖像塊，其大小為(N+2m) X (N+2m)。其所對應的高分辨率圖像塊為高分辨率圖像中從(2Χ?，27?)到(2xL+2N-l,2yL+2N-l)區(qū)域的正方形的圖像塊，其大小為2NX2N。對于離線的建立數(shù)據(jù)庫的過程，先準備好大量的可供訓練的高分辨率圖像，所述方法包括: 步驟I)根據(jù)高分辨率的圖，進行下采樣，得到低分辨率的圖，為提取樣例和其匹配的高分辨率塊做準備。令k=l(k=l表示是數(shù)據(jù)庫中的第一幅圖像，k是第幾個圖像的索引)。 步驟2)對低分辨率的圖像進行初始的加邊處理。由于所提出的樣例是帶有鄰邊的，因此為處理方便，給整幅低分辨率圖像加個邊，邊的寬度和樣例中鄰邊的寬度相同。 步驟3)令^=0，yfO，這里，(?, yL)是低分辨率樣例上除了邊以后的左上角在低分辨率圖像中的坐標。 步驟4)提取低分辨率圖像中從坐標(Xl1-Hi, y^n)開始到(xjN+m-l, yjN+m-Ι)間的圖像塊，存儲到數(shù)據(jù)庫中。NXN為塊的大小，m為帶鄰邊樣例的鄰邊的寬度。本發(fā)明中選擇的塊的大小為4X4，帶鄰邊樣例的鄰邊的寬度為2。 步驟5)令xh=2xl, yH=2yL, (xH, yH)為高分辨率圖像中和樣例匹配的塊的左上角在高分辨率圖像中的坐標。 步驟6)提取低分辨率圖像中從坐標(xH，yH)開始到(xH+2*N-l，yH+2*N-l)間的圖像塊，存儲到數(shù)據(jù)庫中。這樣，就存儲了一對低分辨率塊(帶鄰邊的樣例)fjxy yL, k)和高分辨率塊fH(xH，yH，k)。其中帶鄰邊樣例的大小為(N+m) X (N+m)，相對應的高分辨率的匹配塊的大小為2NX2N。 步驟7)令W1，樣例在低分辨率圖像的左上角的橫坐標左移一個像素單位，以提取出下一個樣例。 步驟8)若\ < W-N,則跳到步驟4)提取下一對低分辨率塊和高分辨率塊，其中W為圖像的寬度。否則，這一行的樣例已提取完畢，將進行下一行樣例的提取。 步驟9)令^=0，h=yfl，樣例左上角在低分辨率的圖上的坐標下移到下一行的開始處。 步驟10)若^ < H-N,則跳到步驟4)提取下一對低分辨率塊和高分辨率塊，其中H為圖像的高度。否則；對當前圖像樣例提取過程進行完畢。 步驟ll)k=k+l，跳到步驟1)，對下一幅高分辨率圖像進行處理，直到對訓練庫中所有圖像都處理完畢。 這樣，經(jīng)過此離線的處理方法，就得到了可用于超分辨率處理的很多樣例和與此樣例匹配的高分辨率塊所組成的數(shù)據(jù)庫。 對于在線處理過程，所述方法包括: 步驟I)對初始的低分辨率圖進行處理，給低分辨率的圖像加個邊。在加邊的圖像上，應填充的四周的像素點上的像素值由其最鄰近的圖像中的像素值來確定。 步驟2)令^=0，^=0，(xL, yL)為待放大塊的左上角在低分辨率圖像中的坐標。 步驟3)在此位置上，計算低分辨率圖上、已放大的高分辨率的圖上，和訓練庫中第(X，y，k)個存儲的樣例、以及與此樣例對應的高分辨率塊，相對應的匹配差值SADE(x，y，k)。這個匹配差值的計算包括了低分辨率圖像上樣例和當前低分辨率圖像塊的差值、以及重疊區(qū)域的差值，也包括高分辨圖像上已放大塊和樣例對應的高分辨率塊之間在重疊區(qū)域的差值。同時，給邊緣像素點和非邊緣像素點不同的權值。 確定邊緣像素點時利用了二維的二階拉普拉斯算子。 步驟4)找到數(shù)據(jù)庫中最匹配的樣例和與此樣例對應的高分辨率塊。即，計算此位置上的
2.如權利要求1所述的一種建立帶鄰邊樣例，以及在圖像的超分辨率放大中利用這些帶鄰邊樣例的方法，以利用這些樣例來克服傳統(tǒng)方法中的塊效應和一對多的問題。在低分辨率的圖像塊的坐標為(m)處，所提出的帶鄰邊的樣例為從到O^+N-m-1，yL+N-m-l)區(qū)域的正方形的圖像塊，其大小為(N+2m) X (N+2m)。其所對應的高分辨率圖像塊為高分辨率圖像中從(2xu2yJ到(2xj2N-l，2yf2N-l)區(qū)域的正方形的圖像塊，其大小為2NX2N。因為樣例具有鄰邊，在和低分辨率的圖像塊進行匹配時，匹配區(qū)域更大，可找到更好的匹配樣例，以及和此樣例匹配的高分辨率圖像塊。
3.如權利要求1所述，在在線的超分辨率圖像放大過程中，采用要放大塊和已放大塊之間有重疊區(qū)域的放大方法，以進一步地克服塊效應和一對多的問題。這里，在X軸上放大一圖像塊之后，橫坐標上的移動關系為XL=XL+skp_x，step_x為低分辨率圖上X軸方向上下一個塊跳動的距離，在本發(fā)明中step_x=2。由于step_x〈N (本發(fā)明中N=4),這樣就構成了橫向的重疊區(qū)域。在對一行的圖像塊都進行了放大之后，在y軸上，縱坐標的移動關系為yL=yL+step_y,在本發(fā)明中step_y=2為低分辨率圖上y軸方向上下一個塊跳動的距離。由于step_y〈N=4,這樣構成了縱向的重疊區(qū)域。
4.如權利要求1所述，本發(fā)明計算匹配差值時，包括了低分辨率圖像上重疊區(qū)域的絕對差值之和，低分辨率圖像上未重疊區(qū)域的絕對差值之和，以及放大的高分辨率圖像上的絕對差值之和，然后選出最優(yōu)樣例和與此樣例匹配的高分辨率塊的。SADE(x，y, k)的計算過程如下: 首先計算
5.如權利要求1所述的一種檢測邊緣點，以及在圖像的超分辨率放大中利用這些邊緣像素點的方法，這樣可以得到邊緣清晰的高分辨率圖像。這里，給邊緣像素點和非邊緣像素點不同的權值。確定邊緣像素點的過程如下: 先對圖像中的像素采用如下模板
6.如權利要求1所述的一種確定重疊區(qū)域上，高分辨率圖像中像素值的最終確定的方法。在高分辨率圖像上的重疊區(qū)域，主要利用加權平均方法來獲得最終的高分辨率的像素值。其方法如下: 首先計算
7.如權利要求1所述的一種和帶鄰邊樣例所對應的低分辨率圖像的加邊的方法。對低分辨率的圖像進行初始的加邊處理。由于所提出的樣例是帶有鄰邊的，因此為處理方便，給整幅低分辨率圖像加個邊，邊的寬度和樣例中鄰邊的寬度相同。在加邊的圖像上，應填充的四周的像素點上的像素值由其最鄰近的圖像中的像素值來確定。這樣，在四周的圖像塊照樣可以提取出帶鄰邊的樣例。在本發(fā)明中所加的邊的寬度為2。
【文檔編號】G06T5/50GK103903241SQ201410141448
【公開日】2014年7月2日 申請日期:2014年4月3日 優(yōu)先權日:2014年4月3日
【發(fā)明者】端木春江, 王澤思 申請人:浙江師范大學