本發(fā)明涉及視頻圖像處理技術(shù)領(lǐng)域，特別是涉及一種基于邊緣保持和像素偏移的圖像插值方法。

背景技術(shù)：

所謂圖像插值，就是通過計(jì)算機(jī)將一幅低分辨率的圖像按一定的比例放大成具有更高分辨率的圖像，滿足人們在各領(lǐng)域研究的需要。隨著數(shù)碼產(chǎn)品的普及，圖像作為人類獲取信息的主要來源，得到了越來越廣泛的應(yīng)用。同時(shí)，數(shù)字圖像處理技術(shù)也得到了迅速發(fā)展。而視頻圖像的采集是數(shù)字圖像處理系統(tǒng)中一個(gè)關(guān)鍵的步驟。在數(shù)字化采集過程中，受諸多因素的影響，會使得圖像分辨率和圖像質(zhì)量有所下降。例如，采樣頻率，欠采樣會使得圖像的頻譜混疊，因變形效應(yīng)而發(fā)生降質(zhì)；大氣擾動、脫焦、傳感器尺寸以及圖像采集設(shè)備和被拍攝物體之間的相對運(yùn)動會造成圖像的模糊。而在圖像的獲取、傳輸和存儲過程中，也會引入噪聲，如高斯噪聲，這也會使圖像發(fā)生降質(zhì)。

因此，如何提高圖像的分辨率和質(zhì)量，使其盡可能的接近原始的圖像成為近年來國際上圖像處理領(lǐng)域的研究熱點(diǎn)之一。隨著圖像處理技術(shù)的發(fā)展和計(jì)算機(jī)計(jì)算能力的不斷提升，視頻圖像的超分辨率重建技術(shù)為低分辨率圖像的重建提供了很好的解決方案。它可以將一系列低分辨率的圖像按一定的比例放大，最終產(chǎn)生一幅或者多幅高分辨率的圖像，并且能夠很好地保持原圖的結(jié)構(gòu)。

目前，圖像插值技術(shù)因其計(jì)算復(fù)雜度低而更容易滿足視頻的實(shí)時(shí)性處理，從而被廣泛應(yīng)用于圖像放大。圖像插值方法有很多，簡單的線性插值技術(shù)比如最近鄰和雙線性插值，計(jì)算簡單但是會產(chǎn)生鋸齒效應(yīng)，同時(shí)也會模糊邊緣。有研究者在1981年提出了雙三次插值算法，這也屬于線性插值，可以很好的去除鋸齒效應(yīng)，但是仍然會模糊邊緣。它的基本原理是給定一個(gè)三次樣條曲線函數(shù)，以水平方向?yàn)槔?，被插值點(diǎn)作為原點(diǎn)，去水平方向周邊四個(gè)已知像素點(diǎn)，然后把已知點(diǎn)距原點(diǎn)的距離作為采樣間距，得到曲線函數(shù)的取值，作為權(quán)值進(jìn)行加權(quán)平均，同理，垂直方向也是如此。為了更好地保持邊緣的銳度，很多基于邊緣指導(dǎo)的插值方法被相繼提出。另有研究者在2001年提出了在低分辨率圖像上估計(jì)高分辨率圖像的協(xié)方差，然后用該協(xié)方差來進(jìn)行插值。該算法可以充分的利用周圍相似的結(jié)構(gòu)信息，但是，因?yàn)樵谇蠼獾臅r(shí)候，對每個(gè)待插值像素點(diǎn)都要估計(jì)一組參數(shù)，所以其計(jì)算復(fù)雜很高，而且周邊也存在很多不相似的結(jié)構(gòu)，因此估計(jì)的差數(shù)并不準(zhǔn)確，使插值的效果并不理想。有研究者在2008年提出了一種基于分塊的自回歸模型，這是對前一種算法的改進(jìn)。該算法對一整塊像素采用同一組參數(shù)，并且把待插值像素也當(dāng)成參數(shù)來進(jìn)行估計(jì)，并不直接進(jìn)行插值，所以插值效果好于上一算法。但是計(jì)算復(fù)雜度依舊很高，而且并沒有解決局部存在不相似結(jié)構(gòu)的問題。另有研究者在2012年提出一種魯棒的軟決策插值技術(shù)，在參數(shù)和像素的估計(jì)中，都采用加權(quán)最小二乘法。該算法是對基于分塊的自回歸模型的算法進(jìn)行改進(jìn)，在參數(shù)估計(jì)和像素估計(jì)階段，首先進(jìn)行結(jié)構(gòu)相似性對比，讓更相似的結(jié)構(gòu)具有更大的權(quán)值，使估計(jì)更加準(zhǔn)確。插值效果進(jìn)一步改進(jìn)。

然而，雖然現(xiàn)有的算法所涉及的傳統(tǒng)插值方法的計(jì)算量低，但是重建的效果差。基于邊緣指導(dǎo)的插值方法的插值效果好于傳統(tǒng)的插值方法，但是依舊會帶來一定程度的模糊，而且計(jì)算復(fù)雜度太高，無法滿足實(shí)時(shí)性的要求。

為了實(shí)現(xiàn)圖像快速插值的同時(shí)保持圖像的邊緣，從而使圖像的插值能夠更好的滿足實(shí)時(shí)性的要求。本發(fā)明提供一種基于邊緣保持和像素偏移的圖像插值方法，可以很好的對圖像的邊緣結(jié)構(gòu)進(jìn)行重建。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的圖像插值方法的特征在于包括：梯度值估計(jì)步驟，其中采用改進(jìn)的非局部均值方法對高分辨率圖像的梯度進(jìn)行估計(jì)；插值指導(dǎo)步驟，其中利用所述梯度值對邊緣像素的插值進(jìn)行指導(dǎo)；像素偏移步驟，其中對于插值之后的圖像，采用像素偏移技術(shù)，將邊緣兩側(cè)的像素進(jìn)行偏移，從而保持原始的邊緣結(jié)構(gòu)；以及后處理步驟，其中采用梯度估計(jì)階段使用的非局部均值方法對插值圖像進(jìn)行后處理，去除插值引入的噪聲和人造效應(yīng)。

本發(fā)明的圖像插值方法，優(yōu)選為，所述梯度值估計(jì)步驟包括相似性度量步驟和高分辨率梯度估計(jì)步驟。

本發(fā)明的圖像插值方法，優(yōu)選為，所述相似性度量步驟中，通過圖像塊的相似性來定義像素點(diǎn)的相似性，其中，假設(shè)當(dāng)前像素點(diǎn)為y(i,j)，其周邊N×N的像素點(diǎn)組成的圖像塊為N(i,j)，并假設(shè)圖像中另一像素點(diǎn)為y(m,n)，其周邊N×N的像素點(diǎn)組成的圖像塊為N(m,n)，通過相應(yīng)圖像塊的灰度強(qiáng)度相似性對像素點(diǎn)y(i,j)和y(m,n)之間的相似性進(jìn)行估計(jì)。

本發(fā)明的圖像插值方法，優(yōu)選為，所述圖像塊之間的灰度強(qiáng)度差異由公式(1)定義：

$d(m,n)=\left|\right|N(i,j)-N(m,n)|{|}_2^2---\left(1\right)$

其中，是第二范式操作符，

給像素點(diǎn)y(m,n)賦予一個(gè)權(quán)值，用來度量相似度，如公式(2)所示：

$\mathrm{\ω}(m,n)=\frac{1}{Z(i,j)}{e}^{-\frac{d(m,n)}{\mathrm{\σ}1}}---\left(2\right)$

其中，Z(i,j)是歸一化常量，代表所有權(quán)值的總和，參數(shù)σ1對指數(shù)方程的衰減速度進(jìn)行控制。

本發(fā)明的圖像插值方法，優(yōu)選為，所述高分辨率梯度估計(jì)步驟中，首先使用傳統(tǒng)的雙三次插值處理低分辨率圖像，得到初始的高分辨率圖像，然后運(yùn)用Sobel算子對初始高分辨率圖像進(jìn)行卷積運(yùn)算，得到高分辨率圖像的梯度近似估計(jì)。

本發(fā)明的圖像插值方法，優(yōu)選為，梯度修正如公式(3)所示：

$G(i,j)=\underset{y(m,n)\∈SxS}{\Σ}\mathrm{\ω}(m,n)G(m,n)---\left(3\right)$

其中，G(m,n)是當(dāng)前像素點(diǎn)周邊SxS窗口大小內(nèi)任意一個(gè)低分辨率像素點(diǎn)位置的梯度，窗口S×S大小設(shè)置為21×21。

本發(fā)明的圖像插值方法，優(yōu)選為，所述像素偏移步驟中，對于插值之后的圖像，采用像素偏移操作，使邊緣結(jié)構(gòu)保持和低分辨率圖像一致。

本發(fā)明的圖像插值方法，優(yōu)選為，首先，使用Canny算子對插值結(jié)果操作，提取出邊緣像素所在位置，然后對每個(gè)邊緣像素，檢測其梯度方向，將梯度方向劃分成兩類，分別是45度方向、垂直方向、和水平方向，接著再進(jìn)行像素偏移。

本發(fā)明的圖像插值方法，優(yōu)選為，所述像素偏移的方法是，原點(diǎn)像素值保持不變，將任意正方向i位置的的像素值p(i)更新為i+1位置的像素值，即p(i)＝p(i+1)，將任意負(fù)方向i位置的像素值p(i)更新為i－1位置的像素值，即p(i)＝p(i－1)。其中，正方向和負(fù)方向的定義是，將邊緣像素點(diǎn)當(dāng)成原點(diǎn)，然后將其兩側(cè)任意一側(cè)當(dāng)成正方向，另一側(cè)當(dāng)成負(fù)方向。

本發(fā)明的圖像插值方法，優(yōu)選為，所述Canny算子中，低閾值為100，高閾值為200，閾值T為15。

附圖說明

圖1是表示本發(fā)明的圖像插值方法的主流程圖。

圖2是表示本發(fā)明的圖像插值方法的梯度值估計(jì)步驟的子流程圖。

圖3是表示待插值像素和已知像素空間位置關(guān)系圖。

圖4是表示對白色正方形標(biāo)記的像素點(diǎn)進(jìn)行插值的示意圖。

圖5是表示對白色圓點(diǎn)標(biāo)記的像素點(diǎn)進(jìn)行插值的示意圖。

圖6(a)～圖6(d)是表示對像素進(jìn)行偏移操作的過程示意圖。

圖7是對圖像進(jìn)行修正前(a)和修正后(b)的效果對比圖。

圖8對圖像進(jìn)行重建前(a)和重建后(b)的效果對比圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其它實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

如圖1的流程圖所示，本發(fā)明的基于邊緣保持和像素偏移的快速圖像插值方法包括：梯度值估計(jì)步驟S1，其中采用改進(jìn)的非局部均值方法對高分辨率圖像的梯度進(jìn)行估計(jì)；插值指導(dǎo)步驟S2，其中利用所述梯度值對邊緣像素的插值進(jìn)行指導(dǎo)；像素偏移步驟S3，其中對于插值之后的圖像，采用像素偏移技術(shù)，將邊緣兩側(cè)的像素進(jìn)行偏移，從而保持原始的邊緣結(jié)構(gòu)；以及后處理步驟S4，其中采用梯度估計(jì)階段使用的非局部均值方法對插值圖像進(jìn)行后處理，去除插值引入的噪聲和人造效應(yīng)。

如圖2的子流程圖所示，所述梯度值估計(jì)步驟S1包括相似性度量步驟S11和高分辨率梯度估計(jì)步驟S12。在相似性度量步驟S11中，通過圖像塊的相似性來定義像素點(diǎn)的相似性，這樣更加精確也更具魯棒性。具體來說，假設(shè)當(dāng)前像素點(diǎn)為y(i,j)，其周邊N×N的像素點(diǎn)組成的圖像塊為N(i,j)，并假設(shè)圖像中另一像素點(diǎn)為y(m,n)，其周邊N×N的像素點(diǎn)組成的圖像塊為N(m,n)，通過相應(yīng)圖像塊的灰度強(qiáng)度相似性對像素點(diǎn)y(i,j)和y(m,n)之間的相似性進(jìn)行估計(jì)。兩個(gè)圖像塊之間的灰度強(qiáng)度差異通過公式(1)定義：

$d(m,n)=\left|\right|N(i,j)-N(m,n)|{|}_2^2---\left(1\right)$

其中，是第二范式操作符，

給像素點(diǎn)y(m,n)賦予一個(gè)權(quán)值，用來度量相似度，如公式(2)所示：

$\mathrm{\ω}(m,n)=\frac{1}{Z(i,j)}{e}^{-\frac{d(m,n)}{\mathrm{\σ}1}}---\left(2\right)$

其中，Z(i,j)是歸一化常量，代表所有權(quán)值的總和，參數(shù)σ1對指數(shù)方程的衰減速度進(jìn)行控制。圖像塊之間的差異越大，賦予相應(yīng)像素點(diǎn)的權(quán)值越小，反之，則賦予相應(yīng)像素點(diǎn)的權(quán)值越大。其中，塊大小N×N設(shè)為7×7。σ1大小取7×7圖像塊的方差。

在高分辨率梯度估計(jì)步驟S12中，首先使用傳統(tǒng)的雙三次插值處理低分辨率圖像，得到初始的高分辨率圖像。然后運(yùn)用Sobel算子對初始高分辨率圖像進(jìn)行卷積運(yùn)算，得到高分辨率圖像的梯度近似估計(jì)。假設(shè)對低分辨率圖像進(jìn)行兩倍放大，如圖3所示，其中黑色的點(diǎn)是低分辨率圖像放大后再高分辨率圖像中所在位置，白色點(diǎn)是待插值的像素點(diǎn)。接下來，對待插值像素點(diǎn)的梯度進(jìn)行修正。根據(jù)上一步驟像素點(diǎn)相似性度量，假設(shè)y(i,j)為圖中任意白色的待插值像素點(diǎn)，初始梯度為G(i,j)。y(m,n)為任意黑色的已知低分辨率像素點(diǎn)，梯度為G(m,n)。y(i,j)修正后的梯度為其周邊S×S窗口大小內(nèi)所有黑色點(diǎn)y(m,n)梯度的加權(quán)平均，權(quán)值就是步驟S11中估計(jì)的權(quán)值。梯度修正如公式(3)所示：

$G(i,j)=\underset{y(m,n)\∈SxS}{\Σ}\mathrm{\ω}(m,n)G(m,n)---\left(3\right)$

其中，窗口S×S大小設(shè)置為21×21。

在插值指導(dǎo)步驟S2中，如圖3所示，白色的點(diǎn)是待插值像素，分兩步進(jìn)行插值。第一步是對白色正方形標(biāo)記的像素點(diǎn)進(jìn)行插值，第二步對白色圓點(diǎn)標(biāo)記的像素點(diǎn)進(jìn)行插值。第一步插值像素點(diǎn)和已知像素點(diǎn)之間的位置關(guān)系如圖4(a)所示，Mi是待插值像素點(diǎn)，Nj,j＝1,2,3,4是已知的低分辨率像素點(diǎn)，Mi的值就是Nj的加權(quán)平均。如圖4(b)所示，將黑色點(diǎn)投影到梯度方向，并假設(shè)P(ij)為投影長度，Nj的權(quán)值如公式4定義：

$w\left(j\right)=\frac{1}{C\left(i\right)}{e}^{-\frac{P(i,j)}{\mathrm{\σ}2}}---\left(4\right)$

其中，C(i)是歸一化參數(shù)，代表所有權(quán)值的總和，σ2控制指數(shù)方程的衰減速度。

第二步插值像素點(diǎn)和已知像素點(diǎn)之間的位置關(guān)系如圖5(a)所示。第一步中已插值的像素點(diǎn)可以當(dāng)作已知像素點(diǎn)，將圖像旋轉(zhuǎn)45度，第二步中未知像素和已知像素之間空間位置關(guān)系和圖4(a)中一致，因此，沿用第一步中的插值方法。其中，σ2取0.2。

接下來，在像素偏移步驟S3中，進(jìn)行基于邊緣的像素偏移。基于梯度指導(dǎo)的插值，在沿著邊緣的方向能夠很好地恢復(fù)邊緣點(diǎn)結(jié)構(gòu)，但是在邊緣的兩側(cè)，如圖4(c)和圖5(c)所示，當(dāng)梯度方向如圖中所示，四個(gè)已知點(diǎn)的投影結(jié)構(gòu)幾乎一致，也就是說，權(quán)值幾乎一致。那么待插值像素點(diǎn)的值就是四個(gè)已知像素點(diǎn)的平均值，在邊緣的兩側(cè)產(chǎn)生過渡，使邊緣的寬度增大，在視覺上產(chǎn)生模糊。用該方法對一維信號進(jìn)行放大實(shí)例如圖6所示。圖6(a)是原始信號，圖4(b)是進(jìn)行兩倍放大之后的信號，可以看到，邊緣的寬度已經(jīng)增加。因此，為了是放大之后的信號邊緣盡可能和原始信號一致，將信號按圖6(c)的方式進(jìn)行偏移，如圖6(d)所示，偏移之后，邊緣的寬度和原圖一致。對于插值之后的圖像，采用像素偏移操作，使邊緣結(jié)構(gòu)保持和低分辨率圖像一致。首先，使用Canny算子對插值結(jié)果操作，提取出邊緣像素所在位置，然后對每個(gè)邊緣像素，檢測其梯度方向。將梯度方向劃分成兩類，分別是45度方向、垂直方向、和水平方向。因?yàn)檫吘壍姆较蚴谴怪碧荻鹊模吘墐蓚?cè)的像素是沿著梯度方向的，所以，提取梯度正方向和負(fù)方向的像素構(gòu)成一個(gè)以邊緣像素為原點(diǎn)的一維曲線，曲線的端點(diǎn)是梯度小于閾值T的像素點(diǎn)。然后再進(jìn)行像素偏移。偏移的方法如下：將原點(diǎn)像素保持，將任意正方向i位置的的像素p(i)更新為i+1位置的像素,即p(i)＝p(i+1),將任意負(fù)方向i位置的像素p(i)更新為i－1位置的像素，即p(i)＝p(i－1)。其中Canny算子中，低閾值為100，高閾值取200，閾值T取15。

接下來，在后處理步驟S4中，對插值結(jié)果進(jìn)行修正。以上插值在保持邊緣的同時(shí)也會引入一些鋸齒，所以，在這一步驟中對插值的結(jié)果進(jìn)行修正。如圖1所示，對于每個(gè)被白色點(diǎn)標(biāo)記的像素點(diǎn)，使用周邊S×S窗口內(nèi)被黑色標(biāo)記的像素點(diǎn)進(jìn)行加權(quán)平均來得到修正后的灰度值。權(quán)值使用步驟一中像素點(diǎn)之間的相似性進(jìn)行估計(jì)。修正前和修正后結(jié)果對比圖如圖7(a)和圖7(b)所示。其中，窗口也設(shè)置為21×21大小。圖8對圖像進(jìn)行重建前(a)和重建后(b)的效果對比圖。

以上所述，僅為本發(fā)明的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。