基于預(yù)測梯度的圖像插值方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于預(yù)測梯度的圖像插值方法及系統(tǒng)。
【背景技術(shù)】
[0002] 圖像的空間分辨率是人類視覺系統(tǒng)觀察數(shù)字圖像的一個重要特性，分辨率越高， 人眼就能獲得越多的圖像細節(jié)信息。在許多領(lǐng)域都需要高分辨率的數(shù)字圖像，比如:人臉識 另IJ，軍事雷達圖像處理，生物醫(yī)學(xué)切片分析以及數(shù)字高清電視的應(yīng)用等?？偟膩碚f，提高圖 像分辨率的方式有兩種，一種是對圖像的采集設(shè)備進行升級，另一種就是利用軟件的方式 來提高已采集到的數(shù)字圖像的空間分辨率。雖然在過去的幾十年中，隨著數(shù)碼攝像機傳感 器設(shè)備的發(fā)展，便攜式攝像機或者是掃描器都已經(jīng)取得了較大的進步，但是利用軟件的方 式提高數(shù)字圖像的分辨率仍然是必不可少的。利用軟件的方法提高圖像分辨率可以被視為 一種實用且經(jīng)濟的解決方法，也可以作為硬件系統(tǒng)的一個附加設(shè)備。
[0003] 圖像插值是圖像處理過程中一個重要的步驟，它是圖像數(shù)據(jù)再生的一個過程，目 的在于將一幅低分辨率(LR)圖像通過增加像素的方式變成一幅高分辨率(HR)圖，這樣能夠 保存自然圖像的特性。
[0004] 在過去的幾十年中，基于時間復(fù)雜度和重建質(zhì)量的權(quán)衡，各種各樣的圖像插值方 法相繼被提出。這些插值方法可以被粗略地分為兩大類:一種是傳統(tǒng)的線性插值方法，另一 種就是后來改進的非線性插值方法。這兩類方法的主要不同點在于，傳統(tǒng)的線性插值方法 對于整幅圖像采用不變的卷積內(nèi)核而不考慮圖像的結(jié)構(gòu)信息;但是改進的非線性插值方法 會對圖像的不同部分采用不同的插值策略，比如對人類視覺系統(tǒng)不太重要的背景部分，采 用簡單的線性插值方法處理，而對人類視覺系統(tǒng)有重要影響的邊緣部分則需要根據(jù)邊緣的 方向，強弱等采用不同的插值策略。
[0005] 傳統(tǒng)的線性插值方法包括最近鄰插值，雙線性插值，雙三次插值以及其他一些稍 作改進的方法。這些方法的時間復(fù)雜度較低，在處理圖片時消耗的CPU時間也相對比較少。 但是，這類方法只是簡單地從數(shù)學(xué)的角度增加圖像的像素數(shù)，并不能適應(yīng)不同場景下的像 素結(jié)構(gòu)。最后，插值得到的圖像顯得比較模糊即使在較平坦的區(qū)域或者背景部分可以取得 較好的插值結(jié)果。所以，為改善插值圖像的視覺質(zhì)量，一些改進的非線性插值方法應(yīng)運而 生。
[0006] 改進的非線性插值方法，主要包括基于協(xié)方差，小波，邊緣信息以及機器學(xué)習(xí)理論 的插值方法。由于協(xié)方差矩陣能夠顯示局部邊緣的方向，所以基于協(xié)方差的圖像插值方法 成為近幾年圖像插值的熱點，其中最具代表性的就是Li和Orchard提出的NEDI (New Edge-Directed Interpolation)方法。 它的主要思想是首先假設(shè)每個點的梯度值是它周圍四個 對角線上鄰近點的加權(quán)平均，那么這四個加權(quán)系數(shù)就反映了圖像的局部結(jié)構(gòu)特征。然后在 低分辨圖像上利用一個8 X 8的窗口來計算協(xié)方差系數(shù)，通過計算得到的協(xié)方差系數(shù)來確定 每個像素周圍的加權(quán)系數(shù)從而進行插值。后來，Zhang和Wu提出了另一種基于協(xié)方差系數(shù)的 方法叫做SAI(soft-decision interpolation)。這種方法與NEDI相比主要的不同點在于它 同時計算一個像素塊的插值權(quán)重，這樣的話，在每一步，它都可以對一個像素塊進行插值。 通過這種像素塊估計和分段自回歸模型，SAI插值方法相比較NEDI方法可以獲得更好的插 值結(jié)果，但同時也需要消耗更多的計算時間。
[0007] 由于小波具有多分辨率分析功能和逐漸局部細化等性質(zhì)，基于小波的插值方法也 相繼被提出。正交小波分解后各層子帶之間具有相似性，若能準確地得到圖像的高頻細節(jié)， 利用重構(gòu)的理論，就可以得到分辨率高一倍的圖像。傳統(tǒng)的基于小波的插值方法是對原圖 像進行小波分解，利用低分辨率圖像的高頻信息預(yù)測高分辨率圖像的高頻信息，然后通過 某種方法估計高分辨率圖像中的低頻信息，就可以重構(gòu)出高分辨率的圖像。Carey和Chuang 等人利用圖像邊緣在各個尺度中的衰減系數(shù)來構(gòu)造最佳的小波，然后根據(jù)已有的小波分解 信息對圖像進行插值。小波基的選擇在基于小波的圖像插值算法中占據(jù)舉足輕重的地位。
[0008] 基于邊緣信息的圖像插值方法的核心思想是對非邊緣像素點采用無方向的傳統(tǒng) 的插值方法進行插值，而對于邊緣像素點則采用有方向的插值方法。其中效果比較好的方 法就是We i和Ma提出的基于圖像邊緣對比度的插值方法CGI ( contras t-gui ded interpolation)的方法。該方法先對整幅圖像采用傳統(tǒng)插值方法(如雙三次插值），然后在 插值完成的高分辨率圖像上采用邊緣檢測算子檢測出邊緣，對于檢測出來的邊緣點根據(jù)像 素點所處的邊緣方向采用有方向的插值方法(如一維三次樣條插值)進行更新。而本發(fā)明提 出的基于預(yù)測-校驗的圖像插值方法也是一種基于圖像邊緣的插值方法。
[0009] 近些年，隨著機器學(xué)習(xí)理論的快速發(fā)展及其在各個領(lǐng)域的廣泛應(yīng)用，基于機器學(xué) 習(xí)的圖像插值方法越來越受到關(guān)注。其中較為代表性的就是基于稀疏編碼的圖像插值方 法。這種方法首先需要訓(xùn)練一個插值用的字典，然后根據(jù)原始圖像圖片與字典中參考圖片 的稀疏關(guān)系來獲得高分辨率的插值圖像。但是，這種方法與訓(xùn)練得到的字典數(shù)據(jù)庫高度相 關(guān)，并且不同內(nèi)容的圖片插值得到的結(jié)果也會不一樣。結(jié)果，當原始圖像圖片不是自相似的 或者在字典數(shù)據(jù)庫中找不到相似的圖像塊時，插值得到的圖片的質(zhì)量會不太好，并且會產(chǎn) 生一些人工偽跡。
[0010] 如果數(shù)據(jù)庫很大的話，離線訓(xùn)練過程和圖像插值在線搜索過程將會消耗很長時 間，而且所需要的電腦內(nèi)存也是需要解決的一個問題。

【發(fā)明內(nèi)容】

[0011] 針對上述問題，本發(fā)明提供一種更好的保留了邊緣，紋理信息的基于預(yù)測梯度的 圖像插值方法及系統(tǒng)。
[0012] 為達到上述目的，本發(fā)明基于預(yù)測梯度的圖像插值方法，包括：
[0013] 判斷待插值像素是否為邊緣像素，
[0014] 若該待插值像素為非邊緣像素，則采用線性插值方法進行插值得到高分辨率圖 像；
[0015] 若該待插值像素為邊緣像素，則采用非線性插值方法進行插值得到高分辨率圖 像。
[0016] 進一步地，判斷待插值像素是否為邊緣像素具體包括：
[0017]計算低分辨率圖像上所有像素的梯度值，梯度值計算公式為：
[0018] ，％指像素（i，j)上的梯度值，％是1^圖像的方向?qū)?shù)，θ 代表所計算梯度的方向，So是Sobel邊緣檢測器，*是卷積操作；
[0019] 采用預(yù)測方法選擇待插值像素周圍的像素 h(i，j)的梯度值預(yù)測該待插值像素的 梯度值公式表不如下：後'》ψ為一種預(yù)測方法；
[0020] 計算該待插值像素正交方向上的梯度差值，將該梯度插值與預(yù)定的閾值進行比 較，
[0021] 若大于或等于所述閾值，則該待插值像素為邊緣像素；
[0022] 若小于所述閾值，則該待插值像素為非邊緣像素。
[0023]進一步地，所述預(yù)測方法包括:雙三次預(yù)測、基于預(yù)插值圖片的預(yù)測。
[0024] 進一步地，所述的非線性插值方法具體包括：
[0025] 對邊緣像素進行擴散，并計算擴散后的梯度；
[0026] 基于低分辨圖像LR的像素 h(i，j)，對處理高分辨圖像對角上的像素進行插值，其 中，
[0027] ~> f, IA= Ih(i-1, j-1),Ib = Ih(i+1, j+1) ,Ic = Ih(i~3, j-3)l^l 及 lD=Ih(i+3，j+3)。
[0028] 若 U135(i，j)-U45(i，j)>T，IA=Ih(i+l，j+l)，lB = Ih(i_l，j_l)，Ic = Ih(i+3, j+3)以 及 lD=Ih(i-3，j-3);
[0029] 基于低分辨率圖像的h(i，j)以及處理圖像插值得到的對角像素 Ih(2i，2j)，對余 下的水平和垂直方向上的像素進行處理，插值公式下如所示：
[0030] Ι〇= ω (Ia+Ib) + (1_w )(Ic+Id)
[0031 ]若 ~ ^.身.1》> 玄，Ia= Ih(i_l，j)，Ib= Ih(i+1，j)，Ic= Ih(i_3，j)以及Id = Ih(i+3，j)〇
[0032]若％逛難齋，iA=ih(i，j-i)，iB=ih(i，j+i)，i c=ih(i，j-3)以及iD = Ih(i，j+3);
[0033] 其中，Ia，Ib，Ic和Id是已知像素，Ici是待插像素，ω是可調(diào)參數(shù)，T是一個閾值。
[0034] 進一步地，ω 為 17/40，Τ = 0·08。
[0035] 為達到上述目的，本發(fā)明基于預(yù)測梯度的彩色圖像插值方法，包括：
[0036] 將彩色圖像從RGB顏色空間轉(zhuǎn)到Lab顏色空間；
[0037] 分離亮度分量L、色度分量a，b;
[0038] 色度分量a，采用線性插值方法進行插值處理；
[0039] 亮度分量L采用權(quán)利要求1至5任一所述的基于預(yù)測梯度的圖像插值方法進行插 值。
[0040] 進一步地，彩色圖像從RGB顏色空間轉(zhuǎn)到Lab顏色空間，具體包括： ] 將原始的rgb色彩分量通過Gamma矯正為RGB色彩分量
[0042] R = gamma(r)，G = gamma(g)，B = gamma(b) (r，g，be [0 · 255])
[0043]
[0044] 將RGB模式轉(zhuǎn)換為XYZ模式
[0045] [X，Y，Z]=[M]*[R，G，B]
[0046] 其中，Μ是一個3X3的矩陣；
[0047] 將ΧΥΖ模式轉(zhuǎn)換為Lab模式
[0048]
[0049]
[0050] 其中，f是矯正函數(shù)，H