一種視頻超分辨率處理方法
【專利摘要】本發(fā)明公開了一種視頻超分辨率處理方法，包括以下步驟：對接收的待處理的視頻中的各幀圖像進(jìn)行如下處理操作：1）將當(dāng)前幀圖像劃分為多個(gè)圖像塊；2）對當(dāng)前幀圖像中的各個(gè)圖像塊，分別進(jìn)行如下處理，得到各個(gè)圖像塊的超分辨率圖像塊：1.檢測獲取當(dāng)前塊的相似塊；2.對當(dāng)前圖像塊的多個(gè)相似塊分別進(jìn)行上采樣處理，得到各相似塊的上采樣圖像塊；3.將各相似塊的上采樣圖像塊融合成一個(gè)超分辨率圖像塊；3）按照各個(gè)圖像塊在當(dāng)前幀圖像中的位置，將各個(gè)圖像塊的超分辨率圖像塊整合成一幅圖像，得到當(dāng)前幀圖像的超分辨率處理圖像。本發(fā)明的視頻超分辨率處理方法，利用空間域上相近似的圖像塊和/或時(shí)間域上相近似的圖像塊，可提高處理效果。
【專利說明】一種視頻超分辨率處理方法
【【技術(shù)領(lǐng)域】】
[0001]本發(fā)明涉及計(jì)算機(jī)視頻處理領(lǐng)域，特別是涉及一種基于自相似塊匹配的視頻超分
辨率處理方法。
【【背景技術(shù)】】
[0002]超分辨率處理技術(shù)是一種提高視頻或者圖像的分辨率的技術(shù)，通俗的理解即是通過硬件或軟件的方法提高原有圖像的分辨率。圖像視頻在其獲取收集、傳輸儲存等過程中由于某些因素的制約，可能導(dǎo)致其質(zhì)量水平下降或者過低。隨著計(jì)算機(jī)多媒體技術(shù)的發(fā)展，人們對數(shù)字圖像清晰度的要 求越來越高，因此經(jīng)常需要通過超分辨率處理提高視頻或者圖像的分辨率，同時(shí)希望處理后的視頻清晰度較高。現(xiàn)有的視頻超分辨率處理方法，通常通過上采樣處理后獲得高分辨率圖像。改進(jìn)時(shí)一般對上采樣過程不斷改進(jìn)，從而提高處理效果。然而，現(xiàn)有的處理方法得到的高分辨率圖像仍然存在清晰度較差，超分辨率處理效果不好的問題。
【
【發(fā)明內(nèi)容】
】
[0003]本發(fā)明所要解決的技術(shù)問題是:彌補(bǔ)上述現(xiàn)有技術(shù)的不足，提出一種視頻超分辨率處理方法，在提高圖像分辨率的同時(shí)確保圖像清晰度，提高了超分辨率處理效果。
[0004]本發(fā)明的技術(shù)問題通過以下的技術(shù)方案予以解決:
[0005]一種視頻超分辨率處理方法，包括以下步驟:對接收的待處理的視頻中的各幀圖像進(jìn)行如下處理操作:1)將當(dāng)前幀圖像劃分為多個(gè)圖像塊；2)對當(dāng)前幀圖像中的各個(gè)圖像塊，分別進(jìn)行如下處理，得到各個(gè)圖像塊的超分辨率圖像塊:21)在當(dāng)前幀圖像中檢測獲取當(dāng)前圖像塊的相似塊和/或在當(dāng)前幀圖像的前L幀、后K幀圖像中檢測獲取當(dāng)前圖像塊對應(yīng)的圖像塊的相似塊，得到當(dāng)前圖像塊的多個(gè)相似塊；其中，L和K均為大于等于O的整數(shù)，且L和K不同時(shí)為0，具體取值由用戶根據(jù)處理精度和處理速度的要求進(jìn)行設(shè)定；22)對當(dāng)前圖像塊的多個(gè)相似塊分別進(jìn)行上采樣處理，得到各相似塊的上采樣圖像塊；23)將各相似塊的上采樣圖像塊融合成一個(gè)超分辨率圖像塊；3)按照各個(gè)圖像塊在當(dāng)前幀圖像中的位置，將各個(gè)圖像塊的超分辨率圖像塊整合成一幅圖像，得到當(dāng)前幀圖像的超分辨率處理圖像。
[0006]本發(fā)明與現(xiàn)有技術(shù)對比的有益效果是:
[0007]本發(fā)明的視頻超分辨率處理方法，對劃分的多個(gè)圖像塊，分別檢測獲取各圖像塊在當(dāng)前幀圖像中相匹配的塊和/或在前后領(lǐng)域幀圖像中相匹配的塊，即獲取了空間域上相近似的圖像塊和/或時(shí)間域上相近似的圖像塊，后續(xù)再進(jìn)行上采樣、圖像塊融合等步驟。這樣，在超分辨率處理過程中充分地利用了視頻序列時(shí)域上以及空域上的信息，即充分利用相似圖像塊中的亞像素信息，確保融合重建依據(jù)的信息量充足，從而在提高圖像分辨率的同時(shí)確保圖像清晰度，提高了超分辨率處理效果?！尽緦＠綀D】

【附圖說明】】
[0008]圖1是本發(fā)明【具體實(shí)施方式】的視頻超分辨率處理方法中對各幀圖像處理的流程圖；
[0009]圖2是本發(fā)明【具體實(shí)施方式】的視頻超分辨率處理方法中檢測獲取相似塊的方法流程圖；
[0010]圖3是本發(fā)明【具體實(shí)施方式】的視頻超分辨率處理方法中重疊劃分塊時(shí)的示意圖?！尽揪唧w實(shí)施方式】】
[0011]下面結(jié)合【具體實(shí)施方式】并對照附圖對本發(fā)明做進(jìn)一步詳細(xì)說明。[0012]本發(fā)明的構(gòu)思是:通過研究自相似圖像塊與提高視頻清晰度之間的相關(guān)性，在超分辨率處理的上采樣算法的基礎(chǔ)上，利用相似圖像塊集合中的亞像素信息來實(shí)現(xiàn)超分辨率，從而在提高視頻分辨率的同時(shí)確保重建后圖像的清晰度。超分辨率處理時(shí)，首先將當(dāng)前幀圖像劃分為多個(gè)圖像塊，對于劃分出來的每一個(gè)圖像塊，在當(dāng)前幀空域上以及時(shí)間域上前后幀尋找與之相似的匹配圖像塊，并將所有相似的匹配圖像塊組合在一起構(gòu)成相似塊集合。然后將相似塊集合中圖像塊分別采用上采樣算法進(jìn)行上采樣，得到上采樣后尺寸較大的相似圖像塊數(shù)組，最后將這些圖像塊數(shù)組融合為一個(gè)圖像塊便得到了超分辨率后的一個(gè)圖像塊。類似地，將當(dāng)前幀內(nèi)劃分出來的所有圖像塊按照上述方法處理便可以得到一幀超分辨率后的圖像。將視頻中各幀圖像均進(jìn)行上述超分辨率處理，即得到分辨率提高且清晰度較好的視頻。
[0013]本【具體實(shí)施方式】中視頻超分辨率處理方法，處理針對的視頻序列為通過攝像機(jī)、照相機(jī)采集所得，或者通過計(jì)算機(jī)工具所得的視頻序列，數(shù)據(jù)格式不限。處理時(shí)，對視頻中的各幀圖像均進(jìn)行如圖1所示的超分辨率處理操作，具體包括以下步驟:
[0014]Ul)將當(dāng)前幀圖像劃分為多個(gè)圖像塊。
[0015]該步驟中，劃分圖像塊有多種實(shí)現(xiàn)方式，一種方式是，將當(dāng)前幀圖像按照固定形狀(如統(tǒng)一的正方形窗口)大小劃分成多個(gè)圖像塊，例如將包含256個(gè)像素點(diǎn)的圖像劃分為4個(gè)8X8的圖像塊，或者16個(gè)4X4的圖像塊。再例如采用類似BM3D算法中的平方窗圖像塊，將圖像劃分為多個(gè)塊。還有一種方式是，采用8方向LPA-1CI (Local PolynomialApproximation-1nter section of Confidence Intervals,簡稱 LPA-1CI)法求圖像的自適應(yīng)圖像塊形狀，從而將當(dāng)前幀圖像劃分為多個(gè)自適應(yīng)的圖像塊。劃分圖像塊的方式有多種，上述僅為示例性，其它可用于劃分圖像的方法均可以應(yīng)用于此。
[0016]U2)對當(dāng)前幀圖像中的各個(gè)圖像塊，分別進(jìn)行如下處理，得到各個(gè)圖像塊的超分辨率圖像塊:
[0017]U21)檢測獲取當(dāng)前圖像塊的多個(gè)相似塊，具體為:在當(dāng)前幀圖像中檢測獲取當(dāng)前圖像塊的相似塊和/或在當(dāng)前幀圖像的領(lǐng)域幀圖像中檢測獲取當(dāng)前圖像塊對應(yīng)的圖像塊的相似塊，得到當(dāng)前圖像塊的多個(gè)相似塊。其中，領(lǐng)域幀圖像為前L幀、后K幀圖像，其中L和K均為大于等于O的整數(shù)，且L和K不同時(shí)為0，具體取值由用戶根據(jù)處理精度和處理速度的要求進(jìn)行設(shè)定。
[0018]該步驟中，檢測獲取相似塊時(shí)，包括獲取當(dāng)前幀空域相似塊和/或前后幀時(shí)域相似塊。如果既獲取空域相似塊，又獲取時(shí)域相似塊，則精度較高，但相應(yīng)運(yùn)算量較大。因此用戶可根據(jù)處理精度和速度的要求設(shè)定是獲取其中一類相似塊較為合適還是同時(shí)獲取兩類相似塊較為合適。再者，結(jié)合后續(xù)超分辨率處理的步驟，可知處理過程的運(yùn)算復(fù)雜度主要體現(xiàn)在檢測獲取相似塊的過程中，但由于尋找相似塊有較多實(shí)現(xiàn)方法，因此可以在保證視頻超分辨率效果的情況下，盡量選擇計(jì)算復(fù)雜度較低的檢測方法。
[0019]本【具體實(shí)施方式】中在空間域或者時(shí)間域檢測獲取相似塊時(shí)如圖2所示，包括以下步驟:
[0020]100)檢測獲取多個(gè)候選塊。
[0021]該步驟中，獲取候選塊時(shí)有多種方式。圖2中僅示例性地列舉一種計(jì)算復(fù)雜度較低的獲取候選塊的具體方法，包括如下步驟:
[0022]P)設(shè)定窗口:以當(dāng)前待尋找相似塊的圖像塊為中心，設(shè)定WXW大小的窗口，其中，W為用戶設(shè)定的經(jīng)驗(yàn)值。如果在當(dāng)前幀中尋求獲取空間域相似塊，則以當(dāng)前圖像塊為中心，設(shè)定窗口。如果在鄰域幀中尋求獲取時(shí)間域相似塊，則以當(dāng)前幀圖像中當(dāng)前圖像塊在相應(yīng)鄰域中對應(yīng)的圖像塊為中心，設(shè)定窗口。
[0023]根據(jù)后續(xù)檢測獲取候選塊直至確定為相似塊的過程，可知后續(xù)的運(yùn)算量與此處設(shè)定的搜索范圍有關(guān)聯(lián)。如果W設(shè)定較大，例如WXW的窗口為全局圖像范圍，那么后續(xù)得到的相似塊就多，相應(yīng)超分辨處理的運(yùn)算量就大，當(dāng)然好處就是處理精度會較好；如果W設(shè)定較小，例如WX W的窗口僅僅為當(dāng)前圖像塊周圍一個(gè)較小的局部圖像范圍，那么后續(xù)得到的相似塊就少，相應(yīng)超分辨處理的運(yùn)算量就小，當(dāng)然缺點(diǎn)就是處理精度會稍差一些。因此，用戶可根據(jù)超分辨率處理的速度和精度的要求綜合設(shè)定:如果對超分辨率處理速度要求較高，則使用局部化的塊匹配，即縮小尋找相似塊的局部區(qū)域范圍(減小W的值)以及減少搜索時(shí)間域上前后鄰域幀的數(shù)量(減小L和K的值)。
[0024]q)設(shè)定左上角塊:在所述窗口中，取左上角塊，所述左上角塊的形狀、大小與當(dāng)前待尋找相似塊的圖像塊的形狀、大小相同。
[0025]該步驟中，如果前述步驟Ul)中將當(dāng)前幀圖像劃分為多個(gè)正方形塊，那么針對當(dāng)前幀圖像中當(dāng)前塊尋找相似塊時(shí)，此處左上角塊即取相同大小的正方形塊。如果前述步驟U1)中將當(dāng)前幀圖像劃分為多個(gè)不規(guī)則形狀塊，那么尋找相似塊時(shí)，此處左上角塊即取與當(dāng)前塊相同大小和形狀的不規(guī)則形狀塊。
[0026]r)滑動所述左上角塊，得到多個(gè)候選塊:將所述左上角塊沿著水平向右和豎直向下的方向按設(shè)定的步進(jìn)尺度滑動，得到多個(gè)候選塊。該步驟中，步進(jìn)尺度可為一個(gè)像素點(diǎn)或者多個(gè)像素點(diǎn)。
[0027]通過如上步驟P)至步驟r)，即實(shí)現(xiàn)了步驟100)中確定候選塊的過程。確定出多個(gè)候選塊后，即進(jìn)入步驟200)至步驟300)。
[0028]200)計(jì)算各個(gè)候選塊與當(dāng)前待尋找相似塊的圖像塊的顏色距離。
[0029]該步驟中，兩個(gè)圖像塊之間的顏色距離d可根據(jù)如下公式計(jì)算:
[0030]
【權(quán)利要求】
1. 一種視頻超分辨率處理方法，其特征在于:包括以下步驟:對接收的待處理的視頻中的各幀圖像進(jìn)行如下處理操作: 1)將當(dāng)前幀圖像劃分為多個(gè)圖像塊； 2)對當(dāng)前幀圖像中的各個(gè)圖像塊，分別進(jìn)行如下處理，得到各個(gè)圖像塊的超分辨率圖像塊: 21)在當(dāng)前幀圖像中檢測獲取當(dāng)前圖像塊的相似塊和/或在當(dāng)前幀圖像的前L幀、后K幀圖像中檢測獲取當(dāng)前圖像塊對應(yīng)的圖像塊的相似塊，得到當(dāng)前圖像塊的多個(gè)相似塊；其中，L和K均為大于等于O的整數(shù)，且L和K不同時(shí)為O，具體取值由用戶根據(jù)處理精度和處理速度的要求進(jìn)行設(shè)定； 22)對當(dāng)前圖像塊的多個(gè)相似塊分別進(jìn)行上采樣處理，得到各相似塊的上采樣圖像塊； 23)將各相似塊的上采樣圖像塊融合成一個(gè)超分辨率圖像塊； 3)按照各個(gè)圖像塊在當(dāng)前幀圖像中的位置，將各個(gè)圖像塊的超分辨率圖像塊整合成一幅圖像，得到當(dāng)前幀圖像的超分辨率處理圖像。
2.根據(jù)權(quán)利要求1所述的視頻超分辨率處理方法，其特征在于:所述步驟21)檢測獲取當(dāng)前圖像塊或者當(dāng)前圖像塊對應(yīng)的圖像塊的相似塊時(shí)包括如下步驟:100)檢測獲取多個(gè)候選塊；200)計(jì)算各個(gè)候選塊與當(dāng)前待尋找相似塊的圖像塊的顏色距離；300)比較各個(gè)候選塊對應(yīng)的顏色距離與設(shè)定的閾值之間的大小，將顏色距離小于所述閾值的候選塊保留作為當(dāng)前待尋找相似塊的圖像塊的相似塊。
3.根據(jù)權(quán)利要求2所述的視頻超分辨率處理方法，其特征在于:所述步驟100)中還包括擴(kuò)充候選塊的步驟:將得到的所述候選塊對稱翻轉(zhuǎn)或者左右旋轉(zhuǎn)多個(gè)角度得到多個(gè)轉(zhuǎn)動塊，也作為當(dāng)前圖像塊的候選塊；其中多個(gè)角度為遍布0°~90°范圍內(nèi)等間隔分布的多個(gè)角度。
4.根據(jù)權(quán)利要求2或3所述的視頻超分辨率處理方法，其特征在于:所述步驟100)和步驟200)之間還包括篩選多個(gè)所述候選塊的步驟100’ ):a)計(jì)算當(dāng)前圖像塊中像素點(diǎn)的像素值的均值或者方差；b)計(jì)算各個(gè)候選塊中像素點(diǎn)的像素值的均值或者方差；c)計(jì)算步驟b)中均值或者方差與步驟a)中均值或者方差的差值；d)比較所述均值或者方差的差值與設(shè)定的均值或者方差的閾值的大小，保留所述差值小于所述閾值的候選塊，去除所述差值大于等于所述閾值的候選塊。
5.根據(jù)權(quán)利要求2所述的視頻超分辨率處理方法，其特征在于:所述步驟100)包括以下步驟:P)以當(dāng)前待尋找相似塊的圖像塊為中心，設(shè)定WXW大小的窗口，其中，W為用戶設(shè)定的經(jīng)驗(yàn)值；q)在所述窗口中，取左上角塊，所述左上角塊的形狀、大小與當(dāng)前待尋找相似塊的圖像塊的形狀、大小相同；r)將所述左上角塊沿著水平向右和豎直向下的方向按設(shè)定的步進(jìn)尺度滑動，得到多個(gè)候選塊。
6.根據(jù)權(quán)利要求1所述的視頻超分辨率處理方法，其特征在于:所述步驟22)中，上采樣處理時(shí)采用bicubic/nnedi3插值算法或者SmartEdge上采樣算法。
7.根據(jù)權(quán)利要求1所述的視頻超分辨率處理方法，其特征在于:所述步驟23)中融合時(shí)，對于當(dāng)前圖像塊中的當(dāng)前像素點(diǎn)，取各上采樣圖像塊中的相應(yīng)像素點(diǎn)，計(jì)算相應(yīng)像素點(diǎn)的像素值的中值、平均值或者加權(quán)平均值，作為當(dāng)前像素點(diǎn)在超分辨率圖像塊中的像素值；其中，加權(quán)系數(shù)根據(jù)當(dāng)前圖像塊與上采樣圖像塊對應(yīng)的相似塊之間的顏色距離確定，與顏色距離成反比，具體取值為用戶設(shè)定的經(jīng)驗(yàn)值。
8.根據(jù)權(quán)利要求1所述的視頻超分辨率處理方法，其特征在于:所述步驟I)中劃分圖像時(shí)，將相鄰圖像塊之間重疊2~5個(gè)像素點(diǎn)寬度的范圍劃分圖像；所述步驟3)整合時(shí)，未重疊的位置處的圖像，直接取相應(yīng)超分辨率圖像塊中相應(yīng)像素點(diǎn)的像素值；重疊的位置處的圖像，取重疊處涉及的超分辨率圖像塊中相應(yīng)像素點(diǎn)的像素值的平均值。
9.根據(jù)權(quán)利要求1所述的視頻超分辨率處理方法，其特征在于:所述步驟I)中劃分圖像時(shí)，按照設(shè)定的固定形狀劃分圖像或者根據(jù)當(dāng)前幀圖像中像素點(diǎn)的像素值計(jì)算出自適應(yīng)的圖像塊形狀后按照自適應(yīng)的圖像塊形狀劃分圖像。
10.根據(jù)權(quán)利要求1所述的視頻分辨率處理方法，其特征在于:還包括輸出視頻的步驟:將處理后得到的各幀超 分辨率處理圖像按照時(shí)間順序進(jìn)行整合，輸出超分辨率處理后的視頻。
【文檔編號】G06T5/50GK103632359SQ201310689367
【公開日】2014年3月12日 申請日期:2013年12月13日 優(yōu)先權(quán)日:2013年12月13日
【發(fā)明者】張磊, 肖煜東, 索津莉, 張永兵, 戴瓊海 申請人:清華大學(xué)深圳研究生院