專利名稱：基于運(yùn)動(dòng)補(bǔ)償?shù)?/4像素精度視頻圖像去隔行方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及視頻圖像隔行掃描格式至逐行掃描格式的轉(zhuǎn)換，可用于隔行掃描圖像至逐行掃描圖像的去隔行處理，是近年來視頻圖像去隔行的研究熱點(diǎn)之一。
背景技術(shù)：
目前隨著各種新型顯示設(shè)備、新的電視廣播格式的發(fā)展，在視頻領(lǐng)域存在大量不同的格式標(biāo)準(zhǔn)。為了實(shí)現(xiàn)不同格式視頻信號(hào)間的交流，視頻格式轉(zhuǎn)變不可或缺。當(dāng)今電視廣播系統(tǒng)中，絕大部分視頻信號(hào)源采用隔行掃描，此方式可以減少帶寬需求，但會(huì)引起爬行、畫面閃爍、邊緣模糊及鋸齒現(xiàn)象。去隔行技術(shù)是格式轉(zhuǎn)換的一項(xiàng)關(guān)鍵技術(shù)，也是其他格式轉(zhuǎn)換技術(shù)的基礎(chǔ)。所謂“去隔行”，即從隔行掃描格式向逐行掃描格式的轉(zhuǎn)換。為了克服隔行圖像轉(zhuǎn)換為逐行圖像時(shí)帶來的模糊、鋸齒等現(xiàn)象，人們提出了許多不同的去隔行方法，按照去隔行技術(shù)發(fā)展的時(shí)間順序，依次為線性去隔行方法，包括空域線性濾波、時(shí)域線性濾波、時(shí)空域線性濾波；非線性去隔行方法，包括基于邊緣自適應(yīng)的去隔行方法、基于中值濾波的去隔行方法、基于運(yùn)動(dòng)自適應(yīng)的去隔行方法；基于運(yùn)動(dòng)補(bǔ)償?shù)娜ジ粜蟹椒?，為目前最先進(jìn)的去隔行方法。運(yùn)動(dòng)補(bǔ)償去隔行方法有兩個(gè)重要的過程運(yùn)動(dòng)估計(jì)與運(yùn)動(dòng)補(bǔ)償。對(duì)于視頻圖像序列，相鄰幀與幀之間存在著較強(qiáng)的相關(guān)性，運(yùn)動(dòng)估計(jì)就是對(duì)多幀之間的運(yùn)動(dòng)信息的估計(jì)。運(yùn)動(dòng)補(bǔ)償是根據(jù)運(yùn)動(dòng)估計(jì)的結(jié)果做插值運(yùn)算。運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償被廣泛應(yīng)用于數(shù)字視頻處理中。例如H. 261，H. 263，H. 264和MPEG-1, MPEG-2，MPEG-4壓縮標(biāo)準(zhǔn)中，都用到了運(yùn)動(dòng)估計(jì)與運(yùn)動(dòng)補(bǔ)償。在去隔行視頻處理中，運(yùn)動(dòng)估計(jì)應(yīng)用前后場的運(yùn)動(dòng)信息，得到運(yùn)動(dòng)矢量MV，然后沿著運(yùn)動(dòng)軌跡進(jìn)行插值來重構(gòu)幀。一般來說，如果得到的運(yùn)動(dòng)矢量足夠準(zhǔn)確，運(yùn)動(dòng)補(bǔ)償方法將得到最好的去隔行效果。這種去隔行方法能夠很好地保持圖像的垂直清晰度。運(yùn)動(dòng)估計(jì)是運(yùn)動(dòng)補(bǔ)償方法的基礎(chǔ)，也是運(yùn)動(dòng)補(bǔ)償去隔行方法最重要的一步。目前已經(jīng)有多種運(yùn)動(dòng)估計(jì)方法，常用的有塊匹配法，貝葉斯運(yùn)動(dòng)估計(jì)等。塊匹配法是最常用的一種運(yùn)動(dòng)估計(jì)方法，其基本思想是將圖像劃分成NXN個(gè)固定大小、互不重疊的圖像塊，并假設(shè)子塊內(nèi)所有像素均具有相同的運(yùn)動(dòng)參數(shù)，即每個(gè)子塊的運(yùn)動(dòng)為剛體平移，對(duì)每塊分別進(jìn)行處理。當(dāng)前場的NXN個(gè)子塊在參考場對(duì)應(yīng)的子塊鄰域窗口內(nèi)根據(jù)一定的匹配準(zhǔn)則搜索到與之最匹配的子塊，當(dāng)前子塊與匹配塊在二維平面上的位移即為運(yùn)動(dòng)估計(jì)得到的運(yùn)動(dòng)矢量。塊匹配運(yùn)動(dòng)估計(jì)的優(yōu)勢(shì)在于計(jì)算簡單、計(jì)算量小和硬件實(shí)現(xiàn)簡單，精度與復(fù)雜度方面有較好的折衷。運(yùn)動(dòng)補(bǔ)償是根據(jù)運(yùn)動(dòng)估計(jì)得到的運(yùn)動(dòng)矢量所描述的運(yùn)動(dòng)軌跡進(jìn)行圖像插值，這樣就相當(dāng)于將一個(gè)運(yùn)動(dòng)序列虛擬地變成一個(gè)靜止序列，因此也就可以利用靜止圖像插值的方法處理運(yùn)動(dòng)圖像。常用的運(yùn)動(dòng)補(bǔ)償有前向運(yùn)動(dòng)補(bǔ)償、后向運(yùn)動(dòng)補(bǔ)償、雙向運(yùn)動(dòng)補(bǔ)償和多假設(shè)運(yùn)動(dòng)補(bǔ)償?shù)确椒?。目前，基于運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)娜ジ粜蟹椒ㄖ饕烧袼剡\(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償構(gòu)成。其中運(yùn)動(dòng)估計(jì)采用整像素塊匹配快速運(yùn)動(dòng)估計(jì)方法，運(yùn)動(dòng)補(bǔ)償采用的是雙向運(yùn)動(dòng)補(bǔ)償方式，這種方法的不足之處是整像素運(yùn)動(dòng)估計(jì)搜索范圍內(nèi)的運(yùn)動(dòng)矢量位移都是整像素級(jí)別的，如果視頻序列中物體存在分?jǐn)?shù)像素級(jí)運(yùn)動(dòng)，現(xiàn)有的整像素運(yùn)動(dòng)估計(jì)搜索精度不足，無法準(zhǔn)確得到真實(shí)運(yùn)動(dòng)的運(yùn)動(dòng)矢量，只能在整像素級(jí)搜索范圍內(nèi)尋找相對(duì)最優(yōu)的匹配塊，從而導(dǎo)致明顯的塊效應(yīng)，對(duì)隔行視頻圖像去隔行處理效果不佳。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)上述現(xiàn)有技術(shù)的不足，提出基于運(yùn)動(dòng)估計(jì)與運(yùn)動(dòng)補(bǔ)償?shù)?/4像素精度塊匹配圖像去隔行方法，以提高塊匹配運(yùn)動(dòng)估計(jì)的搜索準(zhǔn)確度，提高隔行視頻圖像去隔行處理效果。為實(shí)現(xiàn)上述目的，本發(fā)明技術(shù)方案包括如下步驟(I)讀入一個(gè)大小為352X288的raw格式的100場的實(shí)際隔行視頻序列，選取一個(gè)插值場和兩個(gè)參考場，其中選取的參考場為插值場的前向場和后向場；(2)在前向和后向參考場的整像素點(diǎn)之間產(chǎn)生半像素點(diǎn)應(yīng)用相鄰整像素點(diǎn)進(jìn)行內(nèi)插得到半像素點(diǎn)，其中內(nèi)插方式為應(yīng)用一個(gè)六階有限沖擊響應(yīng)濾波器對(duì)相鄰整像素點(diǎn)進(jìn)行加權(quán)，濾波器權(quán)值為(1/32，-5/32，5/8，5/8，-5/32, 1/32)；(3)在得到所有的半像素位置像素點(diǎn)后，由鄰近整像素點(diǎn)和半像素點(diǎn)進(jìn)行線性插補(bǔ)，得到1/4像素位置的像素點(diǎn)； (4)運(yùn)用有效的三步搜索法E3SS對(duì)參考場整像素、1/2像素、1/4像素位置進(jìn)行塊匹配運(yùn)動(dòng)估計(jì)，尋找絕對(duì)誤差和SAD最小的最佳匹配塊，當(dāng)位移矢量為(i，j)時(shí)，絕對(duì)誤差和SAD定義如下
權(quán)利要求
1.一種基于運(yùn)動(dòng)補(bǔ)償?shù)?/4像素精度視頻圖像去隔行方法，包括如下步驟(1)讀入一個(gè)大小為352X288的raw格式的100場的實(shí)際隔行視頻序列,選取一個(gè)插值場和兩個(gè)參考場,其中選取的參考場為插值場的前向場和后向場；(2)在前向和后向參考場的整像素點(diǎn)之間產(chǎn)生半像素點(diǎn)應(yīng)用相鄰整像素點(diǎn)進(jìn)行內(nèi)插得到半像素點(diǎn)，其中內(nèi)插方式為應(yīng)用一個(gè)六階有限沖擊響應(yīng)濾波器對(duì)相鄰整像素點(diǎn)進(jìn)行加權(quán)，濾波器權(quán)值為(1/32，-5/32，5/8，5/8，-5/32，1/32)；(3)在得到所有的半像素位置像素點(diǎn)后，由鄰近整像素點(diǎn)和半像素點(diǎn)進(jìn)行線性插補(bǔ)，得到1/4像素位置的像素點(diǎn)；(4)運(yùn)用有效的三步搜索法E3SS對(duì)參考場整像素、1/2像素、1/4像素位置進(jìn)行塊匹配運(yùn)動(dòng)估計(jì)，尋找絕對(duì)誤差和SAD最小的最佳匹配塊，當(dāng)位移矢量為(i，j)時(shí)，絕對(duì)誤差和SAD 定義如下
2.根據(jù)權(quán)利要求1所述的圖像去隔行方法，其中步驟(2)中所述應(yīng)用相鄰整像素點(diǎn)進(jìn)行內(nèi)插得到半像素點(diǎn)，是根據(jù)半像素點(diǎn)與相鄰整像素點(diǎn)距離的不同，應(yīng)用不同的像素點(diǎn)進(jìn)行插值，即對(duì)于臨近水平方向整數(shù)位置的半像素點(diǎn)，是通過應(yīng)用一個(gè)六階有限沖擊響應(yīng)濾波器， 對(duì)左右鄰近的六個(gè)整數(shù)位置像素點(diǎn)進(jìn)行加權(quán)得到；對(duì)于臨近垂直方向整數(shù)位置的半像素點(diǎn)，是通過應(yīng)用一個(gè)六階有限沖擊響應(yīng)濾波器， 對(duì)上下鄰近的六個(gè)整數(shù)位置像素點(diǎn)進(jìn)行加權(quán)得到；對(duì)于余下的半像素位置的像素點(diǎn)，是通過應(yīng)用一個(gè)六階有限沖擊響應(yīng)濾波器，對(duì)六個(gè)水平或者垂直方向已知的鄰近半像素點(diǎn)進(jìn)行加權(quán)得到。
3.根據(jù)權(quán)利要求1所述的圖像去隔行方法，其中步驟(3)中所述，在得到所有的半像素位置像素點(diǎn)后，由鄰近整像素點(diǎn)和半像素點(diǎn)進(jìn)行線性插補(bǔ)，得到1/4像素位置的像素點(diǎn)，是根據(jù)1/4像素點(diǎn)與相鄰整像素點(diǎn)、半像素點(diǎn)距離的不同，應(yīng)用不同的整像素點(diǎn)和半像素點(diǎn)進(jìn)行插值，即對(duì)于臨近水平方向整像素和半像素位置的四分之一像素，是由左右鄰近的整像素點(diǎn)和半像素點(diǎn)進(jìn)行線性插補(bǔ)得到；對(duì)于臨近垂直方向整像素和半像素位置的四分之一像素，是由上下鄰近的整像素點(diǎn)和半像素點(diǎn)進(jìn)行線性插補(bǔ)得到；對(duì)于余下的四分之一像素位置的像素，是用相鄰對(duì)角線位置的兩個(gè)半像素點(diǎn)進(jìn)行線性插補(bǔ)得到。
4.根據(jù)權(quán)利要求1所述的圖像去隔行方法，其中步驟(4)所述的運(yùn)用有效的三步搜索法E3SS對(duì)參考場整像素、1/2像素、1/4像素位置進(jìn)行塊匹配運(yùn)動(dòng)估計(jì)，是通過有效的三步搜索法E3SS模板進(jìn)行，該E3SS模板上設(shè)有13個(gè)檢測點(diǎn)，這些檢測點(diǎn)按照外部矩形包含8個(gè)檢測點(diǎn)、內(nèi)部菱形包含4個(gè)檢測點(diǎn)，I個(gè)窗口中心檢測點(diǎn)的規(guī)則排列，每個(gè)檢測點(diǎn)對(duì)應(yīng)一個(gè)參考場宏塊，當(dāng)前宏塊和參考宏塊之間的絕對(duì)誤差和SAD最小的檢測點(diǎn)即為最小誤差點(diǎn)， 應(yīng)用該有效的三步搜索法E3SS進(jìn)行塊匹配運(yùn)動(dòng)估計(jì)，按照如下步驟進(jìn)行(4a)對(duì)整像素位置，搜索該E3SS模板上的13個(gè)檢測點(diǎn)，如果最小誤差點(diǎn)為搜索窗口中心檢測點(diǎn)，則該最小誤差點(diǎn)對(duì)應(yīng)的參考宏塊為最佳匹配參考宏塊，搜索結(jié)束，得到一個(gè)最佳匹配參考宏塊對(duì)應(yīng)的運(yùn)動(dòng)矢量(iint，jint);如果最小誤差點(diǎn)處于13個(gè)檢測點(diǎn)的外8個(gè)檢測點(diǎn)，采用三步搜索法3SS繼續(xù)進(jìn)行塊匹配運(yùn)動(dòng)估計(jì)搜索；如果最小誤差點(diǎn)處于13個(gè)檢測點(diǎn)的內(nèi)菱形的4個(gè)檢測點(diǎn)，將此時(shí)的最小誤差點(diǎn)作為下一步搜索內(nèi)菱形的4個(gè)檢測點(diǎn)的中心點(diǎn)，繼續(xù)搜索對(duì)應(yīng)的內(nèi)菱形4個(gè)檢測點(diǎn)，直到最小誤差點(diǎn)為內(nèi)菱形4個(gè)檢測點(diǎn)的中心點(diǎn)或搜索到達(dá)搜索窗口邊界位置；結(jié)束搜索后，得到最佳匹配參考宏塊對(duì)應(yīng)的運(yùn)動(dòng)矢量(iint，J'int);(4b)對(duì)1/2像素位置，搜索該E3SS模板上的13個(gè)檢測點(diǎn)，如果最小誤差點(diǎn)為搜索窗口中心檢測點(diǎn)，則該最小誤差點(diǎn)對(duì)應(yīng)的參考宏塊為最佳匹配參考宏塊，搜索結(jié)束，得到一個(gè)最佳匹配參考宏塊對(duì)應(yīng)的運(yùn)動(dòng)矢量(i1/2，j1/2);如果最小誤差點(diǎn)處于13個(gè)檢測點(diǎn)的外8個(gè)檢測點(diǎn)，采用三步搜索法3SS繼續(xù)進(jìn)行塊匹配運(yùn)動(dòng)估計(jì)搜索；如果最小誤差點(diǎn)處于13個(gè)檢測點(diǎn)的內(nèi)菱形的4個(gè)檢測點(diǎn)，將此時(shí)的最小誤差點(diǎn)作為下一步搜索內(nèi)菱形的4個(gè)檢測點(diǎn)的中心點(diǎn)，繼續(xù)搜索對(duì)應(yīng)的內(nèi)菱形4個(gè)檢測點(diǎn)，直到最小誤差點(diǎn)為內(nèi)菱形4個(gè)檢測點(diǎn)的中心點(diǎn)或搜索到達(dá)搜索窗口邊界位置；結(jié)束搜索后，得到最佳匹配參考宏塊對(duì)應(yīng)的運(yùn)動(dòng)矢量(il/2，j 1/2);(4c)對(duì)1/4像素位置，搜索該E3SS模板上的13個(gè)檢測點(diǎn)，如果最小誤差點(diǎn)為搜索窗口中心檢測點(diǎn)，則該最小誤差點(diǎn)對(duì)應(yīng)的參考宏塊為最佳匹配參考宏塊，搜索結(jié)束，得到一個(gè)最佳匹配參考宏塊對(duì)應(yīng)的運(yùn)動(dòng)矢量(i1/4’ j1/4);如果最小誤差點(diǎn)處于13個(gè)檢測點(diǎn)的外8個(gè)檢測點(diǎn)，采用三步搜索法3SS繼續(xù)進(jìn)行塊匹配運(yùn)動(dòng)估計(jì)搜索；如果最小誤差點(diǎn)處于13個(gè)檢測點(diǎn)的內(nèi)菱形的4個(gè)檢測點(diǎn)，將此時(shí)的最小誤差點(diǎn)作為下一步搜索內(nèi)菱形的4個(gè)檢測點(diǎn)的中心點(diǎn)，繼續(xù)搜索對(duì)應(yīng)的內(nèi)菱形4個(gè)檢測點(diǎn)，直到最小誤差點(diǎn)為內(nèi)菱形4個(gè)檢測點(diǎn)的中心點(diǎn)或搜索到達(dá)搜索窗口邊界位置；結(jié)束搜索后，得到最佳匹配參考宏塊對(duì)應(yīng)的運(yùn)動(dòng)矢量1/4) jl/4);(4d)對(duì)整像素、1/2像素、1/4像素位置搜索得到的運(yùn)動(dòng)矢量(iint，jint)、(i1/2，j1/2)、 (i1/4, j1/4)，選取其中絕對(duì)誤差和SAD最小的運(yùn)動(dòng)矢量，作為應(yīng)用有效的三步搜索法E3SS得到的最佳運(yùn)動(dòng)矢量(i，j)。·
全文摘要
本發(fā)明公開了一種基于運(yùn)動(dòng)補(bǔ)償?shù)?/4像素精度視頻圖像去隔行方法，主要解決現(xiàn)有運(yùn)動(dòng)補(bǔ)償去隔行方法中運(yùn)動(dòng)估計(jì)精度有限的問題。其實(shí)現(xiàn)過程是讀入隔行視頻序列，選取相應(yīng)插值場和參考場；在參考場中，應(yīng)用六階有限沖擊響應(yīng)濾波器進(jìn)行半像素插值；對(duì)參考場的1/4像素點(diǎn)應(yīng)用整像素和半像素點(diǎn)進(jìn)行線性插值；運(yùn)用有效的三步搜索法E3SS對(duì)參考場的整像素、分像素進(jìn)行運(yùn)動(dòng)估計(jì)，尋找絕對(duì)誤差和SAD最小的運(yùn)動(dòng)矢量；對(duì)參考場進(jìn)行雙向運(yùn)動(dòng)估計(jì)，得到兩個(gè)運(yùn)動(dòng)矢量，取其中絕對(duì)誤差和SAD最小的作為當(dāng)前塊的運(yùn)動(dòng)矢量；根據(jù)當(dāng)前塊運(yùn)動(dòng)矢量，利用對(duì)應(yīng)參考?jí)K進(jìn)行運(yùn)動(dòng)補(bǔ)償，得到去隔行圖像。本發(fā)明在未增加計(jì)算復(fù)雜度的前提下提高了圖像質(zhì)量，可用于視頻圖像去隔行的處理。
文檔編號(hào)H04N7/01GK103051857SQ20131003062
公開日2013年4月17日 申請(qǐng)日期2013年1月25日 優(yōu)先權(quán)日2013年1月25日
發(fā)明者吳家驥, 焦李成, 孫晨艷, 白靜, 馬文萍, 馬晶晶 申請(qǐng)人:西安電子科技大學(xué)