專利名稱：一種處理游飛字幕的運(yùn)動(dòng)補(bǔ)償幀頻提升方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算視頻、數(shù)字電視后處理中的針對(duì)游飛字幕幀頻提升的方法，具體 涉及一種旨在解決傳統(tǒng)運(yùn)動(dòng)補(bǔ)償幀頻提升中游飛字幕失真問題的幀頻提升方法。
背景技術(shù)：
隨著LCD(液晶顯示器)電視屏幕尺寸的增大和高清電視信號(hào)的播出，消費(fèi)者對(duì) LCD電視的畫質(zhì)提出了更高的要求。LCD電視由于響應(yīng)速度慢，會(huì)造成運(yùn)動(dòng)圖像的模糊現(xiàn) 象。運(yùn)動(dòng)補(bǔ)償幀頻提升技術(shù)能夠顯著改善LCD顯示的運(yùn)動(dòng)圖像模糊現(xiàn)象。但是，運(yùn)動(dòng)補(bǔ)償 幀頻提升技術(shù)并不能夠很好得處理顯示圖像中的游飛字幕。因?yàn)樵趥鹘y(tǒng)的塊匹配運(yùn)動(dòng)中，游飛字幕會(huì)被包含在不同的運(yùn)動(dòng)估計(jì)塊中，而不同 的運(yùn)動(dòng)估計(jì)塊可能會(huì)與不同的運(yùn)動(dòng)估計(jì)矢量相匹配，但是游飛字幕通常是在顯示圖像中的 特定區(qū)域內(nèi)(主要是圖像的下方)，以恒定速度沿同一個(gè)方向水平運(yùn)動(dòng)。這就造成了塊匹配 運(yùn)動(dòng)估計(jì)所得到的運(yùn)動(dòng)矢量無法正確的代表游飛字幕的運(yùn)動(dòng)軌跡問題，形成了明顯的塊效 應(yīng)。這種傳統(tǒng)的運(yùn)動(dòng)補(bǔ)償插值方法造成顯示圖像中游飛字幕區(qū)域的失真，是人眼能夠清楚 分辨的，是不可接受的失真，因而會(huì)嚴(yán)重影響圖像質(zhì)量。

發(fā)明內(nèi)容
針對(duì)傳統(tǒng)運(yùn)動(dòng)補(bǔ)償幀頻提升技術(shù)中游飛字幕區(qū)域失真的問題，本發(fā)明的目的在 于，提供一種運(yùn)算成本低，卻能有效解決游飛字幕區(qū)域失真的運(yùn)動(dòng)補(bǔ)償幀頻提升方法，可在 主觀視覺效果上解決游飛字幕失真，提高顯示圖像質(zhì)量，且能有效的降低運(yùn)算復(fù)雜度，從而 廣泛應(yīng)用于需要實(shí)時(shí)處理的消費(fèi)類電子領(lǐng)域。為達(dá)到以上目的，本發(fā)明是采取如下技術(shù)方案予以實(shí)現(xiàn)的一種處理游飛字幕的運(yùn)動(dòng)補(bǔ)償幀頻提升方法，其特征在于，包括下述步驟步驟1，對(duì)當(dāng)前幀圖像使用經(jīng)改進(jìn)的Sobel (索貝爾)算子進(jìn)行邊緣檢測，判斷當(dāng)前 幀是否具有游飛字幕，如果判定具有游飛字幕，轉(zhuǎn)至步驟2，否則轉(zhuǎn)至步驟8 ；步驟2，對(duì)由步驟1判斷為具有游飛字幕的圖像幀，求出游飛字幕所在的具體行區(qū) 間，具體是通過求得游飛字幕行的最高位置和最低位置，得到游飛字幕區(qū)域的位置；步驟3，對(duì)游飛字幕區(qū)域進(jìn)行運(yùn)動(dòng)估計(jì)，求得游飛字幕區(qū)域所對(duì)應(yīng)的全局運(yùn)動(dòng)矢 量；步驟4，根據(jù)步驟3中得到的字幕區(qū)域的運(yùn)動(dòng)估計(jì)矢量進(jìn)行補(bǔ)償插值，生成待插幀 中的游飛字幕；步驟5，提取字幕區(qū)域內(nèi)的字幕，留下“黑洞”，采用加權(quán)平均濾波的方法，將該“黑 洞”進(jìn)行填充；步驟6，對(duì)步驟5被提取字幕后的整幀圖像，進(jìn)行基于塊匹配運(yùn)動(dòng)估計(jì)的運(yùn)動(dòng)補(bǔ)償 幀頻提升處理，求得提取游飛字幕后的待插幀圖像；步驟7，將步驟4中求得待插幀中的游飛字幕疊加到步驟6中得到提取游飛字幕后的待插幀中，得到完整的待插幀圖像；步驟8，對(duì)于由步驟1中判定的不含有游飛字幕的幀圖像，直接進(jìn)行傳統(tǒng)的運(yùn)動(dòng)補(bǔ) 償幀頻提升處理，得到待插幀圖像。上述方法中，所述的經(jīng)改進(jìn)的Sobel算子包括增加了檢測斜45度邊緣的Sobel算 子，即使用八個(gè)方向的Sobel算子進(jìn)行邊緣檢測，如式(1)所示 ⑴。
本發(fā)明針對(duì)含有游飛字幕的幀圖像進(jìn)行字幕提取及疊加處理，使用Sobel算子有 效的檢測出游飛字幕區(qū)域，并對(duì)游飛字幕區(qū)域進(jìn)行基于全局運(yùn)動(dòng)估計(jì)的運(yùn)動(dòng)補(bǔ)償處理，有 效得解決了傳統(tǒng)運(yùn)動(dòng)補(bǔ)償幀頻提升處理中游飛字幕的失真問題，顯著的提高圖像的質(zhì)量。


圖1為本發(fā)明的處理游飛字幕的運(yùn)動(dòng)補(bǔ)償幀頻提升方法的流程圖。
具體實(shí)施例方式以下結(jié)合附圖及具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說明。如圖1所示，本發(fā)明的一種處理游飛字幕的運(yùn)動(dòng)補(bǔ)償幀頻提升方法的具體實(shí)施步 驟為步驟1，檢測當(dāng)前幀fn中是否具有游飛字幕，如果有游飛字幕，則進(jìn)行下一步，確定 游飛字幕區(qū)域的位置，否則轉(zhuǎn)至步驟8。步驟1. 1 使用Sobel算子對(duì)整幀圖像下方30%的區(qū)域進(jìn)行邊緣檢測。為了將邊 緣檢測進(jìn)行的更加全面徹底，本發(fā)明對(duì)傳統(tǒng)的Sobel算子進(jìn)行了改進(jìn)，增加了檢測斜45度 邊緣的Sobel算子，即使用八個(gè)方向的Sobel算子進(jìn)行邊緣檢測，如式(1)所示。
廣10-1、 -10 1、
sobel_3=20-2.,sobel4 =-20 29V10-IyV-10 1,
⑴。廣210\r-2-10)
sobel_5=1 V00 -1-1 -2,sobel6 =-1 V00 11 \「0-1-2、廣01
sobel_71 V20 1-1 0.,sobel8 =-1 V"20 -11 0,由于游飛字幕通常是出現(xiàn)在整幀圖像的下半部分，即整個(gè)幀下方的30%區(qū)域就可 以完全包含所有的游飛字幕，因此僅需對(duì)整個(gè)幀下方的30%區(qū)域進(jìn)行邊緣像素點(diǎn)的統(tǒng)計(jì)， 從而可有效降低計(jì)算量。步驟1. 2 對(duì)經(jīng)步驟1. 1中Sobel算子處理過的區(qū)域中的每一行進(jìn)行統(tǒng)計(jì)，統(tǒng)計(jì)每 行有多少個(gè)像素點(diǎn)是邊緣像素點(diǎn)，即Capti0n_h_C0Unt (i)，其中i代表的是第i行。同時(shí)設(shè) 定行邊緣閾值Thresho 1 d_capt ion_h_count = α N(2)式⑵中α——小于1的常數(shù)；N——每行的點(diǎn)數(shù)。步驟1. 3 對(duì)每行統(tǒng)計(jì)的邊緣點(diǎn)數(shù) caption_h_count (i)與 Threshold_caption_h_ count進(jìn)行比較，若滿足式(3)caption_h_count⑴ > Threshold_caption_h_count(3)則判定該行為字幕行，設(shè)定標(biāo)志位flag_Capti0n (i) = 1，否則，設(shè)定標(biāo)志位flag_ caption (i) =0。步驟1. 4 統(tǒng)計(jì)標(biāo)志位 flag_caption(i) = 1 的個(gè)數(shù)總和 Sum_flag_caption,即
Π
Sum flag caption - ^ flag caption(i)(4)
i=l式(4)中η為選定的進(jìn)行Sobel算子邊緣檢測的總行數(shù)。如果Sum_flag_Capti0n = 0，則判定當(dāng)前幀圖像不含游飛字幕，轉(zhuǎn)至步驟8 ；否則 進(jìn)行步驟2。步驟2，求出游飛字幕的具體行區(qū)間。為了避免字幕區(qū)域中可能出現(xiàn)某一行字幕 因?yàn)檫吘壿^少而被誤判為非字幕區(qū)域的情況，本發(fā)明提出確定游飛字幕的具體行區(qū)間的方 法，即通過求得字幕行的最高位置up_p0Siti0n和最低位置d0wn_p0Siti0n，得到[d0wn_ position, up_position]這個(gè)范圍就是游飛字幕區(qū)域的位置。如式(5)所示caption_zone = {i | i > down_position, 并 且 i < up_position} (5)在Capti0n_Z0ne之內(nèi)，即使被檢測為非字幕行的行區(qū)域，也被認(rèn)為是字幕區(qū)域，這樣就得到了連續(xù)的游飛字幕區(qū)域。步驟3，對(duì)游飛字幕區(qū)域內(nèi)的游飛字幕進(jìn)行運(yùn)動(dòng)估計(jì)，求得游飛字幕區(qū)域?qū)?yīng)的全 局運(yùn)動(dòng)矢量。因?yàn)橛物w字幕都是僅有水平運(yùn)動(dòng)，而且字幕的各部分的運(yùn)動(dòng)速度是一樣的，因 而只需求得游飛字幕的全局運(yùn)動(dòng)矢量。通過運(yùn)動(dòng)估計(jì)器可以得到了游飛字幕區(qū)域各個(gè)塊對(duì) 應(yīng)的運(yùn)動(dòng)估計(jì)矢量，通過對(duì)每個(gè)矢量的水平分量進(jìn)行統(tǒng)計(jì)并比較，即可得到游飛字幕區(qū)域 的全局運(yùn)動(dòng)矢量MVCapti。n。由于在游飛字幕區(qū)域中，字幕占據(jù)字幕區(qū)域的主導(dǎo)地位，因此該 運(yùn)動(dòng)矢量可以代表字幕的真實(shí)運(yùn)動(dòng)軌跡。步驟4，對(duì)游飛字幕像素點(diǎn)，即被標(biāo)記為flag_Capti0n(i) = 1的像素點(diǎn)，根據(jù)步驟 3得到的字幕區(qū)域的運(yùn)動(dòng)估計(jì)矢量MV。apti。n進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)牟逯?。如?6)所示，得到待插 幀中的游飛字幕。 步驟5，對(duì)游飛字幕區(qū)域中的游飛字幕進(jìn)行提取，針對(duì)原游飛字幕區(qū)域內(nèi)的字幕像 素點(diǎn)被挖去后留下的“黑洞”區(qū)域，采用加權(quán)平均濾波的方法，利用字幕周圍的背景像素對(duì) “黑洞”進(jìn)行填充，抹平“黑洞”，使得字幕的“黑洞”與背景像素融為一體。步驟6，對(duì)提取游飛字幕后的整幀圖像，進(jìn)行基于塊匹配運(yùn)動(dòng)估計(jì)的運(yùn)動(dòng)補(bǔ)償幀頻 提升處理。根據(jù)運(yùn)動(dòng)估計(jì)器得到的運(yùn)動(dòng)矢量，利用式(7)求得不含游飛字幕的待插幀圖像。 步驟7，將步驟4中求得的待插幀中的字幕疊加到步驟6中求得的被抹平黑洞的待 插幀中，即可得到本發(fā)明提出的針對(duì)游飛字幕幀頻提升處理的結(jié)果，如式(8)所示。 步驟8，對(duì)由步驟1中判定為不含有游飛字幕的幀圖像，進(jìn)行傳統(tǒng)的運(yùn)動(dòng)補(bǔ)償幀頻 提升處理，即根據(jù)運(yùn)動(dòng)估計(jì)得到的運(yùn)動(dòng)矢量，并進(jìn)行運(yùn)動(dòng)補(bǔ)償插值，生成待插幀圖像。本發(fā)明提出的處理游飛字幕的運(yùn)動(dòng)補(bǔ)償幀頻提升方法，有效得利用Sobel邊緣檢 測算子，對(duì)當(dāng)前幀下方的區(qū)域進(jìn)行游飛字幕檢測，有效得降低了計(jì)算量，從而實(shí)現(xiàn)以較小的 計(jì)算量檢測出游飛字幕區(qū)域。同時(shí)，本發(fā)明提出的針對(duì)游飛字幕區(qū)域的全局運(yùn)動(dòng)補(bǔ)償插值 方法，能有效得抑制傳統(tǒng)的塊運(yùn)動(dòng)估計(jì)的插值導(dǎo)致的游飛字幕失真，有效得提高顯示圖像 的質(zhì)量。
權(quán)利要求
一種處理游飛字幕的運(yùn)動(dòng)補(bǔ)償幀頻提升方法，其特征在于，包括下述步驟步驟1，對(duì)當(dāng)前幀圖像使用經(jīng)改進(jìn)的Sobel算子進(jìn)行邊緣檢測，判斷當(dāng)前幀是否具有游飛字幕，如果判定具有游飛字幕，轉(zhuǎn)至步驟2，否則轉(zhuǎn)至步驟8；步驟2，對(duì)由步驟1判斷為具有游飛字幕的圖像幀，求出游飛字幕所在的具體行區(qū)間，具體是通過求得游飛字幕行的最高位置和最低位置，得到游飛字幕區(qū)域的位置；步驟3，對(duì)游飛字幕區(qū)域進(jìn)行運(yùn)動(dòng)估計(jì)，求得游飛字幕區(qū)域所對(duì)應(yīng)的全局運(yùn)動(dòng)矢量；步驟4，根據(jù)步驟3中得到的字幕區(qū)域的運(yùn)動(dòng)估計(jì)矢量進(jìn)行補(bǔ)償插值，生成待插幀中的游飛字幕；步驟5，提取字幕區(qū)域內(nèi)的字幕，留下“黑洞”，采用加權(quán)平均濾波的方法，將該“黑洞”進(jìn)行填充；步驟6，對(duì)步驟5被提取字幕后的整幀圖像，進(jìn)行基于塊匹配運(yùn)動(dòng)估計(jì)的運(yùn)動(dòng)補(bǔ)償幀頻提升處理，求得提取游飛字幕后的待插幀圖像；步驟7，將步驟4中求得待插幀中的游飛字幕疊加到步驟6中得到提取游飛字幕后的待插幀中，得到完整的待插幀圖像；步驟8，對(duì)于由步驟1中判定的不含有游飛字幕的幀圖像，直接進(jìn)行傳統(tǒng)的運(yùn)動(dòng)補(bǔ)償幀頻提升處理，得到待插幀圖像。
2.如權(quán)利要求1所述的處理游飛字幕的運(yùn)動(dòng)補(bǔ)償幀頻提升方法，其特征在于，所述的 經(jīng)改進(jìn)的Sobel算子包括增加了檢測斜45度邊緣的Sobel算子，即使用八個(gè)方向的Sobel 算子進(jìn)行邊緣檢測，如式(1)所示！21\f-1-2-1、sobel1 =000.,sobel 2=0009\-1 V η-2 0-1、1 V1 -102 1、1Jsobel_3 =20-2.,sobel 4 =-2029V1 「20 1-Iy 0ΛV-101J -10、sobel_5 =10-1,sobel 6 =-1019V0 「0-1 -1-2J -2)\ /0 V '01 12V 2、sobel_7 =1 V20 1-1 0J.,sobel 8 =\-1 -2 V0 -11 0J9(1)
全文摘要
本發(fā)明公開了一種處理游飛字幕的運(yùn)動(dòng)補(bǔ)償幀頻提升方法，包括下述步驟對(duì)當(dāng)前幀圖像使用經(jīng)改進(jìn)的Sobel算子進(jìn)行邊緣檢測，判斷當(dāng)前幀是否具有游飛字幕，如判斷為具有游飛字幕的圖像幀，求出游飛字幕所在的具體行區(qū)間，并對(duì)游飛字幕區(qū)域進(jìn)行運(yùn)動(dòng)估計(jì)，求得游飛字幕區(qū)域所對(duì)應(yīng)的全局運(yùn)動(dòng)矢量；根據(jù)字幕區(qū)域的運(yùn)動(dòng)估計(jì)矢量進(jìn)行補(bǔ)償插值，生成待插幀中的游飛字幕；同時(shí)提取字幕區(qū)域內(nèi)的字幕，對(duì)被提取字幕后的整幀圖像，進(jìn)行運(yùn)動(dòng)補(bǔ)償幀頻提升處理，求得提取游飛字幕后的待插幀圖像；將求得待插幀中的游飛字幕疊加提取游飛字幕后的待插幀中，得到完整的待插幀圖像。
文檔編號(hào)H04N7/26GK101902609SQ201010238619
公開日2010年12月1日 申請(qǐng)日期2010年7月28日 優(yōu)先權(quán)日2010年7月28日
發(fā)明者孫宏濱, 李寧, 羅亮, 鄭南寧 申請(qǐng)人:西安交通大學(xué)