專利名稱：基于融合思想的視頻時(shí)空聯(lián)合增強(qiáng)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域的方法，具體地涉及一種基于融合思想的視頻時(shí)空聯(lián)合增強(qiáng)方法。
背景技術(shù)：
隨著互聯(lián)網(wǎng)和多媒體通信設(shè)備的快速發(fā)展，視頻服務(wù)的應(yīng)用越來(lái)越廣泛。在實(shí)際應(yīng)用中，一方面視頻本身受光照條件、曝光程度等條件的影響，其質(zhì)量難以保證；另一方面視頻在傳輸、存儲(chǔ)過(guò)程中受傳輸帶寬、存儲(chǔ)容量等方面的限制，其質(zhì)量還可能會(huì)下降。因此， 視頻增強(qiáng)是保證高質(zhì)量視頻服務(wù)的主要方法，在實(shí)際應(yīng)用中至關(guān)重要。視頻增強(qiáng)的方法可以從多個(gè)不同的角度對(duì)視頻質(zhì)量予以提高。這些方法大致可以分為兩類空域增強(qiáng)和時(shí)域增強(qiáng)?？沼蛟鰪?qiáng)是針對(duì)視頻序列的每一幀分別進(jìn)行增強(qiáng)，而時(shí)域增強(qiáng)是在不同幀之間進(jìn)行增強(qiáng)，主要目的是使幀與幀之間具有較強(qiáng)的連續(xù)性?，F(xiàn)有方法主要針對(duì)上述兩種增強(qiáng)類型中的一種，很難使視頻的空域質(zhì)量和時(shí)域連續(xù)性同時(shí)得到增強(qiáng)。有些方法在對(duì)某一領(lǐng)域進(jìn)行增強(qiáng)時(shí)，還可能破壞視頻在另一領(lǐng)域的質(zhì)量。在這種情況下，如果能夠結(jié)合視頻序列在空域和時(shí)域中的不同特征，從而對(duì)兩個(gè)領(lǐng)域同時(shí)增強(qiáng)，則可以使視頻增強(qiáng)方法的效果顯著提尚ο經(jīng)過(guò)對(duì)現(xiàn)有技術(shù)的文獻(xiàn)檢索發(fā)現(xiàn)，Z. Liu等人在2007年“IEEE International Conference on Multimedia and Expo”(國(guó)際電子電氣工程師協(xié)會(huì)國(guó)際多媒體會(huì)議暨博覽會(huì))第 10；35 至第 1038 頁(yè)上發(fā)表的 “Learning-Based Perceptual Image Quality Improvement for Video Conferencing”(用于視頻會(huì)議的基于學(xué)習(xí)的圖像增強(qiáng))文章中提出了一種基于學(xué)習(xí)的空域圖像增強(qiáng)方法。該方法先利用一組已有的圖像事先訓(xùn)練出質(zhì)量較好的視頻的特征信息，然后再待增強(qiáng)的視頻中選定人臉區(qū)域，針對(duì)該區(qū)域，Liu建立了一種映射關(guān)系使待增強(qiáng)的視頻的特征信息盡可能地接近訓(xùn)練得到的特征信息，并將這種映射關(guān)系作用于全局，從而達(dá)到增強(qiáng)效果。該方法僅能針對(duì)圖像中的某一特定興趣區(qū)域的特征進(jìn)行增強(qiáng)，可能會(huì)使圖像中其它一些興趣區(qū)域的質(zhì)量下降?；谝环N融合的思想，可以提出一種針對(duì)兩個(gè)興趣區(qū)域的空域增強(qiáng)方法。同時(shí)將這一思想擴(kuò)展到時(shí)域上，可以得到一種時(shí)空聯(lián)合增強(qiáng)的視頻增強(qiáng)方法。

發(fā)明內(nèi)容
本發(fā)明針對(duì)現(xiàn)有方法存在的上述不足，提出了一種基于融合思想的視頻時(shí)空聯(lián)合增強(qiáng)方法。所述方法可以同時(shí)對(duì)視頻序列的空域質(zhì)量和時(shí)域連續(xù)性進(jìn)行增強(qiáng)，在選定興趣區(qū)域時(shí)可以處理兩個(gè)興趣區(qū)域的情況。根據(jù)本發(fā)明的一個(gè)方面，提供一種基于融合思想的視頻時(shí)空聯(lián)合增強(qiáng)方法，其特征在于，包括如下步驟第一步選定視頻中的興趣區(qū)域，對(duì)各所述興趣區(qū)域分別進(jìn)行訓(xùn)練，得到各個(gè)興趣區(qū)域理想圖像的特征，其中，所述興趣區(qū)域是指在特定的場(chǎng)景下，圖像中 包含關(guān)鍵信息的區(qū)域；第二步對(duì)當(dāng)前幀圖像進(jìn)行預(yù)處理，通過(guò)映射函數(shù)f(X)使當(dāng)前幀圖 像的像素平均值與前一幀圖像的像素平均值相一致；第三步對(duì)當(dāng)前幀圖像中各所述興趣 區(qū)域的像素平均值進(jìn)行比較，若滿足選擇標(biāo)準(zhǔn)，就利用基于分段的融合方法得到相應(yīng)的空 域增強(qiáng)映射關(guān)系；若不滿足選擇標(biāo)準(zhǔn)，則利用基于參數(shù)的融合方法得到相應(yīng)的空域增強(qiáng)映 射關(guān)系；第四步對(duì)當(dāng)前幀的空域增強(qiáng)映射關(guān)系和前一幀的空域增強(qiáng)映射關(guān)系進(jìn)行融合， 通過(guò)比較兩幀圖像的熵值來(lái)確定兩種映射關(guān)系在融合過(guò)程中的權(quán)重。優(yōu)選地，在所述第一步中，對(duì)各所述興趣區(qū)域分別進(jìn)行訓(xùn)練的方法，是以圖像三個(gè) 顏色通道的直方圖的均值m和方差O作為特征進(jìn)行類聚，將類聚得到的特征向量作為理想 的特征。優(yōu)選地，在所述第二步中，所述映射函數(shù)f(x)是指
權(quán)利要求
1.一種基于融合思想的視頻時(shí)空聯(lián)合增強(qiáng)方法，其特征在于，包括如下步驟 第一步選定視頻中的興趣區(qū)域，對(duì)各所述興趣區(qū)域分別進(jìn)行訓(xùn)練，得到各個(gè)興趣區(qū)域理想圖像的特征，其中，所述興趣區(qū)域是指在特定的場(chǎng)景下，圖像中包含關(guān)鍵信息的區(qū)域；第二步對(duì)當(dāng)前幀圖像進(jìn)行預(yù)處理，通過(guò)映射函數(shù)f(x)使當(dāng)前幀圖像的像素平均值與前一幀圖像的像素平均值相一致；第三步對(duì)當(dāng)前幀圖像中各所述興趣區(qū)域的像素平均值進(jìn)行比較，若滿足選擇標(biāo)準(zhǔn)，就利用基于分段的融合方法得到相應(yīng)的空域增強(qiáng)映射關(guān)系；若不滿足選擇標(biāo)準(zhǔn)，則利用基于參數(shù)的融合方法得到相應(yīng)的空域增強(qiáng)映射關(guān)系；第四步對(duì)當(dāng)前幀的空域增強(qiáng)映射關(guān)系和前一幀的空域增強(qiáng)映射關(guān)系進(jìn)行融合，通過(guò)比較兩幀圖像的熵值來(lái)確定兩種映射關(guān)系在融合過(guò)程中的權(quán)重。
2.根據(jù)權(quán)利要求1所述的基于融合思想的視頻時(shí)空聯(lián)合增強(qiáng)方法，其特征在于，在所述第一步中，對(duì)各所述興趣區(qū)域分別進(jìn)行訓(xùn)練的方法，是以圖像三個(gè)顏色通道的直方圖的均值m和方差ο作為特征進(jìn)行類聚，將類聚得到的特征向量作為理想的特征。
3.根據(jù)權(quán)利要求1所述的基于融合思想的視頻時(shí)空聯(lián)合增強(qiáng)方法，其特征在于，在所述第二步中，所述映射函數(shù)f (X)是指其中，a和b可由f (L) =L'及f (25 =255兩式聯(lián)合求得，L指代原圖像的像素平均值， L’指代期望的像素平均值，L’可由下式求得
4.根據(jù)權(quán)利要求1所述的基于融合思想的視頻時(shí)空聯(lián)合增強(qiáng)方法，其特征在于，在所述第三步中，所述選擇標(biāo)準(zhǔn)是指兩個(gè)所述興趣區(qū)域的像素平均值之差若在一給定范圍內(nèi)， 即認(rèn)為滿足標(biāo)準(zhǔn)，在范圍之外即不滿足標(biāo)準(zhǔn)。
5.根據(jù)權(quán)利要求1所述的基于融合思想的視頻時(shí)空聯(lián)合增強(qiáng)方法，其特征在于，在所述第三步中，所述基于分段的融合方法是指構(gòu)造一個(gè)函數(shù)ffusu(x)，根據(jù)兩個(gè)所述興趣區(qū)域的像素平均值，將所述函數(shù)ffusu(X)分為兩段，使其在第一段中的直方圖更接近第一個(gè)所述興趣區(qū)域的理想直方圖，在第二段中的直方圖更接近第二個(gè)所述興趣區(qū)域的理想直方圖，同時(shí)保證所述函數(shù)ffusu(x)的平滑性。
6.根據(jù)權(quán)利要求5所述的基于融合思想的視頻時(shí)空聯(lián)合增強(qiáng)方法，其特征在于，所述 ^^ f fuse’ j (χ)由下式表示其中，P?？捎上率角蟮?br> 7.根據(jù)權(quán)利要求6所述的基于融合思想的視頻時(shí)空聯(lián)合增強(qiáng)方法，其特征在于，參數(shù) α =3，Ii1=O. 9，Ii2=O. 5 ；如果 Lj(Pc) > fB，」(Pc)，k3=0. 5，如果 fA，j (Pc) <fB，」(Pc)，k3=l. 5 ;k4=0. 1。
8.根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的基于融合思想的視頻時(shí)空聯(lián)合增強(qiáng)方法，其特征在于，在所述第三步中，所述基于參數(shù)的融合方法是指
9.根據(jù)權(quán)利要求1所述的基于融合思想的視頻時(shí)空聯(lián)合增強(qiáng)方法，其特征在于，在所述第四步中，所述融合的方法如下式所示
10.根據(jù)權(quán)利要求3所述的基于融合思想的視頻時(shí)空聯(lián)合增強(qiáng)方法，其特征在于，在所述第二步中，β =1.5。
全文摘要
本發(fā)明提供一種基于融合思想的視頻時(shí)空聯(lián)合增強(qiáng)方法，首先通過(guò)學(xué)習(xí)的方法得到理想圖像的特征信息，再利用融合的思想，結(jié)合分段擬合、最優(yōu)化等方法，將原本針對(duì)不同方面增強(qiáng)的多個(gè)映射函數(shù)融合為一個(gè)全局映射函數(shù)，從而對(duì)原視頻序列在空域和時(shí)域兩方面同時(shí)進(jìn)行增強(qiáng)。通過(guò)調(diào)查打分的試驗(yàn)方式得到，本發(fā)明對(duì)視頻序列的增強(qiáng)效果要優(yōu)于現(xiàn)有的增強(qiáng)方法。
文檔編號(hào)G06T5/00GK102289795SQ20111021567
公開(kāi)日2011年12月21日 申請(qǐng)日期2011年7月29日 優(yōu)先權(quán)日2011年7月29日
發(fā)明者徐寧, 林巍峣, 陳遠(yuǎn)哲 申請(qǐng)人:上海交通大學(xué)