專利名稱：地面數(shù)字電視廣播中的視頻差錯隱藏方法
技術(shù)領(lǐng)域：
本發(fā)明屬于地面數(shù)字電視廣播的多媒體傳輸技術(shù)領(lǐng)域，涉及采用MPEG-2視頻壓縮標(biāo)準(zhǔn)和有關(guān)地面數(shù)字電視廣播系統(tǒng)中多媒體傳輸?shù)目煽拷邮占夹g(shù)。
當(dāng)前，美國、歐洲和日本已經(jīng)制訂了相應(yīng)的地面數(shù)字電視廣播(DjgitalTerrestrial TV Broadcasting:DTTB)標(biāo)準(zhǔn)，中國也在積極組織制訂適合于中國的地面數(shù)字電視廣播協(xié)議。在地面數(shù)字廣播中，陰影效應(yīng)、多徑衰落、多普勒頻移以及各種噪聲和干擾會使接收信號功率產(chǎn)生很大的波動，其波動幅度可以達到10 dB甚至更高，這將嚴(yán)重影響數(shù)字視頻信號傳輸?shù)目煽啃?。地面?shù)字電視廣播中的視頻信源采用MPEG-2壓縮標(biāo)準(zhǔn)，然而現(xiàn)行標(biāo)準(zhǔn)中并沒有包含對抗地面?zhèn)鞑ゲ铄e的信源編譯碼方法的有關(guān)細(xì)節(jié)。因此，基于MPEG-2的視頻傳輸差錯隱藏算法是DTTB系統(tǒng)的一個非常重要并且亟待解決的技術(shù)。
已有的研究論文中提出了一些視頻差錯隱藏算法，包括以下幾類時域運動補償利用視頻圖像的時域相關(guān)性，根據(jù)周圍正確接收圖像信息的運動矢量信息來預(yù)測并恢復(fù)因差錯而丟失的圖像信息。該算法對于低碼率視頻壓縮數(shù)據(jù)有較好的差錯隱減效果，但并不適用于高碼率視頻圖像。
塊匹配運動搜索利片運動搜索找到最佳匹配位置來恢復(fù)丟失的圖像信息，可達到很好的差錯恢復(fù)效果，但其實用性由于高運算復(fù)雜度而受到限制。
空域差錯隱藏技術(shù)這類技術(shù)在細(xì)節(jié)較多的圖像部分往往會產(chǎn)生明顯的“塊效應(yīng)”，其圖像恢復(fù)效果不令人滿意。
本發(fā)明的目的在于，為克服已有技術(shù)的不足之處，提出一種新的視頻差錯隱藏方法，可以相對較小的計算復(fù)雜度實現(xiàn)有效的差錯圖像恢復(fù)，從而提高地面數(shù)字電視廣播系統(tǒng)中視頻傳輸?shù)目煽啃浴?br> 本發(fā)明提出的一種地面數(shù)字電視廣播系統(tǒng)中的視頻差錯隱藏方法，其特征在于，在接收端視頻解碼發(fā)現(xiàn)差錯時，進行差錯隱藏，包括以下步驟1)當(dāng)前幀或參考幀中的時域補償根據(jù)當(dāng)前幀錯誤宏塊周圍的正確宏塊的運動矢量，或者參考幀中與錯誤宏塊相同位置及其周圍位置的正確宏塊的運動矢量，來預(yù)測錯誤宏塊的時域補償矢量，得到預(yù)測的時域補償矢量以及在參考幀中相應(yīng)的補償位置；2)參考幀中的塊匹配搜索將上一步得到的補償位置作為起始位置，在參考幀的一定范圍內(nèi)對錯誤宏塊上方或下方的宏塊進行塊匹配搜索，得到匹配矢量以及相應(yīng)的匹配位置；3)錯誤宏塊隱藏將上一步得到的匹配矢量作為錯誤宏塊的匹配矢量，將參考幀中相應(yīng)匹配位置的宏塊拷貝到當(dāng)前幀中來替代錯誤宏塊。
本發(fā)明的效果是，在相對較低的計算復(fù)雜度下，提高了差錯隱藏的效果，從而提高地面數(shù)字電視廣播系統(tǒng)中視頻傳輸?shù)目煽啃浴?br> 附圖簡要說明

圖1為本發(fā)明的視頻差錯隱藏算法流程圖。
圖2為本發(fā)明的時域補償方法的示意圖；其中，a為當(dāng)前幀內(nèi)，b為參考幀內(nèi)圖3為本發(fā)明的錯誤宏塊隱藏方法的示意圖。
圖4為采用本發(fā)明的視頻差錯隱藏算法的MPEG-2視頻解碼流程圖。
圖5為本發(fā)明實施例中經(jīng)過傳輸后的視頻圖像重建效果對比圖。
下面結(jié)合各附圖及實施例對本發(fā)明的原理進行詳細(xì)說明。
本發(fā)明提出一種地面數(shù)字電視廣播系統(tǒng)中的視頻差錯隱藏方法。首先在接收端視頻解碼過程中進行差錯檢測，一般來講采用基于視頻壓縮碼流的語法語義的差錯檢測方法，來判斷視頻碼流中是否發(fā)生了錯誤。如果發(fā)現(xiàn)碼流中有錯誤，在接收端視頻解碼時依次進行以下的差錯隱藏處理步驟(如圖1所示)1)當(dāng)前幀或參考幀中的時域補償，預(yù)測得到錯誤宏塊的時域補償矢量及其在參考幀中相應(yīng)的補償位置；2)參考幀中的塊匹配搜索，將上一步時域補償中得到的參考幀中的補償位置作為搜索范圍的中心位置，在參考幀的一定搜索范圍內(nèi)對錯誤宏塊上方或者下方的宏塊進行塊匹配搜索，得到匹配矢量；3)錯誤宏塊隱藏，以第一步時域補償?shù)玫降膮⒖紟械难a償位置為起點，將上一步塊匹配搜索得到的匹配矢量指向的參考幀中匹配位置的宏塊拷貝到當(dāng)前幀來替代錯誤宏塊。
所說的時域補償是根據(jù)錯誤宏塊(EMB)周圍的正確宏塊的運動矢量來預(yù)測錯誤宏塊的時域補償矢量，其計算方法如下，MVEMB=1k×Σi=1kMVi----(1)]]>其中MVEMB為錯誤宏塊時域補償矢量的預(yù)測結(jié)果，MVi為錯誤宏塊周圍正確宏塊的運動矢量，k為周圍采用幀間預(yù)測編碼的正確宏塊的數(shù)目。當(dāng)錯誤宏塊采用幀間預(yù)測編碼時，選取當(dāng)前幀內(nèi)錯誤宏塊周圍不包括左右兩側(cè)的正確宏塊，如圖2a中的宏塊1、宏塊2、…、宏塊6,k最大為6；當(dāng)錯誤宏塊采用幀內(nèi)編碼時，選取參考幀內(nèi)包含當(dāng)前位置及其周圍的正確宏塊，如圖2b中的宏塊0為參考幀中與錯誤宏塊相同位置的宏塊，而圖2b中的宏塊1、宏塊2、…、宏塊8為宏塊0周圍的8個宏塊，k最大為9。預(yù)測得到MVFVB后，則相應(yīng)得到參考幀內(nèi)的補償位置上的宏塊。
所說的塊匹配搜索是指在一定范圍搜索內(nèi)，對于各個位置上的N×N大小的宏塊，按照平均絕對值誤差準(zhǔn)則(Mean Absolute Difference,MAD)進行如下匹配檢測，MAD(x,y)=Σi=0n-1Σj=0n-1|Fc(k+i,l+j)-Fp(k+x+i,l+y+j)|----(2)]]>其中，F(xiàn)c(.,.)為當(dāng)前幀中位于錯誤宏塊上方或下方的宏塊中的像素值，F(xiàn)p(.,.)表示參考幀中位于當(dāng)前檢測位置的宏塊上方或下方的宏塊中的像素值，(k,l)代表當(dāng)前檢測塊左上角像素的坐標(biāo)，(x,y)表示當(dāng)前檢測塊相對于搜索起始位置的偏移，N為宏塊的邊長(像素點數(shù))。通過檢測搜索范圍內(nèi)的全部位置，可以得到平均絕對值誤差(MAD)最小的位置及相應(yīng)的匹配矢量。也就是說，我們對當(dāng)前幀中錯誤宏塊上方或下方的宏塊，在參考幀的一定范圍內(nèi)中進行匹配搜索得到匹配矢量。這里的參考幀中的一定范圍是指以上一步得到的補償位置為中心的正方形區(qū)域，各邊與中心的距離為W個像素點，W為整數(shù)，所以整個正方形區(qū)域的邊長為(2×W+1)個像素點，共包含(2×W+1)2個像素點。
所說的錯誤宏塊隱藏是指用參考幀中的一個宏塊來替代當(dāng)前幀中的錯誤宏塊。如圖3所示，首先以參考幀內(nèi)與錯誤宏塊(EMB)相同位置的宏塊為起點，根據(jù)第一步時域補償?shù)玫降难a償矢量而獲得補償位置，再以這個補償位置為起點，根據(jù)上一步塊匹配搜索得到的匹配矢量而獲得匹配位置，這個匹配位置上的宏塊就被用來替代當(dāng)前幀中的錯誤宏塊。
下面結(jié)合實施例對本發(fā)明作進一步的說明。
表1．信源特征
在本實施例中，信源碼流分組長度為188字節(jié)，信道誤碼造成的平均誤分組率為3×10-2。給定信源特性如表1所示，視頻信源為MPEG-2標(biāo)準(zhǔn)視頻序列，每個亮度幀的分辨率為720×576個像素點，色度格式為Y∶U∶V=4∶2∶2，信源編碼幀速率為25幀/秒，信源編碼比特率約為5M比特/秒。
在本實施例中，采用的MPEG-2視頻解碼流程如圖4所示。在解碼過程中，對輸入的視頻壓縮碼流進行基于視頻碼流語法語義的差錯檢測，如果沒有發(fā)現(xiàn)錯誤則進行正常的視頻解碼重建。如果發(fā)現(xiàn)有錯誤，首先進行再同步，即跳過包含錯誤的整個視頻圖像層(Slice)的碼流，找到下一個視頻圖像層碼流的起始位置來恢復(fù)視頻解碼同步，繼續(xù)對后面的視頻碼流進行解碼；同時，在包含錯誤的視頻圖像層中包括了許多圖像宏塊，對于每個這樣的圖像宏塊都認(rèn)為是錯誤宏塊，并對其進行差錯隱藏處理。差錯隱藏處理需要未發(fā)現(xiàn)錯誤的碼流信息作為參考信息，其具體步驟已經(jīng)在上面進行了描述，并將在下面作進一步說明。
在本實施例中，視頻解碼器會檢測到許多發(fā)生錯誤的宏塊，對于每個錯誤宏塊都采用上面所描述的差錯隱藏算法進行處理，來恢復(fù)丟失的圖像宏塊信息。下面以對一個錯誤宏塊進行的處理為例，來進一步說明本發(fā)明提出的差錯隱藏方法。
在本實施例中，所有宏塊的邊長均為16個像素點。選取的錯誤宏塊在第二幀中，其左上角的像素點位于從上向下數(shù)第161行，從左向右數(shù)第145列，即其左上角像素位于第二幀中的(145,161)像素點位置。
第一步進行時域補償。由于該錯誤宏塊采用幀間預(yù)測編碼，所以采用當(dāng)前幀內(nèi)在它周圍的6個正確宏塊來預(yù)測時域補償矢量，如圖2左側(cè)圖中所示的宏塊1、宏塊2、…、宏塊6,k=6，根據(jù)式1可以得到其時域補償矢量為MVEMB=(20,0)，則得到相應(yīng)的時域補償位置為參考幀中的(165,161)像素點位置。
第二步進行塊匹配搜索。在這個實施例中對位于錯誤宏塊上方的宏塊進行塊匹配搜索，選取以參考幀(165,161)像素點位置為中心，邊長為5個像素點的正方形搜索區(qū)域，按照式2來計算MAD，即計算參考幀中左上角像素位于該正方形區(qū)域中的宏塊正上方的宏塊與錯誤宏塊上方宏塊間的平均絕對值誤差(MAD)，找到MAD最小的一個宏塊位置。實際結(jié)果是左上角像素位于參考幀(165,159)像素點位置的宏塊上方的宏塊為MAD最小的宏塊，即匹配矢量為(0,-2)，相應(yīng)的錯誤宏塊匹配位置為(165,159)。
第三步進行錯誤宏塊替代。根據(jù)上面兩個步驟得到的結(jié)果，用參考幀中左上角像素位于(165,159)的宏塊拷貝到當(dāng)前幀來替代錯誤宏塊。
對于檢測到的每個錯誤宏塊，按照類似于上面的步驟進行處理。為了對本算法的效果進行客觀評價，這里采用重建圖像的峰值信噪比對本算法性能進行評估。峰值信噪比(Peak Signal to Noise Ratio,PSNR)的定義為PSNR=10×log255×255i≤M,j≤N[Σ|f(i,j)-fr(i,j)|2]/(M×N)]]>其中，PSNR為圖像的峰值信噪比，f(i,j)表示原始圖像中各個像素點的像素值，fr(i,j)表示重建圖像中各個像素值，M和N分別為圖像的寬和高。圖5中是本實施例的重建視頻圖像的PSNR曲線。其中，最上面的曲線是視頻編碼器端重建的視頻圖像的峰值信噪比(Peak Signal to Noise Ratio,PSNR)曲線，也就是無誤傳輸后在視頻解碼器端的重建視頻圖像的PSNR曲線；最下面的曲線是不進行差錯隱藏時解碼器端得到的重建視頻圖像的PSNR曲線；中間的曲線是采用上面的差錯隱藏處理后解碼器端得到的重建視頻圖像的PSNR曲線。這三條曲線的平均PSNR分別為27.6dB,24.0dB和26.9dB。
權(quán)利要求
1.一種地面數(shù)字電視廣播系統(tǒng)中的視頻差錯隱藏方法，其特征在于，在接收端視頻解碼發(fā)現(xiàn)差錯時，進行差錯隱藏，包括以下步驟1)當(dāng)前幀或參考幀中的時域補償根據(jù)當(dāng)前幀錯誤宏塊周圍的正確宏塊的運動矢量，或者參考幀中與錯誤宏塊相同位置及其周圍位置的正確宏塊的運動矢量，來預(yù)測錯誤宏塊的時域補償矢量，得到預(yù)測的時域補償矢量以及在參考幀中相應(yīng)的補償位置；2)參考幀中的塊匹配搜索將上一步得到的補償位置作為起始位置，在參考幀的一定范圍內(nèi)對錯誤宏塊上方或下方的宏塊進行塊匹配搜索，得到匹配矢量以及相應(yīng)的匹配位置；3)錯誤宏塊隱藏將上一步得到的匹配矢量作為錯誤宏塊的匹配矢量，將參考幀中相應(yīng)匹配位置的宏塊拷貝到當(dāng)前幀中來替代錯誤宏塊。
全文摘要
本發(fā)明屬于地面數(shù)字電視廣播中的多媒體傳輸技術(shù)領(lǐng)域。本發(fā)明在接收端對數(shù)字視頻信號進行解碼時,可以根據(jù)視頻壓縮數(shù)據(jù)的時域和空域的相關(guān)性來有效地恢復(fù)因傳輸差錯而丟失的視頻圖像信息。包括當(dāng)前幀或參考幀中的時域補償,參考幀中的塊匹配搜索,錯誤宏塊隱藏三個步驟。利用本發(fā)明的方法能顯著提高地面數(shù)字電視廣播系統(tǒng)的視頻傳輸?shù)目煽啃?因而本發(fā)明的技術(shù)將是地面數(shù)字電視廣播系統(tǒng)必備的可靠接收技術(shù)之一。
文檔編號H04N5/14GK1324155SQ0111867
公開日2001年11月28日 申請日期2001年6月8日 優(yōu)先權(quán)日2001年6月8日
發(fā)明者李楚翔, 陸建華, 顧鈞 申請人:清華大學(xué)