一種應用于立體視頻切換幀的自適應錯誤隱藏方法
【技術領域】
[0001] 本發(fā)明主要涉及一種立體視頻錯誤隱藏技術，尤其是涉及一種應用于立體視頻切 換幀的自適應錯誤隱藏方法。
【背景技術】
[0002] 隨著多媒體技術和視頻系統的發(fā)展，立體視頻以其能提供更真實直觀的體驗而被 廣泛應用于各種領域。而其相對于傳統單視點視頻，數據量大的特點導致在網絡傳輸時更 易出現差錯，這一問題嚴重影響視頻傳輸質量的下降。如何高效地壓縮數據、有效傳輸圖像 信息以及解碼端圖像質量的恢復成為立體視頻研宄領域的熱點。目前，對于立體視頻數據 量較大的問題，在視頻系統編碼端的處理通常是利用時間方向、空間方向以及視點間的相 關性進行高效地視頻壓縮編碼，減少冗余信息，但這樣處理相應地會降低視頻傳輸過程中 的容錯能力。在傳輸過程中，由于立體視頻流的碼率大、傳輸時間長、信道帶寬不足、網絡延 遲等原因會出現數據包丟失或者部分比特出錯，這些傳輸差錯會降低視頻終端的質量。受 立體視頻編碼結構的限制，視頻幀之間存在時間相關性、空間相關性以及視點間相關性，如 果立體視頻序列的某一幀數據出現解碼錯誤，同一視點后續(xù)幀以及其他視點以出錯幀為參 考的后續(xù)幀數據也會存在解碼錯誤，這種失真會在時間和空間上同時累積，嚴重損壞重建 圖像的質量，對整個傳輸系統帶來嚴重影響。鑒于此，一種行之有效的錯誤隱藏方法來恢復 立體視頻終端的質量非常必要。
[0003] 在視頻解碼端，用錯誤隱藏方法恢復解碼端的視頻質量非常重要，尤其是在低碼 率視頻流傳輸后。錯誤隱藏方法最早應用于單視點視頻解碼中，根據單通道的特點，錯誤隱 藏分為空域錯誤隱藏、時域錯誤隱藏和混合時空域錯誤隱藏方法。隨著立體視頻的迅速發(fā) 展，錯誤隱藏被用于處理立體視頻解碼端視頻數據恢復。大多數立體視頻錯誤隱藏方法，在 單視點的基礎上，除了采用時域、空域、時空域混合錯誤隱藏外，還要考慮到視點之間的相 關性，利用視差補償進行錯誤隱藏。通常情況下，立體視頻中錯誤隱藏分為兩大類，整幀丟 失錯誤隱藏和部分宏塊丟失錯誤隱藏。對于整幀丟失的錯誤隱藏方法，由于一幀信息全部 丟失，只能利用時間相關性和視點間相關性對當前幀進行預測，對整幀圖像丟失中的宏塊， 通過視差矢量的時域相關性和運動矢量的視點間相關性對視頻丟失塊的信息進行恢復。而 對部分宏塊丟失的情況，當一幀圖像中部分宏塊發(fā)生丟失時，不僅可用前一時刻參考幀和 前一視點參考幀中相應位置的宏塊信息進行恢復，而且可用當前幀丟失宏塊周圍正確解碼 的宏塊信息，在這些宏塊中利用邊界匹配法選擇最佳候選塊以達到最佳的錯誤隱藏效果。 但是以上方法中，針對丟失宏塊信息數據如何恢復，僅考慮到不同區(qū)域運動特性和視點相 關性，從宏塊級進行錯誤隱藏雖然效果好但是復雜度高，而且沒有考慮到復雜的運動或場 景，一旦出現場景切換的立體視頻幀，能夠運用的時域和視差信息幾乎沒有，該如何進行錯 誤隱藏成為研宄難點。因此，研宄一種用于立體視頻切換幀的自適應錯誤隱藏算法非常必 要。

【發(fā)明內容】

[0004] 本發(fā)明所要解決的技術問題是針對上述現有技術提供一種應用于立體視頻切換 幀的自適應錯誤隱藏方法，其能夠針對有場景切換的立體視頻進行有效地錯誤隱藏，降低 解碼端的復雜度，恢復立體視頻質量。
[0005] 本發(fā)明解決上述技術問題所采用的技術方案為：一種應用于立體視頻切換幀的自 適應錯誤隱藏方法，其特征在于：
[0006] 對于立體視頻中發(fā)生有場景切換且存在有丟失宏塊的視頻幀采用如下方式進行 錯誤隱藏：
[0007] 對視頻幀中丟失宏塊中某一點的像素值通過以下公式進行插值恢復：
[0008]
【主權項】
1. 一種應用于立體視頻切換幀的自適應錯誤隱藏方法，其特征在于： 對于立體視頻中發(fā)生有場景切換且存在有丟失宏塊的視頻幀采用如下方式進行錯誤 隱藏： 對視頻幀中丟失宏塊中某一點的像素值通過以下公式進行插值恢復：
，其中，fu(t)表示第t時刻視頻幀內某一丟失宏塊 中坐標位置為（i,j)的點的像素殼度值，fT、fB、4、fR分別表不如述丟失宏塊上、下、左、右 四個方向上的相鄰宏塊中與該丟失宏塊相關聯的四個邊界點的像素值，dT、dB、<、dK分別表 示對應上、下、左、右四個方向上的權重，而dT、dB、4、dK則用待插值恢復點與四個邊界點之 間的距離進行表征； 對于立體視頻中沒有發(fā)生有場景切換且存在有丟失宏塊的右視點視頻幀采用如下方 式進行錯誤隱藏： 先判斷除第1視頻幀之外的有丟失宏塊的右視點視頻幀屬于相對運動幀還是屬于相 對靜止幀，如果屬于相對運動幀，則采用下述步驟一所述的方法恢復丟失宏塊的右視點視 頻幀中所有丟失宏塊的像素值；如果屬于相對靜止幀，則采用下述步驟二所述的方法恢復 丟失宏塊的右視點視頻幀中所有宏塊的像素值； 其中前述步驟一包括如下步驟： 步驟1-1、將立體視頻中第t時刻的右視點視頻幀IK(t)中檢測到的丟失宏塊定義為右 視點當前丟失宏塊；將右視點當前丟失宏塊上、下、左、右方向上的宏塊和第t時刻的左視 點視頻幀Ijt)、第t-1時刻的右視點視頻幀IK(t_l)中與右視點當前丟失宏塊對應坐標位 置的宏塊作為參考候選塊，若右視點當前丟失宏塊的幀是右視點第一幀，只將右視點當前 丟失宏塊上、下、左、右方向上的宏塊和第t時刻的左視點視頻幀IJt)中與右視點當前丟 失宏塊對應坐標位置的宏塊作為參考候選塊，t多2 ; 步驟1-2、利用外邊界匹配法計算參考候選塊和右視點當前丟失宏塊的外部相 鄰像素值的平均絕對差值，將第m個參考候選塊的外邊界匹配的平均絕對差值記為
其中，M是外邊界有效像素的數目，fk(t)是右視點當前丟 失宏塊周圍相鄰宏塊的邊界像素值，fz(t)是參考候選宏塊的外邊界像素值，K是右視點當 前丟失宏塊周圍相鄰塊的邊界像素集，keK;Z是參考候選宏塊的邊界像素集，zeZ; 步驟1-3、計算出步驟1-2中的平均絕對差值MADm，將平均絕對差值最小作為選擇的標 準，按照1
，依次從參考候選宏塊中選擇出最優(yōu)的三個候選宏塊； 步驟1-4、將步驟1-3中的三個候選宏塊進行加權平均，新的加權候選宏塊中的每一個 像素值由三個候選宏塊的像素值進行加權平均得到，記為
其中^>表示新的加權候選宏塊中坐標位置為（i，j)的像素值，^^、^^、^^表示優(yōu) 先級依次下降的三個候選宏塊中的坐標位置為（i，j)的像素值； 步驟1-5、將步驟1-4中選出新的加權候選宏塊4^_中的像素值作為右視點當前丟 失宏塊的像素值； 其中前述步驟二為：將立體視頻中第t時刻的右視點視頻幀IK(t)中檢測到的丟失宏 塊定義為右視點當前丟失宏塊，將第t-1時刻右視點視頻幀IK(t-l)中與右視點當前丟失 宏塊坐標位置相同的像素點直接賦值給右視點當前丟失宏塊中相應坐標位置的像素點，其 中t多2 ;對于右視點第1視頻幀中的丟失宏塊，將左視點第1視頻幀中與該丟失宏塊坐標 位置相同的像素點直接賦值給該丟失宏塊中相應坐標位置的像素點； 對于立體視頻中沒有發(fā)生有場景切換且存在有丟失宏塊的左視點視頻幀采用如下方 式進行錯誤隱藏： 先判斷除第1視頻幀之外的有丟失宏塊的左視點視頻幀屬于相對運動幀還是屬于相 對靜止幀，如果屬于相對運動幀，則采用下述步驟三所述的方法恢復丟失宏塊的