專利名稱：自由視點四維空間視頻編碼系統(tǒng)的編碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及ー種自由視點四維空間視頻編碼系統(tǒng)的編碼方法，屬于視頻壓縮編碼技術(shù)領(lǐng)域。
背景技術(shù)：
隨著信息技術(shù)的快速發(fā)展，各種形式的立體視頻處理及應(yīng)用已經(jīng)涌入人們的生活，如全景環(huán)幕電影，平面立體電視與電影、立體醫(yī)學(xué)圖像成像與傳輸、機器人控制立體成像、虛擬現(xiàn)實系統(tǒng)等。與此同時，立體視頻處理算法及系統(tǒng)研究近年來已經(jīng)成為國際上發(fā)展最快的研究熱點之一。目前，國內(nèi)外對自由視點立體視頻的研究從空間構(gòu)成上不外乎兩種形式柱面/·球面ニ維視頻與平面立體視頻。平面立體視頻是指具有深度信息的平面三維視頻序列，由具有一定視差的多個視頻序列組成，表示為(X，Y, V)。其利用多個視頻序列的運動、視差及深度預(yù)測和增強算法，在平面視角范圍內(nèi)進行立體視頻處理。而柱面/球面ニ維視頻則是以平面視頻處理為基礎(chǔ)，進行柱面/球面的ニ維視頻處理從而達到全景立體效果。其中，柱面ニ維視頻是平面ニ維視頻序列在柱面弧度維空間擴展后得到的360度全景視頻，表示為(x, y, O。平面立體視頻是基于平面的具有深度信息的空間三維結(jié)構(gòu)視頻，柱面ニ維視頻是基于柱面的具有弧度信息的空間三維結(jié)構(gòu)視頻。兩者雖然都能夠?qū)崿F(xiàn)一定程度的自由視點立體視頻顯示，但是都有不足。平面立體視頻不具有弧度信息，無法顯示360度全方位立體視頻，而柱面ニ維視頻不具有深度信息，無法顯示基于柱面的三維視頻。因此就有了自由視點四維空間視頻概念。自由視點四維空間視頻將柱面空間的ニ維視頻與平面空間的三維視頻結(jié)合起來，共同組成具有空間四維結(jié)構(gòu)的自由視點四維空間視頻系統(tǒng)。該系統(tǒng)在空間范圍內(nèi)具有四維數(shù)據(jù)結(jié)構(gòu)，表示為平面坐標(biāo)(x，y)、深度信息維V及弧度信息維α的四維空間結(jié)構(gòu)(x，y，v，α )0弧度維對平面立體視頻進行柱面擴展，深度維對柱面ニ維視頻進行深度擴展，在空間上構(gòu)成了既具有深度信息，又具有弧度信息的視頻序列。其同時繼承了柱面空間的全方位特性及平面視角的三維視覺特性，能夠在柱面空間進行立體視頻顯示，彌補了平面立體和柱面ニ維視頻的空間缺陷，從真正意義上重現(xiàn)和展示真實世界中360度全方位立體場景。自由視點四維空間中的視頻圖像幀分為兩類自由視點弧度立體視頻序列及自由視點視頻序列組中的具有一定弧度距離的對應(yīng)視頻圖像幀分別進行拼接而成的自由視點360度柱面全景視頻序列。自由視點弧度立體視頻序列編碼基于現(xiàn)有視頻處理標(biāo)準(zhǔn)，進行自由視點的弧度視差估計與弧度深度圖像估計，對運動矢量、視差矢量進行旋轉(zhuǎn)和變焦糾正，即針對像素點間的弧度值計算得到弧度運動矢量與弧度視差矢量。在平面立體視頻中，視差與物點深度值之間有公式(I)的計算關(guān)系。
權(quán)利要求
1.一種自由視點四維空間視頻編碼系統(tǒng)的編碼方法，將自由視點四維空間視頻的編碼系統(tǒng)分為兩個通道；通道一包含平面圖像到柱面圖像的映射模塊、幀內(nèi)預(yù)測模塊、預(yù)測模式選擇模塊、離散余弦變換模塊、量化模塊、重排序模塊、熵編碼模塊、運動估計模塊、運動/視差補償模塊、視差估計以及優(yōu)化模塊、反量化模塊、反離散余弦變換模塊、濾波模塊、柱面全景圖像拼接模塊；通道二包括深度信息的計算和優(yōu)化模塊、深度信息補償模塊、深度信息的離散余弦變換模塊、深度信息的量化模塊、深度信息的重排序模塊、深度信息的熵編碼模塊、深度信息的反量化模塊、深度信息的反離散余弦變換模塊；通道一的視差估計以及優(yōu)化模塊與通道二的深度信息的計算和優(yōu)化模塊連接；其特征在于，編碼方法如下 平面圖像到柱面圖像的映射模塊對當(dāng)前待編碼的圖像進行映射處理，增加弧度維的信息；一方面幀內(nèi)預(yù)測模塊對處理后的帶有弧度維的圖像幀進行幀內(nèi)預(yù)測，找到幀內(nèi)預(yù)測的最佳預(yù)測模式和預(yù)測像素值以及相應(yīng)的絕對誤差和SAD的值；另一方面，處理后的帶有弧度維的圖像幀還需要進行幀間預(yù)測；在進行幀間預(yù)測過程中，為了充分利用不同視點間圖 像幀之間的相關(guān)性，選用同一視點間和不同視點間的已編碼的圖像作為參考圖像，提高編碼效率；運動估計模塊對處理后的帶有弧度維的圖像幀在時域參考圖像幀搜索目標(biāo)范圍內(nèi)進行運動估計，找到當(dāng)前編碼的宏塊在時域參考圖像中的最佳匹配以及相應(yīng)的運動矢量；視差估計以及視差優(yōu)化模塊對處理后的帶有弧度維的圖像幀在視點間參考圖像幀搜索目標(biāo)范圍內(nèi)進行視差估計，得到當(dāng)前編碼的宏塊在視點間參考圖像中的最佳匹配以及相應(yīng)的三維視差矢量；運動/視差補償模塊對運動估計模塊和視差估計以及視差優(yōu)化模塊得到的具有弧度維的運動矢量和視差矢量經(jīng)過進行補償，得到幀間預(yù)測的三維運動/視差矢量和預(yù)測像素值以及相應(yīng)的SAD值；預(yù)測模式選擇模塊通過對幀內(nèi)預(yù)測模塊得到的幀內(nèi)預(yù)測SAD值和運動/視差補償模塊得到幀間預(yù)測的SAD值進行比較，選擇較小的SAD值所用的預(yù)測模式作為當(dāng)前幀的最佳預(yù)測方式，并給出相應(yīng)的預(yù)測像素值；當(dāng)前待編碼的圖像幀的像素值減去預(yù)測模式選擇模塊得到的預(yù)測像素值，從而得到預(yù)測殘差；離散余弦變換模塊和量化模塊對預(yù)測殘差進行變換和量化處理，得到殘差系數(shù)；殘差系數(shù)經(jīng)過重排序模塊以及熵編碼模塊后得到編碼碼流；此外，量化模塊得到的殘差系數(shù)經(jīng)過反量化模塊和反離散余弦變換模塊后得到重建的殘差；重建的殘差與預(yù)測模式選擇模塊得到的預(yù)測像素值相加后得到當(dāng)前幀像素值的重建；然后再經(jīng)過濾波模塊去除方塊效應(yīng)進行圖像增強；柱面全景圖像拼接模塊對濾波后的圖像進行處理，即根據(jù)需要對圖像進行旋轉(zhuǎn)、變焦技術(shù)處理，并對圖像幀之間存在的冗余像素和盲區(qū)像素進行優(yōu)化補償，最終重建出當(dāng)前幀的柱面全景視頻幀，作為后續(xù)圖像幀編碼的參考圖像幀； 在通道二中，深度信息計算與優(yōu)化模塊利用通道一中的視差估計以及優(yōu)化模塊得到的三維視差矢量，根據(jù)公式(I)中視差矢量和深度之間的關(guān)系，得到當(dāng)前幀的具有弧度維的深度信息；深度信息補償模塊根據(jù)深度信息計算與優(yōu)化模塊得到的深度信息對參考圖像的深度信息進行補償，得到深度差值信號；深度差值信號經(jīng)過深度信息的離散余弦變換模塊、深度信息的量化模塊、深度信息的重排序模塊以及深度信息的熵編碼模塊后得到深度信息的編碼碼流；此外，深度信息的量化模塊得到的差值系數(shù)經(jīng)過深度信息的反量化模塊、深度信息的反離散余弦變換模塊后得到重建的差值；重建的差值和深度信息補償模塊得到的深度信息預(yù)測值相加后，重建出當(dāng)前巾貞的深度信息； 若將通道二功能禁止，編碼的碼流中沒有深度維信息，得到的是柱面全景視頻編碼碼流；若將通道一中弧度計算模塊設(shè)置為無效，此時編碼的碼流沒有弧度信息，得到的是平面立體視頻編碼碼 流；若同時將通道一中弧度計算模塊設(shè)置為無效，將通道二功能禁止，則得到二維視頻編碼碼流。
全文摘要
自由視點四維空間視頻編碼系統(tǒng)的編碼方法，屬于視頻壓縮編碼技術(shù)領(lǐng)域。將自由視點四維空間視頻的編碼系統(tǒng)分為兩個通道，通道一對亮度和色度信息進行壓縮編碼，通道二對深度信息進行壓縮編碼。并且，實際應(yīng)用中可根據(jù)需要使能或者禁止此編碼系統(tǒng)中相應(yīng)的部分，從而得到相應(yīng)的柱面全景視頻編碼碼流、平面立體視頻編碼碼流或者二維視頻編碼碼流。本發(fā)明的自由視點四維空間視頻編碼系統(tǒng)具有較強的擴展性和適用性，具有不可限量的廣闊應(yīng)用前景。
文檔編號H04N13/00GK102685532SQ201210180940
公開日2012年9月19日 申請日期2012年6月4日 優(yōu)先權(quán)日2012年6月4日
發(fā)明者周莉, 孫濤, 康曉, 王少偉 申請人:山東大學(xué)