3d視頻編碼的視差矢量推導和視圖間運動矢量預測的方法及裝置的制造方法
【專利說明】3D視頻編碼的視差矢量推導和視圖間運動矢量預測的方法及裝置
[0001]相關(guān)串請的交叉引用
[0002]本申請的權(quán)利要求范圍要求如下申請的優(yōu)先權(quán):2012年10月3日遞交的申請?zhí)枮?1/744，887，標題為“The derivat1n of disparity vector and interview candidatein the3D or mult1-view video coding”的美國臨時案，2013年I月7日遞交的申請?zhí)枮?61/749，458，標題為“Methods of Simplified Disparity Vector Derivat1n andInter-view Mot1n Vector Predict1n in 3D or Mult1-view Video Coding” 的美國臨時案。在此合并參考上述申請案的全部內(nèi)容。
技術(shù)領(lǐng)域
[0003]本發(fā)明有關(guān)于視頻編碼。更具體地，本發(fā)明有關(guān)于3D視頻編碼的視差矢量(disparity vector)推導和視圖間運動矢量(inter-view mot1n vector)預測。
【背景技術(shù)】
[0004]近年來三維電視已成為技術(shù)趨勢，其目標在于為觀眾帶來更真實的觀看體驗。多視圖視頻為捕捉和渲染3D視頻的技術(shù)。通常通過使用多個攝像頭同時捕捉場景(scene)而建立多視圖視頻，其中，適當?shù)胤胖枚鄠€攝像頭以使每個攝像頭從一個視點捕捉場景。具有相應于視圖的大量視頻序列的多視圖視頻意味著巨大量的數(shù)據(jù)。相應地，多視圖視頻將需要用于存儲的大量存儲空間及/或用于傳輸?shù)母邘挕Ｒ虼?，本領(lǐng)域已發(fā)展出多視圖視頻編碼技術(shù)以減少所需存儲空間和傳輸帶寬。一種直接的方法是對每個單一視圖的視頻序列獨立地應用傳統(tǒng)視頻編碼技術(shù)而忽略不同視圖之間的關(guān)聯(lián)(correlat1n)。這種直接技術(shù)將導致低下的編碼性能。為改進多視圖視頻編碼效率，多視圖視頻編碼總是利用視圖間冗余(inter-view redundancy) ο兩個視圖間的視差是由兩個不同攝像機的位置和角度導致的。視差模型(例如仿射模型(affine model)用于指示兩個視圖幀中的對象的位移。此夕卜，一個視圖中的幀的運動矢量可從另一視圖中的多個幀的運動矢量中推導出。
[0005]對于3D視頻，除相應于多個視圖的傳統(tǒng)紋理數(shù)據(jù)以外，通常還捕獲或推導深度數(shù)據(jù)?？刹蹲缴疃葦?shù)據(jù)以用于相應于一個視圖或多個視圖的視頻。也可從不同視圖的圖像中推導深度信息。深度數(shù)據(jù)通常表示為比紋理數(shù)據(jù)更低的空間分辨率。深度信息用于視圖合成(view synthesis)和視圖間預測(inter-view predict1n)。
[0006]世界標志組織ITUT內(nèi)部關(guān)于3D視頻編碼擴展發(fā)展的聯(lián)合合作組已采用了用于3D視頻編碼的一些標準發(fā)展活動。在基于3D視頻編碼(3DV-ATM-5.0)的改進視頻編碼(Advanced Video Coding，AVC)的軟件測試模型版本5.0中，根據(jù)預設(shè)推導順序基于相鄰區(qū)塊的視差矢量(DV)推導用于跳過(Skip)/直接(Direct)模式的運動矢量預測(mot1nvector predict1n，MVP)候選項。當在直接模式中編碼區(qū)塊時，可從先前編碼的信息中推導模式信息而無需運動信息的明確信令(explicit signaling)。當在跳過模式中編碼區(qū)塊時，無需對運動信息或冗余信息進行發(fā)信。在此情況中，冗余信號推斷為零。
[0007]圖1為根據(jù)3DV-ATM-5.0用于跳過/直接模式的基于優(yōu)先級的MVP的示例示意圖。使用相應于(位于相關(guān)視圖(dependent view)中)當前區(qū)塊110的中心點(112)的視差矢量(114)以尋找參考視圖(例如基本視圖)中的對應區(qū)塊(120)。使用參考視圖中覆蓋對應點(122)的區(qū)塊(124)的MV(126)作為當前區(qū)塊的視圖間MVP候選項(candidate)。從相鄰區(qū)塊和中心點的深度值推導視差矢量。圖1中將相應于當前紋理區(qū)塊(110)的深度信息顯示為區(qū)塊130且將中心點顯示為陰影部分。如果相鄰區(qū)塊中的任何一個具有DV(例如圖1中用于區(qū)塊A的DVa)，使用相鄰區(qū)塊的DV作為視差矢量以定位參考視圖中的對應區(qū)塊。否則，使用轉(zhuǎn)換的視差(converted disparity)，S卩基于深度的視差。其中，視差是從中心點深度值和攝像機參數(shù)中轉(zhuǎn)換的。在中心點的深度值不可用的情況下，相較于僅使用基于深度的視差的方式，使用空間相鄰區(qū)塊的DV可減少錯誤傳播。其中，“視差”和“視差矢量”互換使用。
[0008]當指向相鄰區(qū)塊的DV的對應區(qū)塊不具有可用的運動信息，將視圖間候選項看作不可用且從相鄰區(qū)塊搜索空間候選項。此外，視圖間候選項推導過程可基于從當前區(qū)塊的深度信息轉(zhuǎn)換的視差。當由相鄰區(qū)塊的DV指向的對應區(qū)塊或從當前區(qū)塊的深度信息轉(zhuǎn)換的DV為幀內(nèi)編碼，或者使用當前圖像的無效參考圖像，將對應區(qū)塊的運動信息看著不可用。如圖1所示，從相鄰區(qū)塊A、B及C(僅當C不可用是使用D)推導的視圖間候選項和三個空間候選項的中間值。另一方面，使用推導的MVP候選項的運動信息來執(zhí)行運動補償。其中，運動信息包括預測方向(無方向預測或雙向預測)，參考圖像類型(時間預測、虛擬預測(virtual predict1n)或視圖間預測)以及參考圖像索引(reference picture index)。
[0009]圖2為根據(jù)3DV-ATM-5.0的視圖間MVP推導的示例流程圖?；贛VP候選項推導過程的優(yōu)先級的輸入數(shù)據(jù)包括對應于相關(guān)視圖中紋理圖像的相鄰區(qū)塊A、B及C的運動數(shù)據(jù)(210)和相關(guān)視圖中的深度數(shù)據(jù)(250)。將相應于相鄰區(qū)塊的任何視差信息看作用于視圖間預測的運動信息。在步驟220中，檢查相應于相鄰區(qū)塊的DV的可用性。如步驟230中所示，如果相鄰區(qū)塊的DV不可用，以推導的DV來替代DV，其中，推導的視差矢量是從相應于當前區(qū)塊的深度數(shù)據(jù)轉(zhuǎn)換形成的。用于替換不可用DV的視差數(shù)據(jù)可對應于當前區(qū)塊的最大視差(步驟260)。如步驟240中所示，根據(jù)多個MVP候選項(即相應于區(qū)塊A、B及C的DV)的中間值確定最終的視差。在推導用于當前區(qū)塊的視差矢量之后，可識別參考圖像中覆蓋對應點(122)的區(qū)塊(124)。且可使用相應于區(qū)塊124的運動矢量(126)作為視圖間MVP候選項。
[0010]在3DV-ATM-5.0中，當使用相鄰區(qū)塊的DV定位參考視圖中的對應點時，分別地推斷視圖間候選項的列表OMV和列表1MV。具體地，通過根據(jù)相鄰區(qū)塊(如果可用)的列表ODV首先定位參考圖像中的對應區(qū)塊，然后使用該對應區(qū)塊的MV作為用于列表I的MVP候選項。如圖3中所示，對于相關(guān)視圖中的當前區(qū)塊(310)，當前區(qū)塊的相鄰區(qū)塊的列表ODV和列表IDV可能是不同的，因此在參考視圖(例如基本視圖(base view))中可能定位到不同的對應區(qū)塊(Q^PCJ。圖4中為列表O和列表I視圖間MVP候選項推導的示例流程圖。如果ListX = listO，此流程圖用于列表0，且如果ListX = listl，此流程圖用于列表I。圖4中的步驟(410-460)類似于圖2中的步驟(210-260)。然而，對于列表O和列表I視圖間MVP推導的過程是分別執(zhí)行的，其中，ListX對應于列表O或列表1.例如，在步驟420中，如果目標參考圖像在列表O中，僅考慮相應于指向列表O中的參考圖像的相鄰區(qū)塊的運動數(shù)據(jù)(例如DV)。當前區(qū)塊(470)的中心位置(472)可使用推導的視差矢量以定位對應區(qū)塊480中的對應位置482。使用基本視圖中覆蓋對應點(482)的區(qū)塊所相應的列表O運動數(shù)據(jù)作為用于各自列表中的視圖間MVP候選項。
[0011]當視圖間MVP候選項不可用時，根據(jù)3DV-ATM-5.0，使用從相鄰區(qū)塊A、B及C中推導的三個空間MVP候選項的中間值作為用于跳過(Skip)或直接模式(Direct)的MVP。跳過/直接模式中的視圖間MVP候選項和視圖間MVP的推導過程分別圖圖5A和5B中所示。首先識別目標參考索引。在3DV-ATM-5.0中，在跳過模式中將目標參考索引設(shè)置為0.對于直接模式，推導目標參考索引作為相鄰區(qū)塊的最小參考索引。
[0012]如