三維視頻編碼的運動數(shù)據(jù)緩存減少方法及裝置的制造方法
【專利說明】H維視頻編碼的運動數(shù)據(jù)緩存減少方法及裝置
[000。 相關申請的香叉引用
[0002] 本申請的權利要求范圍要求如下申請的優(yōu)先權；2012年10月3日遞交的申請?zhí)?為 61/744, 858,標題為"MotionDataStorageReduction(MDSR)forVideoCoding"的美 國臨時案。在此合并參考上述美國臨時申請案的全部內容。
技術領域
[0003] 本發(fā)明有關于=維視頻編碼。更具體地，本發(fā)明有關于=維視頻編碼中運動數(shù)據(jù) 的緩存減少。
【背景技術】
[0004] 近年來=維電視已成為技術趨勢，其目標在于為觀眾帶來更真實的觀看體驗。目 前已開發(fā)各種技術用W致能3D立體視圖。且與其他技術相比，多視圖（multi-view)視頻 為3D電視應用的主要技術。傳統(tǒng)視頻為二維（two-dimensional, 2D)媒介，其從攝影機的角 度向觀眾提供場景的單一視圖。然而，多視圖視頻可提供動態(tài)場景的任意視點（viewpoint) 且為觀眾提供真實的感官。
[0005] 通常通過使用多個攝像機同時捕捉場景（scene)而建立多視圖視頻，其中，適當 地放置多個攝像機W使每個攝像機從一個視點捕捉場景。相應地，多個攝相機將捕捉對應 于多個視圖的多個視頻序列（videosequence)。為了提供更多的視圖，已使用更多的攝相 機W產生多視圖視頻，其中該多視圖視頻具有相應于視圖的大量視頻序列。相應地，多視圖 視頻需要大量的存儲空間進行存儲及/或高的帶寬進行傳輸。因此，技術領域中已發(fā)展了 多視圖視頻編碼技術W減少存儲空間或傳輸帶寬。
[0006] 本領域已揭露各種技術W改進3D視頻編碼的編碼效率。也具有發(fā)展活動W標 準化（standardize)編碼技術。例如，國際標準組織（InternationalOrganizationfor Standardization,ISO)內的工作組ISO/IECJTC1/SC29/WG11正在開發(fā)基于3D視頻編碼 標準的高效視頻編碼（化曲EfficiencyVideoCoding,肥VC)。在肥VC中，時間運動參數(shù) (例如，運動矢量（MV)、參考索引及預測模式）的運動信息可用于MV預測。因此，來自先 前圖像的運動參數(shù)需要存儲在運動參數(shù)緩存區(qū)中。然而，由于運動表示（r巧resentation) 的粒度為4X4區(qū)塊大小，運動參數(shù)緩存區(qū)的大小會變得相當大。對于B片（雙向預測 (bi-predicted)片）中的每個預測單元（predictionunit,PU)具有兩個運動矢量。 為了減少運動參數(shù)緩存區(qū)的大小，使用名為運動數(shù)據(jù)存儲減少（motiondatastorage re化ction，MDSR)的運動壓縮過程來W較低分辨率（resolution)從先前圖像中存儲解碼 的運動信息。在編碼或解碼過程中，使用相應于當前帖的解碼運動信息W重建當前帖。在 重建當前帖之后，W較粗的粒度存儲運動信息W用于其他帖參考。
[0007] 在肥VC中，通過抽取（decimation)方法實現(xiàn)運動信息緩存的減少。圖1為基 于抽取的運動數(shù)據(jù)存儲減少的示例示意圖。在此示例中，對每個16X16區(qū)塊進行運動數(shù) 據(jù)壓縮。16X16區(qū)塊內部的所有4X4區(qū)塊共享代表區(qū)塊的相同運動矢量、參考圖像指數(shù) (indice)及預測模式。在肥VC標準中，使用左上4X4區(qū)塊（即區(qū)塊0)作為代表區(qū)塊用于 整個16X16區(qū)塊。為了方便，在此揭露書中，由于16X16區(qū)塊內部的所有最小區(qū)塊共享相 同的運動參數(shù)，將每個16X16區(qū)塊稱為運動共享區(qū)域。盡管在肥VC標準中使用16X16的 區(qū)塊大小，運動共享區(qū)域可具有其他區(qū)塊大小。
[000引在世界編碼標準發(fā)展中，S維視頻編碼和可縮放視頻編碼為傳統(tǒng)二維肥VC視頻 編碼標準的兩種可能擴展。圖2為基于肥VC3D視頻編碼版本4. 0 (HTM-4. 0)使用的示例 預測結構示意圖。W視圖標識（視圖ID)指示對應于特定攝像機的視頻圖像（210A)和深 度圖像（cbpthmap) (210B)。例如，相應于S個視圖（即V0、V1及V2)的視頻圖像和深度圖 如圖2所示。屬于同一攝像機位置的所有視頻圖像和深度度都相應于同一視圖ID。如圖2 所示，當存在時，視頻圖像和深度圖被逐個存取單元（accessunit,AU)地編碼。AU(220)包 括對應于同一時刻的所有視頻圖像和深度圖。在HTM-4. 0中，在對同一AU內部的所有圖像 (紋理和深度圖像）編碼之后，對每個圖像執(zhí)行運動數(shù)據(jù)壓縮。在此情形中，對于每個AU，AU 內部圖像的重建過程可依賴相應于當前AU的全分辨率（化11-resolution)運動數(shù)據(jù)。運 動數(shù)據(jù)壓縮僅影響參照相應于當前AU的壓縮運動數(shù)據(jù)的其他AU的重建過程。
[0009] 對于縮放視頻編碼（SVC)，考慮將包括時間縮放性（seal油ility)、空間縮放性 及質量可縮放性的S種可縮放性作為肥VC的可縮放性擴展。SVC使用多層及編碼架構W 實現(xiàn)可縮放性的S維。預測結構可類似于用于3D視頻編碼的預測結構，其中，W層級間 (inter-layer)維度（即層級方向中的預測）替代視圖間預測（即視圖方向中的預測）。此 夕F，在SVC中，僅設及紋理信息而沒有深度圖。
[0010] 圖3為示例的S層SVC系統(tǒng)的示意圖，其中，首先對視頻序列下采樣 (down-sample)W獲取在不同空間分辨率（或層級）的較小圖像。例如，可通過空間抽取 (spatialdecimation) 320處理原分辨率的圖像310W獲取減少分辨率的圖像311。如圖3 所示，可通過空間抽取321進一步處理減少分辨率的圖像311W獲取更加減少分辨率的圖 像312。圖3中的SVC系統(tǒng)顯示了具有S層空間可縮放系統(tǒng)的示例，其中，層級0對應具有 最低空間分辨率的圖像，且層級2對應具有最高分辨率的圖像。不參考其他層級而對層級 0進行編碼，即單層編碼（single-layercoding)。例如，使用運動補償和帖內預測330對 最低層圖像312進行編碼。在圖3中，使用空間抽取實現(xiàn)空間縮放性，而使用SNR(信噪比） 增強實現(xiàn)質量縮放性。而可使用例如分層時間圖像結構（hierarchicaltemporalpic化re structure)實現(xiàn)時間縮放性。
[0011] 運動補償和帖內預測330將產生語法元素和編碼相關信息，例如用于進一步滴編 碼340的運動信息。圖3顯示了提供空間縮放性和質量縮放性（也稱為SNR縮放性）的組 合SVC系統(tǒng)。對于每個單層編碼，使用SNR增強層編碼350可細化冗余編碼的誤差。圖3 中的SNR增強層可提供多個質量級別（質量縮放性）。可通過類似于非縮放編碼系統(tǒng)的單 層運動補償和帖內預測對每個支持的分辨率層進行編碼?？墒褂没谝换蚨鄠€低空間層級 的層級間編碼對每個較高的空間層進行編碼。例如，使用基于層級0視頻或單層級編碼的 層級間預測可對空間層級1視頻進行自適應編碼。類似地，使用基于重建的層級1視頻或 單層級編碼的層級間預測對空間層級2視頻進行自適應編碼。如圖像3中所示，可通過運 動補償和帖內預測331、基礎層滴編碼341及SNR增強層編碼351對空間層1圖像311進行 編碼。如圖3中所示，重建的基礎層炬L)視頻數(shù)據(jù)也被運動補償和帖內預測331所使用， 其中，空間層1中的編碼區(qū)塊可使用重建的化視頻數(shù)據(jù)作為附加的帖內預