三維視頻編碼的視圖間候選推導(dǎo)的方法及其裝置的制造方法
【專利說(shuō)明】H維視頻編碼的視圖間候選推導(dǎo)的方法及其裝置
[000?！窘徊嬉谩?br>[0002] 本發(fā)明主張申請(qǐng)于2013年4月10日，序列號(hào)為61/810, 383,標(biāo)題為"Additional Inter-view Candidate for 3Dand Multi-view Video Coding"的美國(guó)臨時(shí)專利申請(qǐng)的優(yōu) 先權(quán)。將此美國(guó)臨時(shí)專利申請(qǐng)W參考的方式并入本文中。 【技術(shù)領(lǐng)域】
[0003] 本發(fā)明設(shè)及視頻編碼。特別地，本發(fā)明設(shè)及=維/多視圖視頻編碼中用于運(yùn)動(dòng)向 量/視差向量或運(yùn)動(dòng)向量預(yù)測(cè)/視差向量預(yù)測(cè)的視圖間候選推導(dǎo)。 【【背景技術(shù)】】
[0004] S維燈虹ee-dimensional，W下簡(jiǎn)稱為3D)電視技術(shù)是近年來(lái)的技術(shù)發(fā)展趨勢(shì)， 其試圖給觀看者帶來(lái)轟動(dòng)的觀看體驗(yàn)（viewingexperience)。多視圖視頻是一種用來(lái)捕 獲并呈現(xiàn)3D視頻的技術(shù)。多視圖視頻通常是通過(guò)由多個(gè)相機(jī)同時(shí)捕獲一個(gè)場(chǎng)景來(lái)創(chuàng)建，其 中，多個(gè)相機(jī)被合適地定位W使每個(gè)相機(jī)從一個(gè)視角（viewpoint)來(lái)捕獲該場(chǎng)景。具有大 量與視圖相關(guān)聯(lián)的視頻序列的多視圖視頻表示了巨量的數(shù)據(jù)（massiveamountdata)。因 此，多視圖視頻將需要大量的存儲(chǔ)空間來(lái)存儲(chǔ)和/或需要高的帶寬來(lái)傳送。因此，在本領(lǐng)域 中，多視圖視頻編碼技術(shù)被開(kāi)發(fā)出來(lái)W減少所需要的存儲(chǔ)空間W及傳送帶寬。一個(gè)直接方 法可W簡(jiǎn)單地應(yīng)用于現(xiàn)有的視頻編碼技術(shù)，使每個(gè)單個(gè)視圖視頻序列獨(dú)立且忽視不同視圖 中的任何關(guān)聯(lián)。運(yùn)樣的直接的技術(shù)將導(dǎo)致低下的編碼性能。為了提高多視圖視頻編碼效率， 多視圖視頻編碼總是利用視圖間冗余。兩個(gè)視圖之間的視差是由兩個(gè)相關(guān)相機(jī)的位置W及 角度而導(dǎo)致。
[0005] 為了減少視圖間冗余，視差補(bǔ)償預(yù)測(cè)（dispa;rit5f-compensatedprediction,DCP) 可W作為運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)（motion-compensatedprediction，MCP)的取代。如圖I所示，MCP 是指用于不同訪問(wèn)單元（accessunit)中的相同視圖的已編碼圖片的圖片間預(yù)測(cè)，而DCP 是指用于相同訪問(wèn)單元中其它視圖的已編碼圖片的圖片間預(yù)測(cè)。3D/多視圖數(shù)據(jù)包括紋理 (texture)圖片（110)W及深度圖（12〇)。MCP被應(yīng)用于時(shí)間方向（temporaldirection) (即，圖I中的水平方向）的紋理圖片或深度圖。DCP被用于視圖方向（目P，圖I中的垂直 方向）的紋理圖片或深度圖。用于DCP的向量被稱為視差向量（disparityvector,DV)， DV是模擬用于MCP的運(yùn)動(dòng)向量（motionvector,MV)。
[0006] 基于3D視頻編碼標(biāo)準(zhǔn)的高效視頻編碼（Hi曲EfficiencyVideoCoding,肥VC) (命名為3D-HEVC)是肥VC的擴(kuò)展（高效視頻編碼），3D-HEVC被開(kāi)發(fā)出來(lái)W用于編碼/解 碼3D視頻。視圖中的一個(gè)被稱作基礎(chǔ)視圖或獨(dú)立視圖?；A(chǔ)視圖的編碼獨(dú)立于其它的視 圖W及深度數(shù)據(jù)。此外，基礎(chǔ)視圖使用現(xiàn)有的肥VC視頻編碼器來(lái)編碼。
[0007] 于3D-HEVC中，混合的基于塊的運(yùn)動(dòng)補(bǔ)償?shù)念怐CT值CT-Iike)轉(zhuǎn)換編碼架構(gòu)仍然 被使用。用于壓縮的基礎(chǔ)單元被稱為編碼單元（codingunit,CU),其為2化2N的方塊，且 每個(gè)CU可W被遞歸地（recursively)分為四個(gè)更小的CU,直到達(dá)到預(yù)定義的最小的大小為 止。每個(gè)CU包括一個(gè)或多個(gè)預(yù)測(cè)單元（predictionunit,PU)。PU的大小可W是2化2N、 2化N、化2N、或化N。當(dāng)支持非對(duì)稱運(yùn)動(dòng)分區(qū)（asymmetricmotionpartition,AMP)時(shí)，PU 大小還可為2化nU、2化nD、nLx2N[^及nRx2N。
[0008] 于 3D-HEVC中，基于運(yùn)動(dòng)向量競(jìng)爭(zhēng)（motionvectorcompetition,MVC)的 方案也用于從給定的候選集（或候選列表）中選擇運(yùn)動(dòng)向量預(yù)測(cè)子（motionvector predictor,MVP)/視差向量預(yù)測(cè)子（disparityvectorpredicto;r，DVP)。有S種帖間預(yù)測(cè) (inter-prediction)模式，包括：帖間（Inter)、跳過(guò)、W及合并。帖間模式對(duì)被傳送的運(yùn)動(dòng) 向量/視差向量（MV/DV)執(zhí)行運(yùn)動(dòng)向量預(yù)測(cè)/視差向量預(yù)測(cè)，而跳過(guò)W及合并模式利用推 導(dǎo)方法從候選列表中選擇MV或DV，W獲取運(yùn)動(dòng)信息。候選列表包括來(lái)自當(dāng)前圖片中空間 相鄰塊的候選，時(shí)間對(duì)應(yīng)圖片（temporalcollocatedpicture)被表示于切片標(biāo)頭（slice header)中的時(shí)間相鄰塊，或視圖間參考圖片中的對(duì)應(yīng)塊。運(yùn)些候選是根據(jù)競(jìng)爭(zhēng)順序被安排 于候選列表中，列表中的一個(gè)候選被選擇為MV/DV或MVP/DVP。當(dāng)PU于跳過(guò)或合并模式中 被編碼時(shí)，除了所選擇的候選的索引外，不傳送任何運(yùn)動(dòng)信息。在PU被編碼于跳過(guò)模式的 情況下，殘差信號(hào)也被省略。
[0009] 對(duì)于HTM-4. 0 (基于測(cè)試模型版本4. 0的3D-HEVC)的帖間模式，高級(jí)運(yùn)動(dòng)向量預(yù) 測(cè)（AdvancedMotionVectorPrediction,AMVP)方案被用于在AMVP候選集中選擇運(yùn)動(dòng)向 量預(yù)測(cè)子。對(duì)于合并W及跳過(guò)模式，合并方案用于在合并候選集中選擇MVP?；诖a率失真 最佳化（rate-distortionoptimization,畑0)決定，編碼器于給定的MVP/DVP候選集中選 擇一個(gè)最終的MVP/DVPW用于帖間、跳過(guò)、或合并模式，并且傳送所選擇的MVP/DVP的索引 到解碼器。所選擇的MVP/DVP可W根據(jù)時(shí)間距離或視圖距離來(lái)線性縮放。
[0010] 對(duì)于深度編碼的帖間模式，參考圖片索引是顯式地傳送到解碼器。接著，MVP/DVP 于候選集中被選擇W用于給定的參考圖片索引。如圖2所示，HTM-4. 0中用于帖間模式的 MVP/DVP候選集包括兩個(gè)空間MVP/DVP、一個(gè)視圖間候選、W及一個(gè)時(shí)間MVP/DVP。一個(gè)空間 MVP/DVP候選是從B0、B1W及B2中選擇，且其它的空間MVP/DVP候選是從AOW及Al中選 擇。時(shí)間MVP/DVP候選是從右下方塊化ottom-ri曲tblock,TBR)中選擇。如果TBR不可 用，則使用中屯、塊（centerblock，TCT)。時(shí)間塊TBRW及TCT位于時(shí)間參考圖片中。MVP/ DVP候選集的大小固定為2還是3,是取決于視圖間候選是否被包含在內(nèi)。
[0011] 在3D-HEVC中，如果一個(gè)特定塊是使用合并模式編碼，合并索引被發(fā)出W指示合 并候選集中的哪一個(gè)MVP/DVP候選被用于待合并的塊。為了遵循運(yùn)動(dòng)信息共用的本質(zhì)，每 個(gè)合并的PU重用MV、預(yù)測(cè)方向、W及所選擇的候選的參考圖片索引。對(duì)于時(shí)間合并候選，參 考圖片索引被設(shè)置為零，且MV根據(jù)POC距離被縮放。如圖2所示，合并候選集包括五個(gè)空 間合并候選，一個(gè)視圖間候選，一個(gè)視差候選，一個(gè)VSP候選，W及一個(gè)時(shí)間合并候選。合并 候選集的大小固定為6。時(shí)間候選是基于時(shí)間配置塊的TBR。如果TBR不可用，則時(shí)間配置 塊的TCT被使用。于3D-HEVC中用于紋理編碼的候選集將于下文所示：
[001引視圖間候選
[0013] -Al
[0014] -Bl
[0015] -BO
[0016] -AO
[0017] -視差候選
[0018] -B2
[001引 -VSP候選
[0020] -時(shí)間候選。
[0021] 根據(jù)上文所示的競(jìng)爭(zhēng)順序（即，從從視圖間候選到時(shí)間候選）逐一地將候選插入 候選列表。當(dāng)合并候選列表中的候選的總數(shù)達(dá)到6 (移除冗余候選）時(shí)，將不會(huì)再插入額外 的候選。
[0022] 對(duì)于合并模式W及跳過(guò)模式，如果候選列表可W導(dǎo)致更好的MV/DV或MVP/DVP，于 合并模式或跳過(guò)模式中，更多的塊可W被編碼。因此，提高了編碼效率。因此，希望開(kāi)發(fā)出 一種可W提高編碼效率的合并候選列表。 【
【發(fā)明內(nèi)容】
】
[0023] 本發(fā)明掲露了使用候選列表的3D/多視圖編碼的方法及裝置，其中，候選列表 包括用于合并模式、跳過(guò)模式、或基于帖間模式的高級(jí)運(yùn)動(dòng)向量預(yù)測(cè)（