終止。
[0132]描述關(guān)于存取深度信息的NBDV的細(xì)化(NBDV-R)。當(dāng)一個視差向量從NBDV過程導(dǎo)出時，通過從參考視圖的深度圖檢索深度數(shù)據(jù)來進(jìn)一步細(xì)化所述視差向量。所述細(xì)化過程包含兩個步驟:
[0133]a)在例如基礎(chǔ)視圖等經(jīng)先前譯碼參考深度視圖中通過所導(dǎo)出的視差向量定位對應(yīng)深度塊;對應(yīng)深度塊的大小與當(dāng)前PU的大小相同。
[0134]b)從對應(yīng)深度塊的四個隅角像素選擇一個深度值且將其轉(zhuǎn)換為經(jīng)細(xì)化視差向量的水平分量。視差向量的垂直分量不變。
[0135]經(jīng)細(xì)化視差向量用于視圖間運動預(yù)測，而未經(jīng)細(xì)化視差向量用于視圖間殘余預(yù)測。
[0136]本文中描述先進(jìn)殘余預(yù)測(ARP)。第4次JCT3V會議采納施加到具有等于Part_2Nx2N(為簡單起見，2Nx2N)的分割模式的CU的先進(jìn)殘余預(yù)測(ARP)，如JCT3V-D0177中所提議。
[0137]圖7為說明先進(jìn)殘余預(yù)測(ARP)的實例預(yù)測結(jié)構(gòu)的概念圖，其根據(jù)本發(fā)明的方面在子PU級執(zhí)行。結(jié)合圖7論述的每一塊為子PU塊。每一 PU拆分成兩個或兩個以上子PU，其中每一子HJ為PU的非重疊部分。圖7說明所采用的預(yù)測結(jié)構(gòu)。如圖7中所展示，以下塊在當(dāng)前塊的預(yù)測過程期間使用:“Curr”、“Base”、“CurrTRef” 和 “BaseTRef” ο
[0138]Curr為當(dāng)前被譯碼的塊。Base為作為與當(dāng)前塊的圖片不同的視圖(但與參考塊相同時間)的圖片中的參考塊。Base所處的圖片被稱作參考視圖或基礎(chǔ)視圖，而Curr所處的圖片被稱作當(dāng)前視圖。Base從Curr乘視差向量(DV)導(dǎo)出，如下文更詳細(xì)地論述。圖7中展示Curr與Base之間的關(guān)系。
[0139]舉例來說，當(dāng)前視圖和參考/基礎(chǔ)視圖可為不同視圖，例如一個用于左眼且一個用于右眼(同時)。然而，在各種實例中，視圖可以各種不同方式而不同。在一些實例中，上文所論述的不同視圖為基礎(chǔ)深度視圖。在其它實例中，不同視圖是非基礎(chǔ)深度視圖。
[0140]CurrTRef為塊Curr所處于的相同視圖中但不同時間的塊。CurrTRef使用運動補償從Curr乘Curr的時間運動向量(TMV)導(dǎo)出。CurrTRef為相對于Curr的運動補償塊。圖7中展示Curr與CurrTRef之間的關(guān)系。
[0141 ] BaseTRef為與塊Base相同的視圖中且與CurrTRef相同時間的塊。BaseTRef從Base乘Curr的時間運動向量(TMV)導(dǎo)出。BaseTRef以向量TMV+DV從Curr的位置識別。BaseTRef?為相對于Base的運動補償塊。圖7中展示BaseTRef與Curr、Base和CurrTRef的關(guān)系。
[0142]在編碼期間，計算TMV、DV、殘余預(yù)測符和加權(quán)因子W，且在位流中對其進(jìn)行編碼，如下文更詳細(xì)地論述。在解碼期間，通過從位流檢索TMV、DV、殘余預(yù)測符和w且使用所檢索的信息計算最終預(yù)測符而計算Curr的最終預(yù)測符。
[0143]在編碼期間，將殘余預(yù)測符計算為BaseTRef-Base，其中減法運算為應(yīng)用于像素陣列BaseTRef和Base的每一像素的逐像素減法。另外，在編碼期間，計算加權(quán)因子W，其中加權(quán)因子乘以殘余預(yù)測符，同時在解碼期間計算最終預(yù)測符。因此，解碼期間計算的當(dāng)前塊的最終預(yù)測符通過以下公式給出:CurrTRef+w*(BaseTRef_Base)。
[0144]在一些實例中，在ARP中使用三個加權(quán)因子，S卩0、0.5和I。在一些實例中，來自9.0.5和I的產(chǎn)生當(dāng)前CU的最小速率失真成本的加權(quán)因子選定為最終加權(quán)因子，且對應(yīng)加權(quán)因子索引(在一些實例中，譯碼為0、1和2，其分別對應(yīng)于加權(quán)因子0、1和0.5)在位流中在CU級發(fā)射。在一些實例中，一個CU中的所有PU預(yù)測共享相同加權(quán)因子。當(dāng)加權(quán)因子等于O時，ARP不用于當(dāng)前CU。
[0145]以上描述和圖7適用于其中應(yīng)用單向預(yù)測的實例。在其它實例中，應(yīng)用雙向預(yù)測。在這些實例中，上文所描述的步驟應(yīng)用于每一參考圖片列表。當(dāng)當(dāng)前塊針對一個參考圖片列表使用視圖間參考圖片(不同視圖中)時，可停用殘余預(yù)測過程。
[0146]圖8為說明當(dāng)前塊、參考塊與運動補償塊之間的關(guān)系的概念圖，其中每一塊為子PU塊。利用子PU塊的ARP的解碼過程描述如下。
[0147]首先，獲得視差向量(DV)，其中DV指向目標(biāo)參考視圖(Vo)。當(dāng)前塊Curr處于當(dāng)前視圖(Vm)中，而參考視圖(Vo)是與Vm不同的視圖。在一些實例中，可如當(dāng)前3D-HEVC中指定而導(dǎo)出DV。隨后，在相同存取單元內(nèi)的參考視圖的圖片中，對應(yīng)塊Base使用視差向量定位。DV相加到當(dāng)前塊的位置給出參考視圖(Vo)中Base的位置。塊Base的圖片具有參考視圖Vo，但具有與當(dāng)前塊的圖片相同的POC(圖片階數(shù)計數(shù))值，這意味著塊Base的圖片與塊Base是同時的。
[0148]接下來，定位BaseTRef。向量TMV+DV相加到當(dāng)前塊的位置給出包含BaseTRef的圖片中的BaseTRef的位置。圖8中展示當(dāng)前塊、對應(yīng)塊與運動補償塊之間的關(guān)系。具有與視圖乂4勺參考圖片相同的POC值的視圖Vo中的參考圖片選定為對應(yīng)塊的參考圖片。
[OH9] 可從位流檢索經(jīng)加權(quán)因子和殘余塊。加權(quán)因子(W)應(yīng)用于殘余塊(BaseTRef-Base)以獲得經(jīng)加權(quán)殘余塊，且經(jīng)加權(quán)殘余塊的值相加到經(jīng)預(yù)測樣本。也就是說，如上文所論述，計算最終預(yù)測符:CurrTRef+w*(BaseTRef_Base)。
[0150]經(jīng)由運動向量縮放的參考圖片選擇的一個實例可執(zhí)行如下。在一些實例中，來自參考視圖的不同圖片可需要經(jīng)存取以產(chǎn)生對應(yīng)塊的運動補償塊(例如，圖7中說明的BaseTRef)。在一些實例中，當(dāng)前子PU的經(jīng)解碼運動向量朝向固定圖片縮放，隨后應(yīng)用上文所論述的過程中的TMV(當(dāng)加權(quán)因子不等于O時)。在JCT3V-D0177中，固定圖片被定義為每一參考圖片列表(如果其來自相同視圖)的第一參考圖片。在一些實例中，當(dāng)經(jīng)解碼運動向量并不指向固定圖片時，經(jīng)解碼運動向量首先經(jīng)縮放且隨后用于識別CurrTRef和BaseTRef。用于ARP的此參考圖片可被稱為目標(biāo)ARP參考圖片。[0151 ]在一些實例中，運動補償可使用內(nèi)插濾波。在一些實例中，在內(nèi)插過程期間應(yīng)用雙線性濾波器。在一些實例中，可在內(nèi)插過程期間應(yīng)用常規(guī)8/4抽頭濾波器。
[0152]在一些實例中，由從NBDV過程傳回的視圖階數(shù)索引識別參考視圖。在一些實例中，當(dāng)一個參考圖片列表中的一個PU的參考圖片來自與當(dāng)前視圖不同的視圖時，ARP針對此參考圖片列表停用。
[0153]在一些實例中，可使用視差運動向量(DMV)代替上文所論述的實例中的視差向量(DV)。舉例來說，可使用DMV代替用于導(dǎo)出上文所論述的Base和BaseTRef的DV。
[0154]在一些實例中，用于視圖間殘余的ARP執(zhí)行如下。當(dāng)當(dāng)前子PU使用視圖間參考圖片時，啟用視圖間殘余的預(yù)測。當(dāng)執(zhí)行用于視圖間殘余的ARP時，計算不同存取單元內(nèi)的視圖間殘余，且隨后使用所計算的殘余信息預(yù)測當(dāng)前子PU塊的視圖間殘余。
[0155]圖9為說明用于視圖間殘余的ARP的概念圖。參考塊Base為由當(dāng)前塊的視差運動向量(DMV)定位的參考/基礎(chǔ)視圖中的塊。塊Curr TRef為具有與當(dāng)前塊相同的視圖但具有不同POC的圖片中的塊，且以距當(dāng)前塊的向量TMV定位。塊BaseTRef處于具有與Base相同的視圖和與BaseTRef相同的POC的圖片中，且以距當(dāng)前塊的向量mvLX+DMV識別。
[〇156]當(dāng)前子PU的殘余信號的殘余預(yù)測符可被計算為:CurrTRef-BaseTRef，其中減法指示逐像素減法。
[0157]雙線性濾波器可用于以與用于時間殘余預(yù)測的ARP的當(dāng)前設(shè)計類似的方式產(chǎn)生所述三個相對塊。
[0158]并且，當(dāng)由Base包含的時間運動向量指向當(dāng)前子PU的第一可用時間參考圖片的不同存取單元中的參考圖片時，在一些實例中，其首先經(jīng)縮放到所述第一可用時間參考圖片，且使用所述經(jīng)縮放運動向量來定位不同存取單元中的兩個塊。
[0159]圖9展示經(jīng)視圖間預(yù)測的運動向量候選者的導(dǎo)出過程的實例。
[0160]在一些實例中，IC(照明補償)和ARP加權(quán)因子信令的聯(lián)合優(yōu)化可執(zhí)行如下。
[0161]IC的使用可由旗標(biāo)指示，S卩ic_f lag，其可在譯碼單元(CU)級信令，而ARP加權(quán)因子在信令時也處于⑶級。在一些實例中，當(dāng)ARP加權(quán)因子不等于O時跳過ic_flag的信令，以避免ic_f lag的不必要的信令開銷。
[0162]在一些實例中，當(dāng)ARP用于視圖間殘余時，或當(dāng)使用視差運動向量(DMV)代替DV時，覆蓋當(dāng)前PU的參考塊的中心位置的塊(CR)用于獲得一個時間/視差運動向量。然而，CR的運動信息可能不可用。在一些實例中，當(dāng)CR的運動信息不可用時停用用于視圖間殘余的ARP，且用于時間殘余的ARP仍使用來自NBDV過程的DV。在一些實例中，當(dāng)CR的運動信息不可用時，再多檢查一個塊。在一些實例中，以與時間合并候選者類似的方式界定額外塊，即覆蓋參考塊的右下位置的PU(BR)。在一些實例中，依次檢查CR和BR，且當(dāng)CR中未發(fā)現(xiàn)運動向量(具有所要類型的時間或視差)時，使用與BR塊相關(guān)聯(lián)的運動信息。
[0163]檢查額外塊的一些實例描述如下。在這些實例中，樣本可被定義為如下:當(dāng)前PU的左上方樣本被定義為(x，y)，且當(dāng)前PU的大小被定義為WxH，當(dāng)前PU的時間/視差運動向量被定義為:(mv[0]，mv[l]);參考塊的中心位置被定義為:(XRefPU，yRefPU)，其中XRefPU = X+W/2+((mv[0]+2)>>2);以及yRefPU = y+H/2+((mv[l]+2)>>2);且參考塊的右下位置被定義為:(xRefPU,yRefPU)，其中xRefPU = x+W+(mv[0]+2)>>2)；以及yRefPU = y+H+(mv[I]+2)>>2)0
[0164]圖10為說明用于視圖間殘余的實例基于子PU的ARP的概念圖，其中每一PU劃分成四個大小相等的正方形子PU。僅借助于實例展示和描述此實例，因為依據(jù)本發(fā)明，HJ可在不同實例中以多種不同方式劃分為兩個或兩個以上子PU。并且，圖10展示正針對PU的一個子HJ執(zhí)行ARP，且展示正針對其執(zhí)行ARP的子PU的對應(yīng)向量。盡管圖10中未圖示，每一其它子PU具有其自身的運動向量集合用于在針對子HJ執(zhí)行ARP時使用。
[0165]通過針對時間預(yù)測殘余和視圖間預(yù)測殘余中的任一者或兩者執(zhí)行ARP，可針對譯碼單元中的當(dāng)前預(yù)測單元(PU)的多個塊維持視差運動向量或時間運動向量的更精細(xì)粒度。運動向量的更精細(xì)粒度可使當(dāng)前PU內(nèi)的每一塊能夠識別其自身的Base、CurrTRef和BaseTRef。在一些實例中，針對當(dāng)前PU的每一塊產(chǎn)生單獨殘余。
[0166]在一些實例中，可針對整個譯碼單元(CU)信令A(yù)RP，從而指示是否ARP將應(yīng)用于所述CU。當(dāng)對針對其信令A(yù)RP的CU譯碼時，CU劃分成PU，且每一 PU劃分成子PU。舉例來說，當(dāng)子PU級ARP應(yīng)用到視圖間殘余時，當(dāng)前PU (例如，圖1O中的Curr)劃分成若干子HJ。對于每一給定(第i)子PU，具有參考視圖(例如，圖10中的Basei)的相同存取單元中的子PU的相同大小的參考塊由當(dāng)前HJ(即，圖10中的DMV)的視差運動向量識別。如果對應(yīng)參考塊含有一個時間運動向量，那么其用于定位不同存取單元中的兩個塊(例如，CurrTRefi和BaseTRef i)，且這兩個塊用于產(chǎn)生殘余預(yù)測符，如上文更詳細(xì)地論述。所述兩個塊由Basei的時間運動信息和DMV識別。
[0167]在一些實例中，僅考慮與含有Basei的一個給定位置(例如，中心位置)的預(yù)測單元相關(guān)聯(lián)的時間運動向量。在一些實例中，依次檢查含有Basei的多個位置(例如，中心和右下)的預(yù)測單元，且一旦發(fā)現(xiàn)時間運動向量，檢查過程就終止。
[0168]在其它實例中，首先發(fā)現(xiàn)PU級代表性時間運動信息，且其被認(rèn)為是默認(rèn)運動信息(如果可用)。當(dāng)與Basei相關(guān)聯(lián)的一或多個給定位置并不產(chǎn)生可用時間運動信息時，代表性時間運動信息指派到Basei。
[0169]在其它實例中，如果未發(fā)現(xiàn)時間運動向量，那么應(yīng)用默認(rèn)運動信息。在一些實例中，默認(rèn)運動信息被定義為當(dāng)前視差運動向量識別的當(dāng)前PU的參考塊所包含的時間運動信息，其中參考塊具有與當(dāng)前PU相同的大小。在一些實例中，默認(rèn)運動信息被定義為零值運動向量，以及具有當(dāng)前參考圖片列表中的最小索引的時間參考圖片的索引。
[0170]在應(yīng)用到視圖間殘余的子PU級ARP的一些實例中，當(dāng)前PU的對應(yīng)區(qū)的運動信息(如由DMV識別)可以某一方式存取一次使得存取所述區(qū)內(nèi)部的所有塊的運動信息。
[0171]當(dāng)子PU級ARP應(yīng)用到時間殘余時，當(dāng)前PU劃分成若干子PU。對于給定子PU，具有當(dāng)前視圖的不同存取單元中的子PU的相同大小的參考塊由當(dāng)前HJ的相同時間運動向量識別。如果子PU的對應(yīng)參考塊含有一個視差運動向量，那么使用所述視差運動向量細(xì)化來自NBDV過程的視差向量且識別參考視圖中的兩個塊(Base和BaseTRef)。以其它方式，視差向量(例如，通過利用NBDV導(dǎo)出)被認(rèn)為是默認(rèn)向量且用于識別參考視圖中的兩個塊。參考視圖中的兩個塊用于產(chǎn)生殘余預(yù)測符。
[0172]在一些實例中，一或多個子HJ的大小可等于8 X 8像素。在一些實例中，一或多個子PU的大小可大于8 X 8像素，例如作為非限制性實例:8xl6、16x8或16 X 16像素。在一些實例中，一或多個子HJ的大小可取決于當(dāng)前PU或當(dāng)前CU的大小。在一些實例中，一或多個子PU的大小并不大于HJ。舉例來說，如果在給定實例設(shè)計中子PU大小為16 X 16而PU大小僅為8x16，那么在此情況下，當(dāng)子PU級ARP適用時，對于特定PU，代替于考慮最小處理大小為16 X 16，針對此PU的最小處理大小仍為8x16。
[0173]在其中必需子PU(子⑶)大小為(KxL)且PU大小為(M，N)的一個實例中，給定PU內(nèi)的實際處理大小為(min(K，M)x min(L，N))。
[0174]在一些實例中，可在視頻參數(shù)集(VPS)、序列參數(shù)集(SPS)、圖片參數(shù)集(PPS)或切片標(biāo)頭中信令子PU的大小。
[0175]盡管在一些實例中論述2NX 2N的分割區(qū)大小，其中N為自然數(shù)，但在其它實例中，可采用除2NX2N以外的分割區(qū)大小。在其它實例中，僅當(dāng)PU的寬度和高度均等于或大于八個像素時應(yīng)用ARP。
[0176]圖11為說明用于編碼視頻數(shù)據(jù)的實例過程(1170)的流程圖。在一些實例中，圖11的過程可由例如視頻編碼器20等編碼器執(zhí)行。在開始塊之后，編碼器將譯碼單元(CU)的預(yù)測單元(PU)拆分為包含第一子PU和第二子PU的兩個或兩個以上子PU，使得PU的子PU是PU的非重疊部分(1171)。當(dāng)稱PU被拆分成兩個或兩個以上子PU時，參考概念拆分，使得與對整個PU執(zhí)行所有動作相比，對每一單獨子HJ單獨地執(zhí)行后續(xù)動作。
[0177]編碼器隨后針對PU的每一子PU產(chǎn)生視差運動向量(DMV)或視差向量(DV) (1172)。用于產(chǎn)生DV或DMV的過程可與用于在常規(guī)運動補償中產(chǎn)生時間運動向量的過程類似(雖然不同)。然而，不同之處在于，代替于產(chǎn)生表明塊已在一個時間處的圖片與另一時間處的圖片之間移動到何處的向量，DMV或DV展示相同時間兩個不同視圖之間的塊的位置改變，相應(yīng)地展示不同視圖中的塊的位置的視差而非隨時間的運動。在框1172處使用的過程也不同于常規(guī)運動補償，因為所述塊為子PU塊。
[0178]編碼器隨后針對PU的每一子PU產(chǎn)生時間運動向量(TMV) (1174)。時