子pu級先進(jìn)殘余預(yù)測的制作方法
【專利說明】子PU級先進(jìn)殘余預(yù)測
[0001 ]本申請案主張2013年8月20日申請的第61/868,027號美國臨時(shí)申請案的權(quán)益，其全部內(nèi)容特此以引用的方式并入本文中。
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及視頻譯碼。
【背景技術(shù)】
[0003]數(shù)字視頻能力可以并入到多種多樣的裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣播系統(tǒng)、個(gè)人數(shù)字助理(PDA)、膝上型或桌上型計(jì)算機(jī)、平板計(jì)算機(jī)、電子圖書閱讀器、數(shù)碼相機(jī)、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線電電話(所謂的“智能電話”)、視頻電話會議裝置、視頻串流裝置及其類似者。數(shù)字視頻裝置實(shí)施視頻譯碼技術(shù)，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分先進(jìn)視頻譯碼(AVC)定義的標(biāo)準(zhǔn)、目前正在開發(fā)的高效率視頻譯碼(HEVC)標(biāo)準(zhǔn)及此類標(biāo)準(zhǔn)的擴(kuò)展中所描述的視頻譯碼技術(shù)。視頻裝置可通過實(shí)施此些視頻譯碼技術(shù)而更有效地發(fā)射、接收、編碼、解碼和/或存儲數(shù)字視頻信息。
[0004]視頻譯碼技術(shù)包含空間(圖片內(nèi))預(yù)測和/或時(shí)間(圖片間)預(yù)測以減少或去除視頻序列中固有的冗余。對于基于塊的視頻譯碼來說，視頻切片(即，視頻幀或視頻幀的一部分)可分割成視頻塊，視頻塊也可被稱作樹塊、譯碼單元(CU)和/或譯碼節(jié)點(diǎn)。使用關(guān)于同一圖片中的相鄰塊中的參考樣本的空間預(yù)測編碼圖片的經(jīng)幀內(nèi)譯碼(I)切片中的視頻塊。圖片的經(jīng)幀間譯碼(P或B)切片中的視頻塊可使用相對于同一圖片中的相鄰塊中的參考樣本的空間預(yù)測或相對于其它參考圖片中的參考樣本的時(shí)間預(yù)測。圖片可被稱作幀，且參考圖片可被稱作參考幀。
[0005]空間或時(shí)間預(yù)測導(dǎo)致待譯碼塊的預(yù)測性塊。殘余數(shù)據(jù)表示待譯碼原始塊與預(yù)測性塊之間的像素差。經(jīng)幀間譯碼塊是根據(jù)指向形成預(yù)測性塊的參考樣本塊的運(yùn)動(dòng)向量和指示經(jīng)譯碼塊與預(yù)測性塊之間的差的殘余數(shù)據(jù)編碼的。根據(jù)幀內(nèi)譯碼模式和殘余數(shù)據(jù)來編碼經(jīng)幀內(nèi)譯碼塊。為了進(jìn)一步壓縮，可將殘余數(shù)據(jù)從像素域變換到變換域，從而產(chǎn)生殘余變換系數(shù)，可接著量化所述殘余變換系數(shù)?？蓲呙璩跏及炊S陣列布置的經(jīng)量化變換系數(shù)，以便產(chǎn)生變換系數(shù)的一維向量，且可應(yīng)用熵譯碼以實(shí)現(xiàn)更多壓縮。

【發(fā)明內(nèi)容】

[0006]—般來說，本發(fā)明描述視頻譯碼技術(shù)。特定來說，在一些實(shí)例中，所述技術(shù)是關(guān)于三維(3D)視頻內(nèi)容的譯碼，所述三維(3D)視頻內(nèi)容可包含紋理視圖和/或深度視圖。
[0007]在一個(gè)實(shí)例中，一種解碼視頻數(shù)據(jù)的方法包括:將譯碼單元(CU)的預(yù)測單元(PU)拆分為包含第一子PU和第二子HJ的兩個(gè)或兩個(gè)以上子PU，使得所述PU的所述子PU是所述PU的非重疊部分;確定用于第一子PU的第一類型的第一運(yùn)動(dòng)向量和用于第二子PU的所述第一類型的第二運(yùn)動(dòng)向量;確定用于第一子PU的第二類型的第三運(yùn)動(dòng)向量和用于第二子PU的所述第二類型的第四運(yùn)動(dòng)向量，使得所述第二類型不同于所述第一類型;使用第一運(yùn)動(dòng)向量和第三運(yùn)動(dòng)向量根據(jù)先進(jìn)殘余預(yù)測(ARP)解碼對應(yīng)于第一子PU的CU的第一部分；以及使用第二運(yùn)動(dòng)向量和第四運(yùn)動(dòng)向量根據(jù)ARP解碼對應(yīng)于第二子PU的CU的第二部分。
[0008]在一個(gè)實(shí)例中，一種編碼視頻數(shù)據(jù)的方法包括:將譯碼單元(CU)的預(yù)測單元(PU)拆分為包含第一子PU和第二子HJ的兩個(gè)或兩個(gè)以上子PU，使得所述PU的所述子PU是所述PU的非重疊部分;獲得用于第一子PU的第一類型的第一運(yùn)動(dòng)向量和用于第二子PU的所述第一類型的第二運(yùn)動(dòng)向量;獲得用于第一子PU的第二類型的第三運(yùn)動(dòng)向量和用于第二子PU的所述第二類型的第四運(yùn)動(dòng)向量，使得所述第二類型不同于所述第一類型;使用第一運(yùn)動(dòng)向量和第三運(yùn)動(dòng)向量根據(jù)先進(jìn)殘余預(yù)測(ARP)編碼對應(yīng)于第一子PU的CU的第一部分；以及使用第二運(yùn)動(dòng)向量和第四運(yùn)動(dòng)向量根據(jù)ARP編碼對應(yīng)于第二子PU的CU的第二部分。
[0009]在一個(gè)實(shí)例中，一種用于對視頻數(shù)據(jù)譯碼的裝置包括經(jīng)配置以存儲視頻數(shù)據(jù)的存儲器，和一或多個(gè)處理器。所述一或多個(gè)處理器耦合到存儲器且經(jīng)配置以:將譯碼單元(CU)的預(yù)測單元(PU)拆分為包含第一子PU和第二子PU的兩個(gè)或兩個(gè)以上子PU，使得所述PU的所述子PU是所述HJ的非重疊部分;獲得用于第一子PU的第一類型的第一運(yùn)動(dòng)向量和用于第二子PU的所述第一類型的第二運(yùn)動(dòng)向量;獲得用于第一子HJ的第二類型的第三運(yùn)動(dòng)向量和用于第二子PU的所述第二類型的第四運(yùn)動(dòng)向量，使得所述第二類型不同于所述第一類型;使用第一運(yùn)動(dòng)向量和第三運(yùn)動(dòng)向量根據(jù)先進(jìn)殘余預(yù)測(ARP)對對應(yīng)于第一子PU的CU的第一部分譯碼；以及使用第二運(yùn)動(dòng)向量和第四運(yùn)動(dòng)向量根據(jù)ARP對對應(yīng)于第二子PU的CU的第二部分譯碼。
[0010]在一個(gè)實(shí)例中，一種非暫時(shí)性計(jì)算機(jī)可讀存儲媒體具有存儲于其上的指令。所述指令在執(zhí)行時(shí)致使至少一個(gè)處理器:將譯碼單元(CU)的預(yù)測單元(PU)拆分為包含第一子PU和第二子PU的兩個(gè)或兩個(gè)以上子PU，使得所述PU的所述子PU是所述PU的非重疊部分;獲得用于第一子PU的第一類型的第一運(yùn)動(dòng)向量和用于第二子PU的所述第一類型的第二運(yùn)動(dòng)向量;獲得用于第一子PU的第二類型的第三運(yùn)動(dòng)向量和用于第二子HJ的所述第二類型的第四運(yùn)動(dòng)向量，使得所述第二類型不同于所述第一類型；使用第一運(yùn)動(dòng)向量和第三運(yùn)動(dòng)向量根據(jù)先進(jìn)殘余預(yù)測(ARP)對對應(yīng)于第一子PU的CU的第一部分譯碼；以及使用第二運(yùn)動(dòng)向量和第四運(yùn)動(dòng)向量根據(jù)ARP對對應(yīng)于第二子PU的⑶的第二部分譯碼。
[0011]附圖及以下描述中陳述一或多個(gè)實(shí)例的細(xì)節(jié)。其它特征、目標(biāo)和優(yōu)點(diǎn)將從所述描述和圖式以及權(quán)利要求書而顯而易見。
【附圖說明】
[0012]圖1為說明可在視頻譯碼中利用用于深度定向的視圖間運(yùn)動(dòng)向量預(yù)測的技術(shù)的實(shí)例視頻編碼和解碼系統(tǒng)的框圖。
[0013]圖2為說明可在視頻譯碼中利用用于深度定向的視圖間運(yùn)動(dòng)向量預(yù)測的技術(shù)的視頻編碼器的實(shí)例的框圖。
[0014]圖3為說明可在視頻譯碼中利用用于深度定向的視圖間運(yùn)動(dòng)向量預(yù)測的技術(shù)的視頻解碼器的實(shí)例的框圖。
[0015]圖4為說明用于對視頻數(shù)據(jù)譯碼的實(shí)例過程的流程圖。
[0016]圖5為說明實(shí)例子PUMVC預(yù)測模式的概念圖。
[0017]圖6為說明相對于子PUARP的譯碼單元(⑶)的實(shí)例空間相鄰者的概念圖。
[0018]圖7為說明子PUARP的實(shí)例預(yù)測結(jié)構(gòu)的概念圖。
[0019]圖8為說明當(dāng)前塊、參考塊與運(yùn)動(dòng)補(bǔ)償塊之間的關(guān)系的概念圖。
[0020]圖9為說明用于視圖間殘余的ARP的概念圖。
[0021]圖10為說明用于視圖間殘余的基于實(shí)例子PU的ARP的概念圖。
[0022]圖11為說明可用作圖4的過程的實(shí)例的用于編碼視頻數(shù)據(jù)的實(shí)例過程的流程圖。
[0023]圖12為說明可用作圖4的過程的實(shí)例的用于解碼視頻數(shù)據(jù)的實(shí)例過程的流程圖。
【具體實(shí)施方式】
[0024]本發(fā)明描述用于對可包含紋理視圖和深度視圖的視頻內(nèi)容譯碼(例如，編碼或解碼)的各種技術(shù)。所述技術(shù)在一些方面中可由視頻編碼器執(zhí)行。在其它方面中，所述技術(shù)可由視頻解碼器執(zhí)行。另外，此類方法可在例如轉(zhuǎn)碼器、媒體感知網(wǎng)絡(luò)元件(MANE)或類似者等其它裝置中執(zhí)行。在本發(fā)明中，出于說明的目的相對于視頻編碼器和解碼器描述所述技術(shù)。
[0025]視頻譯碼標(biāo)準(zhǔn)包含ITU-TH.26UIS0/IEC MPEG-1 視覺、ITU-T H.262或IS0/IECMPEG-2 視覺、ITU-T H.263、IS0/IEC 10^6-4視覺和11'1]-了 H.264(也被稱為 IS0/IEC MPEG-4AVC)，包含其可縮放視頻譯碼(SVC)和多視圖視頻譯碼(MVC)擴(kuò)展。
[0026]此外，存在一種視頻譯碼標(biāo)準(zhǔn)，即高效視頻譯碼(HEVC)，其由ITU-T視頻譯碼專家組(VCEG)及ISO/1EC動(dòng)畫專家組(MPEG)的視頻譯碼聯(lián)合合作小組(JCT-VC)開發(fā)。HEVC的一個(gè)最近工作草案(WD)(下文中被稱作HEVC WD8)可從http: //phenix.1nt-evry.fr/jet/doc_end_user/documents/1 l_Shanghai/wgl l/JCTVC-K1003-vl0.zip獲得。HEVC的另一更新近草案在本文中被稱作“冊￥(:文本規(guī)范草案10”。
[0027]多視圖視頻譯碼(MVC)為H.264/先進(jìn)視頻譯碼(AVC)的擴(kuò)展。在本發(fā)明的以下章節(jié)及子段中簡要地論述MVC規(guī)范。
[0028]圖1為說明可經(jīng)配置以實(shí)施或以其它方式利用用于子預(yù)測單元(PU)級先進(jìn)殘余預(yù)測的技術(shù)的實(shí)例視頻編碼和解碼系統(tǒng)10的框圖。如圖1中所展示，系統(tǒng)10包含源裝置12，其提供稍后時(shí)間將由目的地裝置14解碼的經(jīng)編碼視頻數(shù)據(jù)。確切地說，源裝置12經(jīng)由計(jì)算機(jī)可讀媒體16將視頻數(shù)據(jù)提供到目的地裝置14。源裝置12及目的地裝置14可包括多種多樣的裝置中的任一者，包含臺式計(jì)算機(jī)、筆記本(即，膝上型)計(jì)算機(jī)、平板計(jì)算機(jī)、機(jī)頂盒、電話手持機(jī)(例如所謂的“智能”電話)、所謂的“智能”平板計(jì)算機(jī)、電視機(jī)、相機(jī)、顯示裝置、數(shù)字媒體播放器、視頻游戲控制臺、視頻串流裝置或類似者。在一些情況下，可裝備源裝置12和目的地裝置14以用于無線通信。
[0029]目的地裝置14可經(jīng)由計(jì)算機(jī)可讀媒體16接收待解碼的經(jīng)編碼視頻數(shù)據(jù)。計(jì)算機(jī)可讀媒體16可包括能夠?qū)⒔?jīng)編碼的視頻數(shù)據(jù)從源裝置12移動(dòng)到目的地裝置14的任一類型的媒體或裝置。在一個(gè)實(shí)例中，計(jì)算機(jī)可讀媒體16可包括通信媒體以使源裝置12能夠?qū)崟r(shí)地將經(jīng)編碼的視頻數(shù)據(jù)直接發(fā)射到目的地裝置14。可根據(jù)通信標(biāo)準(zhǔn)(例如，無線通信協(xié)議)調(diào)制經(jīng)編碼的視頻數(shù)據(jù)，并將其發(fā)射到目的地裝置14。通信媒體可包括任何無線或有線通信媒體，例如射頻(RF)頻譜或一或多個(gè)物理發(fā)射線。通信媒體可形成分組網(wǎng)絡(luò)(例如，局域網(wǎng)。廣域網(wǎng)或全球網(wǎng)絡(luò)，例如因特網(wǎng))的部分。通信媒體可包含路由器、交換器、基站或任何其它可用于促進(jìn)從源裝置12到目的地裝置14的通信的設(shè)備。
[0030]在一些實(shí)例中，經(jīng)編碼數(shù)據(jù)可從輸出接口22輸出到存儲裝置(例如存儲裝置31)。類似地，可由輸入接口 28從存儲裝置31存取經(jīng)編碼數(shù)據(jù)。存儲裝置31可包含多種分布式或本地存取的數(shù)據(jù)存儲媒體中的任一者，例如硬盤驅(qū)動(dòng)器、藍(lán)光光盤、DVD、CD-ROM、快閃存儲器、易失性或非易失性存儲器或用于存儲經(jīng)編碼視頻數(shù)據(jù)的任何其它合適的數(shù)字存儲媒體。在另一實(shí)例中，存儲裝置31可對應(yīng)于文件服務(wù)器或另一可存儲源裝置12產(chǎn)生的經(jīng)編碼視頻的中間存儲裝置。目的地裝置14可經(jīng)由串流或下載從存儲裝置存取經(jīng)存儲的視頻數(shù)據(jù)。文件服務(wù)器可為能夠存儲經(jīng)編碼視頻數(shù)據(jù)并將經(jīng)編碼視頻數(shù)據(jù)發(fā)射到目的地裝置14的任何類型的服務(wù)器。實(shí)例文件服務(wù)器包含網(wǎng)絡(luò)服務(wù)器(例如，用于網(wǎng)站)、FTP服務(wù)器、網(wǎng)絡(luò)附接存儲(NAS)裝置或本地磁盤驅(qū)動(dòng)器。目的地裝置14可經(jīng)由任何標(biāo)準(zhǔn)數(shù)據(jù)連接(包含因特網(wǎng)連接)來存取經(jīng)編碼視頻數(shù)據(jù)。此可包含無線信道(例如，W1-Fi連接)、有線連接(例如，DSL、電纜調(diào)制解調(diào)器等)，或適合于存取存儲在文件服務(wù)器上的經(jīng)編碼視頻數(shù)據(jù)的兩者的組合。經(jīng)編碼視頻數(shù)據(jù)從存儲裝置的發(fā)射可能是串流發(fā)射、下載發(fā)射或其組合。
[0031]本發(fā)明的技術(shù)未必限于無線應(yīng)用或設(shè)定。所述技術(shù)可以應(yīng)用于視頻譯碼以支持多種多媒體應(yīng)用中的任一者，例如空中協(xié)議電視廣播、有線電視發(fā)射、衛(wèi)星電視發(fā)射、因特網(wǎng)串流視頻發(fā)射(例如，經(jīng)由HTTP的動(dòng)態(tài)自適應(yīng)串流(DASH))、經(jīng)編碼到數(shù)據(jù)存儲媒體上的數(shù)字視頻、存儲在數(shù)據(jù)存儲媒體上的數(shù)字視頻的解碼或其它應(yīng)用。在一些實(shí)例中，系統(tǒng)10可經(jīng)配置以支持單向或雙向視頻發(fā)射，以支持例如視頻流串流、視頻重放、視頻廣播和/或視頻電話等應(yīng)用。
[0032]在圖1的實(shí)例中，源裝置12包含視頻源18、視頻編碼器20和輸出接口 22。目的地裝置14包含輸入接口 28、視頻解碼器30和顯示裝置32。根據(jù)本發(fā)明，源裝置12的視頻編碼器20可經(jīng)配置以執(zhí)行本文中所描述的用于子PU級先進(jìn)殘余預(yù)測的技術(shù)。舉例來說，視頻編碼器20可經(jīng)配置以編碼經(jīng)編碼視頻位流中的信令信息以準(zhǔn)許視頻解碼器(例如解碼器30)使用本文中所描述的用于子PU級先進(jìn)殘余預(yù)測的技術(shù)解碼經(jīng)編碼視頻位流。視頻解碼器30可經(jīng)配置以執(zhí)行本文中所描述的用于子PU級先進(jìn)殘余預(yù)測的技術(shù)。在其它實(shí)例中，源裝置和目的地裝置可包含其它組件或布置。舉例來說，源裝置12可從外部視頻源18(例如外部相機(jī))接收視頻數(shù)據(jù)。同樣，目的地裝置14可與外部顯示裝置介接，而非包含集成式顯示裝置。
[0033]以此方式，視頻編碼器20及視頻解碼器30中的一或兩者可為經(jīng)配置以執(zhí)行對視頻數(shù)據(jù)譯碼的方法的視頻譯碼器的實(shí)例，例如下文更詳細(xì)地論述的圖4的方法的實(shí)例。
[0034]圖1的所說明系統(tǒng)10僅為一個(gè)實(shí)例。本文中所描述的用于子PU級先進(jìn)殘余預(yù)測的技術(shù)可由任何合適的數(shù)字視頻編碼和/或解碼裝置執(zhí)行。盡管本發(fā)明的技術(shù)一般通過視頻編碼裝置來執(zhí)行，但是所述技術(shù)還可通過視頻編碼器/解碼器(通常被稱作“CODEC”)來執(zhí)行。此外，本發(fā)明的技術(shù)還可由視頻預(yù)處理器執(zhí)行。源裝置12及目的地裝置14僅為源裝置12產(chǎn)生經(jīng)譯碼視頻數(shù)據(jù)用于發(fā)射到目的地裝置14的此類譯碼裝置的實(shí)例。在一些實(shí)例中，裝置12、14可以實(shí)質(zhì)上對稱的方式操作，使得裝置12、14中的每一者包含視頻編碼及解碼組件。因此，系統(tǒng)10可支持視頻裝置12、14之間的單向或雙向視頻發(fā)射以例如用于視頻串流、視頻重放、視頻廣播或視頻電話。
[0035]源裝置12的視頻源18可以包含視頻俘獲裝置，例如攝像機(jī)、含有先前所俘獲視頻的視頻存檔和/或用于從視頻內(nèi)容提供者接收視頻的視頻饋送接口。作為另一替代方案，視頻源18可產(chǎn)生基于計(jì)算機(jī)圖形的數(shù)據(jù)作為源視頻，或?qū)崨r視頻、存檔視頻與計(jì)算機(jī)產(chǎn)生的視頻的組合。在一些情況下，如果視頻源18為攝像機(jī)，那么源裝置12和目的地裝置14可形成所謂的相機(jī)電話或視頻電話。然而，如上文所提及，本發(fā)明中所描述的技術(shù)可大體上適用于視頻譯碼，且可應(yīng)用于無線和/或有線應(yīng)用。在每一情況下，俘獲、預(yù)先俘獲或計(jì)算機(jī)產(chǎn)生的視頻可由視頻編碼器20編碼。經(jīng)編碼視頻信息可接著由輸出接口 22輸出到計(jì)算機(jī)可讀媒體16上。
[0036]計(jì)算機(jī)可讀媒體16可包含瞬時(shí)媒體，例如無線廣播或有線網(wǎng)絡(luò)發(fā)射，或存儲媒體(也就是說，非暫時(shí)性存儲媒體)，例如硬盤、快閃驅(qū)動(dòng)器、壓縮光盤、數(shù)字視頻光盤、藍(lán)光光盤或其它計(jì)算機(jī)可讀媒體。在一些實(shí)例中，網(wǎng)絡(luò)服務(wù)器(未圖示)可從源裝置12接收經(jīng)編碼視頻數(shù)據(jù)，并且例如經(jīng)由網(wǎng)絡(luò)發(fā)射將經(jīng)編碼視頻數(shù)據(jù)提供到目的地裝置14。類似地，媒體生產(chǎn)設(shè)施(例如，光盤沖壓設(shè)施)的計(jì)算裝置可從源裝置12接收經(jīng)編碼的視頻數(shù)據(jù)且生產(chǎn)含有經(jīng)編碼的視頻數(shù)據(jù)的光盤。因此，在各種實(shí)例中，計(jì)算機(jī)可讀媒體16可以理解為包含各種形式的一或多個(gè)計(jì)算機(jī)可讀媒體。
[0037]目的地裝置14的輸入接口28從計(jì)算機(jī)可讀媒體16接收信息。計(jì)算機(jī)可讀媒體16的信息可包含由視頻編碼器20定義的語法信息，所述語法信息也被視頻解碼器30使用，所述語法信息包含描述塊和其它經(jīng)譯碼單元(例如，G0P)的特性和/或處理的語法元素。顯示裝置32將經(jīng)解碼視頻數(shù)據(jù)顯示給用戶，且可包括多種顯示裝置中的任一者，例如陰極射線管(CRT)、液晶顯示器(IXD)、等離子顯示器、有機(jī)發(fā)光二極管(OLED)顯示器或另一類型的顯示
目.ο
[0038]視頻編碼器20及視頻解碼器30可根據(jù)例如HEVC標(biāo)準(zhǔn)等視頻譯碼標(biāo)準(zhǔn)操作，且可大體符合HEVC測試模型(HM)?；蛘?，視頻編碼器20和視頻解碼器30可根據(jù)其它專屬或業(yè)界標(biāo)準(zhǔn)來操作，所述標(biāo)準(zhǔn)例如是ITU-T H.264標(biāo)準(zhǔn)，也被稱為MPEG-4第10部分先進(jìn)視頻譯碼(AVC)，或此類標(biāo)準(zhǔn)的擴(kuò)展。但是，本發(fā)明的技