多層視頻譯碼中的交叉層圖片類型對準的指示的制作方法
【專利說明】
[0001]本申請案主張2013年4月17日申請的第61/813，120號美國臨時申請案的權(quán)益。
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及視頻譯碼和壓縮。
【背景技術(shù)】
[0003]可將數(shù)字視頻能力并入到多種多樣的裝置中，所述裝置包含數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣播系統(tǒng)、個人數(shù)字助理(PDA)、膝上型或桌上型計算機、平板計算機、電子圖書閱讀器、數(shù)碼相機、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線電電話(所謂的“智能電話”)、視頻電話會議裝置、視頻串流裝置及其類似者。數(shù)字視頻裝置實施視頻壓縮技術(shù)，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高級視頻譯碼(AVC)、ITU-T H.265所定義的標準、目前正在開發(fā)的高效率視頻譯碼(HEVC)標準及這些標準的擴展中所描述的視頻壓縮技術(shù)。視頻裝置可以通過實施此類視頻壓縮技術(shù)來更有效率地發(fā)射、接收、編碼、解碼和及/或存儲數(shù)字視頻信息。
[0004]視頻壓縮技術(shù)執(zhí)行空間(圖片內(nèi))預(yù)測及/或時間(圖片間)預(yù)測來減少或移除視頻序列中固有的冗余。對于基于塊的視頻譯碼，可以將視頻切片(即，視頻幀或視頻幀的一部分)分割成視頻塊，視頻塊也可被稱作樹塊、譯碼單元(CU)及/或譯碼節(jié)點。使用相對于同一圖片中的相鄰塊中的參考樣本的空間預(yù)測對圖片的經(jīng)幀內(nèi)編碼(I)切片中的視頻塊進行編碼。圖片的經(jīng)幀間譯碼(P或B)切片中的視頻塊可使用相對于同一圖片中的相鄰塊中的參考樣本的空間預(yù)測或相對于其它參考圖片中的參考樣本的時間預(yù)測。圖片可被稱作幀，且參考圖片可被稱為參考幀。
[0005]空間或時間預(yù)測導(dǎo)致用于待譯碼塊的預(yù)測性塊。殘余數(shù)據(jù)表示待譯碼原始塊與預(yù)測性塊之間的像素差。經(jīng)幀間譯碼塊是根據(jù)指向形成預(yù)測性塊的參考樣本塊的運動向量及指示經(jīng)譯碼塊與預(yù)測性塊之間的差的殘余數(shù)據(jù)而編碼。經(jīng)幀內(nèi)譯碼塊是根據(jù)幀內(nèi)譯碼模式及殘余數(shù)據(jù)來編碼。為了進一步壓縮，可將殘余數(shù)據(jù)從像素域變換到變換域，從而產(chǎn)生殘余變換系數(shù)，接著可以將殘余變換系數(shù)量化。可掃描最初布置成二維陣列的經(jīng)量化變換系數(shù)，以便產(chǎn)生變換系數(shù)的一維向量，且可應(yīng)用熵譯碼以實現(xiàn)甚至更多壓縮。

【發(fā)明內(nèi)容】

[0006]—般來說，本發(fā)明描述用于圖片類型的交叉層對準的指示的技術(shù)，其中當交叉層圖片類型不可在存取單元內(nèi)對準時所述指示易于由媒體發(fā)射和應(yīng)用系統(tǒng)中的不同實體可存取。
[0007]在一個實例中，本發(fā)明是針對一種方法，其包含:接收位流，其中所述位流包括至少語法元素、第一網(wǎng)絡(luò)抽象層單元類型以及經(jīng)譯碼存取單元，其中所述經(jīng)譯碼存取單元包括多個圖片；確定語法元素的值，其中所述語法元素包含所述存取單元是否是使用交叉層對準譯碼的指示；響應(yīng)于確定所述語法元素指示交叉層對準而確定所述存取單元中的圖片的第一網(wǎng)絡(luò)抽象層單元類型；確定所述第一網(wǎng)絡(luò)抽象層單元類型是否等于預(yù)定類型值范圍中的值；以及響應(yīng)于確定所述第一網(wǎng)絡(luò)抽象層單元類型等于所述預(yù)定類型值范圍中的值而將所述經(jīng)譯碼存取單元中的所有其它圖片的網(wǎng)絡(luò)抽象層單元類型設(shè)定為等于所述第一網(wǎng)絡(luò)抽象層單元類型的值。在一些實例中，可針對屬于存取單元的任何直接和/或間接的參考層圖片設(shè)定網(wǎng)絡(luò)抽象層單元類型。
[0008]在另一個實例中，本發(fā)明是針對一種包括視頻解碼器的視頻譯碼裝置，所述視頻解碼器經(jīng)配置以:接收位流，其中所述位流包括至少語法元素、第一網(wǎng)絡(luò)抽象層單元類型以及經(jīng)譯碼存取單元，其中所述經(jīng)譯碼存取單元包括多個圖片；確定語法元素的值，其中所述語法元素包含所述存取單元是否是使用交叉層對準譯碼的指示；響應(yīng)于確定所述語法元素指示交叉層對準而確定所述存取單元中的圖片的所述第一網(wǎng)絡(luò)抽象層單元類型；確定所述第一網(wǎng)絡(luò)抽象層單元類型是否等于預(yù)定類型值范圍中的值；以及響應(yīng)于確定所述第一網(wǎng)絡(luò)抽象層單元類型等于所述預(yù)定類型值范圍中的值而將所述經(jīng)譯碼存取單元中的所有其它圖片的網(wǎng)絡(luò)抽象層單元類型設(shè)定為等于所述第一網(wǎng)絡(luò)抽象層單元類型的所述值。在一些實例中，可針對屬于存取單元的任何直接和/或間接的參考層圖片設(shè)定網(wǎng)絡(luò)抽象層單元類型。
[0009]在另一個實例中，本發(fā)明是針對一種用于對視頻進行譯碼的設(shè)備，其包括:用于接收位流的裝置，其中所述位流包括至少語法元素、第一網(wǎng)絡(luò)抽象層單元類型以及經(jīng)譯碼存取單元，其中所述經(jīng)譯碼存取單元包括多個圖片；用于確定語法元素的值的裝置，其中所述語法元素包含所述存取單元是否是使用交叉層對準譯碼的指示；用于響應(yīng)于確定所述語法元素指示交叉層對準而確定所述存取單元中的圖片的所述第一網(wǎng)絡(luò)抽象層單元類型的裝置；用于確定所述第一網(wǎng)絡(luò)抽象層單元類型是否等于預(yù)定類型值范圍中的值的裝置；以及用于響應(yīng)于確定所述第一網(wǎng)絡(luò)抽象層單元類型等于所述預(yù)定類型值范圍中的值而將所述經(jīng)譯碼存取單元中的所有其它圖片的網(wǎng)絡(luò)抽象層單元類型設(shè)定為等于所述第一網(wǎng)絡(luò)抽象層單元類型的所述值的裝置。在一些實例中，可針對屬于存取單元的任何直接和/或間接的參考層圖片設(shè)定網(wǎng)絡(luò)抽象層單元類型。
[0010]在另一個實例中，本發(fā)明是針對一種其上存儲有指令的計算機可讀存儲媒體，所述指令當執(zhí)行時致使用于對視頻數(shù)據(jù)進行譯碼的裝置的一或多個處理器:接收位流，其中所述位流包括至少語法元素、第一網(wǎng)絡(luò)抽象層單元類型以及經(jīng)譯碼存取單元，其中所述經(jīng)譯碼存取單元包括多個圖片；確定語法元素的值，其中所述語法元素包含所述存取單元是否是使用交叉層對準譯碼的指示；響應(yīng)于確定所述語法元素指示交叉層對準而確定所述存取單元中的圖片的第一網(wǎng)絡(luò)抽象層單元類型；確定所述第一網(wǎng)絡(luò)抽象層單元類型是否等于預(yù)定類型值范圍中的值；以及響應(yīng)于確定所述第一網(wǎng)絡(luò)抽象層單元類型等于所述預(yù)定類型值范圍中的值而將所述經(jīng)譯碼存取單元中的所有其它圖片的網(wǎng)絡(luò)抽象層單元類型設(shè)定為等于所述第一網(wǎng)絡(luò)抽象層單元類型的所述值。
[0011]在另一個實例中，本發(fā)明是針對一種方法，其包含:對存取單元進行編碼，其中所述存取單元包括多個圖片；產(chǎn)生語法元素以指示所述存取單元的交叉層對準；產(chǎn)生所述存取單元中的圖片的第一網(wǎng)絡(luò)抽象層單元類型；以及輸出位流，其中所述位流包括至少所述經(jīng)譯碼存取單元、所述語法元素以及所述第一網(wǎng)絡(luò)抽象層單元類型。
[0012]在另一個實例中，本發(fā)明是針對一種包括視頻編碼器的視頻譯碼裝置，所述視頻編碼器經(jīng)配置以:對存取單元進行編碼，其中所述存取單元包括多個圖片；產(chǎn)生語法元素以指示所述存取單元的交叉層對準；產(chǎn)生所述存取單元中的圖片的第一網(wǎng)絡(luò)抽象層單元類型；以及輸出位流，其中所述位流包括至少所述經(jīng)譯碼存取單元、所述語法元素以及所述第一網(wǎng)絡(luò)抽象層單元類型。
[0013]在另一個實例中，本發(fā)明是針對一種用于對視頻進行譯碼的設(shè)備，其包括:用于對存取單元進行編碼的裝置，其中所述存取單元包括多個圖片；用于產(chǎn)生語法元素以指示所述存取單元的交叉層對準的裝置；用于產(chǎn)生所述存取單元中的圖片的第一網(wǎng)絡(luò)抽象層單元類型的裝置；以及用于輸出位流的裝置，其中所述位流包括至少所述經(jīng)譯碼存取單元、所述語法元素以及所述第一網(wǎng)絡(luò)抽象層單元類型。
[0014]在另一個實例中，本發(fā)明是針對一種其上存儲有指令的計算機可讀存儲媒體，所述指令當執(zhí)行時致使用于對視頻數(shù)據(jù)進行譯碼的裝置的一或多個處理器:對存取單元進行編碼，其中所述存取單元包括多個圖片；產(chǎn)生語法元素以指示所述存取單元的交叉層對準；產(chǎn)生所述存取單元中的圖片的第一網(wǎng)絡(luò)抽象層單元類型；以及輸出位流，其中所述位流包括至少所述經(jīng)譯碼存取單元、所述語法元素以及所述第一網(wǎng)絡(luò)抽象層單元類型。
[0015]在附圖和下文描述中陳述本發(fā)明的一或多個實例的細節(jié)。本發(fā)明的其它特征、目標和優(yōu)點將從所述描述和圖式以及權(quán)利要求書而顯而易見。
【附圖說明】
[0016]圖1是說明可利用本發(fā)明中描述的技術(shù)的實例視頻編碼和解碼系統(tǒng)的框圖。
[0017]圖2是說明可實施本發(fā)明中描述的技術(shù)的視頻編碼器的實例的框圖。
[0018]圖3是說明可實施本發(fā)明中描述的技術(shù)的實例視頻解碼器的框圖。
[0019]圖4是說明其中可實施本發(fā)明的一或多個方面的一個實例網(wǎng)絡(luò)的框圖。
[0020]圖5是說明根據(jù)本發(fā)明中描述的一或多個技術(shù)的實例解碼技術(shù)的流程圖。
[0021]圖6是說明根據(jù)本發(fā)明中描述的一或多個技術(shù)的實例編碼技術(shù)的流程圖。
【具體實施方式】
[0022]本發(fā)明描述用以指示用于多層視頻譯碼的交叉層圖片類型的對準的方法。更具體來說，揭示用于IRAP圖片類型、前導(dǎo)圖片類型、尾隨圖片類型、TSA圖片類型和STSA圖片類型的交叉層對準的指示的方法。還描述使用所述方法的各種裝置、系統(tǒng)、計算機可讀媒體。
[0023]視頻譯碼標準包含ITU-T H.261、IS0/IEC MPEG-1 視覺、ITU-T H.262 或 ISO/IEC MPEG-2 視覺、ITU-T H.263、IS0/IEC MPEG-4 視覺、ITU-T H.264 (也被稱為 IS0/IECMPEG-4AVC)，包含其可縮放視頻譯碼(SVC)和多視圖視頻譯碼(MVC)擴展，以及ITU-TH.265。
[0024]SVC和MVC并不需要跨越層的經(jīng)界定圖片類型的交叉層對準，且HEVC中界定的一批圖片類型未在AVC/SVC/MVC中界定。當前，在SHVC WDl和MV-HEVC WD3中，CRA圖片不需要進行交叉層對準。不需要交叉層圖片類型對準可對一些使用情況情形有益。舉例來說，不需要CRA圖片對準在以下情形中將有益:在較低層需要比較高層更高的效率的頻繁隨機存取的情形，或在較高層需要比較低層更高的效率的頻繁隨機存取的情形。在這些情況下，圖片類型的交叉層對準可能不允許跨越層的圖片的高效使用，其可導(dǎo)致譯碼效率的損失或增加隨機存取延遲。
[0025]SHVC WDl和MV-HEVC WD3當前需要BLA圖片的交叉層對準，且它們并不需要IDR圖片、RASL圖片、RADL圖片、TSA圖片和STSA圖片的交叉層對準。有可能SHVC和MV-HEVC的未來版本可出于與CRA圖片相同的原因而允許未交叉層對準的IDR圖片。
[0026]在一些實例中，本文檔可假定(經(jīng)譯碼)圖片、存取單元(AU)、IRAP AU、經(jīng)譯碼視頻序列(CVS)和位流的一些概念，但所述方法在這些假設(shè)中的一些改變的情況下也適用。貫穿本發(fā)明，(經(jīng)譯碼)圖片可類似于當前(經(jīng)譯碼)圖片定義，其中經(jīng)譯碼圖片等效于SVC中的層表示、MVC中的視圖分量以及MVC+D中的紋理或深度視圖分量。存取單元可類似于SVC和MVC中的存取單元，其由與同一輸出時間相關(guān)聯(lián)的所有經(jīng)譯碼圖片及其相關(guān)聯(lián)非VCLNAL單元組成。IRAP存取單元可為其中所有經(jīng)譯碼圖片是IRAP圖片的存取單元。CVS可為按解碼次序由以下各項組成的存取單元的序列:具有等于I的NoRaslOutputFlag的IRAP存取單元，接著是并非具有等于I的NoRaslOutputFlag的IRAP存取單元的零個或零個以上存取單元，包含多達但不包含作為具有等于I的NoRaslOutputFlag的IRAP存取單元的任何后續(xù)存取單元的所有后續(xù)存取單元。位流可為形成一或多個CVS的表示的呈NAL單元流或字節(jié)流的形式的位序列，且所述位流中的第一存取單元可為IRAP存取單元。
[0027]然而，盡管針對允許例如CRA圖片和IDR圖片等未交叉層對準圖片類型的上文所提及的優(yōu)點，如果位流是以經(jīng)交叉層對準的一或多個或所有圖片類型編碼，那么其也可有益于系統(tǒng)實體知道且利用此信息，所述系統(tǒng)實體例如服務(wù)器和媒體感知網(wǎng)絡(luò)元件(MANE)，也被稱作智能媒體網(wǎng)關(guān)。
[0028]舉例來說，如果MANE被告知CRA或IDR圖片經(jīng)交叉層對準，那么其并不需要等待接收存取單元的所有圖片且剖析所述圖片，且隨后確定當前存取單元提供對所有層的全隨機可存取性因此可用于對任何層集合的簡單隨機存取、與任何層集合的拼接以及向任何層的切換。
[0029]因此，所希望的是提供用于圖片類型的交叉層對準的指示的機制，其中所述指示易于由媒體發(fā)射和應(yīng)用系統(tǒng)中的不同實體可存取。并且，可能希望以并不需要與視頻解壓縮相關(guān)聯(lián)的熵解碼或其它剖析的方式設(shè)計此些機制，因為網(wǎng)絡(luò)元件(例如MANE)不可執(zhí)行與視頻解壓縮相關(guān)聯(lián)的熵解碼或其它剖析。
[0030]—般來說，用于特定圖片類型或特定圖片類型集合的交叉層對準的指示的語法元素(例如，被命名為vps_cross_layer_irap_align_flag的旗標)是在VPS中(例如，VPS擴展中，例如VPS)用信號表示，且所述語法元素可以某些語義設(shè)計且解譯。在一些實例中，當語法元素用信號表示為等于O時，可應(yīng)用或可不應(yīng)用例如下文列出的那些位流限制。換句話說，在一些實例中，如果所述語法元素等于0，那么在參考所述VPS的CVS內(nèi)，每一 AU中的所有VCL NAL單元可具有或可不具有相同的nal_unit_type的值。在其它實例中，如果所述語法元素等于0，那么在參考VPS的CVS內(nèi)，特定范圍的VCL NAL單元中的所有VCL NAL單元可具有或可不具有相同的nal_unit_type的值。
[0031 ] 在一些實例中，當所述語法元素等于I時，在參考所述VPS的CVS內(nèi)，當AU中的一個VCL NAL單元的nal_unit_type等于NAL單元類型的特定類型(或作為NAL單元類