圖像塊的編碼和解碼方法、對(duì)應(yīng)的設(shè)備和數(shù)據(jù)流的制作方法
【技術(shù)領(lǐng)域】
[0001] 公開根據(jù)特殊的重構(gòu)的參考圖像對(duì)圖像塊進(jìn)行解碼的方法。還公開對(duì)應(yīng)的編碼方 法以及對(duì)應(yīng)的編碼和解碼設(shè)備。
【背景技術(shù)】
[0002] 在視頻流傳輸期間，可用的帶寬可能隨著時(shí)間而變化。因此，需要調(diào)整流傳輸應(yīng)用 的輸出比特率以實(shí)時(shí)地適應(yīng)可用帶寬，從而避免擁塞。使得能夠進(jìn)行實(shí)時(shí)比特率調(diào)整的一 種方式是使用實(shí)時(shí)編碼器，但是需要針對(duì)每個(gè)客戶端分配一個(gè)編碼系統(tǒng)，這在例如關(guān)于V0D 服務(wù)的許多客戶端的情況下可能是不可接受的。使得能夠進(jìn)行實(shí)時(shí)比特率調(diào)整的另一種方 式是使用可伸縮視頻編碼（scalablevideocoding)。在可伸縮編碼中，視頻源被編碼成若 干層。在傳送期間，為了調(diào)整輸出比特率，服務(wù)器選擇要發(fā)送的層（模式"推送"）或者解碼 器請(qǐng)求要發(fā)送的層（模式"拉取"）。該方法適合于異構(gòu)信道上的流傳輸，但是與單一層視 頻編碼相比，可伸縮視頻編碼降低總的壓縮效率并且增加編碼器和解碼器兩者的計(jì)算復(fù)雜 度。實(shí)現(xiàn)比特率調(diào)整的簡(jiǎn)單方法是對(duì)相同的視頻序列的多個(gè)版本進(jìn)行編碼。這些版本具有 不同的分辨率和/或質(zhì)量級(jí)別，并且因此具有不同的比特率。在流傳輸期間，當(dāng)需要調(diào)整輸 出比特率時(shí)，要傳送的流可以從一個(gè)版本動(dòng)態(tài)地切換到其他版本，以便適應(yīng)帶寬需求或用 戶的能力，如圖1所示。這種解決方案被稱作"流切換"。然而，在間編碼（inter-coded)圖 像（P或B圖像）處的流之間的直接切換可能造成重構(gòu)的參考圖像的失配并且導(dǎo)致錯(cuò)誤的 圖像重構(gòu)。重構(gòu)的視頻的質(zhì)量可能顯著降低。解決該問題的一種方法是使用比特流中的隨 機(jī)訪問點(diǎn)（RandomAccessPoints，RAP)(典型地，I圖像或IDR圖像或CRA圖像）。IDR是 "瞬時(shí)解碼器刷新（InstantaneousDecoderRefresh)"的英文首字母縮寫，CRA是"干凈隨 機(jī)訪問（CleanRandomAccess)"的英文首字母縮寫。因?yàn)榍袚Q只能夠在這些RAP處發(fā)生， 所以需要在比特流中頻繁地分配RAP，以便實(shí)現(xiàn)迅速的流切換。然而，對(duì)這樣的I/IDR圖像 進(jìn)行編碼引入大量的比特率開銷。另外，使用位于RAP之前的重構(gòu)的參考圖像的RAP之后 的圖像被跳過或者未被正確地編碼，因?yàn)樗鼈兪褂门c在編碼中所使用的那些不同的重構(gòu)的 參考圖像，如圖2所示。在圖2中，Ic從重構(gòu)的參考圖像II和12重構(gòu)，但是它根據(jù)重構(gòu)的 參考圖像il和i2被編碼。
[0003] 在AVC中，設(shè)計(jì)了特殊圖像類型（SI/SP)，其允許對(duì)來自另外的流的圖像的相同的 重構(gòu)，從而便于進(jìn)行流切換。于是，視頻圖像在切換點(diǎn)處被編碼成SP圖像，而不是內(nèi)編碼 (intra-coded)圖像，如圖3所不。SP圖像的編碼效率尚于內(nèi)編碼圖像的編碼效率，但是與 常規(guī)的P圖像相比，它們?nèi)匀皇遣惶咝У?。因此，如果分配許多切換點(diǎn)，則總的編碼效率 仍然降低。
[0004]在來自Zhou等人的標(biāo)題為"EfficientbitstreamswitchingofH. 264coded video"并且發(fā)表于SPIE會(huì)議錄第5909卷（2005年）的文獻(xiàn)中，公開了一種解決方案，使得 能夠在任何時(shí)間進(jìn)行切換，而沒有大量的比特率開銷。該解決方案僅提供用于IPPPG0P結(jié) 構(gòu)。除了不同比特率的相同視頻序列的多個(gè)版本之外，還對(duì)出現(xiàn)切換的當(dāng)前圖像的重構(gòu)的 參考圖像的DIFF圖像進(jìn)行編碼，如圖4所示。DIFF圖像是當(dāng)前圖像的重構(gòu)的參考圖像與其 他流中的在時(shí)間上對(duì)應(yīng)的圖像的差分。差分圖像被傳送給解碼器以補(bǔ)償失配。因?yàn)槿缭谖?獻(xiàn)的第5頁上所提及的那樣，DIFF圖像僅在切換發(fā)生時(shí)被傳送，所以由以上方案所引入的 比特率開銷很小。另一方面，該解決方案僅對(duì)從單個(gè)重構(gòu)的參考圖像預(yù)測(cè)出的P圖像起作 用。另外，該解決方案要求編碼次序和顯示次序相同。

【發(fā)明內(nèi)容】

[0005] 公開一種對(duì)圖像塊進(jìn)行解碼的方法。該解碼方法包括：
[0006] _將至少一個(gè)流S_diff解碼成解碼數(shù)據(jù)和用于標(biāo)識(shí)解碼器圖像緩沖器中的重構(gòu) 的參考圖像的一條信息；
[0007] _從至少所標(biāo)識(shí)的重構(gòu)的參考圖像并且從解碼數(shù)據(jù)重構(gòu)特殊參考圖像；
[0008] -在解碼器圖像緩沖器中，用特殊參考圖像替換一個(gè)重構(gòu)的參考圖像；以及
[0009] _從至少特殊參考圖像重構(gòu)圖像塊。
[0010] 根據(jù)具體特征，在解碼器圖像緩沖器中替換的一個(gè)重構(gòu)的參考圖像是所標(biāo)識(shí)的重 構(gòu)的參考圖像。
[0011] 有利地，解碼方法還包括：對(duì)表示在解碼器圖像緩沖器中用特殊參考圖像替換一 個(gè)重構(gòu)的參考圖像的時(shí)刻的信息進(jìn)行解碼。
[0012] 根據(jù)本發(fā)明的另一方面，解碼方法還包括：對(duì)指示是否顯示特殊參考圖像的標(biāo)記 進(jìn)行解碼。
[0013] 根據(jù)具體特征，所標(biāo)識(shí)的重構(gòu)的參考圖像從分層的流的基礎(chǔ)層解碼。
[0014] 有利地，解碼數(shù)據(jù)和標(biāo)識(shí)解碼器圖像緩沖器中的重構(gòu)的參考圖像的信息從分層的 流的增強(qiáng)層解碼。
[0015] 還公開一種對(duì)圖像塊進(jìn)行編碼的方法。該編碼方法包括：
[0016] -從至少一個(gè)重構(gòu)的參考圖像對(duì)圖像塊進(jìn)行編碼；以及
[0017] -從另外的重構(gòu)的參考圖像和用于標(biāo)識(shí)解碼器圖像緩沖器中的另外的重構(gòu)的參考 圖像的信息，將至少一個(gè)重構(gòu)的參考圖像編碼為特殊參考圖像，其中在被重構(gòu)時(shí)特殊參考 圖像替換解碼器圖像緩沖器中的一個(gè)重構(gòu)的參考圖像。
[0018] 根據(jù)具體特征，在解碼器圖像緩沖器中的所替換的一個(gè)重構(gòu)的參考圖像是所標(biāo)識(shí) 的另外的重構(gòu)的參考圖像。
[0019] 有利地，該編碼方法還包括：對(duì)表示在解碼器圖像緩沖器中用特殊參考圖像替換 一個(gè)重構(gòu)的參考圖像的時(shí)刻的信息進(jìn)行編碼。
[0020] 根據(jù)本發(fā)明的另一方面，該編碼方法還包括：對(duì)指示是否顯示特殊參考圖像的標(biāo) 記進(jìn)行編碼。
[0021] 根據(jù)具體特征，標(biāo)識(shí)的重構(gòu)的參考圖像被編碼在分層的流的基礎(chǔ)層中。
[0022] 有利地，至少一個(gè)重構(gòu)的參考圖像和用于標(biāo)識(shí)解碼器圖像緩沖器中的另外的重構(gòu) 的參考圖像的信息被編碼在分層的流的增強(qiáng)層中。
[0023] 還公開一種對(duì)圖像塊進(jìn)行解碼的解碼設(shè)備。該解碼設(shè)備包括：
[0024] -用于將至少一個(gè)流S_diff解碼成解碼數(shù)據(jù)和用于標(biāo)識(shí)解碼器圖像緩沖器中的 重構(gòu)的參考圖像的一條信息的部件；
[0025] _用于從至少所標(biāo)識(shí)的重構(gòu)的參考圖像并且從解碼數(shù)據(jù)重構(gòu)特殊參考圖像的部 件；
[0026]-用于在解碼器圖像緩沖器中用特殊參考圖像替換一個(gè)重構(gòu)的參考圖像的部件； 以及
[0027]-用于從至少特殊參考圖像重構(gòu)圖像塊的部件。
[0028] 該解碼設(shè)備被配置為執(zhí)行所述解碼方法的步驟。
[0029] 公開一種對(duì)圖像塊進(jìn)行編碼的編碼設(shè)備。該編碼設(shè)備包括：
[0030] -用于從至少一個(gè)重構(gòu)的參考圖像對(duì)圖像塊進(jìn)行編碼的部件；以及
[0031]-用于從另外的重構(gòu)的參考圖像和用于標(biāo)識(shí)解碼器圖像緩沖器中的另外的重構(gòu)的 參考圖像的信息，將至少一個(gè)重構(gòu)的參考圖像編碼為特殊參考圖像的部件，其中在被重構(gòu) 時(shí)特殊參考圖像替換解碼器圖像緩沖器中的一個(gè)重構(gòu)的參考圖像。
[0032] 該編碼設(shè)備被配置為執(zhí)行編碼的步驟。
[0033] 最后，公開一種數(shù)據(jù)流，該數(shù)據(jù)流包括被編碼在其中的用于標(biāo)識(shí)解碼器圖像緩沖 器中的重構(gòu)的參考圖像的一條信息和允許從所標(biāo)識(shí)的重構(gòu)的參考圖像重構(gòu)特殊參考圖像 的數(shù)據(jù)，所述特殊參考圖像用于替換解碼器圖像緩沖器中的重構(gòu)的參考圖像。
【附圖說明】
[0034] 通過下面對(duì)本發(fā)明的一些實(shí)施例的描述，將呈現(xiàn)本發(fā)明的其他特征和優(yōu)點(diǎn)，該描 述結(jié)合附圖一起進(jìn)行，附圖中：
[0035] -圖1和圖2例示流切換的一般原理；
[0036]-圖3例示根據(jù)技術(shù)現(xiàn)狀的使用SI/SP圖像的流切換的原理；
[0037]-圖4例示根據(jù)技術(shù)現(xiàn)狀的使用DIFF圖像的流切換的原理；
[0038]-圖5圖示根據(jù)本發(fā)明的解碼方法的流程圖；
[0039]-圖6圖示根據(jù)本發(fā)明的編碼方法的流程圖；
[0040]-圖7圖示根據(jù)本發(fā)明的單層（mono-layer)視頻解碼器；
[0041] -圖8圖示根據(jù)本發(fā)明的單層視頻編碼器；
[0042]-圖9例示根據(jù)本發(fā)明的使用SRP圖像的流切換的原理；
[0043]-圖10例示根據(jù)本發(fā)明的解碼方法的另外的實(shí)施例；
[0044]-圖11圖示根據(jù)本發(fā)明的多層視頻解碼器；
[0045] -圖12圖示根據(jù)本發(fā)明的多層視頻編碼器；以及
[0046]-圖13表示根據(jù)本發(fā)明的多分層的流。
【具體實(shí)施方式】
[0047] 本發(fā)明涉及對(duì)像素的圖像塊進(jìn)行解碼的方法以及對(duì)這樣的圖像塊進(jìn)行編碼的方 法。圖像塊屬于圖像序列的圖像。每個(gè)圖像包括像素或像點(diǎn)（picturepoint)，其每個(gè)與至 少一項(xiàng)圖像數(shù)據(jù)相關(guān)聯(lián)。一項(xiàng)圖像數(shù)據(jù)例如是一項(xiàng)亮度數(shù)據(jù)或一項(xiàng)色度數(shù)據(jù)。在下文中， 參照?qǐng)D像塊來描述編碼和解碼方法。顯然，這些方法可以應(yīng)用于圖像的若干圖像塊以及序 列的若干圖像（著眼于分別編碼和解碼一個(gè)或多個(gè)圖像）。圖像塊是任何形式的像素的集 合。其可以是方形、矩形。但是，本發(fā)明并不局限于這樣的形式。在下面的部分中，將單詞 塊（block)用于圖像塊。在HEVC中，塊指代編碼單元（CodingUnit，⑶）。
[0048] "預(yù)測(cè)因子（predictor)"項(xiàng)指用于預(yù)測(cè)其他數(shù)據(jù)的數(shù)據(jù)。預(yù)測(cè)因子用于預(yù)測(cè)圖像 塊。預(yù)測(cè)因子或預(yù)測(cè)塊從與其預(yù)測(cè)（空間預(yù)測(cè)或圖像內(nèi)預(yù)測(cè)）的塊所屬圖像相同的圖像的 一個(gè)或若干重構(gòu)的參考樣本獲得，或者從重構(gòu)的參考圖像的一個(gè)（單向預(yù)測(cè)）或若干參考 塊（雙向預(yù)測(cè)或雙預(yù)測(cè)）（時(shí)間預(yù)測(cè)或圖像間預(yù)測(cè)）獲得。參考?jí)K用運(yùn)動(dòng)矢量在重構(gòu)的參 考圖像中標(biāo)識(shí)。還可以對(duì)預(yù)測(cè)進(jìn)行加權(quán)以考慮照度變