本公開(kāi)涉及視頻編碼和視頻解碼的方法和設(shè)備,更具體地,涉及基于多核系統(tǒng)的編碼和解碼。
背景技術(shù):
隨著開(kāi)發(fā)和供給用于播放和存儲(chǔ)高分辨率或高質(zhì)量視頻內(nèi)容的硬件,針對(duì)用于將高分辨率或高質(zhì)量視頻內(nèi)容高效編碼或解碼的視頻編解碼器的需求日益增長(zhǎng)?,F(xiàn)有的視頻編解碼器被設(shè)計(jì)成根據(jù)有限編碼方法來(lái)基于具有樹(shù)形結(jié)構(gòu)的編碼單元對(duì)視頻進(jìn)行編碼。
空間域的圖像數(shù)據(jù)通過(guò)頻率轉(zhuǎn)換被轉(zhuǎn)換成頻域的系數(shù)。為了進(jìn)行快速頻率轉(zhuǎn)換,視頻編解碼器將圖像分成預(yù)定尺寸的塊,并且在塊中的每個(gè)塊上執(zhí)行離散余弦變換(dct),從而以塊為單位對(duì)頻率系數(shù)進(jìn)行編碼?,F(xiàn)有壓縮系統(tǒng)執(zhí)行基于塊的預(yù)測(cè)以去除彩色圖像之間的冗余。現(xiàn)有壓縮系統(tǒng)以圖片為單位生成參數(shù),該參數(shù)用來(lái)執(zhí)行視頻編碼和解碼。
技術(shù)實(shí)現(xiàn)要素:
技術(shù)問(wèn)題
需要通過(guò)使用并行解碼算法來(lái)提高解碼速度。然而,現(xiàn)有技術(shù)并沒(méi)有提供使用多核處理器來(lái)實(shí)現(xiàn)并行解碼算法的解決方案。
技術(shù)方案
根據(jù)實(shí)施方式的一方面,視頻解碼方法包括:通過(guò)第一解碼單元從比特流中獲取屬于第一圖片的當(dāng)前塊的運(yùn)動(dòng)矢量;通過(guò)第一解碼單元確定由該運(yùn)動(dòng)矢量指向的參考?jí)K是否被解碼;以及基于參考?jí)K是否被解碼對(duì)當(dāng)前塊進(jìn)行解碼,其中,參考?jí)K被包括在由第二解碼單元解碼的第二圖片中,并且第一圖片和第二圖片被并行地解碼。
獲取當(dāng)前塊的運(yùn)動(dòng)矢量可以包括在第一圖片被解碼之前獲取運(yùn)動(dòng)矢量。當(dāng)參考?jí)K未被解碼時(shí),對(duì)當(dāng)前塊進(jìn)行解碼可以包括在參考?jí)K被解碼之后開(kāi)始對(duì)第一圖片進(jìn)行解碼。
獲取當(dāng)前塊的運(yùn)動(dòng)矢量可以包括從比特流中獲取屬于第一圖片的相應(yīng)塊的多個(gè)運(yùn)動(dòng)矢量。確定由運(yùn)動(dòng)矢量指向的參考?jí)K是否被解碼可以包括確定在由多個(gè)運(yùn)動(dòng)矢量指向的至少一個(gè)參考?jí)K之中延遲最多的參考?jí)K是否被解碼,其中,延遲最多的參考?jí)K在最晚的時(shí)間點(diǎn)被解碼。當(dāng)延遲最多的參考?jí)K未被解碼時(shí),開(kāi)始對(duì)第一圖片進(jìn)行解碼可以包括在延遲最多的參考?jí)K被解碼之后開(kāi)始對(duì)第一圖片進(jìn)行解碼。
延遲最多的參考?jí)K可以基于指向參考?jí)K的運(yùn)動(dòng)矢量的豎直分量值或第二圖片中的參考?jí)K的豎直坐標(biāo)進(jìn)行確定。
獲取當(dāng)前塊的運(yùn)動(dòng)矢量可以包括通過(guò)第一解碼單元對(duì)第一圖片的至少一個(gè)塊進(jìn)行解碼并且從比特流中獲取當(dāng)前塊的運(yùn)動(dòng)矢量。當(dāng)參考?jí)K未被解碼時(shí),對(duì)當(dāng)前塊進(jìn)行解碼可以包括在參考?jí)K被解碼之后通過(guò)使用參考?jí)K對(duì)當(dāng)前塊進(jìn)行解碼。
對(duì)當(dāng)前塊進(jìn)行解碼可以包括:當(dāng)參考?jí)K未被解碼時(shí),通過(guò)第一解碼單元更改運(yùn)動(dòng)矢量;以及通過(guò)第一解碼單元使用更改的運(yùn)動(dòng)矢量對(duì)當(dāng)前塊進(jìn)行解碼。
更改運(yùn)動(dòng)矢量可以包括更改運(yùn)動(dòng)矢量以指向第二圖片中已解碼的塊中的一個(gè)塊。
更改運(yùn)動(dòng)矢量可以包括更改運(yùn)動(dòng)矢量的豎直分量值以指向第二圖片的已解碼的區(qū)域上的位置。
更改運(yùn)動(dòng)矢量可以包括更改運(yùn)動(dòng)矢量的參考圖片值以指向另一被解碼的圖片。
更改運(yùn)動(dòng)矢量可以包括:確定屬于第一圖片并且位于當(dāng)前塊附近的至少一個(gè)鄰近塊;以及根據(jù)至少一個(gè)鄰近塊的運(yùn)動(dòng)矢量中的一個(gè)運(yùn)動(dòng)矢量來(lái)更改運(yùn)動(dòng)矢量。
對(duì)當(dāng)前塊進(jìn)行解碼可以包括:當(dāng)參考?jí)K未被解碼時(shí),停止對(duì)當(dāng)前塊進(jìn)行解碼;當(dāng)參考?jí)K在預(yù)設(shè)時(shí)間內(nèi)被解碼時(shí),通過(guò)使用參考?jí)K對(duì)當(dāng)前塊進(jìn)行解碼;當(dāng)參考?jí)K在預(yù)設(shè)時(shí)間內(nèi)未被解碼時(shí),更改運(yùn)動(dòng)矢量;以及通過(guò)第一解碼單元使用更改的運(yùn)動(dòng)矢量對(duì)當(dāng)前塊進(jìn)行解碼。
根據(jù)另一實(shí)施方式的一方面,用于執(zhí)行并行解碼的視頻解碼設(shè)備包括:第一解碼單元,其配置成從比特流中獲取屬于第一圖片的當(dāng)前塊的運(yùn)動(dòng)矢量、確定由運(yùn)動(dòng)矢量指向的參考?jí)K是否被解碼,并且基于參考?jí)K是否被解碼對(duì)當(dāng)前塊進(jìn)行解碼;以及第二解碼單元,其配置成對(duì)包括參考?jí)K的第二圖片進(jìn)行解碼,其中,第一圖片和第二圖片被并行地解碼。
第一解碼單元可以在第一圖片被解碼之前獲取運(yùn)動(dòng)矢量,并且當(dāng)參考?jí)K未被解碼時(shí),在參考?jí)K被解碼之后開(kāi)始對(duì)第一圖片進(jìn)行解碼。
第一解碼單元可以在第一圖片的至少一個(gè)塊被解碼之后從比特流中獲取當(dāng)前塊的運(yùn)動(dòng)矢量,并且當(dāng)參考?jí)K未被解碼時(shí),在參考?jí)K被解碼之后通過(guò)使用參考?jí)K對(duì)當(dāng)前塊進(jìn)行解碼。
當(dāng)參考?jí)K未被解碼時(shí),第一解碼單元可以更改運(yùn)動(dòng)矢量以指向第二圖片中已解碼的塊中的一個(gè)塊,并且通過(guò)使用更改的運(yùn)動(dòng)矢量對(duì)當(dāng)前塊進(jìn)行解碼。
第一解碼單元可以更改運(yùn)動(dòng)矢量的豎直分量值以指向第二圖片的已解碼的區(qū)域上的位置。
第一解碼單元可以更改運(yùn)動(dòng)矢量的參考圖片值以指向另一被解碼的圖片。
第一解碼單元可以確定屬于第一圖片并且位于當(dāng)前塊附近的至少一個(gè)鄰近塊,并且根據(jù)至少一個(gè)鄰近塊的運(yùn)動(dòng)矢量中的一個(gè)運(yùn)動(dòng)矢量來(lái)更改運(yùn)動(dòng)矢量。
第一解碼單元可以執(zhí)行以下操作:當(dāng)參考?jí)K未被解碼時(shí)停止對(duì)當(dāng)前塊進(jìn)行解碼;當(dāng)參考?jí)K在預(yù)設(shè)時(shí)間內(nèi)被解碼時(shí),通過(guò)使用參考?jí)K對(duì)當(dāng)前塊進(jìn)行解碼;以及當(dāng)參考?jí)K在預(yù)設(shè)時(shí)間內(nèi)未被解碼時(shí),更改運(yùn)動(dòng)矢量并且通過(guò)使用更改的運(yùn)動(dòng)矢量對(duì)當(dāng)前塊進(jìn)行解碼。
根據(jù)另一實(shí)施方式的一方面,提供非暫時(shí)性計(jì)算機(jī)可讀記錄介質(zhì),該非暫時(shí)性計(jì)算機(jī)可讀記錄介質(zhì)上記錄有計(jì)算機(jī)程序,該計(jì)算機(jī)程序用于執(zhí)行上述視頻解碼方法。
有益效果
通過(guò)使用并行解碼算法將提高解碼速度。
附圖說(shuō)明
通過(guò)以下結(jié)合附圖對(duì)實(shí)施方式作出的描述,這些和/或其他方面將變得更明顯且容易理解,在附圖中:
圖1a是編碼設(shè)備的框圖;
圖1b是由編碼設(shè)備執(zhí)行的編碼方法的流程圖;
圖2a是根據(jù)實(shí)施方式的解碼設(shè)備的框圖;
圖2b是根據(jù)實(shí)施方式的由解碼設(shè)備執(zhí)行的并行解碼的方法的流程圖;
圖3a是根據(jù)另一實(shí)施方式的由解碼設(shè)備執(zhí)行的并行解碼的方法的流程圖;
圖3b到圖3d是示出分別由第一解碼單元和第二解碼單元解碼的第一圖片和第二圖片的示意圖;
圖4a是根據(jù)另一實(shí)施方式的由解碼設(shè)備執(zhí)行的并行解碼的方法的流程圖;
圖4b到圖4d是示出由第一解碼單元和第二解碼單元執(zhí)行解碼的情況的示意圖;
圖4e是根據(jù)另一實(shí)施方式的由解碼設(shè)備執(zhí)行的并行解碼的方法的流程圖;
圖5a是根據(jù)另一實(shí)施方式的由解碼設(shè)備執(zhí)行的通過(guò)改變運(yùn)動(dòng)矢量來(lái)執(zhí)行并行解碼的方法的流程圖;
圖5b是根據(jù)另一實(shí)施方式的由解碼設(shè)備執(zhí)行的通過(guò)改變運(yùn)動(dòng)矢量來(lái)執(zhí)行并行解碼的方法的流程圖;
圖5c是示出圖5b所示的由解碼設(shè)備執(zhí)行的通過(guò)改變運(yùn)動(dòng)矢量來(lái)執(zhí)行并行解碼的方法的示意圖;
圖6a是根據(jù)另一實(shí)施方式的由解碼設(shè)備執(zhí)行的通過(guò)改變運(yùn)動(dòng)矢量來(lái)執(zhí)行并行解碼的方法的流程圖;
圖6b是示出圖6a所示的由解碼設(shè)備執(zhí)行的通過(guò)改變運(yùn)動(dòng)矢量來(lái)執(zhí)行并行解碼的方法的示意圖;
圖7a是根據(jù)另一實(shí)施方式的由解碼設(shè)備執(zhí)行的通過(guò)改變運(yùn)動(dòng)矢量來(lái)執(zhí)行并行解碼的方法的流程圖;
圖7b是示出圖7a所示的由解碼設(shè)備執(zhí)行的通過(guò)改變運(yùn)動(dòng)矢量來(lái)執(zhí)行并行解碼的方法的示意圖;
圖8是根據(jù)實(shí)施方式的基于具有樹(shù)形結(jié)構(gòu)的編碼單元的視頻編碼設(shè)備的框圖;
圖9是根據(jù)實(shí)施方式的基于具有樹(shù)形結(jié)構(gòu)的編碼單元的視頻解碼設(shè)備的框圖;
圖10示出根據(jù)實(shí)施方式的編碼單元的示意圖;
圖11是根據(jù)實(shí)施方式的基于編碼單元的視頻編碼單元的框圖;
圖12是根據(jù)實(shí)施方式的基于編碼單元的視頻解碼單元的框圖;
圖13是示出根據(jù)實(shí)施方式的編碼單元和分區(qū)的示意圖;
圖14是示出根據(jù)實(shí)施方式的編碼單元與變換單元之間的關(guān)系的示意圖;
圖15示出根據(jù)各種實(shí)施方式的多項(xiàng)編碼信息;
圖16是示出根據(jù)實(shí)施方式的與深度對(duì)應(yīng)的編碼單元的示意圖;
圖17、圖18和圖19是示出根據(jù)實(shí)施方式的編碼單元、預(yù)測(cè)單元與變換單元之間的關(guān)系的示意圖;
圖20是示出根據(jù)編碼模式信息的編碼單元、預(yù)測(cè)單元與變換單元之間的關(guān)系的示意圖;
圖21示出根據(jù)實(shí)施方式的存儲(chǔ)程序的盤(pán)片的物理結(jié)構(gòu);
圖22示出配置成通過(guò)使用盤(pán)片來(lái)記錄和讀取程序的盤(pán)片驅(qū)動(dòng)器;
圖23示出配置成提供內(nèi)容分發(fā)服務(wù)的內(nèi)容供應(yīng)系統(tǒng)的整體結(jié)構(gòu);
圖24和圖25示出可應(yīng)用根據(jù)實(shí)施方式的視頻編碼方法和視頻解碼方法的移動(dòng)電話的外部結(jié)構(gòu)和內(nèi)部結(jié)構(gòu);
圖26示出根據(jù)實(shí)施方式的采用通信系統(tǒng)的數(shù)字廣播系統(tǒng);以及
圖27示出根據(jù)實(shí)施方式的使用視頻編碼設(shè)備和視頻解碼設(shè)備的云計(jì)算系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)。
實(shí)施本發(fā)明的最佳方式
根據(jù)實(shí)施方式的一方面,視頻解碼方法包括:通過(guò)第一解碼單元從比特流中獲取屬于第一圖片的當(dāng)前塊的運(yùn)動(dòng)矢量;通過(guò)第一解碼單元確定由該運(yùn)動(dòng)矢量指向的參考?jí)K是否被解碼;以及基于參考?jí)K是否被解碼對(duì)當(dāng)前塊進(jìn)行解碼,其中,參考?jí)K被包括在由第二解碼單元解碼的第二圖片中,并且第一圖片和第二圖片被并行地解碼。
根據(jù)另一實(shí)施方式的一方面,用于執(zhí)行并行解碼的視頻解碼設(shè)備包括:第一解碼單元,其配置成從比特流中獲取屬于第一圖片的當(dāng)前塊的運(yùn)動(dòng)矢量、確定由運(yùn)動(dòng)矢量指向的參考?jí)K是否被解碼,并且基于參考?jí)K是否被解碼對(duì)當(dāng)前塊進(jìn)行解碼;以及第二解碼單元,其配置成對(duì)包括參考?jí)K的第二圖片進(jìn)行解碼,其中,第一圖片和第二圖片被并行地解碼。
具體實(shí)施方式
現(xiàn)在將詳細(xì)參考實(shí)施方式,實(shí)施方式的示例在附圖中示出,附圖中的相同附圖標(biāo)記指代相同的元件。就這點(diǎn)而言,本公開(kāi)的實(shí)施方式可以具有不同的形式,并且不應(yīng)被解釋為限于本文中列出的描述。因此,下文僅僅通過(guò)參考附圖來(lái)描述實(shí)施方式以說(shuō)明各方面。本文中所用的術(shù)語(yǔ)“和/或”包括所列相關(guān)條目中的一個(gè)或多個(gè)條目的任何和所有組合。元件列表之后的諸如“至少一項(xiàng)”的表達(dá)修飾整個(gè)元件列表,而不是修飾列表中的單個(gè)元件。
下文將參考圖1到圖7b來(lái)描述通過(guò)執(zhí)行環(huán)路內(nèi)濾波來(lái)用信號(hào)表示濾波器參數(shù)的視頻編碼方法和視頻解碼方法。
此外,下文將參考圖8到圖20來(lái)描述適用于上述視頻編碼方法和視頻解碼方法的根據(jù)實(shí)施方式的基于具有樹(shù)形結(jié)構(gòu)的編碼單元執(zhí)行的視頻編碼技術(shù)和視頻解碼技術(shù)。此外,下文將參考圖21到圖27來(lái)描述可應(yīng)用上述視頻編碼方法和視頻解碼方法的各種實(shí)施方式。
在本公開(kāi)中,術(shù)語(yǔ)“圖像”應(yīng)被理解為包括視頻的靜態(tài)圖像或移動(dòng)圖像,即,視頻。
在下文中,術(shù)語(yǔ)“樣本”是指分配到圖像的取樣位置的數(shù)據(jù),即,將被處理的數(shù)據(jù)。例如,空間域中的圖像的像素可以是樣本。
術(shù)語(yǔ)“當(dāng)前塊(當(dāng)前顏色塊)”是指將被編碼或解碼的圖像的塊。例如,當(dāng)前顏色塊可以是將被編碼或解碼的彩色圖像的塊。在當(dāng)前圖像以ycrcb格式進(jìn)行編碼或解碼時(shí),當(dāng)前塊可以是亮度塊、cr塊或cb塊。例如,當(dāng)前顏色塊可以是當(dāng)前將被編碼或解碼的當(dāng)前圖片的塊。
術(shù)語(yǔ)“當(dāng)前圖像”是指包括當(dāng)前塊的圖像。例如,當(dāng)前彩色圖像是指包括當(dāng)前塊的彩色圖像。具體地,當(dāng)前彩色圖像是指包括將被編碼或解碼的塊的彩色圖像。
術(shù)語(yǔ)“鄰近塊(當(dāng)前塊周?chē)泥徑鼔K)”是指當(dāng)前塊的鄰近塊。例如,鄰近塊可以位于當(dāng)前塊的上部、右上部、左側(cè)、左下部或左上部。鄰近塊可以是與當(dāng)前塊鄰近的編碼或解碼的塊。
術(shù)語(yǔ)“圖片”是指由多個(gè)靜態(tài)圖像構(gòu)成的視頻的靜態(tài)圖像。根據(jù)實(shí)施方式,圖片可以被理解成靜態(tài)圖像的一部分。當(dāng)前圖片是指圖片之中的當(dāng)前被解碼或編碼的圖片。圖片也可以被稱(chēng)為幀。
術(shù)語(yǔ)“運(yùn)動(dòng)矢量”是指這樣的矢量,該矢量表示當(dāng)使用執(zhí)行為通過(guò)參考另一塊來(lái)對(duì)塊進(jìn)行編碼的幀間預(yù)測(cè)編碼對(duì)當(dāng)前塊進(jìn)行編碼時(shí)將要參考以對(duì)當(dāng)前塊進(jìn)行編碼的參考?jí)K。運(yùn)動(dòng)矢量可以包括限定參考圖片的參考圖片索引信息和參考圖片中的參考?jí)K的位置信息。
圖片索引信息可以使用當(dāng)前圖片的索引值進(jìn)行確定。例如,圖片索引信息可以被確定為相對(duì)于當(dāng)前圖片的索引值的值。圖片索引信息可以被確定為當(dāng)前圖片的索引值與參考圖片的索引值之間的差。
參考?jí)K的位置信息可以使用當(dāng)前圖片中的當(dāng)前塊的位置值進(jìn)行確定。例如,參考?jí)K的位置信息可以被確定為相對(duì)于當(dāng)前塊的位置值的值。參考?jí)K的位置信息可以被確定為參考?jí)K的位置值與當(dāng)前塊的位置值之間的差。
圖1a是編碼設(shè)備10的框圖。編碼設(shè)備10包括編碼單元12和比特流生成單元14。編碼設(shè)備10接收?qǐng)D像、對(duì)該圖像進(jìn)行編碼并且生成編碼的比特流。
編碼單元12接收?qǐng)D像。編碼單元12執(zhí)行用于對(duì)圖像數(shù)據(jù)進(jìn)行編碼的操作。編碼單元12以預(yù)測(cè)單元為單位對(duì)幀內(nèi)模式編碼單元執(zhí)行幀內(nèi)預(yù)測(cè),所述幀內(nèi)模式編碼單元包括在當(dāng)前圖像中。編碼單元12通過(guò)使用當(dāng)前圖像和從恢復(fù)圖片緩沖器中獲取的參考圖像以預(yù)測(cè)單元為單位對(duì)幀間模式編碼單元執(zhí)行幀間預(yù)測(cè),所述幀間模式編碼單元包括在當(dāng)前圖像中。
編碼單元12通過(guò)從當(dāng)前圖像的將被編碼的編碼單元的數(shù)據(jù)中去除每個(gè)模式的編碼單元的預(yù)測(cè)數(shù)據(jù)來(lái)生成殘余數(shù)據(jù)。編碼單元12可以通過(guò)以變換單元為單位來(lái)量化殘余數(shù)據(jù)而輸出變換系數(shù)。編碼單元12可以將變換系數(shù)恢復(fù)成空間域中的殘余數(shù)據(jù)。編碼單元12可以通過(guò)將空間域中的殘余數(shù)據(jù)添加到每個(gè)模式的編碼單元的預(yù)測(cè)數(shù)據(jù)來(lái)將空間域中的殘余數(shù)據(jù)恢復(fù)成當(dāng)前圖像的編碼單元的空間域數(shù)據(jù)?;謴?fù)的圖像可以用作對(duì)另一圖像進(jìn)行幀間預(yù)測(cè)的參考圖像。
比特流生成單元14接收來(lái)自編碼單元12的編碼圖像數(shù)據(jù),并且以比特流的形式輸出該編碼圖像數(shù)據(jù)。比特流生成單元14可以對(duì)編碼圖像數(shù)據(jù)的二進(jìn)制表示進(jìn)行熵編碼,以將該編碼圖像數(shù)據(jù)轉(zhuǎn)換成較短的二進(jìn)制表示。比特流生成單元14可以以比特流的形式輸出執(zhí)行了熵編碼的編碼圖像數(shù)據(jù)。
圖1b是由編碼設(shè)備10執(zhí)行的編碼方法的流程圖。首先,編碼設(shè)備10對(duì)圖像進(jìn)行編碼(操作s111)。編碼設(shè)備10可以接收?qǐng)D像。編碼設(shè)備10以預(yù)測(cè)單元為單位對(duì)幀內(nèi)模式編碼單元執(zhí)行幀內(nèi)預(yù)測(cè),所述幀內(nèi)模式編碼單元包括在當(dāng)前圖像中。編碼設(shè)備10通過(guò)使用當(dāng)前圖像和使用恢復(fù)圖片緩沖器而獲取的參考圖像以預(yù)測(cè)單元為單位對(duì)幀間模式編碼單元執(zhí)行幀間預(yù)測(cè),所述幀間模式編碼單元包括在當(dāng)前圖像中。
編碼設(shè)備10通過(guò)從當(dāng)前圖像的將被編碼的編碼單元的數(shù)據(jù)中去除每個(gè)模式的編碼單元的預(yù)測(cè)數(shù)據(jù)來(lái)生成殘余數(shù)據(jù)。編碼設(shè)備10可以通過(guò)以變換單元為單位來(lái)量化殘余數(shù)據(jù)而輸出變換系數(shù)。編碼設(shè)備10可以將變換系數(shù)恢復(fù)成空間域中的殘余數(shù)據(jù)。編碼設(shè)備10可以通過(guò)將空間域中的殘余數(shù)據(jù)添加到每個(gè)模式的編碼單元的預(yù)測(cè)數(shù)據(jù)來(lái)將空間域中的殘余數(shù)據(jù)恢復(fù)成與當(dāng)前圖像的編碼單元有關(guān)的空間域數(shù)據(jù)?;謴?fù)的圖像可以用作對(duì)另一圖像進(jìn)行幀間預(yù)測(cè)的參考圖像。
接下來(lái),編碼設(shè)備10生成比特流(操作s112)。編碼設(shè)備10以比特流的形式輸出編碼圖像數(shù)據(jù)。編碼設(shè)備10可以對(duì)編碼圖像數(shù)據(jù)的二進(jìn)制表示進(jìn)行熵編碼,以將該編碼圖像數(shù)據(jù)轉(zhuǎn)換成較短的二進(jìn)制表示。編碼設(shè)備10可以以比特流的形式輸出執(zhí)行了熵編碼的編碼圖像數(shù)據(jù)。
圖2a是根據(jù)實(shí)施方式的解碼設(shè)備20的框圖。下文將參考圖2a描述根據(jù)實(shí)施方式的解碼設(shè)備20。
根據(jù)實(shí)施方式的解碼設(shè)備20包括比特流解析單元22和解碼單元24。
比特流解析單元22對(duì)比特流進(jìn)行解析,以獲取將被解碼的編碼圖像數(shù)據(jù)和用于對(duì)編碼圖像數(shù)據(jù)進(jìn)行解碼的編碼信息。
解碼單元24包括第一解碼單元24a、第二解碼單元24b和存儲(chǔ)器24c。盡管未示出,但根據(jù)實(shí)施方式的解碼設(shè)備20還可以包括另一解碼單元。盡管圖2a只示出兩個(gè)解碼單元,但解碼設(shè)備20可以包括根據(jù)實(shí)施方式的所需數(shù)量的解碼單元。例如,盡管未示出,但解碼設(shè)備20還可以包括第三解碼單元、第四解碼單元等。
解碼單元24以預(yù)測(cè)單元為單位對(duì)幀內(nèi)模式解碼單元執(zhí)行幀內(nèi)預(yù)測(cè)。解碼單元24通過(guò)使用參考圖像以預(yù)測(cè)單元為單位對(duì)包括在當(dāng)前圖像中的幀間模式編碼單元執(zhí)行幀間預(yù)測(cè)。
執(zhí)行了幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)的每個(gè)模式的編碼單元的預(yù)測(cè)數(shù)據(jù)可以添加到殘余數(shù)據(jù),從而恢復(fù)當(dāng)前圖像的編碼單元的空間域數(shù)據(jù)。空間域數(shù)據(jù)可以作為恢復(fù)的圖像輸出。恢復(fù)的圖像可以用作參考圖像。
根據(jù)實(shí)施方式的解碼單元24包括多個(gè)解碼單元并且執(zhí)行并行解碼。在解碼單元24中,解碼單元24a和24b以編碼單元為單位對(duì)編碼的圖像進(jìn)行解碼,以執(zhí)行并行解碼。
此處,預(yù)定編碼單元可以是圖片。在由連續(xù)靜態(tài)圖像構(gòu)成的移動(dòng)圖像中,圖片可以是對(duì)應(yīng)于一小時(shí)的靜態(tài)圖像。例如,第一解碼單元24a可以對(duì)第一圖片進(jìn)行解碼,并且第二解碼單元24b可以對(duì)第二圖片進(jìn)行解碼。
根據(jù)實(shí)施方式,解碼單元24可以以圖塊(tile)為單位執(zhí)行并行解碼。此處,圖塊是指從圖片中劃分出的編碼單元,并且一個(gè)圖塊可以獨(dú)立于另一圖塊進(jìn)行解碼。例如,第一解碼單元24a可以對(duì)第一圖片的第一圖塊進(jìn)行解碼,并且第二解碼單元24b可以對(duì)第一圖片的第二圖塊進(jìn)行解碼。
第一解碼單元24a和第二解碼單元24b可以將編碼單元解碼成圖像,并且圖像可以存儲(chǔ)在存儲(chǔ)器24c中以被輸出。存儲(chǔ)在存儲(chǔ)器24c中的圖像可以按圖像輸出的順序輸出到顯示裝置等。
下文將參考圖2b描述根據(jù)實(shí)施方式的由圖2a的解碼設(shè)備20執(zhí)行的并行解碼的方法。圖2b是根據(jù)實(shí)施方式的由解碼設(shè)備20執(zhí)行的并行解碼的方法的流程圖。
首先,解碼單元24從比特流中獲取屬于第一圖片的當(dāng)前塊的運(yùn)動(dòng)矢量(操作s211)。解碼單元24可以從比特流中獲取當(dāng)前塊的運(yùn)動(dòng)矢量。
解碼單元24可以對(duì)比特流進(jìn)行解析,以從比特流中獲取用于對(duì)圖像進(jìn)行解碼的多個(gè)編碼元素。解碼單元24可以從比特流中獲取用于執(zhí)行并行解碼的編碼單元的編碼元素。編碼元素包括運(yùn)動(dòng)矢量以及參考?jí)K與當(dāng)前塊的圖像數(shù)據(jù)值之間的差。
執(zhí)行并行解碼的具體編碼單元可以是圖片。例如,當(dāng)執(zhí)行并行解碼的具體編碼單元是圖片時(shí),解碼單元24從比特流中獲取與具體圖片有關(guān)的編碼元素。在上述解碼設(shè)備20中,第一解碼單元24a可以從比特流中獲取與第一圖片有關(guān)的編碼元素,并且第二解碼單元24b可以從比特流中獲取與第二圖片有關(guān)的編碼元素。當(dāng)解碼設(shè)備20包括第三解碼單元(未示出)時(shí),第三解碼單元可以從比特流中獲取與第三圖片有關(guān)的編碼元素。
接下來(lái),解碼單元24確定運(yùn)動(dòng)矢量所指向的參考?jí)K是否被解碼(操作s212)。例如,解碼單元24可以檢查運(yùn)動(dòng)矢量所指向的參考?jí)K是否被解碼并存儲(chǔ)在存儲(chǔ)器24c中,并且當(dāng)參考?jí)K存儲(chǔ)在存儲(chǔ)器24c中時(shí)確定參考?jí)K被解碼。解碼單元24可以檢查運(yùn)動(dòng)矢量所指向的參考?jí)K是否被解碼并存儲(chǔ)在存儲(chǔ)器24c中,并且當(dāng)參考?jí)K沒(méi)有存儲(chǔ)在存儲(chǔ)器24c中時(shí)確定參考?jí)K未被解碼。類(lèi)似地,當(dāng)運(yùn)動(dòng)矢量所指向的參考?jí)K所屬的圖片的恢復(fù)圖像存儲(chǔ)在存儲(chǔ)器24c中時(shí),解碼單元24可以確定參考?jí)K被解碼。
或者,當(dāng)參考圖片根據(jù)參考順序進(jìn)行解碼時(shí),解碼單元24可以通過(guò)將對(duì)參考?jí)K進(jìn)行解碼的順序與對(duì)當(dāng)前正被解碼的參考圖片的當(dāng)前塊進(jìn)行解碼的順序相比較來(lái)確定當(dāng)前塊是否被解碼。例如,當(dāng)對(duì)參考?jí)K進(jìn)行解碼的順序比對(duì)當(dāng)前正被解碼的參考圖片的當(dāng)前塊進(jìn)行解碼的順序早時(shí),可以確定參考?jí)K被解碼。當(dāng)對(duì)參考?jí)K進(jìn)行解碼的順序不比對(duì)當(dāng)前正被解碼的參考圖片的當(dāng)前塊進(jìn)行解碼的順序早時(shí),可以確定參考?jí)K未被解碼。
接下來(lái),基于參考?jí)K是否被解碼,解碼單元24對(duì)當(dāng)前塊進(jìn)行解碼(操作s213)。下文將參考圖3a到圖7b描述由解碼單元24執(zhí)行的基于參考?jí)K是否被解碼對(duì)當(dāng)前塊進(jìn)行解碼的方法。
下文將參考3a到圖3d描述由解碼設(shè)備20執(zhí)行的執(zhí)行并行解碼的方法。圖3a是根據(jù)另一實(shí)施方式的由解碼設(shè)備20執(zhí)行的執(zhí)行并行解碼的方法的流程圖。圖3b到圖3d是示出分別由第一解碼單元24a和第二解碼單元24b解碼的第一圖片和第二圖片的示意圖。
參考圖3b到圖3d,第一解碼單元24a對(duì)由(a)表示的第一圖片進(jìn)行解碼,并且第二解碼單元24b對(duì)由(b)表示的第二圖片進(jìn)行解碼。因此,根據(jù)實(shí)施方式的解碼設(shè)備20可以同時(shí)并行地對(duì)第一圖片和第二圖片進(jìn)行解碼。第一解碼單元24a可以對(duì)在第一圖片的解碼結(jié)束時(shí)還未被解碼的另一圖片進(jìn)行解碼,并且第二解碼單元24b可以對(duì)在第二圖片的解碼結(jié)束時(shí)還未被解碼的另一圖片進(jìn)行解碼。
為便于說(shuō)明,如圖3b所示,將每個(gè)圖片的已解碼部分311和321示為明亮的,而將每個(gè)圖片的未解碼部分312和322示為深暗的。
參考圖3a,首先,第一解碼單元24a對(duì)第一圖片進(jìn)行解碼(操作s311)。第一解碼單元24a可以使用普通解碼方法對(duì)第一圖片進(jìn)行解碼?;蛘?,第一解碼單元24a可以使用根據(jù)實(shí)施方式的解碼方法對(duì)第一圖片進(jìn)行解碼。下文對(duì)第二解碼單元24b的描述適用于第一解碼單元24a。
同時(shí),第二解碼單元24b對(duì)第二圖片進(jìn)行解碼。下文將更詳細(xì)地描述由第二解碼單元24b執(zhí)行的對(duì)第二圖片進(jìn)行解碼的方法。
首先,第二解碼單元24b預(yù)先對(duì)第二圖片進(jìn)行解析(操作s321)。在恢復(fù)第二圖片之前,第二解碼單元24b預(yù)先對(duì)編碼元素進(jìn)行解析,以用來(lái)對(duì)第二圖片進(jìn)行解碼。例如,第二解碼單元24b可以只對(duì)第二圖片的編碼塊進(jìn)行解析,而不對(duì)第二圖片的編碼塊進(jìn)行解碼。
第二解碼單元24b可以預(yù)先對(duì)第二圖片的比特流進(jìn)行解析,以獲取屬于第二圖片的運(yùn)動(dòng)矢量。圖3b示出圖片同時(shí)分別被第一解碼單元24a和第二解碼單元24b解碼的情況。如圖3b所示,預(yù)先被解析的第二圖片的編碼塊323的運(yùn)動(dòng)矢量324參考第一圖片的未解碼區(qū)域。第二解碼單元24b可以預(yù)先對(duì)比特流進(jìn)行解析,以從比特流中獲取屬于第二圖片的相應(yīng)塊的運(yùn)動(dòng)矢量。
接下來(lái),第二解碼單元24b確定第二圖片的解碼延遲時(shí)間(操作s323)。第二解碼單元24b可以確定運(yùn)動(dòng)矢量所指向的參考?jí)K是否被解碼。當(dāng)由從比特流中獲取的運(yùn)動(dòng)矢量參考以對(duì)第二圖片進(jìn)行解碼的所有參考?jí)K都已經(jīng)被解碼時(shí),第二解碼單元24b可以將第二圖片的解碼延遲時(shí)間確定為“0”。
當(dāng)運(yùn)動(dòng)矢量所參考的參考?jí)K中的至少一個(gè)未被解碼時(shí),第二解碼單元24b確定至少一個(gè)參考?jí)K中的在最晚時(shí)間點(diǎn)解碼的延遲最多的參考?jí)K將被解碼的時(shí)間點(diǎn)。例如,當(dāng)參考圖片根據(jù)參考順序進(jìn)行解碼時(shí),第二解碼單元24b可以通過(guò)將對(duì)參考?jí)K進(jìn)行解碼的順序與對(duì)當(dāng)前正被解碼的參考圖片的當(dāng)前塊進(jìn)行解碼的順序相比較來(lái)預(yù)測(cè)延遲最多的參考?jí)K將被解碼的時(shí)間點(diǎn)。此外,第二解碼單元24b可以基于延遲最多的參考?jí)K將被解碼的時(shí)間點(diǎn)來(lái)確定第二圖片的解碼延遲時(shí)間。
第二解碼單元24b可以基于運(yùn)動(dòng)矢量的豎直分量值或圖片中包括的參考?jí)K的豎直坐標(biāo)來(lái)確定延遲最多的參考?jí)K。例如,第二解碼單元24b可以將由屬于第二圖片的運(yùn)動(dòng)矢量之中的具有最高豎直分量值的運(yùn)動(dòng)矢量所指向的參考?jí)K確定為延遲最多的參考?jí)K。
作為另一示例,第二解碼單元24b可以基于第二圖片中的編碼塊的位置和由將用來(lái)對(duì)編碼塊進(jìn)行解碼的運(yùn)動(dòng)矢量所確定的參考?jí)K的位置,將參考?jí)K之中的在最晚時(shí)間解碼的參考?jí)K確定為延遲最多的參考?jí)K。
例如,第二解碼單元24b可以通過(guò)將編碼塊的豎直位置值和編碼塊的運(yùn)動(dòng)矢量的豎直分量值相加來(lái)確定參考圖片中的參考?jí)K的豎直位置。第二解碼單元24b可以計(jì)算多個(gè)參考?jí)K的豎直位置,如上文所述,并且在考慮對(duì)圖片的塊進(jìn)行解碼的順序的同時(shí)確定延遲最多的參考?jí)K。例如,當(dāng)位于圖片的第一行中的編碼塊首先被解碼并且位于圖片的其他行中的編碼塊相繼被解碼時(shí),可以將位于圖片的最后一行中的參考?jí)K確定為延遲最多的參考?jí)K。
另外,參考?jí)K可以存在于多個(gè)參考圖片中。在這種情況下,第二解碼單元24b可以根據(jù)上述方法來(lái)確定將在最晚時(shí)間被解碼的參考圖片中包括的參考?jí)K之中的延遲最多的參考?jí)K。
通過(guò)使用如上文所述計(jì)算的延遲最多的參考?jí)K,第二解碼單元24b可以計(jì)算延遲最多的參考?jí)K將被解碼的時(shí)間,并且確定第二圖片的解碼延遲時(shí)間,使得第二圖片的解碼在所計(jì)算的時(shí)間之后開(kāi)始。
或者,第二解碼單元24b可以計(jì)算延遲最多的參考?jí)K被解碼的時(shí)間與通過(guò)參考延遲最多的參考?jí)K而對(duì)塊進(jìn)行解碼的時(shí)間之間的時(shí)間差,并且確定第二圖片的解碼延遲時(shí)間,使得第二圖片的解碼在所計(jì)算的時(shí)間差之后開(kāi)始。
接下來(lái),在經(jīng)歷解碼延遲時(shí)間之后,第二解碼單元24b對(duì)第二圖片進(jìn)行解碼(操作s325)。如圖3c所示,第二解碼單元24b可以通過(guò)將第二圖片的解碼延遲由參考圖片的參考?jí)K被解碼時(shí)的時(shí)間點(diǎn)所確定的解碼延遲時(shí)間而剛好在參考?jí)K被解碼之后對(duì)第二圖片進(jìn)行解碼。根據(jù)另一實(shí)施方式,如圖3d所示,第二解碼單元24b可以通過(guò)將第二圖片的解碼延遲由參考圖片的解碼結(jié)束時(shí)的時(shí)間點(diǎn)所確定的解碼延遲時(shí)間而在參考圖片被解碼之后對(duì)第二圖片進(jìn)行解碼。在經(jīng)歷解碼延遲時(shí)間之后,第二解碼單元24b可以通過(guò)使用解碼的參考?jí)K對(duì)當(dāng)前塊323進(jìn)行解碼來(lái)對(duì)第二圖片進(jìn)行解碼。
下文將參考4a描述根據(jù)另一實(shí)施方式的由解碼設(shè)備20執(zhí)行的并行解碼的方法。圖4a是根據(jù)另一實(shí)施方式的由解碼設(shè)備20執(zhí)行的并行解碼的方法的流程圖。
首先,如上文所述,第一解碼單元24a對(duì)第一圖片進(jìn)行解碼(操作s411)。同時(shí),如圖4b所示,第二解碼單元24b對(duì)第二圖片進(jìn)行解碼。圖4b示出由第一解碼單元24a和第二解碼單元24b執(zhí)行解碼的情況。參考圖4b,第一解碼單元24a對(duì)當(dāng)前塊413進(jìn)行解碼,以對(duì)第一圖片a進(jìn)行解碼,并且第二解碼單元24b對(duì)當(dāng)前塊423進(jìn)行解碼,以對(duì)第二圖片b進(jìn)行解碼。
第二解碼單元24b獲取當(dāng)前塊的運(yùn)動(dòng)矢量,以對(duì)當(dāng)前塊進(jìn)行解碼(操作s421)。參考圖4c,第二解碼單元24b獲取當(dāng)前塊423的運(yùn)動(dòng)矢量424,以對(duì)當(dāng)前塊423進(jìn)行解碼。例如,第二解碼單元24b對(duì)第二圖片的至少一個(gè)塊進(jìn)行解碼,隨后獲取當(dāng)前塊的運(yùn)動(dòng)矢量,以對(duì)當(dāng)前塊進(jìn)行解碼。
接下來(lái),第二解碼單元24b確定運(yùn)動(dòng)矢量所指向的參考?jí)K是否被解碼(操作s423)。參考圖4c,第二解碼單元24b確定解碼的參考?jí)K是否被當(dāng)前塊423的運(yùn)動(dòng)矢量424參考,以對(duì)當(dāng)前塊423進(jìn)行解碼。參考圖4c,第一圖片的未解碼區(qū)域412由當(dāng)前塊423的運(yùn)動(dòng)矢量424指向。因此,在圖4c中,第二解碼單元24b確定未解碼參考?jí)K被當(dāng)前塊423的運(yùn)動(dòng)矢量424參考。
接下來(lái),當(dāng)運(yùn)動(dòng)矢量所指向的參考?jí)K未被解碼時(shí),第二解碼單元24b在參考?jí)K被解碼之前待機(jī)(操作s425)。在參考?jí)K被解碼之前第二解碼單元24b處于待機(jī)狀態(tài)而沒(méi)有對(duì)第二圖片進(jìn)行解碼的同時(shí),第一解碼單元24a持續(xù)對(duì)第一圖片進(jìn)行解碼。
當(dāng)參考?jí)K被解碼時(shí),第二解碼單元24b對(duì)當(dāng)前塊進(jìn)行解碼(操作s427)。參考圖4d,當(dāng)參考?jí)K被解碼時(shí),第二解碼單元24b可以通過(guò)使用解碼的參考?jí)K預(yù)測(cè)當(dāng)前塊423對(duì)當(dāng)前塊423進(jìn)行解碼。
第二解碼單元24b可以持續(xù)地檢查參考?jí)K是否被解碼。例如,第二解碼單元24b可以檢查解碼的參考?jí)K是否存儲(chǔ)在存儲(chǔ)器24c中。此處,存儲(chǔ)器24c可以在如上文所述的第一解碼單元24a與第二解碼單元24b之間共享。第一解碼單元24a和第二解碼單元24b可以將解碼的圖像存儲(chǔ)在存儲(chǔ)器24c中。
或者,第二解碼單元24b可以請(qǐng)求第一解碼單元24a告知參考?jí)K是否被解碼。在第一解碼單元24a對(duì)參考?jí)K進(jìn)行解碼之后,響應(yīng)于來(lái)自第二解碼單元24b的請(qǐng)求,第一解碼單元可以將告知參考?jí)K被解碼的消息傳輸?shù)降诙獯a單元24b。當(dāng)?shù)诙獯a單元24b接收到來(lái)自第一解碼單元24a的消息時(shí),第二解碼單元24b可以確定參考?jí)K被解碼。
不同于上文參考圖4a描述的方法,第二解碼單元24b可以只待機(jī)預(yù)設(shè)時(shí)間,直到參考?jí)K被解碼為止,并且當(dāng)參考?jí)K在預(yù)設(shè)時(shí)間內(nèi)未被解碼時(shí),通過(guò)新設(shè)置運(yùn)動(dòng)矢量對(duì)當(dāng)前塊進(jìn)行解碼,如下文將參考圖4e所述。圖4e是根據(jù)另一實(shí)施方式的由解碼設(shè)備20執(zhí)行的并行解碼的方法的流程圖。
第二解碼單元24b可以獲取當(dāng)前塊的運(yùn)動(dòng)矢量(操作s421)、確定由運(yùn)動(dòng)矢量所指向的參考?jí)K是否被解碼(操作s423),并且在參考?jí)K未被解碼時(shí),在參考?jí)K被解碼之前待機(jī)(操作s425),類(lèi)似于圖4a的方法。
當(dāng)參考?jí)K在預(yù)設(shè)時(shí)間內(nèi)解碼時(shí),第二解碼單元24b可以使用參考?jí)K對(duì)當(dāng)前塊進(jìn)行解碼(操作s427)。例如,當(dāng)參考?jí)K在預(yù)設(shè)時(shí)間內(nèi)被解碼時(shí),第二解碼單元24b可以取消待機(jī),并且使用參考?jí)K對(duì)當(dāng)前塊進(jìn)行解碼,以繼續(xù)對(duì)第二圖片進(jìn)行解碼。第二解碼單元24b檢查在預(yù)設(shè)時(shí)間之后參考?jí)K是否被解碼,并且在參考?jí)K被解碼時(shí),使用參考?jí)K對(duì)當(dāng)前塊進(jìn)行解碼,以繼續(xù)對(duì)第二圖片進(jìn)行解碼。
當(dāng)參考?jí)K在預(yù)設(shè)時(shí)間內(nèi)未被解碼時(shí),第二解碼單元24b可以通過(guò)改變運(yùn)動(dòng)矢量來(lái)確定新參考?jí)K(操作s428)。例如,第二解碼單元24b可以根據(jù)如下文將參考圖5a到圖7b描述的改變運(yùn)動(dòng)矢量的方法來(lái)改變運(yùn)動(dòng)矢量。隨后,第二解碼單元24b可以使用新參考?jí)K對(duì)當(dāng)前塊進(jìn)行解碼(操作s429)。
第二解碼單元24b在參考?jí)K被解碼之前待機(jī)的預(yù)設(shè)時(shí)間可以通過(guò)對(duì)當(dāng)前圖片的運(yùn)動(dòng)矢量進(jìn)行解析來(lái)確定。例如,在編碼塊的解碼開(kāi)始時(shí)的預(yù)測(cè)時(shí)間點(diǎn)比在由編碼塊參考的參考?jí)K的解碼開(kāi)始時(shí)的預(yù)測(cè)時(shí)間點(diǎn)早預(yù)定時(shí)間的情況下,在參考?jí)K被解碼之前編碼塊的解碼待機(jī)的時(shí)間設(shè)置為“0”。因此,可以通過(guò)參考除了由從比特流中解析的運(yùn)動(dòng)矢量所指向的參考?jí)K之外的參考?jí)K來(lái)對(duì)編碼塊進(jìn)行解碼。
下文將參考5a到圖7b描述根據(jù)另一實(shí)施方式的由解碼設(shè)備20執(zhí)行的改變運(yùn)動(dòng)矢量的方法。
圖5a是根據(jù)另一實(shí)施方式的由解碼設(shè)備20執(zhí)行的通過(guò)改變運(yùn)動(dòng)矢量來(lái)執(zhí)行并行解碼的方法的流程圖。下文將參考5a描述根據(jù)另一實(shí)施方式的由解碼設(shè)備20執(zhí)行的通過(guò)改變運(yùn)動(dòng)矢量來(lái)執(zhí)行并行解碼的方法。
第一解碼單元24a對(duì)第一圖片進(jìn)行解碼(操作s511)。在第一解碼單元24a對(duì)第一圖片進(jìn)行解碼的同時(shí),第二解碼單元24b對(duì)第二圖片進(jìn)行解碼。現(xiàn)在將描述第二解碼單元24b的操作。如上文所述,第二解碼單元24b的操作也可以應(yīng)用于第一解碼單元24a。
首先,第二解碼單元24b獲取當(dāng)前塊的運(yùn)動(dòng)矢量(操作s521)。第二解碼單元24b可以使用合并模式或amvp模式來(lái)導(dǎo)出當(dāng)前塊的運(yùn)動(dòng)矢量。當(dāng)使用合并模式或amvp模式來(lái)導(dǎo)出當(dāng)前塊的運(yùn)動(dòng)矢量時(shí),第二解碼單元可以在不改變將要參考的其他運(yùn)動(dòng)矢量的情況下獲取當(dāng)前塊的運(yùn)動(dòng)矢量。
接下來(lái),第二解碼單元24b確定運(yùn)動(dòng)矢量所指向的參考?jí)K是否被解碼(操作s523)。
接下來(lái),當(dāng)參考?jí)K未被解碼時(shí),第二解碼單元24b改變運(yùn)動(dòng)矢量,以指向第一圖片的塊之中的已解碼的塊(操作s525)。例如,當(dāng)參考?jí)K未被解碼時(shí),第二解碼單元24b改變運(yùn)動(dòng)矢量,以參考另一參考?jí)K。第二解碼單元24b可以改變運(yùn)動(dòng)矢量,以參考第一圖片的塊之中的已解碼的塊。接下來(lái),第二解碼單元24b使用由改變的運(yùn)動(dòng)矢量所指向的參考?jí)K對(duì)當(dāng)前塊進(jìn)行解碼(操作s527)。
圖5b是根據(jù)另一實(shí)施方式的由解碼設(shè)備20執(zhí)行的通過(guò)改變運(yùn)動(dòng)矢量來(lái)執(zhí)行并行解碼的方法的流程圖。
將著重描述描述圖5b的方法與圖5a的方法不同。
不同于圖5a的方法中的操作s525,可以執(zhí)行圖5b中示出的操作s525a,其中改變運(yùn)動(dòng)矢量的豎直分量值,以在參考?jí)K未被解碼時(shí)指向第一圖片的解碼區(qū)域上的一個(gè)位置。第二解碼單元24可以改變運(yùn)動(dòng)矢量的豎直分量值,以指向第一圖片的解碼區(qū)域上的位置。接下來(lái),第二解碼單元24b可以使用由改變的運(yùn)動(dòng)矢量所指向的參考?jí)K對(duì)當(dāng)前塊進(jìn)行解碼(操作s527)。
圖5c是示出圖5b所示的由解碼設(shè)備20執(zhí)行的通過(guò)改變運(yùn)動(dòng)矢量來(lái)執(zhí)行并行解碼的方法的示意圖。下文將參考圖5c更詳細(xì)地描述操作s525a。
第二解碼單元24b可以檢查由當(dāng)前塊的運(yùn)動(dòng)矢量524所指向的區(qū)域是否被解碼。參考圖5c,由當(dāng)前塊的運(yùn)動(dòng)矢量524所指向的區(qū)域指向第一圖片a的未解碼區(qū)域512。因此,第二解碼單元24b可以確定當(dāng)前塊的運(yùn)動(dòng)矢量524指向未解碼的參考?jí)K。
因此,第二解碼單元24b可以改變當(dāng)前塊的運(yùn)動(dòng)矢量524,以指向第一圖片a的解碼區(qū)域511。參考圖5c,第二解碼單元24b可以通過(guò)改變運(yùn)動(dòng)矢量524的豎直分量值來(lái)生成新運(yùn)動(dòng)矢量525,以指向第一圖片a的解碼區(qū)域511。例如,第二解碼單元24b可以將參考?jí)K的位置信息中包括的運(yùn)動(dòng)矢量524的參考?jí)K的位置的豎直分量值改變成作為參考圖片的第一圖片a的解碼區(qū)域之中的在豎直方向上與運(yùn)動(dòng)矢量最相鄰的解碼區(qū)域的豎直分量值。
當(dāng)按照從第一行到最后一行相繼地執(zhí)行解碼的柵格順序執(zhí)行解碼時(shí),當(dāng)前正被解碼的圖片的塊可以是解碼區(qū)域的最深塊?;谶@個(gè)事實(shí),第二解碼單元24b可以將運(yùn)動(dòng)矢量524的豎直分量值改變成與當(dāng)前正被解碼的第一圖片a(參考圖片)的當(dāng)前塊513相鄰的上部塊的豎直分量值。
圖6a是根據(jù)另一實(shí)施方式的由解碼設(shè)備20執(zhí)行的通過(guò)改變運(yùn)動(dòng)矢量來(lái)執(zhí)行并行解碼的方法的流程圖。
將著重描述描述圖6a的方法與圖5a的方法不同。
不同于圖5a的方法中的操作s525,可以執(zhí)行圖6a中示出的操作s525b,其中改變運(yùn)動(dòng)矢量的參考圖片值,以在參考?jí)K未被解碼時(shí)指向另一被解碼的圖片。第二解碼單元24b可以改變運(yùn)動(dòng)矢量的參考圖片值,以指向已解碼的塊。接下來(lái),第二解碼單元24b可以使用由改變的運(yùn)動(dòng)矢量所指向的參考?jí)K對(duì)當(dāng)前塊進(jìn)行解碼(操作s527)。
圖6b是示出圖6a所示的由解碼設(shè)備20執(zhí)行的通過(guò)改變運(yùn)動(dòng)矢量來(lái)執(zhí)行并行解碼的方法的示意圖。下文將參考圖6b更詳細(xì)地描述操作s525b。
第二解碼單元24b可以檢查由當(dāng)前塊的運(yùn)動(dòng)矢量524所指向的區(qū)域是否被解碼。參考圖6b,當(dāng)前塊的運(yùn)動(dòng)矢量524指向第一圖片的未解碼區(qū)域512。因此,第二解碼單元24b可以確定當(dāng)前塊的運(yùn)動(dòng)矢量524指向未解碼的參考?jí)K。
因此,第二解碼單元24b可以改變當(dāng)前塊的運(yùn)動(dòng)矢量524,以指向第一圖片的解碼區(qū)域511。參考圖6b,第二解碼單元24b可以通過(guò)改變運(yùn)動(dòng)矢量524的參考圖片值來(lái)生成新運(yùn)動(dòng)矢量526,以指向已經(jīng)被解碼的第三圖片10的區(qū)域。
第二解碼單元24b可以使用被解碼并存儲(chǔ)在存儲(chǔ)器24c中的恢復(fù)圖片的索引來(lái)更新運(yùn)動(dòng)矢量524的參考圖片索引信息。例如,第二解碼單元24b可以將運(yùn)動(dòng)矢量524的參考圖片值更新成在與被解碼的圖片之中的作為參考圖片的第一圖片a播放時(shí)的時(shí)間點(diǎn)最接近的時(shí)間點(diǎn)播放的圖片的圖片索引值,或者在與被解碼的圖片之中的第一圖片a被解碼時(shí)的時(shí)間點(diǎn)最接近的時(shí)間點(diǎn)解碼的圖片的圖片索引值。
盡管圖片的所有區(qū)域都未被解碼,但第二解碼單元24b可以通過(guò)改變運(yùn)動(dòng)矢量524的參考圖片值來(lái)更新運(yùn)動(dòng)矢量524的參考圖片索引信息,使得解碼的圖片被確定為由運(yùn)動(dòng)矢量524參考的圖片中的塊的參考圖片。
圖7a是根據(jù)另一實(shí)施方式的由解碼設(shè)備20執(zhí)行的通過(guò)改變運(yùn)動(dòng)矢量來(lái)執(zhí)行并行解碼的方法的流程圖。
將著重描述描述圖7a的方法與圖5a的方法不同。
不同于圖5a的操作s525,可以執(zhí)行圖7a的操作s525c,其中當(dāng)參考?jí)K未被解碼時(shí),將當(dāng)前運(yùn)動(dòng)矢量更改成至少一個(gè)鄰近塊的運(yùn)動(dòng)矢量之中的指向已解碼的參考?jí)K的運(yùn)動(dòng)矢量。例如,第二解碼單元24b可以選擇屬于將被解碼的第二圖片并且位于當(dāng)前塊附近的鄰近塊中的一個(gè)鄰近塊。隨后,第二解碼單元24b可以將當(dāng)前運(yùn)動(dòng)矢量改變成至少一個(gè)鄰近塊的運(yùn)動(dòng)矢量之中的指向已解碼的參考?jí)K的運(yùn)動(dòng)矢量。隨后,第二解碼單元24b可以使用由改變的運(yùn)動(dòng)矢量所指向的已解碼的參考?jí)K對(duì)當(dāng)前塊進(jìn)行解碼(操作s527)。
圖7b是示出圖7a所示的由解碼設(shè)備20執(zhí)行的通過(guò)改變運(yùn)動(dòng)矢量來(lái)執(zhí)行并行解碼的方法的示意圖。下文將參考圖7b更詳細(xì)地描述操作s525c。
在圖7b中,由第二解碼單元24b解碼的第二圖片b的當(dāng)前塊523的運(yùn)動(dòng)矢量524指向由第一解碼單元24a解碼的第一圖片a的未解碼區(qū)域。因此,第二解碼單元24b可以通過(guò)將當(dāng)前塊523的運(yùn)動(dòng)矢量524替換成鄰近塊527的運(yùn)動(dòng)矢量528來(lái)確定當(dāng)前塊523的參考?jí)K。
盡管圖7只示出位于當(dāng)前塊523的上部的塊527作為鄰近塊,但在執(zhí)行解碼時(shí),位于當(dāng)前塊523的左側(cè)、左上部和右上部的塊也可以被稱(chēng)為鄰近塊。
圖8是根據(jù)實(shí)施方式的基于具有樹(shù)形結(jié)構(gòu)的編碼單元的視頻編碼設(shè)備800的框圖。根據(jù)實(shí)施方式的配置成執(zhí)行并行解碼的并行解碼設(shè)備可以包括下文將描述的視頻編碼設(shè)備800的元件。
根據(jù)實(shí)施方式的基于具有樹(shù)形結(jié)構(gòu)的編碼單元來(lái)執(zhí)行視頻預(yù)測(cè)的視頻編碼設(shè)備800包括最大編碼單元分割單元810、編碼單元確定單元820和輸出單元830。為便于說(shuō)明,根據(jù)實(shí)施方式的基于具有樹(shù)形結(jié)構(gòu)的編碼單元來(lái)執(zhí)行視頻預(yù)測(cè)的視頻編碼設(shè)備800將被簡(jiǎn)稱(chēng)為“視頻編碼設(shè)備800。
編碼單元確定單元820可以基于最大編碼單元來(lái)分割圖像的當(dāng)前圖片,所述最大編碼單元是當(dāng)前圖片的最大尺寸的編碼單元。如果當(dāng)前圖片大于最大編碼單元,那么可以將當(dāng)前圖片的圖像數(shù)據(jù)分割成至少一個(gè)最大編碼單元。根據(jù)實(shí)施方式,最大編碼單元可以是正方形數(shù)據(jù)單元,它們的寬度和高度長(zhǎng)度均是“2”的較高次冪,例如,32×32編碼單元、64×64編碼單元、128×128編碼單元、256×256編碼單元等。
根據(jù)實(shí)施方式,可以使用最大尺寸和深度來(lái)限定編碼單元。此處,術(shù)語(yǔ)“深度”是指將最大編碼單元空間分割成編碼單元的次數(shù)。隨著深度增加,每個(gè)深度的編碼單元可以從最大編碼單元分割到最小編碼單元。最大編碼單元的深度可以被限定為最淺深度,并且最小編碼單元可以被限定為最深編碼單元。隨著最大編碼單元的深度增加,與深度對(duì)應(yīng)的編碼單元的尺寸減小。因此,一個(gè)較淺深度的編碼單元可以包括多個(gè)較深深度的編碼單元。
如上文所述,根據(jù)編碼單元的最大尺寸將當(dāng)前圖片的圖像數(shù)據(jù)分割成最大編碼單元,并且每一最大編碼單元包括根據(jù)深度分割的編碼單元。根據(jù)實(shí)施方式,最大編碼單元根據(jù)深度進(jìn)行分割,因此,最大編碼單元中包括的空間域圖像數(shù)據(jù)可以根據(jù)深度進(jìn)行分層分類(lèi)。
限制最大編碼單元的高度和寬度可以進(jìn)行分層分割的總次數(shù)的最大深度和編碼單元的最大尺寸可以預(yù)先設(shè)置。
編碼單元確定單元820通過(guò)根據(jù)深度對(duì)至少一個(gè)分割區(qū)域進(jìn)行編碼來(lái)確定將針對(duì)從最大編碼單元分割的至少一個(gè)分割區(qū)域中的每個(gè)輸出最終編碼結(jié)果所處的深度。換言之,編碼單元確定單元820根據(jù)深度以編碼單元為單位對(duì)當(dāng)前圖片的每一最大編碼單元的圖像數(shù)據(jù)進(jìn)行編碼,并且將出現(xiàn)最小編碼誤差所處的深度確定為最終深度。所確定的最終深度和每一最大編碼單元中包括的圖像數(shù)據(jù)輸出到輸出單元830。
每一最大編碼單元中包括的圖像數(shù)據(jù)根據(jù)小于或等于最大深度的至少一個(gè)深度基于與深度對(duì)應(yīng)的編碼單元進(jìn)行編碼,并且基于與深度對(duì)應(yīng)的編碼單元對(duì)圖像進(jìn)行編碼的結(jié)果彼此相比較。通過(guò)比較與深度對(duì)應(yīng)的編碼單元的編碼誤差可以選擇出現(xiàn)最小編碼誤差所處的深度。針對(duì)每一最大編碼單元,可以確定至少一個(gè)最終深度。
隨著深度增加,最大編碼單元分層地分割成編碼單元,因此,編碼單元的數(shù)量增加。即使具有相同深度的編碼單元包括在一個(gè)最大編碼單元中,也要針對(duì)這些編碼單元中包括的數(shù)據(jù)來(lái)測(cè)量編碼誤差,并且確定是否將這些編碼單元分割成較深深度的編碼單元。因此,由于以深度為單位,根據(jù)數(shù)據(jù)項(xiàng)的位置甚至在一個(gè)最大編碼單元中包括的數(shù)據(jù)項(xiàng)中可出現(xiàn)不同的編碼誤差,因此,最終深度可以根據(jù)數(shù)據(jù)的位置而改變。因此,可以針對(duì)一個(gè)最大編碼單元來(lái)設(shè)置至少一個(gè)最終深度,并且可以根據(jù)至少一個(gè)最終深度的編碼單元來(lái)分割最大編碼單元的數(shù)據(jù)。
因此,根據(jù)實(shí)施方式,編碼單元確定單元820可以確定當(dāng)前最大編碼單元中包括的樹(shù)形結(jié)構(gòu)編碼單元。根據(jù)實(shí)施方式,“樹(shù)形結(jié)構(gòu)編碼單元”包括與所有深度對(duì)應(yīng)的編碼單元之中的具有確定為最終深度的深度并且包括在當(dāng)前最大編碼單元中的編碼單元。具有最終深度的編碼單元在最大編碼單元的相同區(qū)域中分層地確定,并且可以在最大編碼單元的不同區(qū)域中獨(dú)立確定。類(lèi)似地,當(dāng)前區(qū)域的最終深度可以獨(dú)立于另一區(qū)域的最終深度進(jìn)行確定。
根據(jù)實(shí)施方式,最大深度是與最大編碼單元進(jìn)行分割以獲取最小編碼單元的次數(shù)有關(guān)的索引。根據(jù)實(shí)施方式,第一最大深度可以表示最大編碼單元進(jìn)行分割以獲取最小編碼單元的總次數(shù)。根據(jù)實(shí)施方式,第二最大深度可以表示從最大編碼單元到最小編碼單元的總層級(jí)數(shù)。例如,當(dāng)最大編碼單元具有深度0時(shí),通過(guò)將最大編碼單元分割一次而獲取的編碼單元的深度可以設(shè)置為“1”,并且通過(guò)將最大編碼單元分割兩次而獲取的編碼單元的深度可以設(shè)置為“2”。在這種情況下,當(dāng)通過(guò)將最大編碼單元分割四次而獲取的編碼單元是最小編碼單元時(shí),那么深度“0”、“1”、“2”、3和“4”是深度等級(jí)。因此,第一最大深度可以設(shè)置為“4”,并且第二最大深度可以設(shè)置為“5”。
可以在最大編碼單元上執(zhí)行預(yù)測(cè)編碼和變換。類(lèi)似地,可以根據(jù)小于或等于最大深度的深度,基于與深度對(duì)應(yīng)的編碼單元,在每一最大編碼單元上執(zhí)行預(yù)測(cè)編碼和變換。
每當(dāng)最大編碼單元根據(jù)每一深度進(jìn)行分割時(shí),與每一深度對(duì)應(yīng)的編碼單元的數(shù)量便增加。因此,隨著深度增加,可以在根據(jù)所有深度生成的編碼單元上執(zhí)行包括預(yù)測(cè)編碼和變換的編碼。為便于說(shuō)明,現(xiàn)在將描述基于至少一個(gè)最大編碼單元之中的具有當(dāng)前深度的編碼執(zhí)行的預(yù)測(cè)編碼和變換。
根據(jù)實(shí)施方式,視頻編碼設(shè)備800可以不同地選擇用于對(duì)圖像數(shù)據(jù)進(jìn)行編碼的數(shù)據(jù)單元的尺寸或形狀。對(duì)圖像數(shù)據(jù)執(zhí)行各種操作,例如,預(yù)測(cè)編碼、變換、熵編碼等,以對(duì)圖像數(shù)據(jù)進(jìn)行編碼。在操作中可以使用相同的數(shù)據(jù)單元或者可以使用不同的數(shù)據(jù)單元。
例如,視頻編碼設(shè)備800不僅可以選擇用于對(duì)圖像數(shù)據(jù)進(jìn)行編碼的編碼單元,而且還可以選擇不同于編碼單元的數(shù)據(jù)單元,以在與每一編碼單元對(duì)應(yīng)的圖像數(shù)據(jù)上執(zhí)行預(yù)測(cè)編碼。
根據(jù)實(shí)施方式,關(guān)于對(duì)最大編碼單元進(jìn)行預(yù)測(cè)編碼,可以基于具有最終深度的編碼單元,即,不再能分割的編碼單元來(lái)執(zhí)行預(yù)測(cè)編碼。在下文中,不再能分割并且基于此執(zhí)行預(yù)測(cè)編碼的編碼單元將被稱(chēng)為“預(yù)測(cè)單元”。從預(yù)測(cè)單元分割的分區(qū)可包括預(yù)測(cè)單元和通過(guò)分割預(yù)測(cè)單元的高度和寬度中的至少一個(gè)而獲得的數(shù)據(jù)單元。分區(qū)是從編碼單元的預(yù)測(cè)單元分割的數(shù)據(jù)單元,并且預(yù)測(cè)單元可以與編碼單元具有相同尺寸。
例如,當(dāng)尺寸為2n×2n的編碼單元不再能分割時(shí),可以將編碼單元用作尺寸為2n×2n的預(yù)測(cè)單元,并且可以從分區(qū)中分割尺寸為2n×2n、2n×n、n×2n、n×n等分區(qū)。此處,“n”表示正整數(shù)。根據(jù)實(shí)施方式,分區(qū)模式可以選擇性地包括:通過(guò)以對(duì)稱(chēng)的比例分割預(yù)測(cè)單元的高度或?qū)挾榷@取的對(duì)稱(chēng)分區(qū);通過(guò)以不對(duì)稱(chēng)的比例(例如,1:n或n:1)分割預(yù)測(cè)單元的高度或?qū)挾榷@取的分區(qū);通過(guò)將預(yù)測(cè)單元分割成幾何圖案、任意形狀的圖案等而獲取的分區(qū)。
預(yù)測(cè)單元的預(yù)測(cè)模式可以是幀內(nèi)模式、幀間模式和跳躍模式之中的至少一個(gè)。例如,可以在尺寸為2n×2n、2n×n、n×2n或n×n的分區(qū)上執(zhí)行幀內(nèi)模式或幀間模式。可以只在尺寸為2n×2n的分區(qū)上執(zhí)行跳躍模式??梢栽诰幋a單元中包括的每一預(yù)測(cè)單元上獨(dú)立地執(zhí)行編碼,并且可以選擇具有最小編碼誤差的預(yù)測(cè)模式。
根據(jù)實(shí)施方式,視頻編碼設(shè)備800可以基于用于對(duì)圖像數(shù)據(jù)進(jìn)行編碼的編碼單元和不同于編碼單元的數(shù)據(jù)單元來(lái)變換編碼單元的圖像數(shù)據(jù)。為了變換編碼單元,可以基于尺寸等于或小于編碼單元的變換單元來(lái)執(zhí)行變換。例如,變換單元可以包括用于幀內(nèi)模式的數(shù)據(jù)單元和用于幀間模式的變換單元。
類(lèi)似于根據(jù)實(shí)施方式的具有樹(shù)形結(jié)構(gòu)的編碼單元,編碼單元中包括的變換單元可以遞歸地分割成更小尺寸的變換單元,使得基于具有樹(shù)形結(jié)構(gòu)的變換單元,根據(jù)變換深度來(lái)分割編碼單元的殘余數(shù)據(jù)。
根據(jù)實(shí)施方式,可以設(shè)置表示分割編碼單元的高度和寬度以獲取變換單元的次數(shù)的變換深度。例如,當(dāng)尺寸為2n×2n的當(dāng)前編碼單元的變換單元的尺寸為2n×2n時(shí),變換深度可以設(shè)置為“0”,當(dāng)尺寸為2n×2n的當(dāng)前編碼單元的變換單元的尺寸為n×n時(shí),變換深度可以設(shè)置為“1”,并且當(dāng)尺寸為2n×2n的當(dāng)前編碼單元的變換單元的尺寸為n/2×n/2變換單元時(shí),變換深度可以設(shè)置為“2”。換言之,具有樹(shù)形結(jié)構(gòu)的變換單元也可以根據(jù)變換深度進(jìn)行設(shè)置。
根據(jù)深度的分割信息不僅包括深度,而且還包括預(yù)測(cè)相關(guān)信息和變換相關(guān)信息?;诜指钚畔?,編碼單元確定單元820不僅可以確定出現(xiàn)最小編碼誤差所處的深度,而且可以確定用于將預(yù)測(cè)單元分割成分區(qū)的分區(qū)模式、每一預(yù)測(cè)單元的分區(qū)模式、用于執(zhí)行變換的變換單元的尺寸等。
根據(jù)實(shí)施方式,下文將參考圖9到圖19詳細(xì)地描述確定具有樹(shù)形結(jié)構(gòu)的編碼單元、預(yù)測(cè)單元/分區(qū)和最大編碼單元的變換單元的方法。
編碼單元確定單元820可以通過(guò)使用基于拉格朗日乘子的率失真優(yōu)化來(lái)測(cè)量與每一深度對(duì)應(yīng)的編碼單元的編碼誤差。
輸出單元830以比特流的形式輸出基于由編碼單元確定單元820確定的至少一個(gè)深度和與每一深度對(duì)應(yīng)的分割信息而編碼的最大編碼單元的圖像數(shù)據(jù)。
編碼的圖像數(shù)據(jù)可以是對(duì)圖像的殘余數(shù)據(jù)進(jìn)行編碼的結(jié)果。
與每一深度對(duì)應(yīng)的分割信息可以包括與深度有關(guān)的信息、與分區(qū)單元的分區(qū)模式有關(guān)的信息、與預(yù)測(cè)模式有關(guān)的信息、變換單元的分割信息等。
與最終深度有關(guān)的信息可以使用分割信息進(jìn)行限定,所述分割信息與每一深度對(duì)應(yīng)并且表示是否使用較深深度的編碼單元而非當(dāng)前編碼單元來(lái)執(zhí)行編碼。在當(dāng)前編碼單元的當(dāng)前深度是最終深度時(shí),在當(dāng)前深度上對(duì)當(dāng)前編碼單元進(jìn)行編碼,因此,可以限定當(dāng)前深度的分割信息,使得當(dāng)前深度的當(dāng)前編碼單元不再分割成較深深度的較深編碼單元。相反,在當(dāng)前編碼單元的當(dāng)前深度不是最終深度時(shí),可以使用較深深度的編碼單元對(duì)當(dāng)前編碼單元進(jìn)行編碼,因此,可以限定當(dāng)前深度的分割信息,使得當(dāng)前編碼單元分割成較深深度的編碼單元。
在當(dāng)前深度不是最終深度時(shí),在分割成較深深度編碼單元的編碼單元上執(zhí)行編碼。由于較深深度的至少一個(gè)編碼單元存在于當(dāng)前深度的編碼單元中,因此,可以在較深深度的至少一個(gè)編碼單元上重復(fù)執(zhí)行編碼,從而對(duì)相同深度的編碼單元遞歸地進(jìn)行編碼。
針對(duì)一個(gè)最大編碼單元確定具有樹(shù)形結(jié)構(gòu)的編碼單元,并且可以針對(duì)每一深度的編碼單元來(lái)確定至少一項(xiàng)分割信息。因此,可以針對(duì)一個(gè)最大編碼單元確定至少一項(xiàng)分割信息。此外,最大編碼單元的數(shù)據(jù)可以根據(jù)深度分層地分割。因此,深度可以根據(jù)最大編碼單元的每項(xiàng)數(shù)據(jù)的位置而改變。因此,可以針對(duì)數(shù)據(jù)中的每項(xiàng)來(lái)設(shè)置深度和分割信息。
因此,根據(jù)實(shí)施方式,輸出單元830可以將與對(duì)應(yīng)深度和編碼模式有關(guān)的編碼信息分配到最大編碼單元中包括的編碼單元、預(yù)測(cè)單元和最小單元中的至少一個(gè)。
根據(jù)實(shí)施方式,最小單元是通過(guò)將最深深度的最小編碼單元分割成四項(xiàng)而獲得的正方形數(shù)據(jù)單元。根據(jù)實(shí)施方式,最小單元可以是包括在最大編碼單元所包括的編碼單元、預(yù)測(cè)單元、分區(qū)單元和變換單元中的每個(gè)中的最大正方形數(shù)據(jù)單元。
例如,經(jīng)由輸出單元830輸出的編碼信息可以分類(lèi)成與深度對(duì)應(yīng)的編碼單元中的每一編碼單元的編碼信息和每一預(yù)測(cè)單元的編碼信息。與深度對(duì)應(yīng)的編碼單元中每一編碼單元的編碼信息可以包括預(yù)測(cè)模式信息和分區(qū)尺寸信息。以預(yù)測(cè)單元為單位傳輸?shù)木幋a信息可以包括與估計(jì)幀間模式的方向有關(guān)的信息、與幀間模式的參考圖像索引有關(guān)的信息、與運(yùn)動(dòng)矢量有關(guān)的信息、與幀內(nèi)模式的色度分量有關(guān)的信息、與幀內(nèi)模式的內(nèi)插法有關(guān)的信息等。
與以圖片、截片或圖片組(gop)為單位限定的編碼單元的最大尺寸有關(guān)的信息以及與最大深度有關(guān)的信息可以插入到比特流的標(biāo)頭、序列參數(shù)集或圖像參數(shù)集等中。
與當(dāng)前視頻準(zhǔn)許的變換單元的最大尺寸有關(guān)的信息以及與變換單元的最小尺寸有關(guān)的信息也可以使用比特流的標(biāo)頭、序列參數(shù)集或圖片參數(shù)集等輸出。輸出單元830可以對(duì)與執(zhí)行預(yù)測(cè)相關(guān)的參考信息、預(yù)測(cè)信息、截片類(lèi)型信息等進(jìn)行編碼并輸出這些信息。
在根據(jù)最簡(jiǎn)單實(shí)施方式的視頻編碼設(shè)備800中,通過(guò)將上一層的較高編碼單元的高度和寬度一分為二來(lái)獲取與深度對(duì)應(yīng)的編碼單元。換言之,在當(dāng)前深度的編碼單元的尺寸是2n×2n時(shí),較深深度的編碼單元的尺寸是n×n。2n×2n當(dāng)前編碼單元可以包括四個(gè)或更少的較深深度的n×n編碼單元。
因此,通過(guò)基于最大編碼單元的尺寸和考慮到當(dāng)前圖片的特征而確定的最大深度來(lái)確定每個(gè)最大編碼單元的具有最佳形狀和尺寸的編碼單元,視頻編碼設(shè)備800可以形成具有樹(shù)形結(jié)構(gòu)的編碼單元。此外,可以使用各種預(yù)測(cè)模式、各種變換方法等對(duì)每一最大編碼單元進(jìn)行編碼。因此,可以根據(jù)具有各種尺寸的圖像的編碼單元的圖像特征來(lái)確定最佳編碼模式。
因此,當(dāng)以現(xiàn)有宏塊為單位對(duì)具有很高分辨率的圖像或包括大量數(shù)據(jù)的圖像進(jìn)行編碼時(shí),單位圖片的宏塊數(shù)量過(guò)大。在這種情況下,由于針對(duì)每一宏塊生成的壓縮信息量較大,因此,傳輸壓縮信息的負(fù)擔(dān)較大,并且數(shù)據(jù)壓縮效率降低。因此,根據(jù)實(shí)施方式,視頻編碼設(shè)備能夠基于圖像的特征來(lái)控制編碼單元,同時(shí)根據(jù)圖像的尺寸來(lái)增加編碼單元的最大尺寸,從而提高壓縮圖像的效率。
包括上文參考圖1a描述的元件的層間視頻編碼設(shè)備可以包括視頻編碼設(shè)備800,其數(shù)量等于多層視頻的層的數(shù)量,以對(duì)單層圖像進(jìn)行編碼。例如,第一層編碼單元可以包括一個(gè)視頻編碼設(shè)備800,并且第二層編碼單元可以包括數(shù)量等于第二層的數(shù)量的視頻編碼設(shè)備800。
當(dāng)視頻編碼設(shè)備800配置成對(duì)第一層圖像進(jìn)行編碼時(shí),編碼單元確定單元820可以以每一最大編碼單元的具有樹(shù)形結(jié)構(gòu)的編碼單元為單位來(lái)確定用于幀間圖像預(yù)測(cè)的預(yù)測(cè)單元,并且在每一預(yù)測(cè)單元上執(zhí)行幀間圖像預(yù)測(cè)。
類(lèi)似地,當(dāng)視頻編碼設(shè)備800配置成對(duì)第二層圖像進(jìn)行編碼時(shí),編碼單元確定單元820可以確定具有樹(shù)形結(jié)構(gòu)的編碼單元和用于每一最大編碼單元的預(yù)測(cè)單元,并且在每一預(yù)測(cè)單元上執(zhí)行幀間圖像預(yù)測(cè)。
視頻編碼設(shè)備800可以對(duì)第一層圖像與第二層圖像的亮度之間的差異進(jìn)行編碼,以補(bǔ)償該差異。然而,可以根據(jù)編碼單元的編碼模式來(lái)確定是否執(zhí)行亮度補(bǔ)償。例如,可以只在尺寸為2n×2n的預(yù)測(cè)單元上執(zhí)行亮度補(bǔ)償。
圖9是根據(jù)實(shí)施方式的基于具有樹(shù)形結(jié)構(gòu)的編碼單元的視頻解碼設(shè)備900的框圖。
根據(jù)實(shí)施方式的配置成基于具有樹(shù)形結(jié)構(gòu)的編碼單元來(lái)執(zhí)行視頻預(yù)測(cè)的視頻解碼設(shè)備900包括接收單元910、圖像數(shù)據(jù)與編碼信息提取單元920以及圖像數(shù)據(jù)解碼單元930。為便于說(shuō)明,根據(jù)實(shí)施方式的配置成基于具有樹(shù)形結(jié)構(gòu)的編碼單元來(lái)執(zhí)行視頻預(yù)測(cè)的視頻解碼設(shè)備900將被簡(jiǎn)稱(chēng)為“視頻解碼設(shè)備900”。
根據(jù)實(shí)施方式,與視頻解碼設(shè)備900的解碼操作相關(guān)的各種術(shù)語(yǔ)“編碼單元”、“深度”、“預(yù)測(cè)單元”、“變換單元”、“分割信息”等如上文參考示出視頻編碼設(shè)備800的圖8所限定。
接收單元910接收并解析編碼視頻的比特流。圖像數(shù)據(jù)與編碼信息提取單元920基于具有樹(shù)形結(jié)構(gòu)的編碼單元以最大編碼單元為單位從解析的比特流中提取針對(duì)每一編碼單元編碼的圖像數(shù)據(jù),并且將提取的編碼圖像數(shù)據(jù)輸出到圖像數(shù)據(jù)解碼單元930。圖像數(shù)據(jù)與編碼信息提取單元920可以從當(dāng)前圖片的標(biāo)頭、序列參數(shù)集或圖片參數(shù)集中提取與當(dāng)前圖片的編碼單元的最大尺寸有關(guān)的信息。
此外,圖像數(shù)據(jù)與編碼信息提取單元920以最大編碼單元為單位從解析的比特流中提取與具有樹(shù)形結(jié)構(gòu)的編碼單元有關(guān)的最終深度和分割信息。提取的最終深度和分割信息輸出到圖像數(shù)據(jù)解碼單元930。換言之,圖像數(shù)據(jù)的比特串可以分割成最大編碼單元,使得圖像數(shù)據(jù)解碼單元930可以以最大編碼單元為單位對(duì)圖像數(shù)據(jù)進(jìn)行解碼。
針對(duì)至少一項(xiàng)深度信息,可以設(shè)置用于每一最大編碼單元的深度和分割信息。與每一深度對(duì)應(yīng)的分割信息可以包括分區(qū)模式信息、與對(duì)應(yīng)編碼單元有關(guān)的分區(qū)模式信息、變換單元的分割信息等。此外,與每一深度對(duì)應(yīng)的分割信息可以被提取作為深度信息。
通過(guò)在根據(jù)實(shí)施方式的視頻編碼設(shè)備800的編碼側(cè)對(duì)與最大編碼單元中的深度對(duì)應(yīng)的編碼單元重復(fù)地執(zhí)行編碼,通過(guò)生成最小編碼誤差來(lái)確定由圖像數(shù)據(jù)與編碼信息提取單元920以最大編碼單元為單位提取的深度信息和分割信息。因此,視頻解碼設(shè)備900可以通過(guò)基于導(dǎo)致出現(xiàn)最小編碼誤差的編碼方法對(duì)數(shù)據(jù)進(jìn)行解碼來(lái)恢復(fù)圖像。
根據(jù)實(shí)施方式,由于與深度和編碼模式有關(guān)的編碼信息可以分配到對(duì)應(yīng)編碼單元、預(yù)測(cè)單元和最小單元之中的預(yù)定數(shù)據(jù)單元,因此,圖像數(shù)據(jù)與編碼信息提取單元920可以基于預(yù)定數(shù)據(jù)單元來(lái)提取深度和分割信息。當(dāng)基于預(yù)定數(shù)據(jù)單元來(lái)記錄對(duì)應(yīng)最大編碼單元的深度和分割信息時(shí),可以將具有相同深度和分割信息的預(yù)定數(shù)據(jù)單元視作包括在相同最大編碼單元中。
圖像數(shù)據(jù)解碼單元930通過(guò)基于每一最大編碼單元的深度和分割信息對(duì)每一最大編碼單元的圖像數(shù)據(jù)進(jìn)行解碼來(lái)恢復(fù)當(dāng)前圖片。換言之,圖像數(shù)據(jù)解碼單元930可以基于針對(duì)最大編碼單元中包括的具有樹(shù)形結(jié)構(gòu)的每一編碼單元讀取的分區(qū)模式、預(yù)測(cè)模式和變換單元來(lái)對(duì)編碼的圖像數(shù)據(jù)進(jìn)行解碼。編碼圖像數(shù)據(jù)的解碼可以包括預(yù)測(cè)過(guò)程和逆變換過(guò)程,所述預(yù)測(cè)過(guò)程包括幀內(nèi)預(yù)測(cè)和運(yùn)動(dòng)補(bǔ)償。
圖像數(shù)據(jù)解碼單元930可以根據(jù)每一編碼單元的預(yù)測(cè)模式和分區(qū)、基于每一編碼單元的預(yù)測(cè)單元的預(yù)測(cè)模式信息和分區(qū)模式信息在與深度對(duì)應(yīng)的編碼單元上執(zhí)行幀內(nèi)預(yù)測(cè)或運(yùn)動(dòng)補(bǔ)償。
此外,為了以最大編碼單元為單位執(zhí)行逆變換,圖像數(shù)據(jù)解碼單元930可以讀取用于每一編碼單元的根據(jù)樹(shù)形結(jié)構(gòu)的變換單元信息,并且基于變換單元在每一編碼單元上執(zhí)行逆變換。空間域中的編碼單元中像素值可以通過(guò)逆變換而恢復(fù)。
圖像數(shù)據(jù)解碼單元930可以通過(guò)使用與深度對(duì)應(yīng)的分割信息來(lái)確定當(dāng)前最大編碼單元的深度。如果分割信息表示當(dāng)前深度的當(dāng)前編碼單元不再能分割,那么當(dāng)前深度是最終深度。因此,圖像數(shù)據(jù)解碼單元930可以基于當(dāng)前深度的編碼單元通過(guò)使用預(yù)測(cè)單元的預(yù)測(cè)模式和分區(qū)模式以及變換單元的尺寸信息來(lái)對(duì)當(dāng)前最大編碼單元的圖像數(shù)據(jù)進(jìn)行解碼。
換言之,可以檢查用于編碼單元、預(yù)測(cè)單元和最小單元之中的預(yù)定數(shù)據(jù)單元的編碼信息集,并且隨后可以將包括含有相同分割信息的編碼信息的數(shù)據(jù)單元共同視作將要由圖像數(shù)據(jù)解碼單元930使用相同解碼模式解碼的一個(gè)數(shù)據(jù)單元??梢酝ㄟ^(guò)獲取與如上文所述確定的每一編碼單元的編碼模式有關(guān)的信息對(duì)當(dāng)前編碼單元進(jìn)行解碼。
包括如上文參考圖2a描述的元件的層間視頻解碼設(shè)備可以包括與視角的數(shù)量對(duì)應(yīng)的多個(gè)視頻解碼設(shè)備900,以通過(guò)對(duì)所接收的第一層圖像流和第二層圖像流進(jìn)行解碼來(lái)恢復(fù)第一層圖像和第二層圖像。
當(dāng)接收到第一層圖像流時(shí),視頻解碼設(shè)備900的圖像數(shù)據(jù)解碼單元930可以將由提取單元920從第一層圖像流中提取的第一層圖像的樣本分成最大編碼單元的具有樹(shù)形結(jié)構(gòu)的編碼單元。圖像數(shù)據(jù)解碼單元930可以通過(guò)以用于幀間圖像預(yù)測(cè)的預(yù)測(cè)單元為單位在第一層圖像的樣本的具有樹(shù)形結(jié)構(gòu)的編碼單元上執(zhí)行運(yùn)動(dòng)補(bǔ)償來(lái)恢復(fù)第一層圖像。
當(dāng)接收到第二層圖像流時(shí),視頻解碼設(shè)備900的圖像數(shù)據(jù)解碼單元930可以將由提取單元920從第二層圖像流中提取的第二層圖像的樣本分成最大編碼單元的具有樹(shù)形結(jié)構(gòu)的編碼單元。圖像數(shù)據(jù)解碼單元930可以通過(guò)以用于幀間圖像預(yù)測(cè)的預(yù)測(cè)單元為單位在第二層圖像的樣本的具有樹(shù)形結(jié)構(gòu)的編碼單元上執(zhí)行運(yùn)動(dòng)補(bǔ)償來(lái)恢復(fù)第二層圖像。
提取單元920可以從比特流中獲取與亮度誤差相關(guān)的信息,以補(bǔ)償?shù)谝粚訄D像與第二層圖像的亮度之間的差異??梢愿鶕?jù)編碼單元的編碼模式來(lái)確定是否執(zhí)行亮度補(bǔ)償。例如,可以只在尺寸為2n×2n的預(yù)測(cè)單元上執(zhí)行亮度補(bǔ)償。
因此,視頻解碼設(shè)備900可以獲取與當(dāng)在編碼過(guò)程中對(duì)每一最大編碼單元遞歸地執(zhí)行編碼時(shí)出現(xiàn)最小編碼誤差的編碼單元有關(guān)的信息,并且使用該信息對(duì)當(dāng)前圖片進(jìn)行解碼。換言之,可以對(duì)為每一最大編碼單元確定的具有樹(shù)形結(jié)構(gòu)的最佳編碼單元的編碼圖像數(shù)據(jù)進(jìn)行解碼。
因此,通過(guò)基于從編碼側(cè)傳輸?shù)淖罴逊指钚畔?,使用編碼單元的尺寸和根據(jù)圖像的特征而自適應(yīng)地確定的編碼模式對(duì)圖像數(shù)據(jù)有效地解碼,甚至可以恢復(fù)具有高分辨率的圖像或具有大量數(shù)據(jù)的圖像。
圖10示出根據(jù)實(shí)施方式的編碼單元的示意圖。
編碼單元的尺寸可以用寬度×高度來(lái)表示,并且編碼單元的示例可以包括尺寸為64×64、32×32、16×16和8×8的編碼單元。尺寸為64×64的編碼單元可以分割成尺寸為64×64、64×32、32×64和32×32的分區(qū)。32×32的編碼單元可以分割成尺寸為32×32、32×16、16×32和16×16的分區(qū)。16×16的編碼單元可以分割成尺寸為16×16、16×8、8×16或8×8的分區(qū)。尺寸為8×8的編碼單元可以分割成尺寸為8×8、8×4、4×8和4×4的分區(qū)。
在視頻數(shù)據(jù)1010中,分辨率是1920×1080,編碼單元的最大尺寸是64,并且最大深度是2。在視頻數(shù)據(jù)1020中,分辨率是1920×1080,編碼單元的最大尺寸是64,并且最大深度是3。在視頻數(shù)據(jù)1030中,分辨率是352×288,編碼單元的最大尺寸是16,并且最大深度是1。圖10所示的最大深度表示從最大編碼單元到最小解碼單元的總分割次數(shù)。
如果分辨率較高或數(shù)據(jù)量較大,那么編碼單元的最大尺寸可相對(duì)較大,從而不僅提高編碼效率,而且準(zhǔn)確反映圖像的特征。因此,分辨率比視頻數(shù)據(jù)1030高的視頻數(shù)據(jù)1010和1020的編碼單元的最大尺寸可以是64。
由于視頻數(shù)據(jù)1010的最大深度是2,因此,視頻數(shù)據(jù)1010的編碼單元1015可以包括長(zhǎng)軸尺寸為64的最大編碼單元,以及長(zhǎng)軸尺寸為32和16的編碼單元,這是因?yàn)橥ㄟ^(guò)將最大編碼單元分割兩次,其深度加深兩個(gè)層。同時(shí),由于視頻數(shù)據(jù)1030的最大深度是1,因此,視頻數(shù)據(jù)1030的編碼單元1035可以包括長(zhǎng)軸尺寸為16的最大編碼單元,以及長(zhǎng)軸尺寸為8的編碼單元,這是因?yàn)橥ㄟ^(guò)將最大編碼單元分割一次,其深度加深一層。
由于視頻數(shù)據(jù)1020的最大深度是3,因此,視頻數(shù)據(jù)1020的編碼單元1025可以包括長(zhǎng)軸尺寸為64的最大編碼單元,以及長(zhǎng)軸尺寸為32、16和8的編碼單元,這是因?yàn)橥ㄟ^(guò)將最大編碼單元分割三次,其深度加深三個(gè)層。隨著深度加深,可以準(zhǔn)確地表達(dá)詳細(xì)信息。
圖11是根據(jù)實(shí)施方式的基于編碼單元的視頻編碼單元1100的框圖。
根據(jù)實(shí)施方式,視頻編碼單元1100執(zhí)行視頻編碼設(shè)備800的圖片編碼單元1520的操作,以對(duì)圖像數(shù)據(jù)進(jìn)行編碼。具體而言,幀內(nèi)預(yù)測(cè)單元1120以預(yù)測(cè)單元為單位在幀內(nèi)模式下對(duì)當(dāng)前圖像1105的編碼單元執(zhí)行幀內(nèi)預(yù)測(cè)。幀間預(yù)測(cè)單元1115通過(guò)使用從當(dāng)前圖像1105和恢復(fù)圖片緩沖器1110獲取的參考圖像而以預(yù)測(cè)單元為單位在幀間模式下對(duì)編碼單元執(zhí)行幀間預(yù)測(cè)。當(dāng)前圖像1105可以分割成最大編碼單元,并且可以在最大編碼單元上相繼地執(zhí)行編碼。在這種情況下,編碼可以是從每一最大編碼單元中分割的具有樹(shù)形結(jié)構(gòu)的編碼單元。
通過(guò)從當(dāng)前圖像1105的已編碼的編碼單元的數(shù)據(jù)中去除從幀內(nèi)預(yù)測(cè)單元1120或幀間預(yù)測(cè)單元1115輸出的每個(gè)模式的編碼單元的預(yù)測(cè)數(shù)據(jù),生成殘余數(shù)據(jù)。殘余數(shù)據(jù)在經(jīng)過(guò)變換單元1125和量化單元1130的同時(shí)被變換、量化并且輸出為在變換單元中量化的變換系數(shù)。經(jīng)量化的變換系數(shù)由反量化單元1145和逆變換單元1150恢復(fù)成空間域中的殘余數(shù)據(jù)。將空間域中的恢復(fù)殘余數(shù)據(jù)添加到從幀內(nèi)預(yù)測(cè)單元1120或幀間預(yù)測(cè)單元1115中輸出的每個(gè)模式的編碼單元的預(yù)測(cè)數(shù)據(jù),以恢復(fù)成當(dāng)前圖像1105的編碼單元的空間域中的數(shù)據(jù)。在經(jīng)過(guò)去塊化單元1155和樣本適應(yīng)偏移(sao)執(zhí)行單元1160的同時(shí),空間域中的恢復(fù)數(shù)據(jù)轉(zhuǎn)換成恢復(fù)的圖像。恢復(fù)的圖像存儲(chǔ)在恢復(fù)圖片緩沖器1110中。存儲(chǔ)在恢復(fù)圖片緩沖器1110中的所恢復(fù)的圖像可以用作對(duì)其他圖像執(zhí)行幀間預(yù)測(cè)的參考圖像。由變換單元1125和量化單元1130量化的變換系數(shù)可以經(jīng)過(guò)熵編碼單元1135,隨后在比特流1140中輸出。
根據(jù)實(shí)施方式,為了將視頻編碼單元1100應(yīng)用于視頻編碼設(shè)備800,視頻編碼單元1100的所有元件(即,幀間預(yù)測(cè)單元1115、幀內(nèi)預(yù)測(cè)單元1120、變換單元1125、量化單元1130、熵編碼單元1135、反量化單元1145、逆變換單元1150、去塊化單元1155、sao執(zhí)行單元1160和alf執(zhí)行單元1170)基于每一最大編碼單元的具有樹(shù)形結(jié)構(gòu)的每一編碼單元來(lái)執(zhí)行操作。
具體地,幀內(nèi)預(yù)測(cè)單元1120和幀間預(yù)測(cè)單元1115可以在考慮當(dāng)前最大編碼單元的最大尺寸和最大深度的同時(shí)確定具有樹(shù)形結(jié)構(gòu)的每一編碼單元的分區(qū)模式和預(yù)測(cè)模式。變換單元1125可以確定具有樹(shù)形結(jié)構(gòu)的每一編碼單元中包括的具有四叉樹(shù)的變換單元是否將被分割。
圖12是根據(jù)實(shí)施方式的基于編碼單元的視頻解碼單元1200的框圖。
熵解碼單元1215對(duì)比特流1205進(jìn)行解析,以獲取將被解碼的編碼圖像數(shù)據(jù)和用于對(duì)編碼圖像數(shù)據(jù)進(jìn)行解碼所需的編碼信息。編碼的圖像數(shù)據(jù)是經(jīng)量化的變換系數(shù),并且由反量化單元1220和逆變換單元1225從經(jīng)量化的變換系數(shù)中恢復(fù)殘余數(shù)據(jù)。
幀內(nèi)預(yù)測(cè)單元1240以預(yù)測(cè)單元為單位在幀內(nèi)模式下對(duì)編碼單元執(zhí)行幀內(nèi)預(yù)測(cè)。幀間預(yù)測(cè)單元1235基于從恢復(fù)圖片緩沖器1230獲取的參考圖像而以預(yù)測(cè)單元為單位在幀間模式下對(duì)當(dāng)前圖片的編碼單元執(zhí)行幀間預(yù)測(cè)。
將在經(jīng)過(guò)幀內(nèi)預(yù)測(cè)單元1240或幀間預(yù)測(cè)單元1235的同時(shí)獲取的每個(gè)模式的編碼單元的預(yù)測(cè)數(shù)據(jù)和殘余數(shù)據(jù)添加在一起,以恢復(fù)當(dāng)前圖像的編碼單元的空間域中的數(shù)據(jù),并且所恢復(fù)的空間域中的數(shù)據(jù)可以在經(jīng)過(guò)去塊化單元1245、sao執(zhí)行單元1250和alf執(zhí)行單元1260的同時(shí)作為輸出視頻1260輸出。將存儲(chǔ)在恢復(fù)圖片緩沖器1230的所恢復(fù)的圖像可以輸出為參考圖像。
根據(jù)實(shí)施方式,為了使用視頻解碼設(shè)備900的圖片解碼單元930對(duì)編碼的圖像數(shù)據(jù)進(jìn)行解碼,可以執(zhí)行在視頻解碼單元1200的熵解碼單元1215的操作之后執(zhí)行的操作。
為了將視頻解碼單元1200應(yīng)用于根據(jù)實(shí)施方式的視頻解碼單元1200,視頻解碼單元1200的所有元件(即,熵解碼單元1215、反量化單元1220、逆變換單元1225、幀內(nèi)預(yù)測(cè)單元1240、幀間預(yù)測(cè)單元1235、去塊化單元1245、sao執(zhí)行單元1250和alf執(zhí)行單元1260)可以基于具有樹(shù)形結(jié)構(gòu)的編碼單元、以最大編碼單元為單位來(lái)執(zhí)行操作。
具體地,幀內(nèi)預(yù)測(cè)單元1240和幀間預(yù)測(cè)單元1235可以確定具有樹(shù)形結(jié)構(gòu)的每一編碼單元的分區(qū)模式和預(yù)測(cè)模式,并且逆變換單元1225可以確定每一編碼單元中包括的具有四叉樹(shù)的變換單元是否將被分割。
上文參考圖10和圖11描述的編碼操作和解碼操作是在單個(gè)層處執(zhí)行的視頻流編碼操作和視頻流解碼操作。因此,當(dāng)圖1a的編碼單元12對(duì)兩個(gè)或更多層的視頻流進(jìn)行編碼時(shí),可以提供兩個(gè)或更多圖像編碼單元1100,以分別對(duì)應(yīng)于兩個(gè)或更多層。類(lèi)似地,當(dāng)圖2a的解碼單元24對(duì)兩個(gè)或更多層的視頻流進(jìn)行解碼時(shí),可以提供兩個(gè)或更多圖像解碼單元1200,以分別對(duì)應(yīng)于兩個(gè)或更多層。
圖13是示出根據(jù)實(shí)施方式的與深度和分區(qū)對(duì)應(yīng)的編碼單元的示意圖。
根據(jù)實(shí)施方式的視頻編碼設(shè)備800和視頻解碼設(shè)備900使用分層編碼單元以考慮圖像的特征。編碼單元的最大高度、最大寬度和最大深度可以根據(jù)圖像的特征而自適應(yīng)地確定,或者可以根據(jù)用戶請(qǐng)求而不同地設(shè)置。與深度對(duì)應(yīng)的編碼單元的尺寸可以根據(jù)編碼單元的預(yù)定最大尺寸進(jìn)行確定。
根據(jù)實(shí)施方式,在根據(jù)實(shí)施方式的編碼單元的分層結(jié)構(gòu)1300中,編碼單元的最大高度和最大寬度均是64,并且最大深度是3。最大深度表示從最大編碼單元到最小編碼單元的總分割次數(shù)。根據(jù)實(shí)施方式,由于深度沿著分層結(jié)構(gòu)1300的豎直軸加深,因此,與深度對(duì)應(yīng)的編碼單元中的每一編碼單元的高度和寬度均被分割。此外,沿著分層結(jié)構(gòu)1300的水平軸示出作為對(duì)與深度對(duì)應(yīng)的編碼單元中的每一編碼單元進(jìn)行預(yù)測(cè)編碼的基礎(chǔ)的預(yù)測(cè)單元和分區(qū)。
換言之,在編碼單元的分層結(jié)構(gòu)1300中,編碼單元1310是深度為0并且尺寸為64×64(高度×寬度)的最大編碼單元。隨著深度沿著豎直軸加深,存在尺寸為32×32且深度為1的編碼單元1320、尺寸為16×16且深度為2的編碼單元1330,以及尺寸為8×8且深度為3的編碼單元1340。尺寸為8×8且深度為3的編碼單元1340是最小編碼單元。
每一編碼單元的預(yù)測(cè)單元和分區(qū)根據(jù)每個(gè)深度沿著水平軸布置。換言之,如果尺寸為64×64且深度為0的編碼單元1310是預(yù)測(cè)單元,那么預(yù)測(cè)單元可以分割成編碼單元1310中包括的分區(qū),即,尺寸為64×64的分區(qū)1310、尺寸為64×32的分區(qū)1312、尺寸為32×64的分區(qū)1314,或者尺寸為32×32的分區(qū)1316。
類(lèi)似地,尺寸為32×32且深度為1的編碼單元1320的預(yù)測(cè)單元可以分割成編碼單元1320中包括的分區(qū),即,尺寸為32×32的分區(qū)1320、尺寸為32×16的分區(qū)1322、尺寸為16×32的分區(qū)1324,以及尺寸為16×16的分區(qū)1326。
類(lèi)似地,尺寸為16×16且深度為2的編碼單元1330的預(yù)測(cè)單元可以分割成編碼單元1330中包括的分區(qū),即,尺寸為16×16的分區(qū)1330、尺寸為16×8的分區(qū)1332、尺寸為8×16的分區(qū)1334,以及尺寸為8×8的分區(qū)1336。
類(lèi)似地,尺寸為8×8且深度為3的編碼單元1340的預(yù)測(cè)單元可以分割成編碼單元1340中包括的分區(qū),即,尺寸為8×8的分區(qū)1340、尺寸為8×4的分區(qū)1342、尺寸為4×8的分區(qū)1344,以及尺寸為4×4的分區(qū)1346。
根據(jù)實(shí)施方式,視頻編碼設(shè)備800的編碼單元確定單元820可以對(duì)與最大編碼單元1310的深度對(duì)應(yīng)的每一編碼單元進(jìn)行編碼,以確定最大編碼單元1310的深度。
隨著深度加深,與每個(gè)深度對(duì)應(yīng)并且包括具有相同范圍和尺寸的數(shù)據(jù)的編碼單元的數(shù)量增加。例如,需要四個(gè)對(duì)應(yīng)于深度2的編碼單元來(lái)覆蓋一個(gè)對(duì)應(yīng)于深度1的編碼單元中包括的數(shù)據(jù)。因此,為了將根據(jù)深度的相同數(shù)據(jù)的編碼結(jié)果進(jìn)行比較,對(duì)應(yīng)于深度1的編碼單元和對(duì)應(yīng)于深度2的四個(gè)編碼單元均被編碼。
為了以深度為單位執(zhí)行編碼,可以通過(guò)沿著分層結(jié)構(gòu)1300的水平軸,對(duì)與深度對(duì)應(yīng)的編碼單元中的每一編碼單元的預(yù)測(cè)單元進(jìn)行編碼來(lái)將每一深度的最小編碼誤差選作代表性編碼誤差?;蛘?,隨著深度沿著分層結(jié)構(gòu)600的豎直軸加深,可以通過(guò)以深度為單位執(zhí)行編碼和根據(jù)深度來(lái)比較最小編碼誤差而搜索出最小編碼誤差。最大編碼單元1310中具有最小編碼誤差的深度和分區(qū)可以被選作最大編碼單元1310的深度和分區(qū)模式。
圖14是示出根據(jù)實(shí)施方式的編碼單元與變換單元之間的關(guān)系的示意圖。
根據(jù)實(shí)施方式的視頻編碼設(shè)備800或視頻解碼設(shè)備900基于尺寸小于或等于最大編碼單元的尺寸的編碼單元以最大編碼單元為單位對(duì)圖像進(jìn)行編碼或解碼。在編碼期間,可以基于不大于對(duì)應(yīng)編碼單元的數(shù)據(jù)單元來(lái)選擇用于執(zhí)行變換的每個(gè)變換單元的尺寸。
例如,在根據(jù)實(shí)施方式的視頻編碼設(shè)備800或視頻解碼設(shè)備900中,如果編碼單元1410的尺寸是64×64,那么可以使用尺寸為32×32的變換單元1420來(lái)執(zhí)行變換。
此外,通過(guò)在尺寸為32×32、16×16、8×8和4×4(都小于64×64)的每一變換單元上執(zhí)行變換,可以對(duì)尺寸為64×64的編碼單元110的數(shù)據(jù)進(jìn)行編碼,并且隨后可以選擇具有最小編碼誤差的變換單元。
圖15示出根據(jù)各種實(shí)施方式的多項(xiàng)編碼信息。
根據(jù)實(shí)施方式,視頻編碼設(shè)備800的輸出單元830可以針對(duì)與深度對(duì)應(yīng)的編碼單元中的每一編碼單元來(lái)編碼并傳輸與分區(qū)模式有關(guān)的信息1500、與預(yù)測(cè)模式有關(guān)的信息1510和與變換單元尺寸有關(guān)的信息1520,以作為分割信息。
信息1500表明與通過(guò)分割當(dāng)前編碼單元的預(yù)測(cè)單元而獲得的分區(qū)的形狀的有關(guān)信息,所述預(yù)測(cè)單元作為用于對(duì)當(dāng)前編碼單元進(jìn)行預(yù)測(cè)編碼的數(shù)據(jù)單元。例如,尺寸為2n×2n的當(dāng)前編碼單元cu_0可分割成下列分區(qū)中的任一個(gè):尺寸為2n×2n的分區(qū)1502、尺寸為2n×n的分區(qū)1504、尺寸為n×2n的分區(qū)1506以及尺寸為n×n的分區(qū)1508。在這種情況下,信息1500設(shè)置成表示下列一個(gè):尺寸為2n×n的分區(qū)1504、尺寸為n×2n的分區(qū)1506以及尺寸為n×n的分區(qū)1508。
信息1510表明每個(gè)分區(qū)的預(yù)測(cè)模式。例如,信息1510可以設(shè)置成表明信息1500所指向的分區(qū)是否將根據(jù)幀內(nèi)模式1512、幀間模式1514或跳躍模式1516進(jìn)行預(yù)測(cè)編碼。
信息1520表明在當(dāng)前編碼單元上執(zhí)行變換時(shí)將依據(jù)的變換單元。例如,所述變換單元可以是第一幀內(nèi)變換單元1522、第二幀內(nèi)變換單元1524、第一幀間變換單元1526或者第二幀內(nèi)變換單元1528。
根據(jù)實(shí)施方式,視頻解碼設(shè)備900的圖像數(shù)據(jù)與編碼信息提取單元920可以針對(duì)與深度對(duì)應(yīng)的編碼單元中的每一編碼單元來(lái)提取與分區(qū)模式有關(guān)的信息1500、與預(yù)測(cè)模式有關(guān)的信息1510以及與變換單元尺寸有關(guān)的信息1520,并且將提取的信息用于執(zhí)行解碼。
圖16是示出根據(jù)實(shí)施方式的與深度對(duì)應(yīng)的編碼單元的示意圖。
分割信息可以用來(lái)表示深度變化。分割信息表明當(dāng)前深度的編碼單元是否將被分割成較深深度的編碼單元。
用于對(duì)深度為0且尺寸為2n_0×2n_0的編碼單元1600進(jìn)行預(yù)測(cè)編碼的預(yù)測(cè)單元1610可以包括分區(qū)模式1618,該分區(qū)模式包括:尺寸為2n_0×2n_0的分區(qū)模式1612、尺寸為2n_0×n_0的分區(qū)模式1614、尺寸為n_0×2n_0的分區(qū)模式1616和尺寸為n_0×n_0的分區(qū)類(lèi)型1618。盡管圖16只示出通過(guò)對(duì)稱(chēng)地分割預(yù)測(cè)單元1610而獲取的分區(qū)模式1612到1618,但預(yù)測(cè)單元1610的分區(qū)不限于此,而是可以包括不對(duì)稱(chēng)分區(qū)、具有任意形狀的分區(qū)、具有幾何形狀的分區(qū)等,如上文所述。
根據(jù)每一分區(qū)模式,在尺寸為2n_0×2n_0的一個(gè)分區(qū)、尺寸為2n_0×n_0的兩個(gè)分區(qū)、尺寸為n_0×2n_0的兩個(gè)分區(qū)和尺寸為n_0×n_0的四個(gè)分區(qū)上重復(fù)執(zhí)行預(yù)測(cè)編碼。根據(jù)幀內(nèi)模式和幀間模式,可以在尺寸為2n_0×2n_0、n_0×2n_0、2n_0×n_0和n_0×n_0的分區(qū)上執(zhí)行預(yù)測(cè)編碼。根據(jù)跳躍模式,只在尺寸為2n_0×2n_0的分區(qū)上執(zhí)行預(yù)測(cè)編碼。
如果尺寸為2n_0×2n_0的分區(qū)模式1612、尺寸為2n_0×n_0的分區(qū)模式1614和尺寸為n_0×2n_0的分區(qū)模式1616中的一個(gè)分區(qū)模式的編碼誤差是最小的,那么預(yù)測(cè)單元1610可以不分割成較深深度。
如果尺寸為n_0×n_0的分區(qū)模式1618的編碼誤差是最小的,那么在操作1620中深度可以從0變成1以分割分區(qū)模式1618,并且可以在深度為2且尺寸為n_0×n_0的分區(qū)模式的編碼單元1630上重復(fù)執(zhí)行編碼,以搜索最小編碼誤差。
用于對(duì)深度為1且尺寸為2n_1×2n_1(=n_0×n_0)的編碼單元1630進(jìn)行預(yù)測(cè)編碼的預(yù)測(cè)單元1640可以包括下列分區(qū)模式:尺寸為2n_1×2n_1的分區(qū)模式1642、尺寸為2n_1×n_1的分區(qū)模式1644、尺寸為n_1×2n_1的分區(qū)模式1646和尺寸為n_1×n_1的分區(qū)模式1648。
如果尺寸為n_1×n_1的分區(qū)模式1648的編碼誤差是最小的,那么在操作1650中,深度從1變成2以分割分區(qū)模式948,并且可以在深度為2且尺寸為n_2×n_2的編碼單元1660上重復(fù)執(zhí)行編碼,以搜索最小編碼誤差。
當(dāng)最大深度為d時(shí),根據(jù)深度的編碼單元可以設(shè)置到深度變成(d-1)時(shí),并且分割信息可以設(shè)置到深度是(d-2)時(shí)。換言之,當(dāng)在操作1670中在對(duì)應(yīng)于深度(d-2)的編碼單元進(jìn)行分割之后執(zhí)行編碼直到深度為d-1時(shí),用于對(duì)深度為(d-1)且尺寸為2n_(d-1)×2n_(d-1)的編碼單元1680進(jìn)行預(yù)測(cè)編碼的預(yù)測(cè)單元1690可以包括下列分區(qū)模式:尺寸為2n_(d-1)×2n_(d-1)的分區(qū)模式1692、尺寸為2n_(d-1)×n_(d-1)的分區(qū)模式1694、尺寸為n_(d-1)×2n_(d-1)的分區(qū)模式1696和尺寸為n_(d-1)×n_(d-1)的分區(qū)模式1698。
可以在上述分區(qū)模式之中的尺寸為2n_(d-1)×2n_(d-1)的一個(gè)分區(qū)、尺寸為2n_(d-1)×n_(d-1)的兩個(gè)分區(qū)、尺寸為n_(d-1)×2n_(d-1)的兩個(gè)分區(qū)和尺寸為n_(d-1)×n_(d-1)的四個(gè)分區(qū)上重復(fù)執(zhí)行預(yù)測(cè)編碼,以搜索具有最小編碼誤差的分區(qū)模式。
即使在尺寸為n_(d-1)×n_(d-1)的分區(qū)模式1698具有最小編碼誤差時(shí),由于最大深度為d,因此,深度為(d-1)的編碼單元cu_(d-1)不再分割到更低深度,并且當(dāng)前最大編碼單元1600的深度被確定為(d-1),而且該當(dāng)前最大編碼單元1600的分區(qū)模式可以被確定為n_(d-1)×n_(d-1)。此外,由于最大深度為d,因此,不針對(duì)深度為(d-1)的編碼單元1652來(lái)設(shè)置分割信息。
數(shù)據(jù)單元1699可以被稱(chēng)為當(dāng)前最大編碼單元的“最小單元”。根據(jù)實(shí)施方式的最小單元可以是通過(guò)將具有最深深度的最小編碼單元分割成4個(gè)而獲得的正方形數(shù)據(jù)單元。通過(guò)如上文所述重復(fù)執(zhí)行編碼,根據(jù)實(shí)施方式的視頻編碼設(shè)備800可以通過(guò)比較根據(jù)編碼單元1600的深度的編碼誤差和選擇具有最小編碼誤差的深度來(lái)確定深度,并且將對(duì)應(yīng)的分區(qū)模式和預(yù)測(cè)模式設(shè)置為深度的編碼模式。
因此,將根據(jù)深度(即,深度0、1、……、(d-1)和d)的最小編碼誤差彼此進(jìn)行比較,并且可以將具有最小編碼誤差的深度確定為深度。深度、預(yù)測(cè)單元的分區(qū)模式和預(yù)測(cè)模式可作為分割信息而被編碼和傳輸。此外,由于編碼單元從深度0分割到該深度,因此,只有該深度的分割信息設(shè)置為0,而除該深度之外的其他深度的分割信息設(shè)置為1。
根據(jù)實(shí)施方式,視頻解碼設(shè)備900的圖像數(shù)據(jù)與編碼信息提取單元920可以提取并使用與編碼單元1600的深度和預(yù)測(cè)單元有關(guān)的信息,以對(duì)分區(qū)模式1612進(jìn)行解碼。根據(jù)實(shí)施方式,視頻解碼設(shè)備900可以基于根據(jù)深度的分割信息來(lái)將與分割信息“0”對(duì)應(yīng)的深度確定為所述深度,并且將針對(duì)所述深度的分割信息用于執(zhí)行解碼。
圖17、圖18和圖19是示出根據(jù)實(shí)施方式的編碼單元、預(yù)測(cè)單元與變換單元之間的關(guān)系的示意圖。
編碼單元1710是由根據(jù)實(shí)施方式的視頻編碼設(shè)備800確定的與最大編碼的深度對(duì)應(yīng)的編碼單元。預(yù)測(cè)單元1760是與深度對(duì)應(yīng)的相應(yīng)編碼單元1710的預(yù)測(cè)單元的分區(qū)。變換單元1770是相應(yīng)編碼單元1710的變換單元。
在與深度對(duì)應(yīng)的編碼單元1710之中,如果最大編碼單元的深度是0,那么編碼單元1712和1754具有深度1,編碼單元1714、1716、1718、1728、1750和1752具有深度2,編碼單元1720、1722、1724、1726、1730、1732和1748具有深度3,并且編碼單元1740、1742、1744和1746具有深度4。
在預(yù)測(cè)單元1760之中,從編碼單元中分割出一些分區(qū)1714、1716、1722、1732、1748、1750、1752和1754。換言之,分區(qū)1714、1722、1750和1754是2n×n分區(qū)模式,分區(qū)1716、1748和1752是n×2n分區(qū)模式,并且分區(qū)1732是n×n分區(qū)模式。編碼單元1710的預(yù)測(cè)單元和分區(qū)小于或等于與之對(duì)應(yīng)的編碼單元。
在變換單元1770之中,以小于編碼單元的數(shù)據(jù)單元為單位對(duì)一些變換單元1752的圖像數(shù)據(jù)進(jìn)行變換或逆變換。變換單元1714、1716、1722、1732、1748、1750、1752和1754是在與預(yù)測(cè)單元1760和分區(qū)之中的對(duì)應(yīng)預(yù)測(cè)單元相比時(shí)具有不同尺寸或形狀的數(shù)據(jù)單元。換言之,根據(jù)實(shí)施方式的視頻編碼設(shè)備800和視頻解碼設(shè)備900可以基于不同的數(shù)據(jù)單元甚至在相同編碼單元上執(zhí)行幀內(nèi)預(yù)測(cè)/運(yùn)動(dòng)估算/運(yùn)動(dòng)補(bǔ)償以及變換/逆變換。
因此,可以通過(guò)以最大編碼單元為單位對(duì)具有分層結(jié)構(gòu)的編碼單元進(jìn)行遞歸地編碼來(lái)確定最佳編碼單元,從而獲取具有遞歸樹(shù)形結(jié)構(gòu)的編碼單元。編碼信息可以包括與編碼單元有關(guān)的分割信息、與分區(qū)模式有關(guān)的信息、與預(yù)測(cè)模式有關(guān)的信息和與變換單元的尺寸有關(guān)的信息。
根據(jù)實(shí)施方式,視頻編碼設(shè)備800的輸出單元830可以輸出與具有樹(shù)形結(jié)構(gòu)的編碼單元有關(guān)的編碼信息,并且視頻解碼設(shè)備900的編碼信息提取器920可以從接收的比特流中提取與具有樹(shù)形結(jié)構(gòu)的編碼單元有關(guān)的編碼信息。
分割信息表示當(dāng)前編碼單元是否分割成較深深度的編碼單元。如果當(dāng)前深度“d”的分割信息為0,那么當(dāng)前編碼單元不再分割到較深深度所處的深度是深度。因此,可以針對(duì)該深度來(lái)限定與分區(qū)模式、預(yù)測(cè)模式和變換單元的尺寸有關(guān)的信息。如果當(dāng)前編碼單元根據(jù)分割信息進(jìn)一步分割,那么在較深深度的四個(gè)分割編碼單元上獨(dú)立執(zhí)行編碼。
預(yù)測(cè)模式可以是幀內(nèi)模式、幀間模式和跳躍模式中的一個(gè)。幀內(nèi)模式和幀間模式可以限定于所有分區(qū)模式,而跳躍模式可以只限定于2n×2n分區(qū)模式。
與分區(qū)模式有關(guān)的信息可表明通過(guò)對(duì)稱(chēng)地分割預(yù)測(cè)單元的高度或?qū)挾榷@取的尺寸為2n×2n、2n×n、n×2n和n×n的對(duì)稱(chēng)分區(qū)模式,以及通過(guò)不對(duì)稱(chēng)地分割預(yù)測(cè)單元的高度或?qū)挾榷@取的尺寸為2n×nu、2n×nd、nl×2n和nr×2n的不對(duì)稱(chēng)分區(qū)模式??梢苑謩e通過(guò)以1:3和3:1分割預(yù)測(cè)單元的高度來(lái)獲取尺寸為2n×nu和2n×nd的不對(duì)稱(chēng)分區(qū)模式??梢苑謩e通過(guò)以1:3和3:1分割預(yù)測(cè)單元的寬度來(lái)獲取尺寸為nl×2n和nr×2n的不對(duì)稱(chēng)分區(qū)模式。
變換單元的尺寸可以設(shè)置為在幀內(nèi)模式下有兩個(gè)類(lèi)型并且在幀間模式下有兩個(gè)類(lèi)型。換言之,如果變換單元的分割信息為0,那么變換單元的尺寸可以是2n×2n,等于當(dāng)前編碼單元的尺寸。如果變換單元的分割信息為1,那么可以通過(guò)分割當(dāng)前編碼單元來(lái)獲得變換單元。此外,在尺寸為2n×2n的當(dāng)前編碼單元的分區(qū)模式是對(duì)稱(chēng)分區(qū)模式時(shí),那么變換單元的尺寸可以是n×n,并且在當(dāng)前編碼單元的分區(qū)模式是不對(duì)稱(chēng)分區(qū)模式時(shí),變換單元的尺寸可以是n/2×n/2。
根據(jù)實(shí)施方式,與具有樹(shù)形結(jié)構(gòu)的編碼單元有關(guān)的編碼信息可以分配到與深度對(duì)應(yīng)的編碼單元、預(yù)測(cè)單元和最小單元中的至少一個(gè)。與深度對(duì)應(yīng)的編碼單元可以包括含有相同編碼信息的至少一個(gè)預(yù)測(cè)單元和至少一個(gè)最小單元。
因此,可以通過(guò)比較相鄰數(shù)據(jù)單元的編碼信息來(lái)確定相鄰數(shù)據(jù)單元是否包括在與相同深度對(duì)應(yīng)的編碼單元中。此外,可以使用數(shù)據(jù)單元的編碼信息來(lái)確定與深度對(duì)應(yīng)的編碼單元。因此,可以確定最大編碼單元中的深度的分布。
在這種情況下,當(dāng)基于鄰近數(shù)據(jù)單元來(lái)預(yù)測(cè)當(dāng)前編碼單元時(shí),可以直接參考并使用鄰近當(dāng)前編碼單元的與深度對(duì)應(yīng)的編碼單元中的數(shù)據(jù)單元的編碼信息。
根據(jù)另一實(shí)施方式,如果基于相鄰編碼單元對(duì)當(dāng)前編碼單元進(jìn)行預(yù)測(cè)編碼,那么可以基于與深度對(duì)應(yīng)的相鄰編碼單元的編碼信息,通過(guò)從與深度對(duì)應(yīng)的編碼單元之中檢測(cè)與當(dāng)前編碼單元相鄰的數(shù)據(jù)單元來(lái)參考相鄰編碼單元。
圖20是示出根據(jù)表1的編碼模式信息的編碼單元、預(yù)測(cè)單元與變換單元之間的關(guān)系的示意圖。
最大編碼單元2000包括與深度對(duì)應(yīng)的編碼單元2002、2004、2006、2012、2014、2016和2018。在這些編碼單元之中,編碼單元2018是與深度對(duì)應(yīng)的編碼單元,并且分割信息可以設(shè)置為“0”。尺寸為2n×2n的編碼單元2018的分區(qū)模式信息可以設(shè)置成表示下列中的一個(gè):2n×2n分區(qū)模式2022、2n×n分區(qū)模式2024、n×2n分區(qū)模式2026、n×n分區(qū)模式2028、2n×nu分區(qū)模式2032、2n×nd分區(qū)模式2034、nl×2n分區(qū)模式2036和nr×2n分區(qū)模式2038。
變換單元分割信息(即,tu尺寸標(biāo)記)是一種變換索引。與變換索引對(duì)應(yīng)的變換單元的尺寸可以根據(jù)編碼單元的預(yù)測(cè)單元類(lèi)型或分區(qū)模式而改變。
例如,如果分區(qū)模式信息設(shè)置成表示下列對(duì)稱(chēng)分區(qū)模式中的一個(gè):2n×2n分區(qū)模式2022、2n×n分區(qū)模式2024、n×2n分區(qū)模式2026和n×n分區(qū)模式2028,那么當(dāng)變換單元分割信息為“0”時(shí)可以設(shè)置尺寸為2n×2n的變換單元2042,并且當(dāng)變換單元分割信息為“1”時(shí)可以設(shè)置尺寸為n×n的變換單元2044。
如果分區(qū)模式信息設(shè)置成表示下列不對(duì)稱(chēng)分區(qū)模式中的一個(gè):2n×nu分區(qū)模式2032、2n×nd分區(qū)模式2034、nl×2n分區(qū)模式2036和nr×2n分區(qū)模式2038,那么當(dāng)變換單元分割信息(tu尺寸標(biāo)記)為0時(shí)可以設(shè)置尺寸為2n×2n的變換單元2052,并且當(dāng)變換單元分割信息(tu尺寸標(biāo)記)為1時(shí)可以設(shè)置尺寸為n/2×n/2的變換單元2054。
盡管上文參考圖19描述的變換單元分割信息(tu尺寸標(biāo)記)是值為0或1的標(biāo)記,但根據(jù)實(shí)施方式的變換單元分割信息不限于1比特標(biāo)記,并且可以根據(jù)設(shè)置而設(shè)置成增加至0、1、2、3……,使得變換單元分層地分割。變換單元分割信息可以是變換索引的實(shí)施方式。
在這種情況下,根據(jù)實(shí)施方式,實(shí)際使用的變換單元的尺寸可以通過(guò)使用變換單元分割消息以及變換單元的最大尺寸和最小尺寸一起來(lái)表示。根據(jù)實(shí)施方式,視頻編碼設(shè)備800可以對(duì)最大變換單元尺寸信息、最小變換單元尺寸信息和最大變換單元分割信息進(jìn)行編碼。對(duì)最大變換單元尺寸信息、最小變換單元尺寸信息和最大變換單元分割信息進(jìn)行編碼的結(jié)果可插入到sps。根據(jù)實(shí)施方式,視頻解碼設(shè)備900可以通過(guò)使用最大變換單元尺寸信息、最小變換單元尺寸信息和最大變換單元分割信息來(lái)對(duì)視頻進(jìn)行解碼。
例如,(a)在當(dāng)前編碼單元的尺寸是64×64并且變換單元的最大尺寸是32×32的情況下:(a-1)當(dāng)變換單元分割信息為“0”時(shí),變換單元的尺寸可以設(shè)置成32×32;(a-2)當(dāng)變換單元分割信息為“1”時(shí),變換單元的尺寸可以設(shè)置成16×16;以及(a-3)當(dāng)變換單元分割信息為“2”時(shí),變換單元的尺寸可以設(shè)置成8×8。
作為另一示例,(b)在當(dāng)前變換單元的尺寸為32×32并且變換單元的最大尺寸為32×32的情況下:(b-1)當(dāng)變換單元分割信息為“0”時(shí),變換單元的尺寸可以設(shè)置成32×32。此處,變換單元分割信息無(wú)法設(shè)置成除了0之外的值,這是因?yàn)樽儞Q單元的尺寸不能小于32×32。
作為另一示例,(c)在當(dāng)前編碼單元的尺寸為64×64并且最大變換單元分割信息為“1”時(shí),變換單元分割信息可以是“0”或“1”。此處,變換單元分割信息不能設(shè)置成除了0或1之外的值。
因此,如果將最大變換單元分割信息限定為“maxtransformsizeindex”,將最小變換單元尺寸限定為“mintransformsize”并且在變換單元分割信息為“0”時(shí)將變換單元尺寸限定為“roottusize”,那么可以在當(dāng)前編碼單元中確定的最小變換單元尺寸“currmintusize”可以由下式限定:
currmintusize
=max(mintransformsize,roottusize/(2^maxtransformsizeindex))...(1)
與可以在當(dāng)前編碼單元中確定的最小變換單元尺寸currmintusize相比,在變換單元分割信息為“0”時(shí)的變換單元尺寸roottusize可以表示系統(tǒng)中可選擇的最大變換單元尺寸。在等式(1)中,“roottusize/(2^maxtransformsizeindex)”表示在變換單元分割信息為“0”時(shí)變換單元尺寸roottusize被分割對(duì)應(yīng)于最大變換單元分割信息的次數(shù)時(shí)的變換單元尺寸,并且“mintransformsize”表示最小變換尺寸。因此,“roottusize/(2^maxtransformsizeindex)”和“mintransformsize”之中的較小值可以是可在當(dāng)前編碼單元中確定的最小變換單元尺寸currmintusize。
根據(jù)實(shí)施方式,最大變換單元尺寸roottusize可以根據(jù)預(yù)測(cè)模式而改變。
例如,如果當(dāng)前預(yù)測(cè)模式是幀間模式,那么“roottusize”可以根據(jù)下列等式(2)來(lái)確定。在等式(2)中,“maxtransformsize”表示最大變換單元尺寸,并且“pusize”表示當(dāng)前預(yù)測(cè)單元尺寸。
roottusize=min(maxtransformsize,pusize).........(2)
換言之,如果當(dāng)前預(yù)測(cè)模式是幀間模式,那么在變換單元分割信息為“0”時(shí),變換單元尺寸roottusize可以是最大變換單元尺寸和當(dāng)前預(yù)測(cè)單元尺寸之中的較小值。
如果當(dāng)前分區(qū)單元的預(yù)測(cè)模式是幀內(nèi)模式,那么“roottusize”可以根據(jù)下列等式(3)來(lái)確定。在等式(3)中,“partitionsize”表示當(dāng)前分區(qū)單元的尺寸。
roottusize=min(maxtransformsize,partitionsize)...........(3)
換言之,如果當(dāng)前預(yù)測(cè)模式是幀內(nèi)模式,那么在變換單元分割信息為“0”時(shí),變換單元尺寸roottusize可以是最大變換單元尺寸和當(dāng)前分區(qū)單元的尺寸之中的較小值。
然而,根據(jù)分區(qū)單元中的預(yù)測(cè)模式而改變的當(dāng)前最大變換單元尺寸roottusize僅僅是示例,并且確定當(dāng)前最大變換單元尺寸的因素不限于分區(qū)單元中的預(yù)測(cè)模式。
根據(jù)參考圖8到圖20描述的基于具有樹(shù)形結(jié)構(gòu)的編碼單元執(zhí)行的視頻編碼方法,針對(duì)具有樹(shù)形結(jié)構(gòu)的編碼單元中的每一編碼單元,將空間域的圖像數(shù)據(jù)編碼。根據(jù)基于具有樹(shù)形結(jié)構(gòu)的編碼單元執(zhí)行的視頻解碼方法,通過(guò)對(duì)最大編碼單元進(jìn)行解碼來(lái)恢復(fù)空間域中的圖像數(shù)據(jù),以恢復(fù)圖片和作為圖片序列的視頻?;謴?fù)的視頻可以由播放設(shè)備播放、存儲(chǔ)在記錄介質(zhì)中,或經(jīng)由網(wǎng)絡(luò)傳輸。
上述實(shí)施方式可以編寫(xiě)為計(jì)算機(jī)程序,并且可以在使用計(jì)算機(jī)可讀記錄介質(zhì)執(zhí)行程序的通用數(shù)字計(jì)算機(jī)中實(shí)施。計(jì)算機(jī)可讀記錄介質(zhì)的示例包括磁存儲(chǔ)單元介質(zhì)(例如,rom、軟盤(pán)、硬盤(pán)等)和光記錄介質(zhì)(例如,cd-rom、dvd等)。
為便于說(shuō)明,上文參考圖1a到圖20描述的視頻編碼方法和/或視頻編碼方法將被簡(jiǎn)稱(chēng)為“根據(jù)實(shí)施方式的視頻編碼方法”。此外,上文參考圖1a到圖20描述的視頻解碼方法和/或視頻解碼方法將被簡(jiǎn)稱(chēng)為“根據(jù)實(shí)施方式的視頻解碼方法”。
此外,上文參考圖1a到圖20描述的包括視頻編碼設(shè)備800或視頻編碼單元1100的視頻編碼設(shè)備和視頻編碼設(shè)備將被簡(jiǎn)稱(chēng)為“根據(jù)實(shí)施方式的視頻編碼設(shè)備”。此外,上文參考圖1a到圖20描述的包括視頻解碼設(shè)備900或視頻解碼單元1200的視頻解碼設(shè)備和層間視頻解碼設(shè)備將被簡(jiǎn)稱(chēng)為“根據(jù)實(shí)施方式的視頻解碼設(shè)備”。
現(xiàn)在將詳細(xì)描述根據(jù)實(shí)施方式的存儲(chǔ)程序的計(jì)算機(jī)可讀記錄介質(zhì),例如,盤(pán)片26000。
圖21示出根據(jù)實(shí)施方式的存儲(chǔ)程序的盤(pán)片21000的物理結(jié)構(gòu)。被描述為記錄介質(zhì)的示例的盤(pán)片21000可以是硬盤(pán)驅(qū)動(dòng)器、壓縮只讀存儲(chǔ)器(cd-rom)盤(pán)、藍(lán)光光盤(pán)或數(shù)字多功能盤(pán)(dvd)。盤(pán)片21000包括多個(gè)同心盤(pán)道tr,所述同心盤(pán)道tr各自在盤(pán)片21000的圓周方向上分成特定數(shù)量的扇區(qū)se。在盤(pán)片21000的特定區(qū)域中,可以分配并存儲(chǔ)配置成執(zhí)行上述確定量化參數(shù)的方法、視頻編碼方法和視頻解碼方法的程序。
下文將參考圖22描述使用存儲(chǔ)介質(zhì)實(shí)現(xiàn)的計(jì)算機(jī)系統(tǒng),所述存儲(chǔ)介質(zhì)存儲(chǔ)用于執(zhí)行上述視頻編碼方法和視頻解碼方法的程序。
圖22示出配置成通過(guò)使用盤(pán)片26000來(lái)記錄和讀取程序的盤(pán)片驅(qū)動(dòng)器26800。計(jì)算機(jī)系統(tǒng)26700可以使用盤(pán)片驅(qū)動(dòng)器26800在盤(pán)片26000中存儲(chǔ)用于執(zhí)行根據(jù)實(shí)施方式的視頻編碼方法和視頻解碼方法中的至少一個(gè)的程序。為了在計(jì)算機(jī)系統(tǒng)26700中運(yùn)行存儲(chǔ)在盤(pán)片26000中的程序,可以從盤(pán)片26000中讀取程序并且通過(guò)使用盤(pán)片驅(qū)動(dòng)器26800將程序傳輸?shù)接?jì)算機(jī)系統(tǒng)26700。
執(zhí)行根據(jù)實(shí)施方式的視頻編碼方法和視頻解碼方法中的至少一個(gè)的程序可以不僅存儲(chǔ)在圖21所示的盤(pán)片21000或圖22所示的盤(pán)片26000中,還可以存儲(chǔ)在存儲(chǔ)卡、rom盒式磁帶或固態(tài)驅(qū)動(dòng)器(ssd)中。
下文將描述應(yīng)用根據(jù)前述實(shí)施方式的視頻編碼方法和視頻解碼方法的系統(tǒng)。
圖23示出配置成提供內(nèi)容分發(fā)服務(wù)的內(nèi)容供應(yīng)系統(tǒng)11000的整體結(jié)構(gòu)。通信系統(tǒng)的服務(wù)區(qū)域分成預(yù)定尺寸的小區(qū),并且無(wú)線基站11700、11800、11900和12000分別安裝在這些小區(qū)中。
內(nèi)容供應(yīng)系統(tǒng)11000包括多個(gè)獨(dú)立裝置。例如,諸如計(jì)算機(jī)12100、個(gè)人數(shù)字助理(pda)12200、攝像機(jī)12300和移動(dòng)電話12500等多個(gè)獨(dú)立裝置經(jīng)由互聯(lián)網(wǎng)服務(wù)提供商11200、通信網(wǎng)絡(luò)11400以及無(wú)線基站11700、11800、11900和12000連接到互聯(lián)網(wǎng)1110。
然而,內(nèi)容供應(yīng)系統(tǒng)11000不限于如圖24所示,并且裝置可以選擇性地連接到該系統(tǒng)。多個(gè)獨(dú)立裝置可以直接連接到通信網(wǎng)絡(luò)11400,而不是經(jīng)由無(wú)線基站11700、11800、11900和12000進(jìn)行連接。
攝像機(jī)12300是能夠拍攝視頻圖像的成像裝置,例如,數(shù)字?jǐn)z像機(jī)。移動(dòng)電話12500可采用例如個(gè)人數(shù)字通信(pdc)、碼分多址(cdma)、寬帶碼分多址(w-cdma)、全球移動(dòng)通信系統(tǒng)(gsm)以及個(gè)人手持式電話系統(tǒng)(phs)等各種協(xié)議中的至少一種通信方法。
攝像機(jī)12300可以經(jīng)由無(wú)線基站11900和通信網(wǎng)絡(luò)11400連接到流式服務(wù)器11300。流式服務(wù)器11300可以允許經(jīng)由攝像機(jī)12300從用戶接收的內(nèi)容經(jīng)過(guò)實(shí)時(shí)廣播進(jìn)行流傳輸。從攝像機(jī)12300接收的內(nèi)容可以使用攝像機(jī)12300或流式服務(wù)器11300進(jìn)行編碼。由攝像機(jī)12300拍攝的視頻數(shù)據(jù)可經(jīng)由計(jì)算機(jī)12100傳輸?shù)搅魇椒?wù)器11300。
由相機(jī)12600拍攝的視頻數(shù)據(jù)也可經(jīng)由計(jì)算機(jī)12100傳輸?shù)搅魇椒?wù)器11300。相機(jī)12600是能夠拍攝靜態(tài)圖像和視頻圖像的成像裝置,類(lèi)似于數(shù)字相機(jī)。從相機(jī)12600接收的視頻數(shù)據(jù)可以由相機(jī)12600或計(jì)算機(jī)12100進(jìn)行編碼。配置成對(duì)視頻進(jìn)行編碼和解碼的軟件可以存儲(chǔ)在可由計(jì)算機(jī)12100訪問(wèn)的計(jì)算機(jī)可讀記錄介質(zhì)中,例如,cd-rom盤(pán)、軟盤(pán)、硬盤(pán)驅(qū)動(dòng)器、ssd或存儲(chǔ)卡。
如果視頻數(shù)據(jù)由內(nèi)置在移動(dòng)電話12500中的相機(jī)拍攝,那么可以從移動(dòng)電話12500中接收視頻數(shù)據(jù)。
視頻數(shù)據(jù)可以由安裝在攝像機(jī)12300、移動(dòng)電話12500或相機(jī)12600中的大規(guī)模集成電路(lsi)系統(tǒng)進(jìn)行編碼。
根據(jù)實(shí)施方式,內(nèi)容供應(yīng)系統(tǒng)11000可以對(duì)用戶使用攝像機(jī)12300、相機(jī)12600、移動(dòng)電話12500或另一成像裝置記錄的內(nèi)容數(shù)據(jù)(例如,在音樂(lè)會(huì)期間記錄的內(nèi)容)進(jìn)行編碼,并且可以將編碼的內(nèi)容數(shù)據(jù)傳輸?shù)搅魇椒?wù)器11300。流式服務(wù)器11300可以將編碼的內(nèi)容數(shù)據(jù)流傳輸?shù)秸?qǐng)求內(nèi)容數(shù)據(jù)的其他客戶端。
客戶端是能夠?qū)幋a的內(nèi)容數(shù)據(jù)進(jìn)行解碼的裝置,例如,計(jì)算機(jī)12100、pda12200、攝像機(jī)12300或移動(dòng)電話12500。因此,內(nèi)容供應(yīng)系統(tǒng)11000允許客戶端接收和播放編碼的內(nèi)容數(shù)據(jù)。此外,內(nèi)容供應(yīng)系統(tǒng)11000允許客戶端接收編碼的內(nèi)容數(shù)據(jù),并且實(shí)時(shí)解碼和播放編碼的內(nèi)容數(shù)據(jù),從而實(shí)現(xiàn)個(gè)人播放。
根據(jù)實(shí)施方式的視頻編碼設(shè)備和視頻解碼設(shè)備可應(yīng)用于內(nèi)容供應(yīng)系統(tǒng)11000中包括的多個(gè)獨(dú)立裝置的編碼/解碼操作。
現(xiàn)在將參考圖24和圖25更詳細(xì)地描述根據(jù)實(shí)施方式的內(nèi)容供應(yīng)系統(tǒng)11000中包括的移動(dòng)電話12500。
圖24示出根據(jù)實(shí)施方式的可應(yīng)用視頻編碼方法和視頻解碼方法的移動(dòng)電話12500的外部結(jié)構(gòu)。移動(dòng)電話12500可以是智能電話,它的功能不受限制并且其大部分的功能可以使用應(yīng)用程序進(jìn)行改變或擴(kuò)展。
移動(dòng)電話12500包括外部天線12510,經(jīng)由該外部天線12510,射頻(rf)信號(hào)可與圖26的無(wú)線基站12000進(jìn)行交換,并且移動(dòng)電話12500包括顯示屏12520,所述顯示屏12520配置成顯示由相機(jī)12530拍攝的圖像或經(jīng)由天線12510接收并解碼的圖像,例如,液晶顯示器(lcd)或有機(jī)發(fā)光二極管(oled)屏。智能電話12510包括操作面板12540,所述操作面板12540包括控制按鈕和觸摸面板。如果顯示屏12520是觸摸屏,那么操作面板12540進(jìn)一步包括顯示屏12520的觸摸感應(yīng)面板。智能電話12510包括用于輸出語(yǔ)音和聲音的揚(yáng)聲器12580或另一類(lèi)型的聲音輸出單元,以及用于輸入語(yǔ)音和聲音的麥克風(fēng)12550或另一類(lèi)型的聲音輸入單元。智能電話12510進(jìn)一步包括相機(jī)12530,諸如,電荷耦合裝置(ccd)相機(jī),以拍攝視頻或靜態(tài)圖像。智能電話12510可進(jìn)一步包括:存儲(chǔ)介質(zhì)12570,該存儲(chǔ)介質(zhì)12570用于存儲(chǔ)編碼或解碼的數(shù)據(jù),例如,由相機(jī)12530拍攝、經(jīng)由電子郵件接收或根據(jù)另一方法獲取的視頻或靜態(tài)圖像;以及槽12560,存儲(chǔ)介質(zhì)12570經(jīng)由該槽12560裝載到移動(dòng)電話12500中。存儲(chǔ)介質(zhì)12570可以是閃存,例如,安全數(shù)字(sd)卡或者包括在塑料盒中的電可擦除可編程只讀存儲(chǔ)器(eeprom)。
圖25示出根據(jù)實(shí)施方式的移動(dòng)電話12500的內(nèi)部結(jié)構(gòu)。為了系統(tǒng)地控制包括顯示屏12520和操作面板12540的移動(dòng)電話12500的部件,電源電路12700、操作輸入控制器12640、圖像編碼單元12720、相機(jī)接口12630、lcd控制器12620、圖像解碼單元12690、多路復(fù)用器/多路分解器12680、記錄/讀取單元12670、調(diào)制/解調(diào)單元12660以及聲音處理器12650經(jīng)由同步總線12730連接到中央控制器12710。
如果用戶操作電源按鈕以從“關(guān)機(jī)”狀態(tài)變成“開(kāi)機(jī)”狀態(tài),那么電源電路12700將電力從電池組供應(yīng)到移動(dòng)電話12500的所有部分,從而設(shè)置移動(dòng)電話12500進(jìn)入操作模式。
中央控制器12710包括中央處理單元(cpu)、rom和隨機(jī)存取存儲(chǔ)器(ram)。
在移動(dòng)電話12500將通信數(shù)據(jù)傳輸?shù)酵獠繒r(shí),移動(dòng)電話12500在中央控制器12710的控制下生成數(shù)字信號(hào)。例如,數(shù)字聲音信號(hào)可以由聲音處理器12650生成,數(shù)字圖像信號(hào)可以由圖像編碼單元12720生成,并且消息的文本數(shù)據(jù)可以經(jīng)由操作面板12540和操作輸入控制器12640生成。當(dāng)數(shù)字信號(hào)在中央控制器12710的控制下傳輸?shù)秸{(diào)制/解調(diào)單元12660時(shí),調(diào)制/解調(diào)單元12660對(duì)數(shù)字信號(hào)的頻帶進(jìn)行調(diào)制,并且通信電路12610在頻帶經(jīng)調(diào)制的數(shù)字信號(hào)上執(zhí)行數(shù)模轉(zhuǎn)換(dac)和頻率轉(zhuǎn)換。從通信電路12610輸出的傳輸信號(hào)可經(jīng)由天線12510傳輸?shù)秸Z(yǔ)音通信基站或無(wú)線基站12000。
例如,當(dāng)移動(dòng)電話12500處于呼叫模式時(shí),經(jīng)由麥克風(fēng)12550獲取的聲音信號(hào)在中央控制器12710的控制下被聲音處理器12650轉(zhuǎn)換成數(shù)字聲音信號(hào)。數(shù)字聲音信號(hào)可以經(jīng)由調(diào)制/解調(diào)單元12660和通信單元12610轉(zhuǎn)換成傳輸信號(hào),并且經(jīng)由天線12510進(jìn)行傳輸。
當(dāng)文本消息(例如,電子郵件)在數(shù)據(jù)通信模式下傳輸時(shí),文本消息的文本數(shù)據(jù)經(jīng)由操作面板12540輸入,并且經(jīng)由操作輸入控制器12640傳輸?shù)街醒肟刂破?2710。在中央控制器12710的控制下,文本數(shù)據(jù)經(jīng)由調(diào)制/解調(diào)單元12660和通信電路12610變換成傳輸信號(hào),隨后經(jīng)由天線12510傳輸?shù)綗o(wú)線基站12000。
為了在數(shù)據(jù)通信模式下傳輸圖像數(shù)據(jù),經(jīng)由相機(jī)接口12630將相機(jī)12530拍攝的圖像數(shù)據(jù)提供到圖像編碼單元12720。拍攝的圖像數(shù)據(jù)可經(jīng)由相機(jī)接口12630和lcd控制器12620直接顯示在顯示屏12520上。
圖像編碼單元12720的結(jié)構(gòu)可以對(duì)應(yīng)于上文所述的視頻編碼設(shè)備的結(jié)構(gòu)。圖像編碼單元12720可以根據(jù)上文所述的視頻編碼方法或上文所述的圖像編碼器400通過(guò)對(duì)圖像數(shù)據(jù)進(jìn)行編碼來(lái)將從相機(jī)12530接收的圖像數(shù)據(jù)變換成壓縮編碼的圖像數(shù)據(jù),隨后將壓縮編碼的圖像數(shù)據(jù)輸出到多路復(fù)用器/多路分解器12680。在相機(jī)12530的記錄操作期間,經(jīng)由移動(dòng)電話12500的麥克風(fēng)12550獲得的聲音信號(hào)可以經(jīng)由聲音處理器12650變換成數(shù)字聲音數(shù)據(jù)。數(shù)字聲音數(shù)據(jù)可以傳輸?shù)蕉嗦窂?fù)用器/多路分解器12680。
多路復(fù)用器/多路分解器12680將從圖像編碼單元12720接收的編碼圖像數(shù)據(jù)與從聲音處理器12650接收的聲音數(shù)據(jù)多路復(fù)用。多路復(fù)用數(shù)據(jù)的結(jié)果可經(jīng)由調(diào)制/解調(diào)單元12660和通信單元12610轉(zhuǎn)換成傳輸信號(hào),并且可隨后經(jīng)由天線12510傳輸。
當(dāng)移動(dòng)電話12500接收來(lái)自外部的通信數(shù)據(jù)時(shí),在經(jīng)由天線12510接收的信號(hào)上執(zhí)行頻率恢復(fù)和模數(shù)轉(zhuǎn)換(adc),以將該信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)。調(diào)制/解調(diào)單元12660對(duì)數(shù)字信號(hào)的頻帶進(jìn)行調(diào)制。根據(jù)數(shù)字信號(hào)的類(lèi)型,頻帶經(jīng)過(guò)調(diào)制的數(shù)字信號(hào)傳輸?shù)揭曨l解碼單元12690、聲音處理器12650或lcd控制器12620。
在對(duì)話模式下,移動(dòng)電話12500將經(jīng)由天線12510接收的信號(hào)放大,并且對(duì)放大的信號(hào)執(zhí)行頻率轉(zhuǎn)換和adc,以生成數(shù)字聲音信號(hào)。在中央控制器1271的控制下,接收的數(shù)字聲音信號(hào)經(jīng)由調(diào)制/解調(diào)單元12660和聲音處理器12650轉(zhuǎn)換成模擬聲音信號(hào),并且模擬聲音信號(hào)經(jīng)由揚(yáng)聲器12580輸出。
當(dāng)在數(shù)據(jù)通信模式下時(shí),接收在互聯(lián)網(wǎng)網(wǎng)站訪問(wèn)的視頻文件的數(shù)據(jù),經(jīng)由調(diào)制/解調(diào)單元12660將經(jīng)由天線12510從無(wú)線基站12000接收的信號(hào)作為多路復(fù)用數(shù)據(jù)輸出,并且將多路復(fù)用數(shù)據(jù)傳輸?shù)蕉嗦窂?fù)用器/多路分解器12680。
為了對(duì)經(jīng)由天線12510接收的多路復(fù)用的數(shù)據(jù)進(jìn)行解碼,多路復(fù)用器/多路分解器12680將多路復(fù)用的數(shù)據(jù)多路分解成編碼視頻數(shù)據(jù)流和編碼音頻數(shù)據(jù)流。編碼的視頻數(shù)據(jù)流經(jīng)由同步總線1273提供到視頻解碼單元12690并且編碼的音頻數(shù)據(jù)由經(jīng)由同步總線1273提供到聲音處理器12650。
圖像解碼單元12690的結(jié)構(gòu)可以對(duì)應(yīng)于上文所述的視頻解碼設(shè)備的結(jié)構(gòu)。根據(jù)上文所述的視頻解碼方法,圖像解碼單元12690可以對(duì)編碼的視頻數(shù)據(jù)進(jìn)行解碼,以獲取恢復(fù)的視頻數(shù)據(jù),并且經(jīng)由lcd控制器12620將恢復(fù)的視頻數(shù)據(jù)提供到顯示屏12520。
因此,在互聯(lián)網(wǎng)網(wǎng)站訪問(wèn)的視頻文件的視頻數(shù)據(jù)可以顯示在顯示屏12520上。同時(shí),聲音處理器12650可將音頻數(shù)據(jù)轉(zhuǎn)換成模擬聲音信號(hào),并且將模擬聲音信號(hào)提供到揚(yáng)聲器12580。因此,在互聯(lián)網(wǎng)網(wǎng)站訪問(wèn)的視頻文件中含有的音頻數(shù)據(jù)也可經(jīng)由麥克風(fēng)12580而播放。
移動(dòng)電話12500或另一類(lèi)型的通信終端可以是包括根據(jù)實(shí)施方式的視頻編碼設(shè)備和視頻解碼設(shè)備的收發(fā)終端,可以是只包括視頻編碼設(shè)備的收發(fā)終端,或者可以是只包括視頻解碼設(shè)備的收發(fā)終端。
根據(jù)實(shí)施方式的通信系統(tǒng)不限于上文參考圖24描述的通信系統(tǒng)。例如,圖26示出根據(jù)實(shí)施方式的采用通信系統(tǒng)的數(shù)字廣播系統(tǒng)。圖26的數(shù)字廣播系統(tǒng)可以通過(guò)使用根據(jù)實(shí)施方式的視頻編碼設(shè)備和視頻解碼設(shè)備來(lái)接收經(jīng)由衛(wèi)星或地面網(wǎng)絡(luò)傳輸?shù)臄?shù)字廣播。
具體地,廣播站12890通過(guò)使用電波而將視頻數(shù)據(jù)流傳輸?shù)酵ㄐ判l(wèi)星或廣播衛(wèi)星12900。廣播衛(wèi)星12900傳輸廣播信號(hào),并且廣播信號(hào)經(jīng)由家用天線12860傳輸?shù)叫l(wèi)星廣播接收器。在每個(gè)家庭中,編碼的視頻流可由tv接收器12810、機(jī)頂盒12870或另一裝置解碼并播放。
當(dāng)根據(jù)實(shí)施方式的視頻解碼設(shè)備包括在播放設(shè)備12830中時(shí),播放設(shè)備12830可以對(duì)記錄在存儲(chǔ)介質(zhì)12820(諸如,盤(pán)片或存儲(chǔ)卡)上的編碼視頻流進(jìn)行讀取和解碼。通過(guò)對(duì)編碼視頻流進(jìn)行解碼而恢復(fù)的視頻信號(hào)可以在例如顯示器12840上播放。
根據(jù)實(shí)施方式的視頻解碼設(shè)備也可以安裝在用于衛(wèi)星/地面廣播的家用天線12860中,或者安裝在連接到用于接收電纜電視(tv)節(jié)目的電纜天線12850的機(jī)頂盒12870中。從機(jī)頂盒12870輸出的數(shù)據(jù)也可在tv顯示器12880上播放。
作為另一示例,根據(jù)實(shí)施方式的視頻解碼設(shè)備可以安裝在tv接收器12810中,而不是在機(jī)頂盒12870中。
包括適當(dāng)天線12910的汽車(chē)12920可以接收從衛(wèi)星12800或圖23的無(wú)線基站11700傳輸?shù)男盘?hào)。解碼的視頻可以在安裝于汽車(chē)12920中的車(chē)載導(dǎo)航系統(tǒng)12930的顯示屏上播放。
視頻信號(hào)可以由根據(jù)實(shí)施方式的視頻編碼設(shè)備進(jìn)行編碼,并且存儲(chǔ)在存儲(chǔ)介質(zhì)中。具體而言,圖像信號(hào)可以由dvd記錄器存儲(chǔ)在dvd光盤(pán)12960中,或者可以由硬盤(pán)記錄器12950存儲(chǔ)在硬盤(pán)中。作為另一示例,視頻信號(hào)可以存儲(chǔ)在sd卡12970中。如果硬盤(pán)記錄器12950包括根據(jù)實(shí)施方式的視頻解碼設(shè)備,那么記錄在dvd光盤(pán)12960、sd卡12970或另一存儲(chǔ)介質(zhì)上的視頻信號(hào)可以在tv顯示器12880上播放。
車(chē)載導(dǎo)航系統(tǒng)12930可不包括圖26的相機(jī)12530、相機(jī)接口12630和圖像編碼單元12720。例如,計(jì)算機(jī)12100和tv接收器12810可不包括圖26的相機(jī)12530、相機(jī)接口12630和圖像編碼單元12720。
圖27示出根據(jù)實(shí)施方式的使用視頻編碼設(shè)備和視頻解碼設(shè)備的云計(jì)算系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)。
云計(jì)算系統(tǒng)可包括云計(jì)算服務(wù)器14000、用戶數(shù)據(jù)庫(kù)(db)14100、多個(gè)計(jì)算資源1420,以及用戶終端。
響應(yīng)于來(lái)自用戶終端的請(qǐng)求,云計(jì)算系統(tǒng)經(jīng)由信息通信網(wǎng)絡(luò)(例如,互聯(lián)網(wǎng))來(lái)提供多個(gè)計(jì)算資源14200的按需外包服務(wù)。在云計(jì)算環(huán)境中,通過(guò)使用虛擬化技術(shù)將位于物理上不同位置的數(shù)據(jù)中心處的計(jì)算資源相結(jié)合,服務(wù)提供商為用戶提供所需的服務(wù)。服務(wù)用戶不必將計(jì)算資源(例如,應(yīng)用程序、存儲(chǔ)設(shè)施、操作系統(tǒng)(os)或安全特征)安裝到他/她自己的終端中以進(jìn)行使用,而是可以在所需的時(shí)間點(diǎn)從通過(guò)虛擬化技術(shù)生成的虛擬空間中的服務(wù)之中選擇并使用所需服務(wù)。
特定服務(wù)用戶的用戶終端經(jīng)由包括互聯(lián)網(wǎng)和移動(dòng)遠(yuǎn)程通信網(wǎng)絡(luò)的信息通信網(wǎng)絡(luò)連接到云計(jì)算服務(wù)器14000。從云計(jì)算服務(wù)器14000可以對(duì)用戶終端提供云計(jì)算服務(wù),具體地如電影播放服務(wù)。用戶終端可以是能夠訪問(wèn)互聯(lián)網(wǎng)的各種類(lèi)型的電子裝置,例如,臺(tái)式pc14300、智能tv14400、智能電話14500、筆記本電腦14600、便攜式多媒體播放器(pmp)14700、平板pc14800等。
云計(jì)算服務(wù)器14000可以將分布在云網(wǎng)絡(luò)中的多個(gè)計(jì)算資源14200進(jìn)行組合,并且將組合多個(gè)計(jì)算資源14200的結(jié)果提供到用戶終端。多個(gè)計(jì)算資源14200可包括各種數(shù)據(jù)服務(wù)和從用戶終端上傳的數(shù)據(jù)。如上文所述,云計(jì)算服務(wù)器14000可以通過(guò)根據(jù)虛擬化技術(shù)將分布在不同區(qū)域中的電影數(shù)據(jù)庫(kù)進(jìn)行組合來(lái)將所需的服務(wù)提供到用戶終端。
與訂閱云計(jì)算服務(wù)的用戶有關(guān)的用戶信息存儲(chǔ)在用戶數(shù)據(jù)庫(kù)14100中。用戶信息可包括用戶的登錄信息、地址、名字、個(gè)人信用信息等。用戶信息還可以包括電影的索引。此處,索引可以包括已經(jīng)播放的電影列表、正在播放的電影列表、過(guò)去播放的電影的暫停點(diǎn)等。
存儲(chǔ)在用戶數(shù)據(jù)庫(kù)14100中的與電影有關(guān)的信息可以在用戶裝置之間共享。例如,當(dāng)響應(yīng)于來(lái)自筆記本電腦1460的請(qǐng)求而將電影服務(wù)提供到筆記本電腦14600時(shí),電影服務(wù)的播放歷史便存儲(chǔ)在用戶數(shù)據(jù)庫(kù)14100中。當(dāng)從智能電話14500接收播放該電影服務(wù)的請(qǐng)求時(shí),云計(jì)算服務(wù)器14000基于用戶數(shù)據(jù)庫(kù)14100來(lái)搜索并播放該電影服務(wù)。當(dāng)智能電話14500接收來(lái)自云計(jì)算服務(wù)器14000的電影數(shù)據(jù)流時(shí),通過(guò)對(duì)電影數(shù)據(jù)流進(jìn)行解碼來(lái)播放視頻的過(guò)程類(lèi)似于上文參考圖24描述的移動(dòng)電話12500的操作。
云計(jì)算服務(wù)器14000可以參考存儲(chǔ)在用戶數(shù)據(jù)庫(kù)14100中的所需電影服務(wù)的播放歷史。例如,云計(jì)算服務(wù)器14000接收來(lái)自用戶終端的播放存儲(chǔ)在用戶數(shù)據(jù)庫(kù)14100中的電影的請(qǐng)求。如果這個(gè)電影已在播放,那么由云計(jì)算服務(wù)器14000執(zhí)行的流傳輸這個(gè)電影的方法可以根據(jù)用戶終端的請(qǐng)求而改變,即,根據(jù)從電影的開(kāi)頭還是暫停點(diǎn)開(kāi)始播放該電影。例如,如果用戶終端請(qǐng)求從開(kāi)頭開(kāi)始播放該電影,那么云計(jì)算服務(wù)器14000將從第一幀開(kāi)始的電影流傳輸?shù)接脩艚K端。如果用戶終端請(qǐng)求從暫停點(diǎn)開(kāi)始播放該電影,那么云計(jì)算服務(wù)器14000將從對(duì)應(yīng)于暫停點(diǎn)的幀開(kāi)始的電影流傳輸?shù)接脩艚K端。
在這種情況下,用戶終端可以包括如上文參考圖1a到圖20描述的視頻解碼設(shè)備。作為另一示例,用戶終端可以包括如上文參考圖1a到圖20描述的視頻編碼設(shè)備。或者,用戶終端可包括如上文參考圖1a到圖20描述的視頻解碼設(shè)備和視頻編碼設(shè)備兩者。
上文參考圖21到圖30描述了應(yīng)用上文參考圖1a到圖20描述的視頻編碼方法、視頻解碼方法、視頻編碼設(shè)備和視頻解碼設(shè)備的各種實(shí)施方式。然而,上文參考圖1a到圖20描述的視頻編碼方法和視頻解碼方法存儲(chǔ)在存儲(chǔ)介質(zhì)中,或者上文參考圖1a到圖20描述的視頻編碼設(shè)備和視頻解碼設(shè)備包括在裝置中的各種實(shí)施方式不限于上文參考圖21到圖27描述的實(shí)施方式。
應(yīng)理解,本文所述的實(shí)施方式應(yīng)僅被認(rèn)為是描述性的,而并不用于限制。對(duì)每個(gè)實(shí)施方式內(nèi)的特征或方面的描述通常應(yīng)被視作適用于其他實(shí)施方式中的類(lèi)似特征或方面。
盡管參考附圖描述了一個(gè)或多個(gè)實(shí)施方式,但本領(lǐng)域普通技術(shù)人員將理解,在不脫離如所附權(quán)利要求限定的范圍和精神的情況下,可對(duì)實(shí)施方式進(jìn)行形式和細(xì)節(jié)的各種改變。