專利名稱：分層視頻編碼和解碼中對(duì)顏色通道進(jìn)行編碼和解碼的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
與示例性實(shí)施例一致的設(shè)備和方法涉及對(duì)圖像編碼和解碼，更具體地，涉及在分層視頻編碼和解碼(也被稱為層次化視頻編碼和解碼)中對(duì)顏色通道進(jìn)行編碼和解碼。
背景技術(shù)：
YUV方案是圖像處理中用于表示顏色通道的方案之一。YUV方案是基于人眼對(duì)亮度比色度更敏感的事實(shí)的顏色表示方案。在YUV方案中，顏色在其處理期間被劃分為亮度分量和色度分量，亮度分量被定義為Y分量，而色度分量被定義為U和V分量。對(duì)于誤差敏感的Y分量通常需要比表示色度的U和V分量更多的比特的編碼。如果Y分量以及U和V分量被劃分為顏色通道，則表示亮度的Y分量對(duì)應(yīng)于亮度通道，而表示色度(即，色差)的U和V分量對(duì)應(yīng)于色度通道。Y、U、V分量可被分別稱為Y、 U、V通道。以例如16X16像素塊(在空間上被定義為宏塊)為單元對(duì)圖像進(jìn)行編碼和解碼。 宏塊通常由四個(gè)8X8像素塊組成。例如，如果原始圖像的色度格式是4:2:2，則一個(gè)宏塊可由總共八個(gè)通道塊組成四個(gè)Y通道塊、兩個(gè)U通道塊和兩個(gè)V通道塊。Y通道塊對(duì)應(yīng)于亮度塊，而U和V通道塊對(duì)應(yīng)于色度塊(即，色差塊)。另外，Y通道塊由頂塊和底塊組成。 頂塊和底塊均由兩個(gè)塊組成，U和V通道塊也均由兩個(gè)塊組成。通常，對(duì)于圖像編碼和解碼，基于宏塊執(zhí)行圖像處理，在圖像處理期間，以上的顏色通道被編碼和解碼。在一個(gè)宏塊中，所有的顏色通道由表示如上所述的亮度和色度的多個(gè)塊組成。然而，由于該方法使用在基本層和增強(qiáng)層的每一個(gè)中對(duì)整個(gè)圖像進(jìn)行編碼和解碼的方案，因此現(xiàn)有技術(shù)的分層視頻編碼/解碼技術(shù)對(duì)包括圖像的亮度通道和色度通道 (即，色差通道)的所有顏色通道進(jìn)行編碼和解碼。然而，在這種情況下，不僅使用的顏色通道被編碼和解碼，未被使用的顏色通道也被編碼和解碼，增加了在顏色通道的編碼/解碼期間的復(fù)雜度。因此，需要更有效的顏色通道編碼/解碼方式。

發(fā)明內(nèi)容
技術(shù)問題示例性實(shí)施例至少解決以上問題和/或缺點(diǎn)以及上面沒有描述的其它缺點(diǎn)。另夕卜，示例性實(shí)施例不需要克服上述的缺點(diǎn)，并且示例性實(shí)施例可以不克服上述的任何問題。示例性實(shí)施例提供一種用于在分層視頻編碼和解碼中有效地對(duì)顏色通道進(jìn)行編碼和解碼的方法和設(shè)備。示例性實(shí)施例還提供了一種用于在分層視頻編碼和解碼中選擇性地對(duì)顏色通道進(jìn)行編碼和解碼的方法和設(shè)備。技術(shù)方案
根據(jù)示例性實(shí)施例的一方面，提供了一種用于在分層視頻編碼器中對(duì)顏色通道進(jìn)行編碼和解碼的方法，所述方法包括如果存在在顏色通道的編碼期間可以跳過的至少一個(gè)顏色通道，則將表示顏色通道的結(jié)構(gòu)的宏塊的編碼重要模式(CSP)轉(zhuǎn)換為具有跳過所述至少一個(gè)顏色通道的結(jié)構(gòu)的CSP ；使用以跳過所述至少一個(gè)顏色通道的結(jié)構(gòu)表示的CSP對(duì)宏塊的重要變換系數(shù)進(jìn)行編碼。根據(jù)另一示例性實(shí)施例的一方面，提供了一種用于在分層視頻編碼器中對(duì)顏色通道進(jìn)行編碼的設(shè)備，所述設(shè)備包括編碼重要模式(CSP)轉(zhuǎn)換器，如果存在在顏色通道的編碼期間可以跳過的至少一個(gè)顏色通道，則將表示顏色通道的結(jié)構(gòu)的宏塊的CSP轉(zhuǎn)換為具有跳過所述至少一個(gè)顏色通道的結(jié)構(gòu)的CSP ；重要變換系數(shù)編碼器，使用以跳過了所述至少一個(gè)顏色通道的結(jié)構(gòu)表示的CSP對(duì)宏塊的重要變換系數(shù)進(jìn)行編碼。根據(jù)另一示例性實(shí)施例的一方面，提供了一種用于在分層視頻解碼器中對(duì)顏色通道進(jìn)行解碼的方法，所述方法包括如果從接收的圖像中檢測(cè)到至少一個(gè)跳過的顏色通道， 則將表示顏色通道的結(jié)構(gòu)的宏塊的編碼重要模式(CSP)恢復(fù)為具有跳過了至少一個(gè)顏色通道的結(jié)構(gòu)的CSP ；使用恢復(fù)的CSP對(duì)宏塊的重要變換系數(shù)進(jìn)行解碼。根據(jù)另一示例性實(shí)施例的一方面，提供了一種用于在在分層視頻解碼器中對(duì)顏色通道解碼的設(shè)備，所述設(shè)備包括編碼重要模式(CSP)恢復(fù)器，如果從接收的圖像中檢測(cè)到至少一個(gè)跳過的顏色通道，則將表示顏色通道的結(jié)構(gòu)的宏塊的CSP恢復(fù)為具有跳過了至少一個(gè)顏色通道的結(jié)構(gòu)的CSP ；重要變換系數(shù)解碼器，使用恢復(fù)的CSP對(duì)宏塊的重要變換系數(shù)進(jìn)行解碼。


通過參照附圖描述特定示例性實(shí)施例，以上和/或其它方面將會(huì)更清楚，其中圖1是示出根據(jù)示例性實(shí)施例的用于選擇性地對(duì)顏色通道進(jìn)行編碼的圖像編碼設(shè)備的結(jié)構(gòu)的框圖；圖2是示出根據(jù)示例性實(shí)施例的用于選擇性地對(duì)顏色通道進(jìn)行解碼的圖像解碼設(shè)備的結(jié)構(gòu)的框圖；圖3是示出根據(jù)示例性實(shí)施例的顏色通道編碼器的結(jié)構(gòu)的框圖；圖4是示出根據(jù)示例性實(shí)施例的顏色通道解碼器的結(jié)構(gòu)的框圖；圖5是示出根據(jù)示例性實(shí)施例的從宏塊級(jí)(MB級(jí))層次化構(gòu)造所有CSP的CSP表示結(jié)構(gòu)的示圖；圖6到圖17是示出根據(jù)示例性實(shí)施例的CSP表示結(jié)構(gòu)的各種示例的示圖。
具體實(shí)施例方式以下參照附圖對(duì)特定示例性實(shí)施例進(jìn)行詳細(xì)描述。在以下描述中，相同的標(biāo)號(hào)即使在不同的附圖中也用于相同的元件。在描述中限定的內(nèi)容(諸如詳細(xì)配置和部件)被提供用于幫助示例性實(shí)施例的全面理解。然而，不用這些特別限定的內(nèi)容也能實(shí)施示例性實(shí)施例。示例性實(shí)施例提供了一種顏色通道編碼/解碼方法，所述方法用于在分層視頻編碼器/解碼器中選擇性地僅對(duì)選擇的顏色通道進(jìn)行編碼和解碼，所述分層視頻編碼器/解碼器將基本層編碼器重構(gòu)的圖像轉(zhuǎn)換為與增強(qiáng)層對(duì)應(yīng)的圖像，并對(duì)基本層圖像和增強(qiáng)層圖像之間的差進(jìn)行編碼和解碼。在示例性實(shí)施例中，分層編碼器/解碼器選擇性地僅對(duì)某些實(shí)際使用的顏色通道進(jìn)行編碼和解碼。如果從表示增強(qiáng)層圖像的顏色通道中跳過或省略了至少一個(gè)未使用的顏色通道，則不對(duì)該顏色通道編碼/解碼。在這點(diǎn)上，用于顏色通道編碼/解碼的現(xiàn)有技術(shù)顏色通道表示方案使用這樣的方案該方案使用編碼塊模式(CBP)參數(shù)表示變換系數(shù)(諸如，宏塊或預(yù)定尺寸的單元塊的量化系數(shù))的存在或不存在。當(dāng)在圖像編碼期間表示圖像時(shí)，使用CBP參數(shù)的現(xiàn)有技術(shù)顏色通道表示方案編碼和發(fā)送包括未使用的顏色通道的所有顏色通道。為了改進(jìn)現(xiàn)有技術(shù)方案，示例性實(shí)施例選擇性地僅對(duì)表示增強(qiáng)層中的圖像的所有顏色通道中的某些實(shí)際使用的顏色通道進(jìn)行編碼和解碼。例如，示例性實(shí)施例定義了具有如下表示結(jié)構(gòu)的CSP，所述表示結(jié)構(gòu)能夠根據(jù)在編碼/解碼期間的特定顏色通道的選擇和變換系數(shù)的形式來進(jìn)行動(dòng)態(tài)地響應(yīng)，示例性實(shí)施例提出了一種使用CSP的宏塊的編碼變換系數(shù)的新顏色通道表示方案，以及使用該方法的顏色通道編碼/解碼方案。在示例性實(shí)施例中，使用CSP對(duì)宏塊的變換系數(shù)進(jìn)行編碼，所述CSP具有能夠根據(jù)特定顏色通道的選擇 (換而言之，省略未使用的顏色通道)和變換系數(shù)的形式來進(jìn)行動(dòng)態(tài)處理的結(jié)構(gòu)。具有值1 或更大值的變換系數(shù)被稱為重要變換系數(shù)。在示例性實(shí)施例中，根據(jù)增強(qiáng)層圖像中的所有顏色通道中的每個(gè)顏色通道的使用 /未使用或者存在/不存在來僅對(duì)在圖像編碼/解碼期間使用的顏色通道進(jìn)行編碼和發(fā)送。 如果在編碼期間跳過或省略了至少一個(gè)顏色通道，則該顏色通道在顏色通道解碼期間被省略，從而有利于增強(qiáng)層中的顏色通道的有效編碼/解碼。根據(jù)示例性實(shí)施例的選擇性顏色通道編碼器/解碼器可在圖1的分層視頻編碼器中和圖2的用于對(duì)從分層視頻編碼器輸出的比特流進(jìn)行解碼的分層視頻解碼器中被使用。圖1示出根據(jù)示例性實(shí)施例的在用于選擇性地對(duì)顏色通道編碼的圖像編碼設(shè)備 100中實(shí)施的分層視頻編碼器的結(jié)構(gòu)。圖像編碼設(shè)備100適應(yīng)于將從編碼的基本層圖像恢復(fù)或重構(gòu)的圖像轉(zhuǎn)換為增強(qiáng)層圖像，并對(duì)輸入增強(qiáng)層圖像和從基本層圖像重構(gòu)的圖像之間的差(殘差)進(jìn)行編碼。圖 1的圖像編碼設(shè)備100對(duì)輸入圖像進(jìn)行編碼并輸出基本層比特流和增強(qiáng)層比特流?；緦訄D像和增強(qiáng)層圖像可具有不同的分辨率、圖像尺寸和視角。例如，輸入圖像和在增強(qiáng)層中處理的圖像具有高分辨率、大尺寸或一個(gè)視角，而在基本層中處理的圖像具有低分辨率、小尺寸或另一視角。格式下轉(zhuǎn)換器101將輸入圖像下轉(zhuǎn)換為基本層的視頻格式。格式下轉(zhuǎn)換器例如將輸入視頻格式轉(zhuǎn)換為低分辨率、較小比特深度和減小的色度格式之一或它們的組合?；緦泳幋a器103根據(jù)使用基于諸如VC-1、 H. ^4、MPEG-4 第二部分視覺(Part 2 Visual)、MPEG_2 第二部分視頻(Part 2 Video) ,AVS 或JPEG2000的視頻編解碼器的圖像編碼器的編碼方案，對(duì)輸入的基本層圖像進(jìn)行編碼，并輸出基本層比特流?；緦泳幋a器103將在基本層圖像編碼處理中重構(gòu)的基本層圖像輸出到格式上轉(zhuǎn)換器105。格式上轉(zhuǎn)換器105將重構(gòu)的基本層圖像上轉(zhuǎn)換為增強(qiáng)層的視頻格式。格式上轉(zhuǎn)換器例如將重構(gòu)的基本層圖像轉(zhuǎn)換為高分辨率、較大比特深度和擴(kuò)展的色度格式之一或它們的組合。正被輸入到格式下轉(zhuǎn)換器101的輸入圖像還被輸入到減法器107。減法器107通過從輸入圖像減去格式上轉(zhuǎn)換的圖像來輸出殘差圖像。殘差編碼器109對(duì)輸入的殘差圖像進(jìn)行編碼并輸出增強(qiáng)層比特流。從減法器107輸出的殘差圖像通過殘差映射和縮放單元 111的線性縮放被轉(zhuǎn)換為預(yù)定數(shù)量的比特。示例性實(shí)施例的顏色通道編碼器300將針對(duì)省略了顏色通道的情況的MB級(jí)的CSP 轉(zhuǎn)換為具有縮減結(jié)構(gòu)的CSP，以便根據(jù)顏色通道的結(jié)構(gòu)僅表示選擇的顏色通道(換而言之， 在從所有的顏色通道中省略了至少一個(gè)可省略的顏色通道之后剩下的顏色通道)。顏色通道編碼器300還使用以縮減結(jié)構(gòu)表示的CSP來對(duì)顏色通道進(jìn)行編碼。顏色通道編碼器300 可被設(shè)置為殘差編碼器109的一部分，或者可作為與殘差編碼器109連接的單獨(dú)部件被包括在圖1的圖像編碼設(shè)備100中。以下詳細(xì)描述顏色通道編碼器的結(jié)構(gòu)。圖2示出根據(jù)示例性實(shí)施例的在用于選擇性地對(duì)顏色通道進(jìn)行解碼的圖像解碼設(shè)備200中實(shí)施的分層視頻解碼器的結(jié)構(gòu)。圖像解碼設(shè)備200適應(yīng)于通過解碼來重構(gòu)基本層比特流，通過對(duì)重構(gòu)的基本層圖像進(jìn)行格式上轉(zhuǎn)換來輸出重構(gòu)的增強(qiáng)層圖像，通過對(duì)增強(qiáng)層比特流進(jìn)行殘差解碼來恢復(fù)在圖1的圖像編碼設(shè)備100中編碼的殘差圖像，并通過將恢復(fù)的殘差圖像與從重構(gòu)的基本層圖像上轉(zhuǎn)換而得到的圖像相加來恢復(fù)增強(qiáng)層圖像。圖2的圖像解碼設(shè)備200以包括基本層處理和增強(qiáng)層處理的層次化結(jié)構(gòu)被構(gòu)造， 從通過對(duì)圖1的圖像編碼設(shè)備100編碼的基本層比特流和增強(qiáng)層比特流進(jìn)行解碼，來輸出重構(gòu)的基本層圖像和重構(gòu)的增強(qiáng)層圖像?；緦訄D像和增強(qiáng)層圖像可具有不同的分辨率、 圖像尺寸或視角。基本層解碼器201使用與在圖1的基本層編碼器103中使用的視頻編解碼器對(duì)應(yīng)的解碼方案來對(duì)輸入的基本層比特流進(jìn)行解碼，并輸出重構(gòu)的基本層圖像?；緦咏獯a器重構(gòu)的基本層圖像還被輸出到格式上轉(zhuǎn)換器203。格式上轉(zhuǎn)換器203將重構(gòu)的基本層圖像上轉(zhuǎn)換為增強(qiáng)層的視頻格式。殘差解碼器205輸出通過對(duì)輸入的增強(qiáng)層比特流進(jìn)行殘差解碼而產(chǎn)生的殘差圖像。解碼的殘差圖像被加法器207添加到上轉(zhuǎn)換的圖像，隨后輸出作為重構(gòu)的增強(qiáng)層圖像。從殘差解碼器205輸出的殘差圖像被殘差映射和縮放單元209通過線性縮放轉(zhuǎn)換為預(yù)定數(shù)量的比特。示例性實(shí)施例的顏色通道解碼器400恢復(fù)CSP并使用解碼的CSP對(duì)顏色通道進(jìn)行解碼，所述CSP具有包括根據(jù)顏色通道的使用/未使用或存在/不存在選擇的至少一個(gè)顏色通道的結(jié)構(gòu)。顏色通道解碼器400可被設(shè)置為殘差解碼器205的一部分，或者可作為與殘差解碼器205連接的獨(dú)立部件被包括在圖2的圖像解碼設(shè)備200中。以下詳細(xì)描述顏色通道解碼器400的詳細(xì)結(jié)構(gòu)。當(dāng)將示例性實(shí)施例的選擇性顏色通道編碼/解碼方法應(yīng)用于圖1和圖2的分層視頻編碼器/解碼器時(shí)，可以通過基于基本層和增強(qiáng)層之間的差對(duì)殘差圖像進(jìn)行編碼來有效地壓縮比特流。由于因?yàn)檫x擇性顏色通道編碼/解碼方法根據(jù)選擇性顏色通道編碼而不對(duì)某些顏色通道進(jìn)行編碼，所以可實(shí)現(xiàn)復(fù)雜度降低，因此該方法可用于要求低復(fù)雜度的應(yīng)用， 諸如移動(dòng)環(huán)境。此外，該方法可選擇性地僅發(fā)送特定顏色通道，因而提供了僅使用某些顏色信息的新應(yīng)用。分別參照?qǐng)D3和圖4描述根據(jù)示例性實(shí)施例的顏色通道編碼器和顏色通道解碼器的結(jié)構(gòu)和操作。
7
根據(jù)示例性實(shí)施例的圖3的顏色通道編碼器300被設(shè)置為殘差編碼器109的一部分，或者可作為獨(dú)立部件被包括在圖1的圖像編碼設(shè)備100中，并且可執(zhí)行以下操作選擇實(shí)際使用的顏色通道，如果由于選擇的顏色通道而存在省略的顏色通道，則使用以縮減結(jié)構(gòu)表示的CSP對(duì)宏塊的重要變換系數(shù)進(jìn)行編碼。對(duì)宏塊的重要變換系數(shù)進(jìn)行編碼的操作等同于對(duì)顏色通道進(jìn)行編碼的操作。顏色通道編碼器300包括顏色通道選擇器301、CSP轉(zhuǎn)換器303和重要變換系數(shù)編碼器305，用于對(duì)與當(dāng)圖1的圖像編碼設(shè)備100對(duì)增強(qiáng)層殘差圖像編碼時(shí)選擇的顏色通道對(duì)應(yīng)的CSP進(jìn)行編碼。顏色通道選擇器301選擇至少一個(gè)實(shí)際使用的顏色通道，省略所有顏色通道中的未使用的顏色通道。作為選擇的結(jié)果，如果亮度通道和色度通道中的至少一個(gè)被跳過或未使用(即，如果Y、U、V通道中的至少一個(gè)被跳過)，則通過作為通道跳過模式信息的圖像頭將該信息提供給顏色通道解碼器，如下所述。在示例性實(shí)施例中，假設(shè)使用了至少一個(gè)顏色通道。如果由于選擇的顏色通道而存在省略的顏色通道，則CSP轉(zhuǎn)換器303將宏塊的CSP 轉(zhuǎn)換為具有縮減了至少一個(gè)未使用顏色通道的結(jié)構(gòu)的CSP，并輸出以縮減結(jié)構(gòu)表示的CSP。 也就是說，如果存在在顏色通道的編碼期間可以省略的至少一個(gè)顏色通道，則CSP轉(zhuǎn)換器 303將表示顏色通道的結(jié)構(gòu)的宏塊的CSP轉(zhuǎn)換為具有省略了至少一個(gè)顏色通道的結(jié)構(gòu)的 CSP0重要變換系數(shù)編碼器305使用現(xiàn)有技術(shù)的用于熵編碼的編碼方案之一，使用以縮減結(jié)構(gòu)表示的CSP對(duì)宏塊的重要變換系數(shù)進(jìn)行編碼。根據(jù)示例性實(shí)施例的圖4的顏色通道解碼器400執(zhí)行以下操作恢復(fù)具有包括根據(jù)顏色通道的使用/未使用選擇的至少一個(gè)顏色通道的結(jié)構(gòu)的CSP，使用恢復(fù)的CSP對(duì)增強(qiáng)層中的宏塊的重要變換系數(shù)進(jìn)行解碼。顏色通道解碼器400包括顏色通道檢查器401、CSP恢復(fù)器403和重要變換系數(shù)解碼器405。作為信道選擇的結(jié)果，如果跳過了亮度通道和色度通道中的至少一個(gè)，則在例如圖像頭中提供該信息。顏色通道檢查器401在圖像頭中檢查指示跳過的通道跳過模式信息，并將檢查結(jié)果提供給CSP恢復(fù)器403。CSP恢復(fù)器403基于通道跳過模式信息，恢復(fù)以縮減了至少一個(gè)未使用顏色通道的結(jié)構(gòu)表示的CSP。重要變換系數(shù)解碼器405使用恢復(fù)的 CSP對(duì)宏塊的重要變換系數(shù)進(jìn)行解碼。重要變換系數(shù)解碼器405所解碼的宏塊的重要變換系數(shù)具有Y、U、V通道分量。未使用的顏色通道的分量被解碼為值0。通過使用從解碼的宏塊的重要變換系數(shù)獲得的顏色通道分量，殘差解碼器205輸出恢復(fù)的增強(qiáng)層殘差圖像，加法器207將恢復(fù)的殘差圖像的Y、U、V通道分量與上轉(zhuǎn)換的基本層圖像的Y、U、V通道分量相加，然后輸出作為由解碼的顏色通道表示的重構(gòu)的增強(qiáng)層圖像。以下描述根據(jù)示例性實(shí)施例的能夠?qū)κ÷灾辽僖粋€(gè)顏色通道進(jìn)行動(dòng)態(tài)響應(yīng)的CSP 表示結(jié)構(gòu)的各種示例。圖5示出根據(jù)示例性實(shí)施例的從MBMB級(jí)層次化構(gòu)造所有CSP的CSP表示結(jié)構(gòu)。
圖5的CSP表示結(jié)構(gòu)包括用于表示每層中的CSP多個(gè)CSP表示部分501、503、505、 507、509、511、513和515。圖3的CSP轉(zhuǎn)換器303和圖4的CSP恢復(fù)器403通過根據(jù)示例性實(shí)施例的與至少一個(gè)選擇的顏色通道對(duì)應(yīng)的CSP表示部分分別轉(zhuǎn)換和恢復(fù)CSP以具有包
8括了至少一個(gè)顏色通道的結(jié)構(gòu)。參照?qǐng)D5，MB級(jí)CSP表示部分MB_CSP 501層次化地連接到多個(gè)CSP表示部分以表示宏塊或宏塊的預(yù)定尺寸的像素塊的重要變換系數(shù)的存在或不存在。MB級(jí)CSP表示部分MB_CSP 501可通過層次化地連接到Y(jié)、U、V通道塊的CSP表示部分YUV_CSP 503、與亮度塊對(duì)應(yīng)的Y通道塊的CSP表示部505、亮度塊中的頂部塊YOYl的CSP表示部分Y0Y1_CSP 509、亮度塊中的底部塊的CSP表示部分Y2TO_CSP 511、 與色度塊對(duì)應(yīng)的U和V通道塊的CSP表示部分UV_CSP 507,U通道塊的CSP表示部分U0U1_ CSP513和V通道塊的CSP表示部分V0V1_CSP 515，來選擇性地表示整個(gè)宏塊中的CSP。通過對(duì)亮度通道塊和色度通道塊的CSP進(jìn)行聯(lián)合編碼來表示CSP表示部分YUV_ CSP 503。通過對(duì)亮度塊中的頂部塊YOYl和底部塊Y2TO的CSP進(jìn)行聯(lián)合編碼來表示CSP 表示部分Y_CSP 505。通過對(duì)U通道塊UOlUl和V通道塊VOVl的CSP進(jìn)行聯(lián)合編碼來表示CSP表示部分UV_CSP 507。通過對(duì)亮度塊中的頂部塊YOYl的CSP進(jìn)行聯(lián)合編碼來表示 CSP表示部分Y0Y1_CSP 509。通過對(duì)亮度塊中的底部塊Y2TO的CSP進(jìn)行聯(lián)合編碼來表示 CSP 表示部分 Y2Y3_CSP 511。另外，在視頻格式為例如4:2:2的情況下通過對(duì)U通道塊UOUl的CSP進(jìn)行聯(lián)合編碼來表示CSP表示部分U0U1_CSP 513。在視頻格式為例如4:2 2的情況下通過對(duì)V通道塊 VOVl的CSP進(jìn)行聯(lián)合編碼來表示CSP表示部分V0V1_CSP 515。如果視頻格式是4:20，則省略U通道塊UOUl和V通道塊VOVl的CSP。雖然基于4:2:2的視頻格式描述了圖5的示例，但是相同的示例可容易地?cái)U(kuò)展到4:4:4的視頻格式。圖11到圖17中示出了 CSP表示結(jié)構(gòu)的示例，其中，在視頻格式被擴(kuò)展為4:4:4的情況下層次化構(gòu)造CSP?，F(xiàn)在，參照?qǐng)D6到圖10，描述在層次化CSP表示結(jié)構(gòu)的增強(qiáng)層中省略了至少一個(gè)顏色通道并且執(zhí)行選擇性的編碼/解碼的情況下，根據(jù)示例性實(shí)施例的CSP表示結(jié)構(gòu)。在圖6中，可從包括在增強(qiáng)層比特流的MB頭中的MB編碼模式識(shí)別MB級(jí)CSP表示部分MB_CSP 501。在圖6到圖10中示出了四種不同情況的CSP表示結(jié)構(gòu)的示例1)僅選擇亮度通道 (即，省略了色度通道；見圖6)；幻僅選擇色度通道(即，省略了亮度通道，見圖7) ；3)選擇亮度通道和一個(gè)色度通道(即，省略色度通道中的U通道或V通道，見圖8和圖9) ；4)不選擇亮度通道，選擇一個(gè)色度通道(即，不僅省略亮度通道，還省略色度通道，見圖10)。如果選擇了所有顏色通道，則對(duì)圖5的所有CSP部分進(jìn)行編碼。以下詳細(xì)描述四種不同情況的 CSP表示結(jié)構(gòu)。圖6示出根據(jù)示例性實(shí)施例的僅選擇亮度通道的層次化CSP表示結(jié)構(gòu)。參照?qǐng)D6，從宏塊的頭信息確定的MB_CSP 501與YUV_CSP中的亮度通道塊的表 505相同，跳過了所有色度通道AAA信息，所以在圖6中省略了 YUV_CSP 503。另
夕卜，由于跳過了所有色度通道AAA信息，因此在圖6中省略了 UV_CSP 507、U0U1_CSP 513和 V0V1_CSP 515的CSP表示。在這種情況下，在圖4的顏色通道解碼器400中僅將Y_CSP 505 恢復(fù)到MB級(jí)CSP。圖7示出根據(jù)示例性實(shí)施例的僅選擇色度通道的層次化CSP表示結(jié)構(gòu)。 參照?qǐng)D7，從宏塊的頭信息確定的MB_CSP 501與YUV_CSP中的色度通道塊的表示 UV_CSP 507相同。在這種情況下，由于跳過了亮度通道信息，因此在圖7中省略了 YUV_CSP503。另外，由于跳過了所有亮度通道AAA信息，因此在圖7中省略了 Y_CSP 505、Y0Y1_CSP 509和Y2TO_CSP 511的CSP表示。在這種情況下，在圖4的顏色通道解碼器400中僅將UV_ CSP 507恢復(fù)到MB級(jí)CSP。圖8示出根據(jù)示例性實(shí)施例的選擇亮度通道和兩個(gè)色度通道中的僅U通道的層次化CSP表示結(jié)構(gòu)。圖9示出根據(jù)示例性實(shí)施例的選擇亮度通道和兩個(gè)色度通道中的僅V通道的層次化CSP表示結(jié)構(gòu)。在圖8和圖9的每個(gè)CSP表示結(jié)構(gòu)中，從宏塊的頭信息中確定的MB_CSP501指示宏塊中的亮度通道塊和色度通道塊的CSP。通過對(duì)亮度通道塊的Y_CSP 505以及從色度通道選擇的U通道或V通道的CSP 513或CSP 515進(jìn)行聯(lián)合編碼來表示YUV_CSP 503。在圖8和圖9的CSP表示結(jié)構(gòu)中，由于選擇了所有的亮度通道，因此表示了亮度通道塊的所有的Y_CSP 505、Y0Y1_CSP 509和Y2TO_CSP 511。在色度通道的情況下，由于選擇了哪個(gè)通道和省略了哪個(gè)通道在序列或諸如圖像頭的頭中說明，因此UV_CSP 507中的色度通道的CSP信息與YUV_CSP503中的U通道和V通道中選擇的一個(gè)的CSP表示相同。因此，在圖8和圖9的CSP表示結(jié)構(gòu)中，省略了在圖5中示出的說明哪個(gè)色度通道以何種方式被編碼的UV_CSP 507。圖10示出根據(jù)本發(fā)明示例性實(shí)施例的在沒有選擇亮度通道并選擇了一個(gè)色度通道的情況下的層次化CSP表示結(jié)構(gòu)。參照?qǐng)D10，由于從宏塊的頭信息確定的MB_CSP 501與從色度通道的U通道和V通道中選擇的一個(gè)通道的CSP信息513 (或51 對(duì)應(yīng)，因此，省略了圖 5 中的 YUV_CSP 503、Y_CSP505、Y0Y1_CSP 509、Y2Y23_CSP 511 和 UV_CSP 507。如果視頻格式是4:2:2，則僅需要皿肌_〇5卩513(圖10的(a))或V0V1_CSP 515(圖10的(b))。 如果視頻格式是4:2:0，則MB_CSP 501表示相關(guān)色度塊的CSP。圖11到圖17示出在視頻格式被擴(kuò)展為4:4:4的情況下層次化構(gòu)造CSP的CSP表示結(jié)構(gòu)的示例。由于圖11的示例與圖5的示例對(duì)應(yīng)，因此將省略對(duì)名字與圖5相同的CSP表示部分的詳細(xì)描述。圖11的CSP表示結(jié)構(gòu)包括處理每層的CSP表示的多個(gè)CSP表示部分，圖3的CSP 轉(zhuǎn)換器303和圖4的CSP恢復(fù)器403使用與根據(jù)本發(fā)明選擇的至少一個(gè)顏色通道對(duì)應(yīng)的 CSP表示部分分別轉(zhuǎn)換和恢復(fù)CSP以具有包括至少一個(gè)顏色通道的結(jié)構(gòu)。參照?qǐng)D11，MB級(jí) CSP表示部分MB_CSP層次化地連接到多個(gè)CSP表示部分，以表示宏塊或宏塊的預(yù)定尺寸的像素塊的重要變換系數(shù)的存在/不存在。具體地，如圖11所示，MB級(jí)CSP表示部分MB_CSP可層次化地連接到Y(jié)、U、V通道塊的CSP表示部分YUV_CSP、與亮度塊對(duì)應(yīng)的Y通道塊的CSP表示部分Y_CSP、亮度塊中的頂部塊YOYI的CSP表示部分Y0Y1_CSP和亮度塊中的底部塊的CSP表示部分Y2TO_CSP，從而可以選擇性地表示整個(gè)宏塊中的CSP。另外，如圖11所示，MB級(jí)CSP表示部分MB_CSP可層次化地連接到Y(jié)、U、V通道塊的CSP表示部分YUV_CSP、與色度塊對(duì)應(yīng)的U通道和V通道的CSP表示部分UV_CSP、U通道的CSP表示部分U_CSP 1101、V通道塊的CSP表示部分v_ CSP 1103、U通道塊中的頂部塊UOUl的CSP表示部分U0U1_CSP、U通道塊中的底部塊U2U3 的CSP表示部分U2U3_CSP 1105,V通道塊中的頂部塊VOVl的CSP表示部分V0V1_CSP和V 通道塊中的底部塊V2V3的CSP表示部分V2V3_CSP 1107，從而可以選擇性表示整個(gè)宏塊中的 CSP。圖12到圖17示出在視頻格式被擴(kuò)展到4:4:4的情況下能夠選擇性表示CSP的示例，在圖12的示例中省略了 U通道塊和V通道塊，在圖13的示例中省略了 Y通道塊，在圖 14的示例中省略了 V通道塊，在圖15的示例中省略了 U通道塊，在圖16的示例中省略了 Y 通道塊和V通道塊，在圖17的示例中省略了 Y通道塊和U通道塊。根據(jù)本發(fā)明的實(shí)施例， 除了省略的通道塊之外的其余選擇的通道塊的CSP被聯(lián)合編碼以用于CSP表示。雖然已經(jīng)示出和描述了示例性實(shí)施例，本領(lǐng)域的技術(shù)人員應(yīng)理解，在不脫離權(quán)利要求及其等同物限定的發(fā)明構(gòu)思的精神和范圍的情況下，可對(duì)其在形式和細(xì)節(jié)上進(jìn)行各種改變。
權(quán)利要求
1.一種用于在分層視頻編碼器中對(duì)顏色通道編碼的方法，所述方法包括如果存在在顏色通道的編碼期間可以跳過的至少一個(gè)顏色通道，則將表示顏色通道的結(jié)構(gòu)的宏塊的編碼重要模式CSP轉(zhuǎn)換為具有跳過了所述至少一個(gè)顏色通道的結(jié)構(gòu)的CSP ； 使用以跳過所述至少一個(gè)顏色通道的結(jié)構(gòu)表示的CSP對(duì)宏塊的重要變換系數(shù)進(jìn)行編碼。
2.如權(quán)利要求1所述的方法，其中，轉(zhuǎn)換步驟包括通過對(duì)從宏塊中排除跳過的所述至少一個(gè)顏色通道所選擇的至少一個(gè)顏色通道進(jìn)行聯(lián)合編碼來對(duì)宏塊的CSP進(jìn)行編碼。
3.如權(quán)利要求1所述的方法，還包括根據(jù)所述至少一個(gè)顏色通道的跳過，將宏塊的 CSP表示結(jié)構(gòu)轉(zhuǎn)換為包括亮度通道塊和兩個(gè)色度通道塊中的至少一個(gè)通道塊的結(jié)構(gòu)。
4.如權(quán)利要求1所述的方法，還包括根據(jù)所述至少一個(gè)顏色通道的跳過，將宏塊的 CSP表示結(jié)構(gòu)轉(zhuǎn)換為包括兩個(gè)色度塊中的一個(gè)以及亮度通道塊的結(jié)構(gòu)。
5.如權(quán)利要求1所述的方法，還包括根據(jù)所述至少一個(gè)顏色通道的跳過，將宏塊的 CSP表示結(jié)構(gòu)轉(zhuǎn)換為包括色度通道的U通道塊和V通道塊之一的結(jié)構(gòu)。
6.一種用于在分層視頻編碼器中對(duì)顏色通道進(jìn)行編碼的設(shè)備，所述設(shè)備包括 編碼重要模式CSP轉(zhuǎn)換器，如果存在在顏色通道的編碼期間可以跳過的至少一個(gè)顏色通道，則將表示顏色通道的結(jié)構(gòu)的宏塊的CSP轉(zhuǎn)換為具有跳過了所述至少一個(gè)顏色通道的結(jié)構(gòu)的CSP ；重要變換系數(shù)編碼器，使用以跳過了所述至少一個(gè)顏色通道的結(jié)構(gòu)表示的CSP對(duì)宏塊的重要變換系數(shù)進(jìn)行編碼。
7.如權(quán)利要求6所述的設(shè)備，其中，CSP轉(zhuǎn)換器被配置用于通過對(duì)從宏塊中排除跳過的所述至少一個(gè)顏色通道所選擇的至少一個(gè)顏色通道進(jìn)行聯(lián)合編碼來對(duì)宏塊的CSP進(jìn)行編碼。
8.如權(quán)利要求6所述的設(shè)備，其中，CSP轉(zhuǎn)換器被配置用于根據(jù)所述至少一個(gè)顏色通道的跳過，將宏塊的CSP表示結(jié)構(gòu)轉(zhuǎn)換為包括亮度通道塊和兩個(gè)色度通道塊中的至少一個(gè)通道塊的結(jié)構(gòu)。
9.如權(quán)利要求6所述的設(shè)備，其中，CSP轉(zhuǎn)換器還被配置用于根據(jù)所述至少一個(gè)顏色通道的跳過，將宏塊的CSP表示結(jié)構(gòu)轉(zhuǎn)換為包括兩個(gè)色度塊中的一個(gè)以及亮度通道塊的結(jié)構(gòu)。
10.如權(quán)利要求6所述的設(shè)備，其中，CSP轉(zhuǎn)換器還被配置用于根據(jù)所述至少一個(gè)顏色通道的跳過，將宏塊的CSP表示結(jié)構(gòu)轉(zhuǎn)換為包括色度通道的U通道塊和V通道塊之一的結(jié)構(gòu)。
11.一種用于在分層視頻解碼器中對(duì)顏色通道進(jìn)行解碼的方法，所述方法包括如果從接收的圖像中檢測(cè)到至少一個(gè)跳過的顏色通道，則將表示顏色通道的結(jié)構(gòu)的宏塊的編碼重要模式CSP恢復(fù)為具有跳過了至少一個(gè)顏色通道的結(jié)構(gòu)的CSP ； 使用恢復(fù)的CSP對(duì)宏塊的重要變換系數(shù)進(jìn)行解碼。
12.如權(quán)利要求11所述的方法，其中，恢復(fù)步驟包括通過對(duì)從宏塊中排除跳過的所述至少一個(gè)顏色通道所選擇的至少一個(gè)顏色通道進(jìn)行聯(lián)合編碼來恢復(fù)宏塊的CSP。
13.如權(quán)利要求11所述的方法，還包括根據(jù)跳過的所述至少一個(gè)顏色通道，將宏塊的 CSP表示結(jié)構(gòu)恢復(fù)為包括亮度通道塊和兩個(gè)色度通道塊中的至少一個(gè)通道塊的結(jié)構(gòu)。
14.如權(quán)利要求11所述的方法，還包括根據(jù)跳過的所述至少一個(gè)顏色通道，將宏塊的 CSP表示結(jié)構(gòu)恢復(fù)為包括兩個(gè)色度塊中的一個(gè)以及亮度通道塊的結(jié)構(gòu)。
15.如權(quán)利要求11所述的方法，還包括根據(jù)跳過的所述至少一個(gè)顏色通道，將宏塊的 CSP表示結(jié)構(gòu)恢復(fù)為包括色度通道的U通道塊和V通道塊之一的結(jié)構(gòu)。
16.一種用于在分層視頻解碼器中對(duì)顏色通道解碼的設(shè)備，所述設(shè)備包括編碼重要模式CSP恢復(fù)器，如果從接收的圖像中檢測(cè)到至少一個(gè)跳過的顏色通道，則將表示顏色通道的結(jié)構(gòu)的宏塊的CSP恢復(fù)為具有跳過了至少一個(gè)顏色通道的結(jié)構(gòu)的CSP ；重要變換系數(shù)解碼器，使用恢復(fù)的CSP對(duì)宏塊的重要變換系數(shù)進(jìn)行解碼。
17.如權(quán)利要求16所述的設(shè)備，其中，CSP恢復(fù)器被配置用于通過對(duì)從宏塊中排除跳過的所述至少一個(gè)顏色通道所選擇的至少一個(gè)顏色通道進(jìn)行聯(lián)合編碼來恢復(fù)宏塊的CSP。
18.如權(quán)利要求16所述的設(shè)備，其中，CSP恢復(fù)器被配置用于根據(jù)跳過的所述至少一個(gè)顏色通道，將宏塊的CSP表示結(jié)構(gòu)恢復(fù)為包括亮度通道塊和兩個(gè)色度通道塊中的至少一個(gè)通道塊的結(jié)構(gòu)。
19.如權(quán)利要求16所述的設(shè)備，其中，CSP恢復(fù)器被配置用于根據(jù)跳過的所述至少一個(gè)顏色通道，將宏塊的CSP表示結(jié)構(gòu)恢復(fù)為包括兩個(gè)色度塊中的一個(gè)以及亮度通道塊的結(jié)構(gòu)。
20.如權(quán)利要求16所述的設(shè)備，其中，CSP恢復(fù)器被配置用于根據(jù)跳過的所述至少一個(gè)顏色通道，將宏塊的CSP表示結(jié)構(gòu)恢復(fù)為包括色度通道的U通道塊和V通道塊之一的結(jié)構(gòu)。
21.如權(quán)利要求1所述的方法、權(quán)利要求6所述的設(shè)備、權(quán)利要求11所述的方法或權(quán)利要求16所述的設(shè)備，其中，指示跳過的所述至少一個(gè)顏色通道的通道跳過模式信息被包括在圖像頭中。
22.如權(quán)利要求1所述的方法、權(quán)利要求6所述的設(shè)備、權(quán)利要求11所述的方法或權(quán)利要求16所述的設(shè)備，其中，CSP被應(yīng)用于4:2:2、4:2:0和4:4:4中的至少一個(gè)視頻格式。
全文摘要
提供了一種在分層視頻編碼器中對(duì)顏色通道進(jìn)行編碼的方法和設(shè)備。根據(jù)所述方法和設(shè)備，如果存在在顏色通道的編碼期間可以跳過的至少一個(gè)顏色通道，則將表示顏色通道的結(jié)構(gòu)的宏塊的編碼重要模式(CSP)轉(zhuǎn)換為具有跳過了所述至少一個(gè)顏色通道的結(jié)構(gòu)的CSP，使用以跳過所述至少一個(gè)顏色通道的結(jié)構(gòu)表示的CSP對(duì)宏塊的重要變換系數(shù)進(jìn)行編碼。
文檔編號(hào)H04N7/26GK102474606SQ201080033288
公開日2012年5月23日 申請(qǐng)日期2010年7月20日 優(yōu)先權(quán)日2009年7月20日
發(fā)明者金大熙 申請(qǐng)人:三星電子株式會(huì)社