用于多層視頻編碼的速率控制方法和設(shè)備的制作方法
【專利摘要】一種用于多層視頻編碼的速率控制方法和設(shè)備。在用于多層視頻編碼的速率控制方法中，基于在第一層對(duì)輸入的視頻數(shù)據(jù)進(jìn)行編碼的結(jié)果產(chǎn)生編碼統(tǒng)計(jì)信息。第二速率控制器基于編碼統(tǒng)計(jì)信息和/或感興趣區(qū)域（ROI）信息，產(chǎn)生將在第二層執(zhí)行編碼時(shí)使用的多個(gè)量化參數(shù)?；诰幋a統(tǒng)計(jì)信息和/或ROI信息確定將被分別分配給第二層的區(qū)域的目標(biāo)比特?cái)?shù)，基于目標(biāo)比特?cái)?shù)在第二層對(duì)輸入的視頻數(shù)據(jù)進(jìn)行編碼。
【專利說明】用于多層視頻編碼的速率控制方法和設(shè)備
[0001]本申請(qǐng)要求于2012年6月I日在韓國知識(shí)產(chǎn)權(quán)局提交的10-2012-0059428號(hào)韓國專利申請(qǐng)的利益，該申請(qǐng)的公開通過引用全部合并于此。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明構(gòu)思的一個(gè)或多個(gè)方面涉及一種信號(hào)處理設(shè)備和方法，更具體地說，涉及一種用于多層視頻編碼的速率控制方法以及使用所述速率控制方法的視頻編碼設(shè)備和視頻信號(hào)處理系統(tǒng)。
【背景技術(shù)】
[0003]視頻壓縮技術(shù)使視頻數(shù)據(jù)能夠基于在有限硬件操作環(huán)境中可用的預(yù)定網(wǎng)絡(luò)帶寬被壓縮。
[0004]由于網(wǎng)絡(luò)環(huán)境各種各樣，因此存在帶寬可改變的網(wǎng)絡(luò)環(huán)境。多層視頻編解碼器技術(shù)是一種為了滿足針對(duì)可用帶寬網(wǎng)絡(luò)而壓縮視頻數(shù)據(jù)的需要而開發(fā)的壓縮技術(shù)。

【發(fā)明內(nèi)容】

[0005]本發(fā)明構(gòu)思的一方面提供了一種在多層視頻編碼期間防止圖像質(zhì)量惡化的控制比特率的技術(shù)。本發(fā)明構(gòu)思的一方面提供一種用于多層視頻編碼的速率控制方法，所述用于多層視頻編碼的速率控制方法被執(zhí)行以通過使用基于在較低層執(zhí)行編碼的結(jié)果產(chǎn)生的編碼統(tǒng)計(jì)信息和/或感興趣區(qū)域(ROI)信息，控制在較高層的比特率。第二速率控制器基于編碼統(tǒng)計(jì)信息，產(chǎn)生將在第二 (較高)層對(duì)多個(gè)區(qū)域執(zhí)行編碼時(shí)使用的多個(gè)第二量化參數(shù)。
[0006]本發(fā)明構(gòu)思還提供一種視頻編碼器，所述視頻編碼器用于通過使用基于在較低層執(zhí)行編碼的結(jié)果產(chǎn)生的編碼統(tǒng)計(jì)信息和/或ROI信息，控制在較高層的比特率。在基礎(chǔ)層產(chǎn)生的編碼統(tǒng)計(jì)信息可包括以宏塊為單位計(jì)算的SAD值和以圖像為單位計(jì)算的SAD值。
[0007]本發(fā)明構(gòu)思還提供一種視頻信號(hào)處理系統(tǒng)，所述視頻信息處理系統(tǒng)用于通過使用基于在較低層執(zhí)行編碼的結(jié)果產(chǎn)生的編碼統(tǒng)計(jì)信息和/或ROI信息，對(duì)較高層執(zhí)行編碼。
[0008]本發(fā)明構(gòu)思還提供一種計(jì)算機(jī)可讀記錄介質(zhì),在所述計(jì)算機(jī)可讀記錄介質(zhì)上記錄用于執(zhí)行用于多層視頻編碼的速率控制方法的計(jì)算機(jī)程序。
[0009]根據(jù)本發(fā)明構(gòu)思的一方面，提供了一種用于多層視頻編碼的速率控制方法，所述方法包括:基于在第一層對(duì)輸入的視頻數(shù)據(jù)進(jìn)行編碼的結(jié)果，產(chǎn)生編碼統(tǒng)計(jì)信息；基于編碼統(tǒng)計(jì)信息，確定將分別被分配給第二層的區(qū)域的目標(biāo)比特?cái)?shù)；基于目標(biāo)比特?cái)?shù)，在第二層對(duì)輸入的視頻數(shù)據(jù)進(jìn)行編碼。
[0010]第二層的區(qū)域可包括圖像組(GOP )、幀或宏塊中的至少一個(gè)。
[0011]編碼統(tǒng)計(jì)信息可包括關(guān)于當(dāng)以第一層的區(qū)域?yàn)閱挝粓?zhí)行編碼時(shí)產(chǎn)生的比特?cái)?shù)的信息。
[0012]編碼統(tǒng)計(jì)信息可包括關(guān)于在第一層的編碼期間以第一層為單位計(jì)算的當(dāng)前幀和預(yù)測(cè)幀的像素值之間的絕對(duì)差和(SAD)的信息。[0013]編碼統(tǒng)計(jì)信息可包括關(guān)于以第一層的區(qū)域?yàn)閱挝挥?jì)算的復(fù)雜度的信息。
[0014]編碼統(tǒng)計(jì)信息可包括以下信息中的至少兩個(gè):關(guān)于在第一層的編碼期間以第一層的區(qū)域?yàn)閱挝划a(chǎn)生的比特?cái)?shù)的信息、關(guān)于以第一層的區(qū)域?yàn)閱挝挥?jì)算的當(dāng)前幀和預(yù)測(cè)幀的像素值之間的絕對(duì)差和(SAD)的信息、和關(guān)于以第一層的區(qū)域?yàn)閱挝挥?jì)算的復(fù)雜度的信息。
[0015]如果在第一層被編碼的視頻數(shù)據(jù)的空間分辨率與在第二層的視頻數(shù)據(jù)的空間分辨率不同，則基于為了控制編碼的空間分辨率相同而對(duì)編碼統(tǒng)計(jì)信息進(jìn)行放大或縮小的結(jié)果，確定將被分配給第二層的區(qū)域的目標(biāo)比特?cái)?shù)。
[0016]可基于當(dāng)對(duì)與第二層的宏塊的位置相應(yīng)的第一層的宏塊進(jìn)行編碼時(shí)產(chǎn)生的比特?cái)?shù)，確定將被分別分配給第二層的當(dāng)前宏塊的目標(biāo)比特?cái)?shù)。
[0017]可基于在與第二層的宏塊匹配的第一層的宏塊中計(jì)算的當(dāng)前幀和預(yù)測(cè)幀的像素值之間的絕對(duì)差和(SAD)，確定將被分別分配給第二層的宏塊的目標(biāo)比特?cái)?shù)。
[0018]可基于以下信息確定將被分配給第二層的宏塊的目標(biāo)比特?cái)?shù):當(dāng)對(duì)與第二層的宏塊匹配的第一層的宏塊進(jìn)行編碼時(shí)產(chǎn)生的比特?cái)?shù)以及在與第二層的宏塊匹配的第一層的宏塊中計(jì)算的像素值之間的絕對(duì)差和(SAD )。
[0019]可基于關(guān)于以第一層的區(qū)域?yàn)閱挝挥?jì)算的復(fù)雜度的信息和第一層的圖像組(GOP)的幀比特占用信息中的至少一個(gè)，確定將被分別分配給第二層的幀的目標(biāo)比特?cái)?shù)。
[0020]在第二層對(duì)輸入的視頻數(shù)據(jù)進(jìn)行編碼的步驟可包括:基于目標(biāo)比特?cái)?shù)確定量化參數(shù)，在第二層對(duì)輸入的視頻數(shù)據(jù)進(jìn)行編碼期間通過使用量化參數(shù)來執(zhí)行量化。
[0021]可通過根據(jù)分配給第二層的區(qū)域的目標(biāo)比特?cái)?shù)與在第二層的編碼期間產(chǎn)生的比特?cái)?shù)之間的差調(diào)整分配給第二層的區(qū)域的參數(shù)，來確定量化參數(shù)。
[0022]所述速率控制方法還可包括:產(chǎn)生關(guān)于輸入的視頻數(shù)據(jù)的感興趣區(qū)域(ROI)信息；基于ROI信息，確定以第二層的區(qū)域?yàn)閱挝环峙浣o輸入的視頻數(shù)據(jù)的量化參數(shù)。
[0023]根據(jù)本發(fā)明的另一方面，提供了一種用于多層視頻編碼的速率控制方法，所述方法包括:產(chǎn)生關(guān)于輸入的視頻數(shù)據(jù)的感興趣區(qū)域(ROI)信息；基于ROI信息，確定將被分配給增強(qiáng)層的區(qū)域的量化參數(shù)，在感興趣區(qū)域中和在非感興趣區(qū)域中，基于ROI信息確定量化參數(shù)是不同的。
[0024]可使用圖像的運(yùn)動(dòng)量、圖像復(fù)雜度和像素的分布中的至少一個(gè)來計(jì)算ROI信息。
[0025]根據(jù)本發(fā)明的另一方面，提供了一種視頻編碼設(shè)備，包括:第一編碼處理器，基于在第一層對(duì)輸入的視頻數(shù)據(jù)進(jìn)行編碼的結(jié)果產(chǎn)生編碼統(tǒng)計(jì)信息；速率控制器，基于編碼統(tǒng)計(jì)信息，產(chǎn)生將在第二層執(zhí)行編碼時(shí)使用的量化參數(shù)；第二編碼處理器，通過使用量化參數(shù)在第二層對(duì)輸入的視頻數(shù)據(jù)進(jìn)行編碼。
[0026]編碼統(tǒng)計(jì)信息可包括以下信息中的至少一個(gè):關(guān)于當(dāng)以第一層的區(qū)域?yàn)閱挝粓?zhí)行編碼時(shí)產(chǎn)生的比特?cái)?shù)的信息、關(guān)于以第一層的區(qū)域?yàn)閱挝挥?jì)算的當(dāng)前幀和預(yù)測(cè)幀的像素值之間的絕對(duì)差和(SAD)的信息、和關(guān)于第一層的區(qū)域的復(fù)雜度的信息。
[0027]速率控制器可包括:比特?cái)?shù)確定單元，基于編碼統(tǒng)計(jì)信息，確定將被分別分配給第二層的區(qū)域的目標(biāo)比特?cái)?shù)；量化參數(shù)產(chǎn)生單元，基于目標(biāo)比特?cái)?shù)與由第二編碼處理器產(chǎn)生的比特?cái)?shù)之間的差，產(chǎn)生量化參數(shù)。
[0028]比特?cái)?shù)確定單元可基于當(dāng)對(duì)與第二層的宏塊匹配的第一層的宏塊進(jìn)行編碼時(shí)產(chǎn)生的比特?cái)?shù)，確定將被分別分配給第二層的宏塊的目標(biāo)比特?cái)?shù)。[0029]比特?cái)?shù)確定單元可基于在與第二層的宏塊匹配的第一層的宏塊中計(jì)算的當(dāng)前幀和預(yù)測(cè)幀的像素值之間的絕對(duì)差和(SAD)，確定將被分別分配給第二層的宏塊的目標(biāo)比特?cái)?shù)。
[0030]比特?cái)?shù)確定單元可基于以下信息中的至少一個(gè)來確定將被分別分配給第二層的宏塊的目標(biāo)比特?cái)?shù):關(guān)于在第一層計(jì)算的第一層的區(qū)域的復(fù)雜度的信息以及第一層的圖像組(GOP)的幀比特占用信息。
[0031]所述視頻編碼設(shè)備還可包括:感興趣區(qū)域(ROI)檢測(cè)單元，檢測(cè)輸入的視頻數(shù)據(jù)的感興趣區(qū)域，并產(chǎn)生指示檢測(cè)的感興趣區(qū)域的ROI信息，速率控制器可基于ROI信息確定將被分配給第二層的區(qū)域的量化參數(shù)。
[0032]根據(jù)本發(fā)明的另一方面，提供了一種視頻信號(hào)處理系統(tǒng)，包括:多層編碼器，分別在基礎(chǔ)層和至少一個(gè)增強(qiáng)層對(duì)源視頻數(shù)據(jù)進(jìn)行編碼；發(fā)送器，經(jīng)由有線或無線網(wǎng)絡(luò)將由多層編碼器編碼的源視頻數(shù)據(jù)發(fā)送到目標(biāo)裝置，其中，多層編碼器基于根據(jù)對(duì)在基礎(chǔ)層編碼的源視頻數(shù)據(jù)進(jìn)行編碼的結(jié)果產(chǎn)生的編碼統(tǒng)計(jì)信息，確定將被分配給所述至少一個(gè)增強(qiáng)層的區(qū)域的目標(biāo)比特?cái)?shù)。
[0033]多層編碼器可基于關(guān)于源視頻數(shù)據(jù)的感興趣區(qū)域(ROI)信息，確定將被分配給所述至少一個(gè)增強(qiáng)層的區(qū)域的量化參數(shù)。
[0034]以下，將參照附圖更充分地描述本發(fā)明構(gòu)思，其中，在附圖中示出本發(fā)明的示例性實(shí)施例。提供這些實(shí)施例使得本公開將是徹底和完整的，并且這些實(shí)施例將充分地將本發(fā)明構(gòu)思的范圍傳達(dá)給本領(lǐng)域的普通計(jì)算人員。然而，可以以許多不同的 形式來實(shí)現(xiàn)本發(fā)明構(gòu)思，并且本發(fā)明構(gòu)思不應(yīng)該被解釋為受限于這里闡述的示例性實(shí)施例。對(duì)于本領(lǐng)域的普通技術(shù)人員將明顯的是上述的示例性實(shí)施例將覆蓋落入本發(fā)明構(gòu)思的范圍內(nèi)的所有修改、等同物和可選擇項(xiàng)。在整個(gè)附圖中，相同的標(biāo)號(hào)表示相同的元件。在附圖中，為了清楚，層和區(qū)域的長度和尺寸可被夸大。
[0035]這里使用的技術(shù)僅是為了描述特定實(shí)施例的目的，而不意圖限制本發(fā)明。如這里所使用的，除非上下文明確地指示另外的情況，否則單數(shù)形式意圖也包括復(fù)數(shù)形式。
[0036]除非另有定義，否則這里使用的所有術(shù)語(包括技術(shù)和科學(xué)術(shù)語)具有如本發(fā)明所屬領(lǐng)域的普通技術(shù)人員通常理解的相同意思。還將理解，術(shù)語(諸如在常用字典中定義的那些術(shù)語)應(yīng)該被解釋為具有與在相關(guān)領(lǐng)域的上下文中的意思一致的意思，并且除非這里明確地定義，否則將不以理想化或過于正式的意義來解釋所述術(shù)語。
[0037]如這里使用的，術(shù)語“和/或”包括關(guān)聯(lián)列出的項(xiàng)中的一個(gè)或多個(gè)的任意組合和所有組合。當(dāng)表達(dá)“…中的至少一個(gè)”在一列元件之后時(shí)，其用來修飾整列元件，而不是修飾列表中的單個(gè)元件。
【專利附圖】

【附圖說明】
[0038]從以下結(jié)合附圖的詳細(xì)描述中，本發(fā)明構(gòu)思的示例性實(shí)施例將更清楚地被理解，其中:
[0039]圖1是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的視頻信號(hào)處理系統(tǒng)的框圖；
[0040]圖2是在圖1中示出的源裝置和目標(biāo)裝置的框圖；
[0041]圖3是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的多層編碼器的框圖；[0042]圖4是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的多層編碼器的框圖；
[0043]圖5是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的多層編碼器的框圖；
[0044]圖6是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的多層編碼器的框圖；
[0045]圖7是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的多層編碼器的框圖；
[0046]圖8是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的多層編碼器的框圖；
[0047]圖9是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的感興趣區(qū)域(ROI)檢測(cè)單元的框圖；
[0048]圖10是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的ROI檢測(cè)單元的框圖；
[0049]圖11是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的ROI檢測(cè)單元的框圖；
[0050]圖12是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的包括在增強(qiáng)層編碼器中的第二速率控制器的框圖；
[0051]圖13是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的包括在增強(qiáng)層編碼器中的第二速率控制器的框圖；
[0052]圖14是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的包括在增強(qiáng)層編碼器中的第二速率控制器的框圖；
[0053]圖15是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的多層編碼器的詳細(xì)框圖；
[0054]圖16是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的多層編碼器的詳細(xì)框圖；
[0055]圖17A至圖17C是示出根據(jù)本發(fā)明構(gòu)思的實(shí)施例的由支持空間分級(jí)的多層編碼器執(zhí)行的通過使用基礎(chǔ)層的編碼統(tǒng)計(jì)信息來確定增強(qiáng)層的宏塊的目標(biāo)比特?cái)?shù)的處理的概念圖；
[0056]圖18A至圖18D是示出根據(jù)本發(fā)明構(gòu)思的實(shí)施例的由支持質(zhì)量分級(jí)的多層編碼器執(zhí)行的通過使用基礎(chǔ)層的編碼統(tǒng)計(jì)信息來確定增強(qiáng)層的宏塊的目標(biāo)比特?cái)?shù)的處理的概念圖；
[0057]圖19A和圖19B是示出根據(jù)本發(fā)明構(gòu)思的實(shí)施例的由多層編碼器執(zhí)行的通過使用基礎(chǔ)層的編碼統(tǒng)計(jì)信息來確定增強(qiáng)層的幀的目標(biāo)比特?cái)?shù)的處理的概念圖；
[0058]圖20A至圖20C是示出根據(jù)本發(fā)明構(gòu)思的實(shí)施例的由支持質(zhì)量分級(jí)的多層編碼器執(zhí)行的通過使用基礎(chǔ)層的ROI信息來將量化參數(shù)分配給增強(qiáng)層的宏塊的處理的概念圖；
[0059]圖21A至圖21D是示出根據(jù)本發(fā)明構(gòu)思的實(shí)施例的由支持質(zhì)量分級(jí)的多層編碼器執(zhí)行的通過使用基礎(chǔ)層的ROI信息來將量化參數(shù)分配給增強(qiáng)層的宏塊的處理的概念圖；
[0060]圖22示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的通過使用ROI信息被分配給增強(qiáng)層的量化參數(shù)；
[0061]圖23是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的用于多層視頻編碼的速率控制方法的流程圖；
[0062]圖24是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的包括在用于多層視頻編碼的速率控制方法中的確定第二層的量化參數(shù)的操作的流程圖；
[0063]圖25是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的包括在用于多層視頻編碼的速率控制方法中的確定第二層的量化參數(shù)的操作的流程圖；
[0064]圖26是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的由視頻編碼設(shè)備執(zhí)行的用于多層視頻編碼的速率控制方法的流程圖；
[0065]圖27是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的視頻提供設(shè)備的框圖；[0066]圖28是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的視頻服務(wù)系統(tǒng)的框圖。
【具體實(shí)施方式】
[0067]圖1是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的視頻信號(hào)處理系統(tǒng)100框圖。參照?qǐng)D1，視頻信號(hào)處理系統(tǒng)1000包括源裝置100和目標(biāo)裝置200。
[0068]雖然為了便于解釋圖1示出目標(biāo)裝置200被舉例說明為單個(gè)目標(biāo)裝置，但是目標(biāo)裝置200可以是多個(gè)目標(biāo)裝置。
[0069]源裝置100從至少一個(gè)視頻源獲得數(shù)字視頻內(nèi)容，并對(duì)數(shù)字視頻內(nèi)容進(jìn)行編碼以將數(shù)字視頻內(nèi)容發(fā)送到目標(biāo)裝置200。例如，數(shù)字視頻內(nèi)容可被實(shí)時(shí)捕捉或可被預(yù)先記錄。
[0070]源裝置100可包括發(fā)送器，所述發(fā)送器執(zhí)行頻率調(diào)制、濾波和放大以通過使用至少一根天線經(jīng)由通信信道發(fā)送數(shù)字編碼視頻，或者源裝置100可被連接到這樣的發(fā)送器。
[0071]為了分級(jí)，源裝置100可支持多層編碼。多層編碼可包括例如分級(jí)編碼。
[0072]分級(jí)是指系統(tǒng)、網(wǎng)絡(luò)或處理從通過壓縮視頻序列而獲得的流中恢復(fù)具有不同的分辨率、幀率和圖像質(zhì)量的各種視頻序列的能力。因此，分級(jí)是指將一條視頻數(shù)據(jù)編碼為若干個(gè)比特流，并根據(jù)信道特性發(fā)送比特流。例如，如果一條視頻數(shù)據(jù)被編碼為三個(gè)比特流，則在信道特性很差時(shí)，僅發(fā)送具有最低質(zhì)量級(jí)別的第一比特流，當(dāng)信道特性改善時(shí)，發(fā)送第一比特流和質(zhì)量級(jí)別比第一比特流的質(zhì)量級(jí)別更高的第二比特流，當(dāng)信道特性進(jìn)一步改善時(shí)，發(fā)送第一比特流和第二比特流以及具有最高質(zhì)量級(jí)別的第三比特流。
[0073]支持多層編碼的源裝置100可對(duì)包括具有低分辨率或小尺寸的視頻的基礎(chǔ)層進(jìn)行編碼，還可對(duì)具有比基礎(chǔ)層的分辨率更高的分辨率或比基礎(chǔ)層的尺寸更大的尺寸的屏幕的增強(qiáng)層進(jìn)行編碼。基礎(chǔ)層是被編碼為將被獨(dú)立解碼(即，可在沒有任何其它可用層的情況下被解碼)的比特流，而增強(qiáng)層是用于改善包括在基礎(chǔ)層中的比特流的比特流。例如，在增強(qiáng)層編碼的數(shù)據(jù)可以是對(duì)在源數(shù)據(jù)的值和在基礎(chǔ)層編碼的數(shù)據(jù)的值之間的差進(jìn)行精細(xì)編碼的結(jié)果。
[0074]源裝置100可支持用于調(diào)整視頻的分辨率的空間分級(jí)、用于調(diào)整視頻的質(zhì)量的質(zhì)量分級(jí)和用于調(diào)整視頻的幀率的時(shí)間分級(jí)?？筛鶕?jù)使用空間分級(jí)、質(zhì)量分級(jí)和時(shí)間分級(jí)的各種組合的多層編碼來對(duì)視頻數(shù)據(jù)進(jìn)行編碼。
[0075]如上所述，源裝置100可將源視頻數(shù)據(jù)編碼為基礎(chǔ)層和至少一個(gè)增強(qiáng)層以支持多層編碼。源裝置100根據(jù)預(yù)先設(shè)定的用于基礎(chǔ)層和至少一個(gè)增強(qiáng)層的標(biāo)準(zhǔn)來修改源視頻數(shù)據(jù)，將修改的結(jié)果提供給基礎(chǔ)層和至少一個(gè)增強(qiáng)層。具有基本質(zhì)量級(jí)別的視頻數(shù)據(jù)在基礎(chǔ)層被編碼，具有更高質(zhì)量級(jí)別(高于基礎(chǔ)層的質(zhì)量級(jí)別)的視頻數(shù)據(jù)在至少一個(gè)增強(qiáng)層被編碼。
[0076]例如，源裝置100可根據(jù)基于ITU-T H.264/MPEG-4第10部分AVC標(biāo)準(zhǔn)的分級(jí)視頻編碼(SVC)在基礎(chǔ)層上對(duì)源視頻數(shù)據(jù)進(jìn)行編碼，并可如下描述在至少一個(gè)增強(qiáng)層對(duì)源視頻數(shù)據(jù)進(jìn)行編碼。
[0077]在本發(fā)明構(gòu)思中提出的技術(shù)可被應(yīng)用來執(zhí)行針對(duì)符合H.264標(biāo)準(zhǔn)的裝置的視頻分級(jí)擴(kuò)展。在本發(fā)明構(gòu)思中提出的技術(shù)還可與H.264標(biāo)準(zhǔn)一起應(yīng)用，與由組織開發(fā)的或由標(biāo)準(zhǔn)組織定義的其它視頻編碼標(biāo)準(zhǔn)一起應(yīng)用，和/或與根據(jù)各種視頻編碼標(biāo)準(zhǔn)(例如，MPEG-U MPEG-2、ITU-T H.263標(biāo)準(zhǔn)、運(yùn)動(dòng)圖像和電視工程師協(xié)會(huì)(SMPTE)、高效視頻編碼(HEVC)和其它標(biāo)準(zhǔn))定義的各種視頻壓縮標(biāo)準(zhǔn)一起應(yīng)用。
[0078]目標(biāo)裝置200可支持經(jīng)由有線或無線網(wǎng)絡(luò)接收編碼視頻數(shù)據(jù)。目標(biāo)裝置200可以是能夠支持接收和解碼數(shù)字視頻數(shù)據(jù)的各種裝置(例如，無線通信裝置、移動(dòng)電話、無線電話、無線廣播系統(tǒng)、個(gè)人數(shù)字助理(PDA)、筆記本計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、數(shù)碼相機(jī)、數(shù)字記錄裝置、視頻游戲裝置和數(shù)字電視(TV))中的任何裝置。
[0079]目標(biāo)裝置200可根據(jù)上述的各種視頻壓縮標(biāo)準(zhǔn)中與在源裝置100中采用的視頻壓縮標(biāo)準(zhǔn)相應(yīng)的一個(gè)視頻壓縮標(biāo)準(zhǔn)來進(jìn)行操作。
[0080]源裝置100和目標(biāo)裝置200可被實(shí)現(xiàn)為無線或有線通信裝置。此外，源裝置100和目標(biāo)裝置200可被實(shí)現(xiàn)為集成電路(IC)裝置，例如，IC芯片或芯片組。有線/無線通信裝置的示例包括數(shù)字媒體播放器、PDA、移動(dòng)電話、數(shù)字TV和其它類型的能夠支持?jǐn)?shù)字視頻應(yīng)用的裝置。
[0081]圖2是在圖1的視頻信號(hào)處理系統(tǒng)中示出的源裝置100和目標(biāo)裝置200的框圖。參照?qǐng)D2，源裝置100包括視頻源110、視頻編碼器120和發(fā)送器130。目標(biāo)裝置200包括接收器210、視頻解碼器220和顯示裝置230。
[0082]視頻源110可以是視頻捕捉裝置，例如，攝像機(jī)、視頻內(nèi)容供給裝置、相機(jī)電話、視頻電話、具有內(nèi)置攝像頭的移動(dòng)電話等。
[0083]視頻編碼器120從視頻源110接收視頻數(shù)據(jù)，并將接收到的視頻數(shù)據(jù)編碼為基礎(chǔ)層比特流和至少一個(gè)增強(qiáng)層比特流。視頻編碼器120支持多層編碼。
[0084]參照?qǐng)D2，視頻編碼器120包括基礎(chǔ)層編碼器121、至少一個(gè)增強(qiáng)層編碼器122和幀緩沖器123。
[0085]基礎(chǔ)層編碼器121和增強(qiáng)層編碼器122從視頻源110接收視頻數(shù)據(jù)。
[0086]基礎(chǔ)層編碼器121通過按照第一比特率對(duì)視頻數(shù)據(jù)進(jìn)行編碼來產(chǎn)生具有第一質(zhì)量級(jí)別的視頻的基礎(chǔ)層比特流。隨后，基礎(chǔ)層編碼器121基于在基礎(chǔ)層執(zhí)行編碼的結(jié)果產(chǎn)生編碼統(tǒng)計(jì)信息。例如，編碼統(tǒng)計(jì)信息可包括以下信息中的至少一個(gè):關(guān)于為以參考尺寸為單位在基礎(chǔ)層執(zhí)行編碼而產(chǎn)生的比特?cái)?shù)的信息、關(guān)于在基礎(chǔ)層的編碼期間以參考尺寸為單位計(jì)算的當(dāng)前幀和預(yù)測(cè)幀之間的像素值之間的絕對(duì)差和(SAD)的信息、以及關(guān)于在基礎(chǔ)層計(jì)算的關(guān)于參考尺寸的復(fù)雜度的信息。這里，可從圖像組(G0P)、幀或宏塊選擇“參考尺寸”。
[0087]基礎(chǔ)層編碼器121通過分析接收到的視頻數(shù)據(jù)來產(chǎn)生感興趣區(qū)域(ROI)信息。可通過布置在基礎(chǔ)層編碼器121外部的ROI檢測(cè)單元來產(chǎn)生ROI信息。
[0088]幀緩沖器123存儲(chǔ)基于由基礎(chǔ)層編碼器121執(zhí)行編碼的結(jié)果而產(chǎn)生的編碼統(tǒng)計(jì)信息。幀緩沖器123還可存儲(chǔ)由基礎(chǔ)層編碼器121產(chǎn)生的ROI信息。幀緩沖器123還可存儲(chǔ)由基礎(chǔ)層編碼器121根據(jù)H.264標(biāo)準(zhǔn)產(chǎn)生并由增強(qiáng)層編碼器122使用以執(zhí)行編碼的信息。例如，幀緩沖器123可存儲(chǔ)在基礎(chǔ)層編碼器121的編碼處理期間產(chǎn)生的幀間/幀內(nèi)預(yù)測(cè)信息、運(yùn)動(dòng)息和殘差息O
[0089]增強(qiáng)層編碼器122可通過使用幀間/幀內(nèi)預(yù)測(cè)信息、運(yùn)動(dòng)信息和殘差信息執(zhí)編碼來提高壓縮效率。此外，增強(qiáng)層編碼器122通過使用由基礎(chǔ)層編碼器121產(chǎn)生的編碼統(tǒng)計(jì)信息來執(zhí)行速率控制。以下詳細(xì)描述通過使用在基礎(chǔ)層產(chǎn)生的編碼統(tǒng)計(jì)信息在增強(qiáng)層中執(zhí)行速率控制的操作。
[0090]可通過對(duì)輸入幀數(shù)據(jù)進(jìn)行上采樣或下采樣來實(shí)現(xiàn)空間分級(jí)。[0091]基礎(chǔ)層編碼器121和增強(qiáng)層編碼器122中的每一個(gè)對(duì)每個(gè)幀的視頻塊執(zhí)行幀內(nèi)編碼或巾貞間編碼。
[0092]通過空間預(yù)測(cè)執(zhí)行幀內(nèi)編碼以減少或去除幀或宏塊中的視頻數(shù)據(jù)的空間冗余。在幀內(nèi)編碼中，基于包括在與將被編碼的當(dāng)前宏塊相同的幀中的至少一個(gè)編碼的宏塊來形成空間預(yù)測(cè)的宏塊。
[0093]基礎(chǔ)層編碼器121通過使用包括在當(dāng)前幀的基礎(chǔ)層中的至少一個(gè)編碼的宏塊的像素值來執(zhí)行插值(作為幀內(nèi)編碼的示例)，來基于包括在當(dāng)前幀中的至少一個(gè)編碼的宏塊產(chǎn)生預(yù)測(cè)塊。
[0094]增強(qiáng)層編碼器122通過基于包括在當(dāng)前幀中的至少一個(gè)編碼的宏塊執(zhí)行幀間編碼來產(chǎn)生預(yù)測(cè)塊。例如，增強(qiáng)層編碼器122可基于來自當(dāng)前幀中的基礎(chǔ)層和增強(qiáng)層的至少一個(gè)編碼的宏塊，來產(chǎn)生預(yù)測(cè)宏塊。例如，增強(qiáng)層編碼器122可通過使用來自基礎(chǔ)層的至少一個(gè)編碼的宏塊的像素值和來自增強(qiáng)層的至少一個(gè)編碼的宏塊的像素值的加權(quán)和，來產(chǎn)生預(yù)測(cè)宏塊。
[0095]執(zhí)行幀間編碼來通過時(shí)間預(yù)測(cè)減少或去除視頻序列的鄰近幀中的時(shí)間冗余。在幀間編碼中，基礎(chǔ)層編碼器121和增強(qiáng)層編碼器122通過在兩個(gè)或更多個(gè)鄰近幀之間將宏塊匹配為相似宏塊來執(zhí)行運(yùn)動(dòng)估計(jì)。在幀間預(yù)測(cè)中，基礎(chǔ)層編碼器121和增強(qiáng)層編碼器122基于一個(gè)編碼的單元在不同幀中的至少一個(gè)編碼的宏塊來產(chǎn)生時(shí)間預(yù)測(cè)的宏塊。
[0096]例如，基礎(chǔ)層編碼器121將當(dāng)前宏塊與至少一個(gè)鄰近視頻幀的宏塊進(jìn)行比較，并檢測(cè)與當(dāng)前宏塊的匹配最接近的宏塊。例如，可將在至少一個(gè)鄰近視頻幀的宏塊中具有最小SAD的宏塊確定為時(shí)間預(yù)測(cè)的宏塊。
[0097]例如，增強(qiáng)層編碼器122將當(dāng)前宏塊與包括在基礎(chǔ)層和/或增強(qiáng)層中所包括的至少一個(gè)鄰近幀中的宏塊進(jìn)行比較。
[0098]基礎(chǔ)層編碼器121和增強(qiáng)層編碼器122中的每一個(gè)通過對(duì)宏塊執(zhí)行基于幀內(nèi)的預(yù)測(cè)或基于幀間的預(yù)測(cè)來獲得預(yù)測(cè)塊并從原始宏塊減去預(yù)測(cè)塊，來產(chǎn)生殘差宏塊?！皻埐詈陦K”表示將被編碼的當(dāng)前宏塊與預(yù)測(cè)宏塊之間的差。
[0099]基礎(chǔ)層編碼器121和增強(qiáng)層編碼器122中的每一個(gè)通過執(zhí)行變換、量化和熵編碼來減少殘差宏塊的比特率。變換的示例包括離散余弦變換(DCT)、整數(shù)變換、小波變換、定向變換以及其它類型的變換。執(zhí)行變換以將一組像素差值變換為在頻域中表示像素差值的能量的殘差變換系數(shù)。
[0100]基礎(chǔ)層編碼器121和增強(qiáng)層編碼器122中的每一個(gè)通過使用量化參數(shù)QP來對(duì)殘差變換系數(shù)進(jìn)行量化。對(duì)視頻數(shù)據(jù)進(jìn)行編碼而產(chǎn)生的比特?cái)?shù)根據(jù)量化參數(shù)QP而改變。例如，根據(jù)ITU-T H.264標(biāo)準(zhǔn)，量化參數(shù)QP越高，由于使用更少比特?cái)?shù)來對(duì)視頻數(shù)據(jù)進(jìn)行編碼，因此視頻數(shù)據(jù)的質(zhì)量越低，并且量化參數(shù)QP越低，由于使用更多的比特?cái)?shù)來對(duì)視頻數(shù)據(jù)進(jìn)行編碼，因此視頻數(shù)據(jù)的質(zhì)量越高。
[0101]基礎(chǔ)層編碼器121基于以幀或宏塊為單位初始設(shè)置的目標(biāo)比特?cái)?shù)和在基礎(chǔ)層執(zhí)行熵編碼時(shí)產(chǎn)生的比特?cái)?shù)，確定量化參數(shù)QP。
[0102]此外，增強(qiáng)層編碼器122基于由基礎(chǔ)層編碼器121產(chǎn)生的編碼統(tǒng)計(jì)信息來確定以幀或宏塊為單位的目標(biāo)比特?cái)?shù)，隨后基于該目標(biāo)比特?cái)?shù)和基于在增強(qiáng)層執(zhí)行熵編碼時(shí)產(chǎn)生的比特?cái)?shù)來確定量化參數(shù)QP。[0103]質(zhì)量分級(jí)可通過殘差量化來實(shí)現(xiàn)。例如，將視頻數(shù)據(jù)編碼為具有最低量化級(jí)別的基礎(chǔ)層編碼器121通過使用比增強(qiáng)層編碼器122使用以對(duì)增強(qiáng)層的系數(shù)進(jìn)行量化的量化參數(shù)QP (例如，QP-E)更大的量化參數(shù)QP (例如，QP-B)來對(duì)基礎(chǔ)層的系數(shù)進(jìn)行量化。
[0104]此外，增強(qiáng)層編碼器122基于關(guān)于由基礎(chǔ)層編碼器121產(chǎn)生的視頻數(shù)據(jù)或在基礎(chǔ)層編碼器121之外產(chǎn)生的視頻數(shù)據(jù)的ROI信息，確定量化參數(shù)QP (QP-E)0例如，在感興趣區(qū)域中的量化參數(shù)QP (QP-E)可被確定為小于在非感興趣區(qū)域中的量化參數(shù)QP。
[0105]基礎(chǔ)層編碼器121和增強(qiáng)層編碼器122中的每一個(gè)通過掃描二維(2D)殘差宏塊來產(chǎn)生一維(ID)系數(shù)矢量，并通過對(duì)ID系數(shù)矢量進(jìn)行熵編碼來顯著壓縮殘差系數(shù)。熵編碼的示例包括可變長編碼(VLC)、算術(shù)編碼、定長編碼、上下文自適應(yīng)VLC (CAVLC)、上下文自適應(yīng)二進(jìn)制算術(shù)編碼(CABAC )。
[0106]基礎(chǔ)層編碼器121和增強(qiáng)層編碼器122中的每一個(gè)可通過使用單通(single-pass)編碼處理或多通(mult1-pass)編碼處理來對(duì)系數(shù)矢量進(jìn)行編碼。
[0107]例如，基礎(chǔ)層編碼器121可從第一系數(shù)矢量開始，在單通編碼中對(duì)非零系數(shù)進(jìn)行單獨(dú)編碼。
[0108]基礎(chǔ)層編碼器121可選擇VLC表來對(duì)游程長度進(jìn)行單獨(dú)編碼。基礎(chǔ)層編碼器121可基于游程的符號(hào)的總和以及已被編碼的游程的總和，選擇VLC表來對(duì)當(dāng)前游程值進(jìn)行編碼。例如，如果系數(shù)矢量等于八個(gè)游程的總和并且如果在最后一個(gè)非零系數(shù)之前被編碼的游程是“6”，則所有其它游程應(yīng)該是或“2”。由于每個(gè)附加游程被編碼使得可用游程長度變短，因此基礎(chǔ)層編碼器121可選擇有效的VLC表來減少將被用于表示游程的比特?cái)?shù)。
[0109]增強(qiáng)層編碼器122對(duì)增強(qiáng)層的量化的殘差變換系數(shù)進(jìn)行編碼。增強(qiáng)層編碼器122產(chǎn)生與基礎(chǔ)層的殘差系數(shù)不同的量化的殘差系數(shù)。使用與基礎(chǔ)層的量化參數(shù)QP (QP-B)不同的量化參數(shù)QP (QP-E)來對(duì)增強(qiáng)層的量化的殘差系數(shù)進(jìn)行量化，因此，增強(qiáng)層的量化的殘差系數(shù)可與基礎(chǔ)層的殘差系數(shù)不同。
[0110]增強(qiáng)層編碼器122可通過基于對(duì)基礎(chǔ)層執(zhí)行編碼的結(jié)果使用編碼統(tǒng)計(jì)信息來以參考尺寸為單位分配目標(biāo)比特?cái)?shù)，以控制速率。因此，在增強(qiáng)層的編碼期間可丟棄系數(shù)矢量的量化的殘差系數(shù)中的至少一個(gè)。
[0111]增強(qiáng)層編碼器122可從第一系數(shù)矢量開始，通過使用單通編碼來對(duì)非零系數(shù)進(jìn)行單獨(dú)編碼。
[0112]源裝置100經(jīng)由發(fā)送器130將如上所述的由視頻編碼器120編碼的視頻數(shù)據(jù)發(fā)送到目標(biāo)裝置200。
[0113]目標(biāo)裝置200包括接收器210、視頻解碼器220和顯示裝置230。
[0114]接收器210經(jīng)由信道300從源裝置100接收編碼視頻流。如上所述，編碼視頻流包括基礎(chǔ)層比特流和至少一個(gè)增強(qiáng)層比特流。信道300可以是有線或無線通信信道。
[0115]視頻解碼器220通過對(duì)基礎(chǔ)層和至少一個(gè)增強(qiáng)層執(zhí)行解碼來獲得視頻數(shù)據(jù)。視頻解碼器220包括基礎(chǔ)層解碼器221和增強(qiáng)層解碼器222?；A(chǔ)層解碼器221通過對(duì)經(jīng)由信道300接收的基礎(chǔ)層比特流進(jìn)行解碼來產(chǎn)生具有第一質(zhì)量級(jí)別的視頻數(shù)據(jù)。增強(qiáng)層解碼器222通過對(duì)至少一個(gè)增強(qiáng)層比特流進(jìn)行解碼來產(chǎn)生具有第二 (較高)質(zhì)量級(jí)別的視頻數(shù)據(jù)。
[0116]目標(biāo)裝置200可接收的增強(qiáng)層的數(shù)量可根據(jù)信道狀態(tài)而改變。[0117]基礎(chǔ)層解碼器221通過對(duì)在基礎(chǔ)層編碼的視頻流進(jìn)行解碼來獲得表示基礎(chǔ)層的量化的殘差系數(shù)的矢量的符號(hào)。
[0118]增強(qiáng)層解碼器222通過對(duì)在增強(qiáng)層編碼的視頻流進(jìn)行解碼來獲得表示增強(qiáng)層的量化的殘差系數(shù)的矢量的符號(hào)。
[0119]基礎(chǔ)層解碼器221和增強(qiáng)層解碼器222分別通過使用解碼的殘差系數(shù)來產(chǎn)生恢復(fù)的基礎(chǔ)層視頻數(shù)據(jù)和恢復(fù)的增強(qiáng)層視頻數(shù)據(jù)。因此，對(duì)量化的殘差系數(shù)進(jìn)行反量化，對(duì)反量化的殘差系數(shù)進(jìn)行反變換，并產(chǎn)生像素值的殘差宏塊。隨后，通過將像素值的殘差宏塊與預(yù)測(cè)宏塊進(jìn)行結(jié)合來恢復(fù)視頻數(shù)據(jù)。
[0120]在顯示裝置230上顯示恢復(fù)的視頻數(shù)據(jù)。顯示裝置230可以是液晶顯示器(IXD)、陰極射線管(CRT)、等離子顯示器、發(fā)光二極管(LED)顯示器、有機(jī)LED顯示器等。
[0121]圖3至圖8是示出根據(jù)本發(fā)明構(gòu)思的各種示例性實(shí)施例的多層編碼器的結(jié)構(gòu)的框圖。例如，多層編碼器可被實(shí)現(xiàn)為分級(jí)編碼器。
[0122]首先，將參照?qǐng)D3描述根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的多層編碼器。
[0123]圖3是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的多層編碼器120A的框圖。參照?qǐng)D3，多層編碼器120A包括基礎(chǔ)層編碼器121A、增強(qiáng)層編碼器122A和幀緩沖器123A。
[0124]基礎(chǔ)層編碼器121A包括第一編碼處理器IOA和第一速率控制器20A。增強(qiáng)層編碼器122A包括第二編碼處理器30A、第二速率控制器40A和上采樣單元50。
[0125]在圖3的實(shí)施例中，上采樣單元50被置于增強(qiáng)層編碼器122A中。根據(jù)本發(fā)明構(gòu)思的可選實(shí)施例，上采樣單元50可被置于增強(qiáng)層編碼器122A之外。
[0126]當(dāng)具有原始圖像的分辨率的視頻數(shù)據(jù)被輸入到多層編碼器120A時(shí)，基礎(chǔ)層編碼器121A直接對(duì)原始視頻數(shù)據(jù)進(jìn)行編碼，增強(qiáng)層編碼器122A通過使用上采樣單元50將原始視頻數(shù)據(jù)上采樣到具有更高分辨率的視頻數(shù)據(jù)，隨后對(duì)具有更高分辨率的視頻數(shù)據(jù)進(jìn)行編碼。
[0127]例如，如果原始視頻數(shù)據(jù)的分辨率具有通用中間格式(CIF)，則基礎(chǔ)層編碼器121A對(duì)具有CIF分辨率的原始視頻數(shù)據(jù)進(jìn)行編碼。增強(qiáng)層編碼器122A對(duì)標(biāo)清(SD)或高清(HD)視頻數(shù)據(jù)進(jìn)行編碼，其分辨率通過上采樣而增加。可選地，增強(qiáng)層編碼器122A可對(duì)具有高分辨率的原始視頻數(shù)據(jù)進(jìn)行編碼，基礎(chǔ)層編碼器121A對(duì)縮小的視頻數(shù)據(jù)進(jìn)行編碼，這將在下面參照?qǐng)D4進(jìn)行描述。
[0128]基礎(chǔ)層編碼器121A的第一編碼處理器IOA通過以基于從第一速率控制器20A接收的第一量化參數(shù)QPl確定的比特率對(duì)輸入幀數(shù)據(jù)進(jìn)行編碼，來產(chǎn)生具有第一分辨率的基礎(chǔ)層比特流。
[0129]基礎(chǔ)層編碼器121A的第一編碼處理器IOA基于執(zhí)行編碼的結(jié)果產(chǎn)生編碼統(tǒng)計(jì)信息。例如，編碼統(tǒng)計(jì)信息可包括關(guān)于當(dāng)以基礎(chǔ)層的區(qū)域?yàn)閱挝粓?zhí)行編碼時(shí)產(chǎn)生的比特?cái)?shù)的信息、關(guān)于在基礎(chǔ)層的編碼期間以基礎(chǔ)層的區(qū)域?yàn)閱挝挥?jì)算的當(dāng)前幀和預(yù)測(cè)幀之間的SAD的信息、關(guān)于在基礎(chǔ)層計(jì)算的基礎(chǔ)層的區(qū)域的復(fù)雜度的信息中的至少一個(gè)。這里，區(qū)域的尺寸可包括GOP的尺寸、幀的尺寸和宏塊的尺寸中的至少一個(gè)。
[0130]由第一編碼處理器IOA產(chǎn)生的編碼統(tǒng)計(jì)信息被存儲(chǔ)在幀緩沖器123A中。
[0131]第一速率控制器20A可根據(jù)第一目標(biāo)比特率確定分配給第一層的區(qū)域的目標(biāo)比特?cái)?shù)和量化參數(shù)。[0132]第一速率控制器20A通過根據(jù)分配給根據(jù)第一目標(biāo)比特率的宏塊的目標(biāo)比特?cái)?shù)與當(dāng)?shù)谝痪幋a處理器IOA在基礎(chǔ)層執(zhí)行熵編碼時(shí)實(shí)際產(chǎn)生的比特?cái)?shù)Bits_INFl之間的差來調(diào)整分配給第一層的區(qū)域的量化參數(shù)，從而確定將被分配給第一編碼處理器IOA的第一量化參數(shù)QP1。例如，當(dāng)目標(biāo)比特?cái)?shù)大于比特?cái)?shù)Bits_INFl時(shí)，分配給在后的宏塊的量化參數(shù)減小，當(dāng)目標(biāo)比特?cái)?shù)小于比特?cái)?shù)Bits_INFl時(shí)，分配給在后的宏塊的量化參數(shù)增大。當(dāng)目標(biāo)比特?cái)?shù)等于比特?cái)?shù)Bits_INFl時(shí)，分配給在后的宏塊的量化參數(shù)保持。
[0133]增強(qiáng)層編碼器122A的上采樣單元50對(duì)輸入幀數(shù)據(jù)進(jìn)行上采樣以適合于增強(qiáng)層的分辨率。上采樣的幀數(shù)據(jù)被提供給第二編碼處理器30A。
[0134]增強(qiáng)層編碼器122A的第二編碼處理器30A通過以基于從第二速率控制器40A接收的量化參數(shù)QP2確定的比特率對(duì)上采樣的幀數(shù)據(jù)進(jìn)行編碼，來產(chǎn)生具有第二分辨率的增強(qiáng)層比特流。
[0135]第二速率控制器40A確定將分配給第二層的區(qū)域的量化參數(shù)。例如，可根據(jù)第二目標(biāo)比特率確定將分配給第二層的區(qū)域的量化參數(shù)。作為另一示例，可根據(jù)ROI信息確定將分配給第二層的區(qū)域的量化參數(shù)。
[0136]第二速率控制器40A通過從幀緩沖器123A讀取與將在增強(qiáng)層被編碼的當(dāng)前宏塊的位置相應(yīng)的基礎(chǔ)層的編碼統(tǒng)計(jì)信息，基于讀取的基礎(chǔ)層的編碼統(tǒng)計(jì)信息確定當(dāng)前宏塊和/或當(dāng)前幀的目標(biāo)比特?cái)?shù)，隨后根據(jù)確定的目標(biāo)比特?cái)?shù)與在增強(qiáng)層的熵編碼期間實(shí)際產(chǎn)生的比特?cái)?shù)Bits_INF2之間的差調(diào)整分配給第二層的區(qū)域的量化參數(shù)，從而確定將分配給第二編碼處理器30A的量化參數(shù)QP2。例如，當(dāng)目標(biāo)比特?cái)?shù)大于比特?cái)?shù)Bits_INF2時(shí)，分配給在后宏塊的量化參數(shù)減小，當(dāng)目標(biāo)比特?cái)?shù)小于比特?cái)?shù)Bits_INF2時(shí)，分配給在后的宏塊的量化參數(shù)增大。當(dāng)目標(biāo)比特?cái)?shù)等于比特?cái)?shù)Bits_INF2時(shí)，分配給在后的宏塊的量化參數(shù)保持。
[0137]圖17A至圖17C是示出根據(jù)本發(fā)明構(gòu)思的實(shí)施例的由支持空間分級(jí)的多層編碼器執(zhí)行的通過使用基礎(chǔ)層的編碼統(tǒng)計(jì)信息確定增強(qiáng)層的宏塊的目標(biāo)比特?cái)?shù)的處理的概念圖。
[0138]圖17A至圖17C示出在增強(qiáng)層編碼的視頻數(shù)據(jù)的分辨率高于在基礎(chǔ)層編碼的視頻數(shù)據(jù)的分辨率的情況。
[0139]參照?qǐng)D17A和圖17B，通過在基礎(chǔ)層對(duì)每個(gè)幀進(jìn)行編碼而獲得的編碼統(tǒng)計(jì)信息被發(fā)送到增強(qiáng)層，從而編碼統(tǒng)計(jì)信息可被用于對(duì)與增強(qiáng)層相應(yīng)的幀進(jìn)行編碼。編碼統(tǒng)計(jì)信息可以是以圖像或宏塊為單位計(jì)算的SAD，或者是以圖像或宏塊為單位實(shí)際產(chǎn)生的比特?cái)?shù)。圖17A示出對(duì)包括I圖像和P圖像的GOP執(zhí)行編碼的情況。圖17B示出對(duì)包括I圖像、B圖像和P圖像的GOP執(zhí)行編碼的情況。
[0140]參照?qǐng)D17C，可基于對(duì)以宏塊為單位計(jì)算的SAD值ME_MB_SAD和以圖像為單位計(jì)算的SAD值ME_PIC_SAD進(jìn)行放大的結(jié)果，確定增強(qiáng)層的宏塊的目標(biāo)比特值MB_target_bit，ME_MB_SAD和ME_PIC_SAD是在基礎(chǔ)層產(chǎn)生的編碼統(tǒng)計(jì)信息。例如，檢測(cè)與在增強(qiáng)層將被編碼的宏塊的位置相應(yīng)的基礎(chǔ)層的宏塊，并且可使用檢測(cè)到的基礎(chǔ)層的宏塊的SAD值ME_MB_SAD來確定增強(qiáng)層的宏塊的目標(biāo)比特值值MB_target_bit。
[0141]圖17C示出包括在增強(qiáng)層的一個(gè)圖像中的宏塊的數(shù)量是包括在基礎(chǔ)層的一個(gè)圖像中的宏塊的數(shù)量的四倍的情況。圖17C示出通過使用在基礎(chǔ)層的一個(gè)宏塊中計(jì)算的SAD值ME_MB_SAD來確定增強(qiáng)層的四個(gè)宏塊中的每個(gè)宏塊的目標(biāo)比特值MB_target_bit。[0142]接下來，現(xiàn)在將參照?qǐng)D4描述根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的多層編碼器。
[0143]圖4是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的支持空間分級(jí)的多層編碼器120B的框圖。參照?qǐng)D4，多層編碼器120B包括基礎(chǔ)層編碼器121B、增強(qiáng)層編碼器122B和幀緩沖器123B。
[0144]基礎(chǔ)層編碼器121B包括第一編碼處理器10B、速率控制器20B和下采樣單元60。增強(qiáng)層編碼器122B包括第二編碼處理器30B和第二速率控制器40B。
[0145]在圖4的示例性實(shí)施例中，下采樣單元60被置于基礎(chǔ)層編碼器121B。根據(jù)本發(fā)明構(gòu)思的可選實(shí)施例，下采樣單元60可被置于基礎(chǔ)層編碼器121B之外。
[0146]當(dāng)具有原始圖像的分辨率的視頻數(shù)據(jù)被輸入到多層編碼器120B時(shí)，增強(qiáng)層編碼器122B對(duì)原始視頻數(shù)據(jù)直接進(jìn)行編碼，基礎(chǔ)層編碼器121B將原始視頻數(shù)據(jù)下采樣為分辨率低于原始圖像的分辨率的視頻數(shù)據(jù)，并隨后對(duì)下采樣的視頻數(shù)據(jù)進(jìn)行編碼。
[0147]例如，如果原始視頻數(shù)據(jù)具有HD分辨率，則基礎(chǔ)層編碼器121B將原始視頻數(shù)據(jù)下采樣為具有低于HD分辨率的標(biāo)清(SD)分辨率或CIF分辨率的視頻數(shù)據(jù)，并對(duì)下采樣的視頻數(shù)據(jù)進(jìn)行編碼，增強(qiáng)層編碼器122B對(duì)HD原始視頻數(shù)據(jù)進(jìn)行編碼。
[0148]基礎(chǔ)層編碼器121B的下采樣單元60將輸入幀數(shù)據(jù)下采樣為適合于基礎(chǔ)層的分辨率。下采樣的幀數(shù)據(jù)被提供給第一編碼處理器10B。
[0149]基礎(chǔ)層編碼器121B的第一編碼處理器IOB通過以基于從第一速率控制器20B接收的第一量化參數(shù)QPl確定的比特率對(duì)下采樣的幀數(shù)據(jù)進(jìn)行編碼，來產(chǎn)生具有第一分辨率的基礎(chǔ)層比特流。
[0150]基礎(chǔ)層編碼器121B的第一編碼處理器IOB基于執(zhí)行編碼的結(jié)果產(chǎn)生編碼統(tǒng)計(jì)信息。由基礎(chǔ)層編碼器121B產(chǎn)生的編碼統(tǒng)計(jì)信息與上面參照?qǐng)D3描述的編碼統(tǒng)計(jì)信息相同。
[0151]由基礎(chǔ)層編碼器121B產(chǎn)生的編碼統(tǒng)計(jì)信息被存儲(chǔ)在幀緩沖器123B中。
[0152]第一速率控制器20B的操作與圖3的第一速率控制器20A的操作基本上相同，因此將不在此進(jìn)行多余的描述。
[0153]通過以基于由第二速率控制器40B提供的第二量化參數(shù)QP2確定的比特率對(duì)輸入到增強(qiáng)層編碼器122B的幀數(shù)據(jù)進(jìn)行編碼，產(chǎn)生具有第二分辨率的增強(qiáng)層比特流。
[0154]第二速率控制器40B確定分配給第二層的區(qū)域的量化參數(shù)。例如，可根據(jù)第二目標(biāo)比特率確定分配給第二層的區(qū)域的量化參數(shù)。作為可選的示例，可根據(jù)ROI信息來確定分配給第二層的區(qū)域的量化參數(shù)。
[0155]第二速率控制器40B通過從幀緩沖器123B讀取與在增強(qiáng)層將被編碼的當(dāng)前宏塊的位置相應(yīng)的基礎(chǔ)層的編碼統(tǒng)計(jì)信息，基于讀取的基礎(chǔ)層的編碼統(tǒng)計(jì)信息確定宏塊和/或幀的目標(biāo)比特?cái)?shù)，并隨后根據(jù)確定的目標(biāo)比特?cái)?shù)與在增強(qiáng)層的熵編碼期間實(shí)際產(chǎn)生的比特?cái)?shù)Bits_INF2之間的差來調(diào)整分配給第二層的區(qū)域的量化參數(shù)，從而確定將被分配給第二編碼處理器30的第二量化參數(shù)QP2。例如，當(dāng)(例如，只有)目標(biāo)比特?cái)?shù)大于比特?cái)?shù)Bits_INF2時(shí)，分配給在后的宏塊的量化參數(shù)減小，當(dāng)(例如，只有)目標(biāo)比特?cái)?shù)小于比特?cái)?shù)Bits_INF2時(shí)，分配給在后的宏塊的量化參數(shù)增大。如果目標(biāo)比特?cái)?shù)等于比特?cái)?shù)Bits_INF2，則分配給在后的宏塊的量化參數(shù)保持。
[0156]圖5是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的支持質(zhì)量分級(jí)的多層編碼器120C的框圖。參照?qǐng)D5，多層編碼器120C包括基礎(chǔ)層編碼器121C、增強(qiáng)層編碼器122C和幀緩沖器123C。
[0157]具體地，基礎(chǔ)層編碼器121C包括第一編碼處理器IOC和第一速率控制器20C，增強(qiáng)層編碼器122C包括第二編碼處理器30C和第二速率控制器40C。
[0158]在多層編碼器支持質(zhì)量分級(jí)的情況下，當(dāng)在基礎(chǔ)層編碼的視頻數(shù)據(jù)的分辨率等于在增強(qiáng)層編碼的視頻數(shù)據(jù)的分辨率時(shí)，在增強(qiáng)層不需要執(zhí)行上采樣/下采樣。
[0159]基礎(chǔ)層編碼器121C的第一編碼處理器IOC通過以基于從第一速率控制器20C接收的第一量化參數(shù)QPl確定的比特率對(duì)原始視頻數(shù)據(jù)進(jìn)行編碼，來產(chǎn)生具有第一質(zhì)量級(jí)別的基礎(chǔ)層比特流。
[0160]基礎(chǔ)層編碼器121C基于執(zhí)行編碼的結(jié)果產(chǎn)生編碼統(tǒng)計(jì)信息。由基礎(chǔ)層編碼器121C產(chǎn)生的編碼統(tǒng)計(jì)信息與上面參照?qǐng)D3描述的編碼統(tǒng)計(jì)信息相同。
[0161]由基礎(chǔ)層編碼器121C產(chǎn)生的編碼統(tǒng)計(jì)信息被存儲(chǔ)在幀緩沖器123C中。
[0162]第一速率控制器20C通過根據(jù)將分配給根據(jù)第一目標(biāo)比特率的宏塊的目標(biāo)比特?cái)?shù)與當(dāng)?shù)谝痪幋a處理器IOC對(duì)基礎(chǔ)層進(jìn)行熵編碼時(shí)實(shí)際產(chǎn)生的比特?cái)?shù)Bits_INFl之間的差來調(diào)整分配給基礎(chǔ)層的區(qū)域的量化參數(shù)，從而確定將被分配給第一編碼處理器IOC的第一量化參數(shù)QPl。例如，如果目標(biāo)比特?cái)?shù)大于比特?cái)?shù)Bits_INFl，則分配給在后的宏塊的量化參數(shù)減小，如果目標(biāo)比特?cái)?shù)小于比特?cái)?shù)Bits_INFl，則分配給在后的宏塊的量化參數(shù)增大。如果目標(biāo)比特?cái)?shù)等于比特?cái)?shù)Bits_INFl，則分配給在后的宏塊的量化參數(shù)保持。
[0163]增強(qiáng)層編碼器122C的第二編碼處理器30C通過以基于從第二速率控制器40C接收的第二量化參數(shù)QP2確定的比特率對(duì)輸入幀數(shù)據(jù)進(jìn)行編碼，來產(chǎn)生具有第二質(zhì)量級(jí)別的增強(qiáng)層比特流。
[0164]第二速率控制器40C通過從幀緩沖器123C讀取與在增強(qiáng)層將被編碼的當(dāng)前宏塊的位置相應(yīng)的基礎(chǔ)層的編碼統(tǒng)計(jì)信息，基于讀取的基礎(chǔ)層的編碼統(tǒng)計(jì)信息確定宏塊和/或幀的目標(biāo)比特?cái)?shù)，并隨后根據(jù)確定的目標(biāo)比特?cái)?shù)與在增強(qiáng)層的熵編碼期間實(shí)際產(chǎn)生的比特?cái)?shù)Bits_INF2之間的差來調(diào)整分配給增強(qiáng)層的區(qū)域的量化參數(shù)，來確定將被分配給第二編碼處理器30C的第二量化參數(shù)QP2。例如，當(dāng)目標(biāo)比特?cái)?shù)大于比特?cái)?shù)Bits_INF2時(shí)，分配給在后的宏塊的量化參數(shù)減小，當(dāng)目標(biāo)比特?cái)?shù)小于比特?cái)?shù)Bits_INF2時(shí)，分配給在后的宏塊的量化參數(shù)增大。如果目標(biāo)比特?cái)?shù)等于比特?cái)?shù)Bits_INF2，則分配給在后的宏塊的量化參數(shù)保持。
[0165]圖18A至圖18D是示出根據(jù)本發(fā)明構(gòu)思的實(shí)施例的由支持質(zhì)量分級(jí)的多層編碼器執(zhí)行的通過使用基礎(chǔ)層的編碼統(tǒng)計(jì)信息確定增強(qiáng)層的宏塊的目標(biāo)比特?cái)?shù)的處理的概念圖。
[0166]圖18A至圖18D示出基于中等粒度分級(jí)(MGS)或粗粒度分級(jí)(CGS)的各種多層視頻編碼技術(shù)。
[0167]參照?qǐng)D18A至圖18C，當(dāng)以幀為單位在基礎(chǔ)層執(zhí)行編碼時(shí)產(chǎn)生的編碼統(tǒng)計(jì)信息被發(fā)送到增強(qiáng)層，從而編碼統(tǒng)計(jì)信息可被用于對(duì)與增強(qiáng)層相應(yīng)的幀進(jìn)行編碼。編碼統(tǒng)計(jì)信息可以是以圖像為單位或以宏塊為單位計(jì)算的SAD和/或?qū)嶋H產(chǎn)生的比特?cái)?shù)。例如，基礎(chǔ)層可相應(yīng)于MGS質(zhì)量層_0，增強(qiáng)層可以是從變換到頻域的系數(shù)劃分的MGS質(zhì)量層的組合。
[0168]參照?qǐng)D18D，當(dāng)以幀為單位在基礎(chǔ)層執(zhí)行編碼時(shí)產(chǎn)生的編碼統(tǒng)計(jì)信息被發(fā)送到增強(qiáng)層，從而編碼統(tǒng)計(jì)信息可被用于對(duì)與增強(qiáng)層相應(yīng)的幀進(jìn)行編碼。編碼統(tǒng)計(jì)信息可以是以圖像為單位或以宏塊為單位計(jì)算的SAD和/或?qū)嶋H產(chǎn)生的比特?cái)?shù)?；A(chǔ)層相應(yīng)于使用層目標(biāo)比特O編碼的CGS質(zhì)量層I。
[0169]參照?qǐng)D18D，基于在基礎(chǔ)層產(chǎn)生的編碼統(tǒng)計(jì)信息(B卩，以宏塊為單位計(jì)算的SAD ME_MB_SAD和/或以圖像為單位計(jì)算的SAD ME_PIC_SAD)，確定增強(qiáng)層的宏塊的目標(biāo)比特值MB_target_bit。
[0170]圖6是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的支持空間分級(jí)的多層編碼器120D的框圖。參照?qǐng)D6，多層編碼器120D包括基礎(chǔ)層編碼器121D、增強(qiáng)層編碼器122D和幀緩沖器123D。
[0171]基礎(chǔ)層編碼器121D包括第一編碼處理器10A、第一速率控制器20A和感興趣區(qū)域(ROI)檢測(cè)單元70。增強(qiáng)層編碼器122D包括第二編碼處理器30D、第二速率控制器40D和上采樣單元50。
[0172]在圖6的實(shí)施例中，上采樣單元50被置于增強(qiáng)層編碼器122D中。根據(jù)本發(fā)明構(gòu)思的可選實(shí)施例，上采樣單元50可被置于增強(qiáng)層編碼器122D之外。
[0173]ROI檢測(cè)單元70通過基于以下信息中的至少一個(gè)來分析幀數(shù)據(jù)以計(jì)算ROI信息:關(guān)于圖像的復(fù)雜度的信息、關(guān)于圖像的運(yùn)動(dòng)量的信息和關(guān)于圖像的像素的分布的信息。例如，等于或大于第一閾值的圖像區(qū)域、改變度、運(yùn)動(dòng)量或像素分布可被確定為感興趣區(qū)域(R0I)，小于第二閾值的圖像區(qū)域、改變度、運(yùn)動(dòng)量或像素分布可被確定為非感興趣區(qū)域。第一閾值可被設(shè)置為大于第二閾值。下面參照?qǐng)D9至圖11描述描述計(jì)算ROI信息的方法。
[0174]基礎(chǔ)層121D的第一編碼處理器IOA和第一速率控制器20A分別與圖3的基礎(chǔ)層編碼器121A的第一編碼處理器IOA和第一速率控制器20A相同。
[0175]基礎(chǔ)層編碼器121D基于執(zhí)行編碼的結(jié)果產(chǎn)生編碼統(tǒng)計(jì)信息。
[0176]幀緩沖器123D存儲(chǔ)由基礎(chǔ)層編碼器12ID產(chǎn)生的編碼統(tǒng)計(jì)信息和ROI信息。
[0177]增強(qiáng)層編碼器122D的上采樣單元50對(duì)輸入的原始視頻數(shù)據(jù)進(jìn)行上采樣以適合于增強(qiáng)層的分辨率。上采樣的視頻數(shù)據(jù)被提供給第二編碼處理器30D。
[0178]增強(qiáng)層編碼器122D的第二編碼處理器30D通過以基于從第二速率控制器40D接收的第二量化參數(shù)QP2確定的比特率對(duì)上采樣的視頻數(shù)據(jù)進(jìn)行編碼，來產(chǎn)生具有第二分辨率的增強(qiáng)層比特流。
[0179]例如，第二速率控制器40D可從幀緩沖器123D讀取與將在增強(qiáng)層被編碼的宏塊的位置相應(yīng)的基礎(chǔ)層的編碼統(tǒng)計(jì)信息，并基于讀取的編碼統(tǒng)計(jì)信息來確定宏塊和/或幀的目標(biāo)比特?cái)?shù)。
[0180]作為可選方案，第二速率控制器40D根據(jù)與增強(qiáng)層的分辨率相應(yīng)的第二目標(biāo)比特率確定宏塊的目標(biāo)比特?cái)?shù)。
[0181]此外，第二速率控制器40D基于由基礎(chǔ)層編碼器121D在基礎(chǔ)層產(chǎn)生的ROI信息來確定將被分配給增強(qiáng)層的區(qū)域的量化參數(shù)。例如，感興趣區(qū)域中的量化參數(shù)可被設(shè)置為小于非感興趣區(qū)域中的量化參數(shù)。
[0182]圖20A至圖20C是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的由支持空間分級(jí)的多層編碼器執(zhí)行的通過使用基礎(chǔ)層的ROI信息將量化參數(shù)分配給增強(qiáng)層的宏塊的處理的概念圖。
[0183]參照?qǐng)D20A和圖20B，當(dāng)以幀為單位在基礎(chǔ)層執(zhí)行編碼時(shí)產(chǎn)生的ROI信息被發(fā)送到增強(qiáng)層，從而ROI信息可被用于將量化參數(shù)分配給與增強(qiáng)層相應(yīng)的幀。[0184]圖20A示出對(duì)包括I圖像和P圖像的GOP執(zhí)行編碼的情況。圖20B示出對(duì)包括I圖像、B圖像和P圖像的GOP執(zhí)行編碼的情況。
[0185]參照?qǐng)D20C，可基于在基礎(chǔ)層產(chǎn)生的ROI信息將量化參數(shù)分配給增強(qiáng)層的宏塊。例如，可檢測(cè)與在增強(qiáng)層將被編碼的宏塊的位置相應(yīng)的基礎(chǔ)層的宏塊，可基于關(guān)于檢測(cè)到的基礎(chǔ)層的宏塊的ROI信息將量化參數(shù)分配給增強(qiáng)層的宏塊。
[0186]例如，圖20C示出包括在增強(qiáng)層的一個(gè)圖像中的宏塊的數(shù)量是包括在基礎(chǔ)層的一個(gè)圖像中的宏塊的數(shù)量的四倍。參照?qǐng)D20C，可基于在基礎(chǔ)層的一個(gè)宏塊中產(chǎn)生的ROI信息將量化參數(shù)分配給增強(qiáng)層的宏塊。
[0187]圖22示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的通過使用ROI信息分配給增強(qiáng)層的量化參數(shù)。參照?qǐng)D22，量化參數(shù)“29”被分配給感興趣區(qū)域，量化參數(shù)“51”被分配給非感興趣區(qū)域。量化參數(shù)“40”被分配給即不是感興趣區(qū)域又不是非感興趣區(qū)域的區(qū)域。
[0188]圖6的第二速率控制器40D通過根據(jù)分配給當(dāng)前宏塊的目標(biāo)比特?cái)?shù)與通過對(duì)當(dāng)前宏塊進(jìn)行熵編碼而實(shí)際產(chǎn)生的比特?cái)?shù)Bits_INF2之間的差來調(diào)整分配給在后的宏塊的量化參數(shù)，以確定將被分配給圖6的第二編碼處理器30D的第二量化參數(shù)QP2。例如，當(dāng)目標(biāo)比特?cái)?shù)大于比特?cái)?shù)Bits_INF2時(shí)，分配給在后的宏塊的量化參數(shù)減小，當(dāng)目標(biāo)比特?cái)?shù)小于比特?cái)?shù)Bits_INF2時(shí)，分配給在后的宏塊的量化參數(shù)增大。如果目標(biāo)比特?cái)?shù)等于比特?cái)?shù)Bits_INF2時(shí)，則分配給在后的宏塊的量化參數(shù)保持。當(dāng)對(duì)每個(gè)幀的第一宏塊進(jìn)行編碼時(shí)，使用基于ROI信息分配的量化參數(shù)。
[0189]圖7是根據(jù)本發(fā)明的示例性實(shí)施例的支持空間分級(jí)的多層編碼器120E的框圖。參照?qǐng)D7，多層編碼器120E包括基礎(chǔ)層編碼器121E、增強(qiáng)層編碼器122E和幀緩沖器123E。
[0190]基礎(chǔ)層編碼器121E包括第一編碼處理器10B、第一速率控制器20B和ROI檢測(cè)單元70。增強(qiáng)層編碼器122E包括第二編碼處理器30E、下采樣單元60和第二速率控制器40E。
[0191]在圖7的實(shí)施例中，下采樣單元60被置于增強(qiáng)層編碼器122E中，根據(jù)本發(fā)明構(gòu)思的可選實(shí)施例，下采樣單元60可被置于增強(qiáng)層編碼器122E之外。
[0192]ROI檢測(cè)單元70如上面參照?qǐng)D6描述的通過分析輸入的圖像數(shù)據(jù)來計(jì)算ROI信
肩、O
[0193]增強(qiáng)層編碼器122E的下采樣單元60將輸入的原始視頻數(shù)據(jù)下采樣為適合于增強(qiáng)層的分辨率。下采樣的視頻數(shù)據(jù)被提供給第二編碼處理器30E。
[0194]基礎(chǔ)層編碼器121E的第一編碼處理器IOB和第一速率控制器20B分別與圖4的基礎(chǔ)層編碼器121B的第一編碼處理器IOB和第一速率控制器20B相同。因此，基礎(chǔ)層編碼器121E可基于在基礎(chǔ)層執(zhí)行編碼的結(jié)果產(chǎn)生編碼統(tǒng)計(jì)信息。此外，基礎(chǔ)層編碼器121E產(chǎn)生ROI信息。
[0195]幀緩沖器123E存儲(chǔ)由基礎(chǔ)層編碼器12IE產(chǎn)生的編碼統(tǒng)計(jì)信息和ROI信息。
[0196]增強(qiáng)層編碼器122E的第二編碼處理器30E通過以基于從第二速率控制器40E接收的第二量化參數(shù)QP2確定的比特率對(duì)下采樣的視頻數(shù)據(jù)進(jìn)行編碼，產(chǎn)生具有第二分辨率的增強(qiáng)層比特流。
[0197]例如，第二速率控制器40E可從幀緩沖器123E讀取與在增強(qiáng)層將被編碼的當(dāng)前宏塊的位置相應(yīng)的基礎(chǔ)層的編碼統(tǒng)計(jì)信息，并基于編碼統(tǒng)計(jì)信息確定當(dāng)前宏塊和/或幀的目標(biāo)比特?cái)?shù)。[0198]作為另一示例，第二速率控制器40E可確定在與增強(qiáng)層的分辨率相應(yīng)的第二目標(biāo)比特率的當(dāng)前宏塊的目標(biāo)比特?cái)?shù)。
[0199]第二速率控制器40E基于由基礎(chǔ)層編碼器121E產(chǎn)生的ROI信息，確定將被分配給增強(qiáng)層的區(qū)域的量化參數(shù)。例如，感興趣區(qū)域中的量化參數(shù)可被設(shè)置為非感興趣區(qū)域中的量化比特參數(shù)。
[0200]如上面參照?qǐng)D20A至圖20C所述，可基于基礎(chǔ)層的ROI信息將量化參數(shù)分配給增強(qiáng)層的宏塊。
[0201]第二速率控制器40E根據(jù)分配給當(dāng)前宏塊的目標(biāo)比特?cái)?shù)與通過對(duì)當(dāng)前宏塊進(jìn)行熵編碼而實(shí)際產(chǎn)生的比特?cái)?shù)Bits_INF2之間的差，調(diào)整分配給在后的宏塊的量化參數(shù)。例如，當(dāng)目標(biāo)比特?cái)?shù)大于比特?cái)?shù)Bits_INF2時(shí)，分配給在后的宏塊的量化參數(shù)減小，當(dāng)目標(biāo)比特?cái)?shù)小于比特?cái)?shù)Bits_INF2時(shí)，分配給在后的宏塊的量化參數(shù)增大。如果目標(biāo)比特?cái)?shù)等于比特?cái)?shù)Bits_INF2時(shí)，則分配給在后的宏塊的量化參數(shù)保持。當(dāng)對(duì)每個(gè)幀的第一宏塊進(jìn)行編碼時(shí)，使用基于ROI信息分配的量化參數(shù)。
[0202]圖8是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的支持質(zhì)量分級(jí)的多層編碼器120F的框圖。參照?qǐng)D8，多層編碼器120F包括基礎(chǔ)層編碼器121F、增強(qiáng)層編碼器122F和幀緩沖器123F。
[0203]基礎(chǔ)層編碼器121F包括第一編碼處理器10C、第一速率控制器20C和ROI檢測(cè)單元70。增強(qiáng)層編碼器122E包括第二編碼處理器30F和第二速率控制器40F。
[0204]如上面參照?qǐng)D6所述，ROI檢測(cè)單元70通過分析輸入的圖像數(shù)據(jù)來計(jì)算ROI信息。
[0205]基礎(chǔ)層編碼器121F的第一編碼處理器IOC和第一速率控制器20C分別與圖5的基礎(chǔ)層編碼器121C的第一編碼處理器IOC和第一速率控制器20C相同。因此，基礎(chǔ)層編碼器121F可基于在基礎(chǔ)層執(zhí)行編碼的結(jié)果產(chǎn)生編碼統(tǒng)計(jì)信息?；A(chǔ)層編碼器121F也可產(chǎn)生ROI f目息。
[0206]幀緩沖器123F存儲(chǔ)由基礎(chǔ)層編碼器12IF產(chǎn)生的編碼統(tǒng)計(jì)信息和ROI信息。
[0207]增強(qiáng)層編碼器122F通過以基于從第二速率控制器40F接收的第二量化參數(shù)QP2確定的比特率對(duì)輸入的原始幀數(shù)據(jù)進(jìn)行編碼，來產(chǎn)生具有原始分辨率的增強(qiáng)層比特流。
[0208]例如，第二速率控制器40F可從幀緩沖器123F讀取與在增強(qiáng)層將被編碼的當(dāng)前宏塊的位置相應(yīng)的基礎(chǔ)層的編碼統(tǒng)計(jì)信息，并基于讀取的基礎(chǔ)層的編碼統(tǒng)計(jì)信息確定當(dāng)前宏塊和/或幀的目標(biāo)比特?cái)?shù)。
[0209]作為另一示例，第二速率控制器40F可確定在與增強(qiáng)層的分辨率相應(yīng)的第二目標(biāo)比特率的宏塊的目標(biāo)比特?cái)?shù)。
[0210]此外，第二速率控制器40F基于由基礎(chǔ)層編碼器121F產(chǎn)生的ROI信息，將量化參數(shù)分配給增強(qiáng)層的。例如，感興趣區(qū)域中的量化參數(shù)可被設(shè)置為小于非感興趣區(qū)域中的量化比特參數(shù)。
[0211]圖21A至圖21D是示出根據(jù)本發(fā)明構(gòu)思的實(shí)施例的由支持質(zhì)量分級(jí)的多層編碼器執(zhí)行的通過使用基礎(chǔ)層的ROI信息將量化參數(shù)分配給增強(qiáng)層的宏塊的處理的概念圖。
[0212]圖2IA至圖2ID示出基于MGS或CGS的各種多層視頻編碼技術(shù)。
[0213]參照?qǐng)D21A，當(dāng)以幀為單位對(duì)基礎(chǔ)層MSG質(zhì)量層_0執(zhí)行編碼時(shí)產(chǎn)生的ROI信息可被發(fā)送到增強(qiáng)層MSG質(zhì)量層_1和MSG質(zhì)量層_2，從而ROI信息可被用于為與這些增強(qiáng)層相應(yīng)的巾貞分配量化參數(shù)。
[0214]參照?qǐng)D21B和圖21C，當(dāng)以幀為單位對(duì)基礎(chǔ)層MSG質(zhì)量層_0執(zhí)行編碼時(shí)產(chǎn)生的ROI信息可被發(fā)送到增強(qiáng)層質(zhì)量層_1，從而ROI信息可被用于為與增強(qiáng)層質(zhì)量層_1相應(yīng)的幀分配量化參數(shù)。
[0215]參照?qǐng)D21D，可基于在基礎(chǔ)層產(chǎn)生的ROI信息將量化參數(shù)分配給增強(qiáng)層宏塊。可通過檢測(cè)與在增強(qiáng)層將被編碼的宏塊的位置相應(yīng)的基礎(chǔ)層的宏塊并使用檢測(cè)到的基礎(chǔ)層的宏塊的ROI信息，來將量化參數(shù)分配給增強(qiáng)層的宏塊。
[0216]圖8的第二速率控制器40F通過根據(jù)分配給當(dāng)前宏塊的目標(biāo)比特?cái)?shù)與通過對(duì)當(dāng)前宏塊進(jìn)行熵編碼而實(shí)際產(chǎn)生的比特?cái)?shù)Bits_INFl之間的差來調(diào)整分配給在后的宏塊的量化參數(shù)，來確定將被分配給第二編碼處理器30F的第二量化參數(shù)QP2。
[0217]例如，當(dāng)目標(biāo)比特?cái)?shù)大于比特?cái)?shù)Bits_INFl時(shí)，分配給在后的宏塊的量化參數(shù)減小，當(dāng)目標(biāo)比特?cái)?shù)小于比特?cái)?shù)Bits_INFl時(shí)，分配給在后的宏塊的量化參數(shù)增大。如果目標(biāo)比特?cái)?shù)等于比特?cái)?shù)Bits_INFl時(shí)，則分配給在后的宏塊的量化參數(shù)保持。當(dāng)對(duì)每個(gè)幀的第一宏塊進(jìn)行編碼時(shí)，使用基于ROI信息分配的量化參數(shù)。
[0218]如圖6至圖8中所示，ROI檢測(cè)單元70可被置于基礎(chǔ)層編碼器121D至121F中的每個(gè)基礎(chǔ)層編碼器中。根據(jù)本發(fā)明構(gòu)思的可選實(shí)施例，ROI檢測(cè)單元70可被置于基礎(chǔ)層編碼器121D至121F中的每個(gè)基礎(chǔ)層編碼器之外。
[0219]根據(jù)本發(fā)明構(gòu)思的實(shí)施例的如圖6至圖8中示出的ROI檢測(cè)單元的結(jié)構(gòu)在圖9至圖11中示出。
[0220]參照?qǐng)D9，根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的ROI檢測(cè)單元70A包括圖像復(fù)雜度計(jì)算器7IA和區(qū)域確定單元72A。
[0221]圖像復(fù)雜度計(jì)算機(jī)器71A通過以輸入的幀數(shù)據(jù)的宏塊為單位對(duì)被檢測(cè)為邊界的像素?cái)?shù)進(jìn)行計(jì)數(shù)來計(jì)算圖像復(fù)雜度。這里，“圖像復(fù)雜度”指的是表示圖像的改變度是否較大的標(biāo)準(zhǔn)。這此，圖像復(fù)雜度計(jì)算器7IA可通過分界檢測(cè)方法(例如，Canny邊緣檢測(cè)器)來計(jì)算圖像復(fù)雜度。
[0222]區(qū)域確定單元72A可將以下的圖像區(qū)域確定為感興趣區(qū)域:以輸入的幀數(shù)據(jù)的宏塊為單位被檢測(cè)為邊界的像素?cái)?shù)大于初始設(shè)置的第一閾值的圖像區(qū)域；或在所述邊界周圍的像素中像素值大于初始設(shè)置的第二閾值的圖像區(qū)域。
[0223]參照?qǐng)D10,根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的ROI檢測(cè)單元70B可包括運(yùn)動(dòng)量計(jì)算器71B和區(qū)域確定單元72B。
[0224]運(yùn)動(dòng)量計(jì)算器71B可以以輸入的幀數(shù)據(jù)的宏塊為單位檢測(cè)運(yùn)動(dòng)矢量，通過分別計(jì)算檢測(cè)的運(yùn)動(dòng)矢量的水平分量的平方和垂直分量的平方并計(jì)算平方的結(jié)果的和的平方根，來計(jì)算運(yùn)動(dòng)量。
[0225]區(qū)域確定單元72B可將以下圖像區(qū)域確定為感興趣區(qū)域:計(jì)算的運(yùn)動(dòng)量大于初始設(shè)置的第三閾值的圖像區(qū)域；或運(yùn)動(dòng)量等于或大于初始設(shè)置的第四閾值的圖像區(qū)域。
[0226]參照?qǐng)D11，根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的ROI檢測(cè)單元70C可包括像素分布計(jì)算器71C和區(qū)域確定單元72C。
[0227]像素分布計(jì)算器71C可通過將直方圖交集應(yīng)用到輸入的幀數(shù)據(jù)來計(jì)算每個(gè)像素值的累積數(shù)，以獲得像素分布。[0228]區(qū)域確定單元72C可在以圖像的宏塊為單位計(jì)算的像素分布中將以下圖像區(qū)域確定為感興趣區(qū)域:像素分布大于初始設(shè)置的第五閾值的圖像區(qū)域；或像素分布等于或大于初始設(shè)置的第六閾值的圖像區(qū)域。
[0229]根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例，可從輸入圖像的復(fù)雜度、輸入圖像的運(yùn)動(dòng)量和輸入圖像的像素分布中的至少兩個(gè)的組合中獲得ROI信息。
[0230]圖12至圖14是根據(jù)本發(fā)明構(gòu)思的實(shí)施例的如在圖3至圖8的增強(qiáng)層編碼器122A至122F中示出的第二速率控制器的框圖。
[0231]參照?qǐng)D12，根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的第二速率控制器包括比特?cái)?shù)確定單元41A和量化參數(shù)確定單元42A。
[0232]比特?cái)?shù)確定單元41A基于在基礎(chǔ)層產(chǎn)生的編碼統(tǒng)計(jì)信息確定增強(qiáng)層的每個(gè)區(qū)域的目標(biāo)比特?cái)?shù)。
[0233]例如，比特?cái)?shù)確定單元41A可基于以基礎(chǔ)層的宏塊為單位產(chǎn)生的比特?cái)?shù)來以增強(qiáng)層的宏塊為單位確定目標(biāo)比特?cái)?shù)。當(dāng)基礎(chǔ)層的空間分辨率與增強(qiáng)層的空間分辨率不同時(shí)，以基礎(chǔ)層的宏塊為單位產(chǎn)生的比特?cái)?shù)可被放大或縮小，隨后對(duì)以基礎(chǔ)層的宏塊為單位產(chǎn)生的比特?cái)?shù)進(jìn)行放大或縮小的結(jié)果可被確定為增強(qiáng)層的宏塊的目標(biāo)比特?cái)?shù)。
[0234]具體地，當(dāng)增強(qiáng)層的分辨率高于基礎(chǔ)層的分辨率時(shí)，為了適合于增強(qiáng)層的分辨率而對(duì)以基礎(chǔ)層的宏塊為單位產(chǎn)生的比特?cái)?shù)進(jìn)行放大的結(jié)果被確定為增強(qiáng)層的宏塊的目標(biāo)比特?cái)?shù)。當(dāng)增強(qiáng)層的分辨率低于基礎(chǔ)層的分辨率時(shí)，為了適合于增強(qiáng)層的分辨率而對(duì)以基礎(chǔ)層的宏塊為單位產(chǎn)生的比特?cái)?shù)進(jìn)行縮小的結(jié)果被確定為增強(qiáng)層的宏塊的目標(biāo)比特?cái)?shù)。
[0235]如果增強(qiáng)層的分辨率等于基礎(chǔ)層的分辨率，則以基礎(chǔ)層的宏塊為單位產(chǎn)生的比特?cái)?shù)可被確定為增強(qiáng)層的宏塊的目標(biāo)比特?cái)?shù)。
[0236]比特?cái)?shù)確定單元41A可通過使用以下的等式來計(jì)算分配給增強(qiáng)層的第i宏塊的目標(biāo)比特?cái)?shù)Tmb (i)(其中，“ i ”表示等于或大于“ I ”的整數(shù)):
[0237][等式I]
[0238]Tmb [i] =Tpic X (MB_B ITS [ i ] PI C_B I TS_SUM),
[0239]其中，“Tpi。”表示分配給增強(qiáng)層的圖像的目標(biāo)比特?cái)?shù)，“MB_BITS(i)”表示在與增強(qiáng)層的第i宏塊匹配的基礎(chǔ)層的宏塊中產(chǎn)生的比特?cái)?shù)，“PIC_BITS_SUM”表示在基礎(chǔ)層的圖像的所有宏塊中產(chǎn)生的比特?cái)?shù)的和。
[0240]作為可選的示例，比特?cái)?shù)確定單元41A可基于在基礎(chǔ)層的宏塊中計(jì)算的當(dāng)前幀和預(yù)測(cè)幀的像素之間的SAD來確定增強(qiáng)層的宏塊的目標(biāo)比特?cái)?shù)。
[0241]具體地，比特?cái)?shù)確定單元41A可通過使用以下的等式來計(jì)算分配給增強(qiáng)層的第i宏塊的目標(biāo)比特?cái)?shù)Tmb(i)(其中，“i”表示等于或大于“I”的整數(shù)):
[0242][等式2]
[0243]Tmb [i] =Tpic X (MB_SAD [ i ] PI C_SAD_SUM)，
[0244]其中，“Tpi?！北硎痉峙浣o增強(qiáng)層的圖像的目標(biāo)比特?cái)?shù)，“MB_SAD⑴”表示在與增強(qiáng)層的第i宏塊匹配的基礎(chǔ)層的宏塊中計(jì)算的當(dāng)前幀和預(yù)測(cè)幀的像素之間的SAD，“PIC_SAD_SUM”表示在基礎(chǔ)層的圖像的所有宏塊中計(jì)算的當(dāng)前幀和預(yù)測(cè)幀的像素之間的SAD。
[0245]作為另一示例，比特?cái)?shù)確定單元41A可基于當(dāng)與增強(qiáng)層的宏塊匹配的基礎(chǔ)層的宏塊被編碼時(shí)產(chǎn)生的比特?cái)?shù)以及在基礎(chǔ)層的匹配宏塊中計(jì)算的當(dāng)前幀和預(yù)測(cè)幀的像素之間的SAD，確定增強(qiáng)層的宏塊的目標(biāo)比特?cái)?shù)。
[0246]具體地，比特?cái)?shù)確定單元41A可通過使用以下的等式來計(jì)算分配給增強(qiáng)層的第i宏塊的目標(biāo)比特?cái)?shù)Tmb (i)(其中，“ i ”表示等于或大于“ I ”的整數(shù)):
[0247][等式3]
[0248]TnibQ) = (1-W) XTpicX (MB_BITS[i]/PIC_BITS_SUM)
[0249]+WXTpic X (MB_SAD [i] /PIC_SAD_SUM)
[0250]其中，“Tpi?！北硎痉峙浣o增強(qiáng)層的圖像的目標(biāo)比特?cái)?shù)，“MB_BITS(i) ”表示在與增強(qiáng)層的第i宏塊匹配的第一層的宏塊中產(chǎn)生的比特?cái)?shù)，“PIC_BITS_SUM”表示在基礎(chǔ)層的圖像的所有宏塊中產(chǎn)生的比特?cái)?shù)的和，“MB_SAD(i) ”表示在與增強(qiáng)層的第i宏塊匹配的基礎(chǔ)層的宏塊中計(jì)算的當(dāng)前幀和預(yù)測(cè)幀的像素之間的SAD，“ PI C_SAD_SUM ”表示在基礎(chǔ)層的圖像的所有宏塊中計(jì)算的當(dāng)前 幀和預(yù)測(cè)幀的像素之間的SAD，“W”表示大于“O”并小于“I”的加權(quán)系數(shù)。
[0251]作為另一示例，比特?cái)?shù)確定單元41A可基于在基礎(chǔ)層計(jì)算的參考尺寸的復(fù)雜度和分配給基礎(chǔ)層中的幀的目標(biāo)比特?cái)?shù)與分配給基礎(chǔ)層中的圖像組的目標(biāo)比特?cái)?shù)之比中的至少一個(gè)，確定分配給增強(qiáng)層的幀的目標(biāo)比特?cái)?shù)。
[0252]圖19A和圖19B是示出根據(jù)本發(fā)明構(gòu)思的實(shí)施例的由多層編碼器執(zhí)行的通過使用基礎(chǔ)層的編碼統(tǒng)計(jì)信息來確定增強(qiáng)層的幀的目標(biāo)比特?cái)?shù)的處理的概念圖。
[0253]圖19A示出對(duì)組成I圖像和P圖像的GOP進(jìn)行編碼的處理。圖18B示出對(duì)組成I圖像、B圖像和P圖像的GOP進(jìn)行編碼的處理。
[0254]參照?qǐng)D19A和圖19B，當(dāng)基礎(chǔ)層被編碼時(shí)計(jì)算的幀復(fù)雜度和圖像組的幀比特占用信息被發(fā)送到增強(qiáng)層，從而它們可被用于確定分配給增強(qiáng)層的幀的目標(biāo)比特?cái)?shù)。
[0255]具體地，圖12的比特?cái)?shù)確定單元41A可通過使用以下的等式來計(jì)算分配給增強(qiáng)層的第i宏塊的目標(biāo)比特?cái)?shù)Tmb(i)(其中，“i”表示等于或大于“I”的整數(shù)):
[0256][等式4]
[0257]
[,I = OOI>—ALLO(?—BITS麗 WEWHT | PieTURE—TY PE.(X,碰LEXITY_ [r],— |
[0258]其中，“G0P_ALL0C_BITSEffl”表示分配給增強(qiáng)層的圖像組的目標(biāo)比特?cái)?shù)，“PICTURE_TYPE”表示圖像類型，“C0MPLEXITYBASE[i] ”表示基礎(chǔ)層的第i幀的復(fù)雜度，“G0P_ALL0C_BITSbas/表示在基礎(chǔ)層的圖像組中產(chǎn)生的比特?cái)?shù)，“FRAME_BITSBASE[i] ”表示基礎(chǔ)層的第i幀中產(chǎn)生的比特?cái)?shù)。
[0259]等式4的分母是基于圖像類型、基礎(chǔ)層的幀的復(fù)雜度和在基礎(chǔ)層的第i幀中產(chǎn)生的比特?cái)?shù)除以在基礎(chǔ)層的圖像組中產(chǎn)生的比特?cái)?shù)的結(jié)果計(jì)算的值。
[0260]例如，在等式4中，以這樣的方式確定FRAME_WEIGHT函數(shù):在圖像組中，在I圖像的情況下的分母可小于在P圖像的情況下的分母，并且基礎(chǔ)層的幀復(fù)雜度最大，分母越小。
[0261]圖12的量化參數(shù)確定單元42A根據(jù)由比特?cái)?shù)確定單元41A確定的目標(biāo)比特?cái)?shù)Tenhframe[i]與當(dāng)增強(qiáng)層被熵編碼時(shí)實(shí)際產(chǎn)生的比特?cái)?shù)之間的差，確定第二量化參數(shù)QP2。例如，可基于關(guān)于增強(qiáng)層被熵編碼時(shí)產(chǎn)生的比特的信息來獲得實(shí)際產(chǎn)生的比特?cái)?shù)。
[0262]可基于增強(qiáng)層的目標(biāo)比特?cái)?shù)，以增強(qiáng)層的宏塊為單位分配初始量化參數(shù)。相同的量化參數(shù)可作為初始量化參數(shù)被分配給增強(qiáng)層的所有宏塊。
[0263]當(dāng)分配給當(dāng)前宏塊的目標(biāo)比特?cái)?shù)大于當(dāng)增強(qiáng)層被熵編碼時(shí)實(shí)際產(chǎn)生的比特?cái)?shù)時(shí)，量化參數(shù)確定單元42A減小分配給在后的宏塊的量化參數(shù)。當(dāng)分配給當(dāng)前宏塊的目標(biāo)比特?cái)?shù)小于當(dāng)增強(qiáng)層被編碼時(shí)實(shí)際產(chǎn)生的比特?cái)?shù)時(shí)，量化參數(shù)確定單元42A增大分配給在后的宏塊的量化參數(shù)。當(dāng)分配給當(dāng)前宏塊的目標(biāo)比特?cái)?shù)等于當(dāng)增強(qiáng)層被編碼時(shí)實(shí)際產(chǎn)生的比特?cái)?shù)時(shí)，量化參數(shù)確定單元42A保持分配給在后的宏塊的量化參數(shù)。
[0264]如上所述，量化參數(shù)確定單元42A基于對(duì)增強(qiáng)層的當(dāng)前宏塊進(jìn)行編碼的結(jié)果，最終確定將被應(yīng)用到在后的宏塊的第二量化參數(shù)QP2?？赏ㄟ^使用最終確定的第二量化參數(shù)QP2來對(duì)增強(qiáng)層進(jìn)行量化。
[0265]參照?qǐng)D13，根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的第二速率控制器包括比特?cái)?shù)確定單元41B和量化參數(shù)確定單元42B。
[0266]比特?cái)?shù)確定單元41B基于分配給增強(qiáng)層的圖像或圖像組的目標(biāo)比特?cái)?shù)，確定以目標(biāo)圖像為單位的目標(biāo)比特?cái)?shù)。在這種情況下，可不使用在基礎(chǔ)層產(chǎn)生的編碼統(tǒng)計(jì)信息。
[0267]量化參數(shù)確定單元42B可基于在基礎(chǔ)層編碼的視頻巾貞中產(chǎn)生的ROI信息將量化參數(shù)分配給增強(qiáng)層。例如，可檢測(cè)與在增強(qiáng)層將被編碼的當(dāng)前宏塊的位置相應(yīng)的基礎(chǔ)層的宏塊，基于檢測(cè)的基礎(chǔ)層的宏塊的ROI信息來將量化參數(shù)分配給增強(qiáng)層。例如，如圖24所示，感興趣區(qū)域中的量化參數(shù)可被設(shè)置為小于非感興趣區(qū)域中的量化參數(shù)。
[0268]量化參數(shù)確定單元42B可通過根據(jù)分配給當(dāng)前宏塊的目標(biāo)比特?cái)?shù)與通過對(duì)當(dāng)前宏塊進(jìn)行熵編碼而實(shí)際產(chǎn)生的比特?cái)?shù)之間的差來調(diào)整分配給在后的宏塊的量化參數(shù)，以最終確定將被分配給在后的宏塊的第二量化參數(shù)QP2。例如，當(dāng)目標(biāo)比特?cái)?shù)大于所述比特?cái)?shù)時(shí)，分配給在后的宏塊的量化參數(shù)減小，當(dāng)目標(biāo)比特?cái)?shù)小于所述(實(shí)際)比特?cái)?shù)時(shí)，分配給在后的宏塊的量化參數(shù)增大。如果目標(biāo)比特?cái)?shù)等于所述(實(shí)際)比特?cái)?shù)，則分配給在后的宏塊的量化參數(shù)保持。當(dāng)對(duì)每個(gè)幀的第一宏塊進(jìn)行編碼時(shí)，使用基于ROI信息分配的量化參數(shù)。
[0269]參照?qǐng)D14，根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的第二速率控制器包括比特?cái)?shù)確定單元41A和量化參數(shù)確定單元42B。
[0270]比特?cái)?shù)確定單元41A與圖12的比特?cái)?shù)確定單元4IA相同，量化參數(shù)確定單元42B與圖13的量化參數(shù)確定單元42B相同。
[0271]因此，比特?cái)?shù)確定單元41A基于在基礎(chǔ)層產(chǎn)生的編碼統(tǒng)計(jì)信息，以增強(qiáng)層的參考尺寸為單位確定目標(biāo)比特?cái)?shù)。例如，可根據(jù)等式I至等式3中的一個(gè)來計(jì)算分配給增強(qiáng)層的第i宏塊的目標(biāo)比特?cái)?shù)Tmb⑴。
[0272]此外，比特?cái)?shù)確定單元41A可根據(jù)等式I計(jì)算分配給增強(qiáng)層的第i宏塊的目標(biāo)比特?cái)?shù) Tenil&_[i]。
[0273]量化參數(shù)確定單元42B可基于在基礎(chǔ)層編碼的視頻幀中產(chǎn)生的ROI信息，將量化參數(shù)分配給增強(qiáng)層的宏塊。
[0274]量化參數(shù)確定單元42B可根據(jù)基于基礎(chǔ)層的編碼統(tǒng)計(jì)信息分配給當(dāng)前宏塊的目標(biāo)比特?cái)?shù)與在當(dāng)前宏塊被熵編碼時(shí)實(shí)際產(chǎn)生的比特?cái)?shù)之間的差，來調(diào)整分配給在后的宏塊的量化參數(shù)。量化參數(shù)確定單元42B的操作與圖13的量化參數(shù)確定單元42B的操作相同，因此這里將不再進(jìn)行描述。
[0275]圖15和圖16是根據(jù)本發(fā)明構(gòu)思的實(shí)施例多層編碼器的詳細(xì)框圖。[0276]參照?qǐng)D15，多層編碼器包括基礎(chǔ)層編碼器300、增強(qiáng)層編碼器400A、幀緩沖器500、第一存儲(chǔ)器600和第二存儲(chǔ)器700。
[0277]基礎(chǔ)層編碼器300包括ROI檢測(cè)單元301、第一幀間預(yù)測(cè)單元301、第一幀內(nèi)預(yù)測(cè)單兀303、第一模式選擇器304、第一減法器305、第一加法器306、第一變換單兀307、第一量化單元308、第一熵編碼單元309、第一速率控制器310、第一反量化單元311、第一反變換單兀312和第一濾波器313。
[0278]增強(qiáng)層編碼器400A包括上采樣單元401、第二幀間預(yù)測(cè)單元402、第二幀內(nèi)預(yù)測(cè)單元403、第二模式選擇器404、第二減法器405、第二加法器406、第二變換單元407、第二量化單元408、第二熵編碼單元409、第二速率控制器410、第二反量化單元411、第二反變換單元412和第二濾波器413。
[0279]圖15的多層編碼器是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的支持空間分級(jí)的多層編碼器的示例。在多層編碼器中，基礎(chǔ)層編碼器300對(duì)具有原始圖像分辨率的視頻數(shù)據(jù)進(jìn)行編碼，增強(qiáng)層編碼器400A對(duì)分辨率高于原始圖像分辨率的視頻數(shù)據(jù)進(jìn)行編碼。
[0280]例如，當(dāng)原始視頻數(shù)據(jù)的分辨率具有CIF時(shí)，基礎(chǔ)層編碼器300對(duì)具有CIF分辨率的原始視頻數(shù)據(jù)進(jìn)行編碼。增強(qiáng)層編碼器400A對(duì)分辨率通過上采樣而增大的SD或HD視頻數(shù)據(jù)進(jìn)行編碼。
[0281]首先，將描述由基礎(chǔ)層編碼器300執(zhí)行的編碼。
[0282]ROI檢測(cè)單元301通過從輸入的幀數(shù)據(jù)檢測(cè)感興趣區(qū)域來獲得表示感興趣區(qū)域的ROI信息。例如，ROI檢測(cè)單元301可被實(shí)現(xiàn)為在圖9至圖11中示出的ROI檢測(cè)單元70A至70C中的一個(gè)。
[0283]第一幀間預(yù)測(cè)單元302通過將當(dāng)前幀的塊與鄰近于當(dāng)前幀的至少一個(gè)幀的塊進(jìn)行比較來產(chǎn)生運(yùn)動(dòng)信息，并基于產(chǎn)生的運(yùn)動(dòng)信息來產(chǎn)生在當(dāng)前幀中將被編碼的當(dāng)前塊的預(yù)測(cè)塊?？蓮拇鎯?chǔ)從先前編碼的塊恢復(fù)的數(shù)據(jù)的第一存儲(chǔ)器600中提供至少一個(gè)鄰近幀。
[0284]第一幀內(nèi)預(yù)測(cè)單元303基于包括當(dāng)前編碼的塊的幀中的基礎(chǔ)層的至少一個(gè)編碼的塊，產(chǎn)生預(yù)測(cè)塊。
[0285]當(dāng)包括當(dāng)前編碼的塊的幀的圖像類型是I類型時(shí)，第一模式選擇器304輸出由第一幀內(nèi)預(yù)測(cè)單元303產(chǎn)生的預(yù)測(cè)塊，當(dāng)包括當(dāng)前編碼的塊的幀的圖像類型是P類型或B類型時(shí)，第一模式選擇器304輸出由第一幀間預(yù)測(cè)單元302產(chǎn)生的預(yù)測(cè)塊。
[0286]第一減法器305通過從當(dāng)前幀的當(dāng)前塊減去從第一模式選擇器304輸出的預(yù)測(cè)塊，來產(chǎn)生殘差塊?！皻埐顗K”的意思是當(dāng)前幀的像素和預(yù)測(cè)塊的像素值之間的差的集合。例如，可以以二維(2D)塊格式(例如，像素值的2D矩陣或陣列)來表示殘差塊。
[0287]第一變換單元307通過對(duì)殘差塊進(jìn)行變換來產(chǎn)生殘差變換系數(shù)。第一變換單元307將在時(shí)域中的像素值之間的差的集合變換為在頻域中表示像素值之間的差的能量的殘差變換系數(shù)。為此，可執(zhí)行例如DCT、整數(shù)變換、定向變換、小波變換或它們的組合。
[0288]第一量化單元308可通過使用由第一速率控制器310確定的第一量化碼數(shù)QPl來對(duì)殘差變換系數(shù)進(jìn)行量化。第一量化參數(shù)QPl是指示將被執(zhí)行的基本量化程度的因子。當(dāng)?shù)谝涣炕瘏?shù)QPl增大時(shí)，壓縮率高，當(dāng)?shù)谝涣炕瘏?shù)QPl減小時(shí)，壓縮率低。當(dāng)?shù)谝涣炕瘏?shù)QPl增大時(shí)，當(dāng)以塊為單位執(zhí)行編碼時(shí)產(chǎn)生的比特?cái)?shù)減少。
[0289]第一反量化單元311對(duì)量化的殘差變換系數(shù)進(jìn)行反量化以恢復(fù)殘差變換系數(shù)。[0290]第一反變換單元312對(duì)恢復(fù)的殘差變換系數(shù)進(jìn)行反變換以恢復(fù)殘差塊。
[0291]第一加法器306通過將恢復(fù)的殘差塊和從第一模式選擇器304接收的預(yù)測(cè)塊進(jìn)行結(jié)合來恢復(fù)視頻塊。
[0292]恢復(fù)的視頻塊通過第一濾波器313被去塊濾波，并隨后存儲(chǔ)在第一存儲(chǔ)器600中。存儲(chǔ)在第一存儲(chǔ)器600中的視頻塊可被用作參考幀數(shù)據(jù)以執(zhí)行幀間預(yù)測(cè)。
[0293]第一熵編碼單元309通過執(zhí)行可變長編碼(VLC)、算術(shù)編碼或任何其它熵編碼技術(shù)，將量化的殘差變換系數(shù)熵編碼為比特流。第一熵編碼單元309輸出當(dāng)執(zhí)行熵編碼時(shí)產(chǎn)生的比特產(chǎn)生信息。比特產(chǎn)生信息的示例可以是關(guān)于以輸入的幀數(shù)據(jù)的區(qū)域?yàn)閱挝划a(chǎn)生的比特?cái)?shù)的信息。
[0294]第一速率控制器310根據(jù)以與基礎(chǔ)層的分辨率相應(yīng)的第一目標(biāo)比特率針對(duì)塊設(shè)置的目標(biāo)比特?cái)?shù)與由第一熵編碼單元309在基礎(chǔ)層實(shí)際產(chǎn)生的(實(shí)際)比特?cái)?shù)之間的差，確定第一量化參數(shù)QP1。例如，如果目標(biāo)比特?cái)?shù)大于實(shí)際產(chǎn)生的比特?cái)?shù)，則分配給在后的塊的量化參數(shù)QPl減小，如果目標(biāo)比特?cái)?shù)小于實(shí)際產(chǎn)生的比特?cái)?shù)，則分配給在后的塊的量化參數(shù)QPl增大。如果目標(biāo)比特?cái)?shù)等于實(shí)際產(chǎn)生的比特?cái)?shù)，則分配給在后的塊的量化參數(shù)QPl保持。初始設(shè)置的量化參數(shù)可被分配給基礎(chǔ)層的塊。
[0295]基礎(chǔ)層編碼器300基于執(zhí)行編碼的結(jié)果來產(chǎn)生編碼統(tǒng)計(jì)信息。例如，編碼統(tǒng)計(jì)信息可包括關(guān)于以塊為單位產(chǎn)生的比特?cái)?shù)的信息、關(guān)于通過幀間預(yù)測(cè)產(chǎn)生的幀間SAD的信息、關(guān)于通過幀內(nèi)預(yù)測(cè)產(chǎn)生的幀內(nèi)SAD的信息等。
[0296]由基礎(chǔ)層編碼器300產(chǎn)生的編碼統(tǒng)計(jì)信息被存儲(chǔ)在幀緩沖器500中。當(dāng)在基礎(chǔ)層編碼器300中對(duì)輸入的幀數(shù)據(jù)進(jìn)行編碼時(shí)產(chǎn)生以執(zhí)行層間預(yù)測(cè)的幀內(nèi)圖像信息、運(yùn)動(dòng)信息和殘差信息也被存儲(chǔ)在幀緩沖器500中。
[0297]接下來，以下描述由增強(qiáng)層編碼器400執(zhí)行的編碼處理。
[0298]對(duì)于層間預(yù)測(cè)，增強(qiáng)層編碼器400A通過使用在基礎(chǔ)層產(chǎn)生的參考信息(例如，幀內(nèi)圖像息、運(yùn)動(dòng)彳目息和殘差彳目息)來執(zhí)行編碼。
[0299]此外，增強(qiáng)層編碼器400A通過使用基于在基礎(chǔ)層執(zhí)行編碼的結(jié)果而產(chǎn)生的編碼統(tǒng)計(jì)信息和/或ROI信息來控制比特率。
[0300]上采樣單元401A對(duì)視頻幀數(shù)據(jù)進(jìn)行上采樣以產(chǎn)生具有根據(jù)增強(qiáng)層定義的分辨率的視頻幀數(shù)據(jù)。
[0301]第二幀間預(yù)測(cè)單元402基于上采樣的當(dāng)前幀的塊、基礎(chǔ)層和增強(qiáng)層的至少一個(gè)鄰近幀的塊以及在基礎(chǔ)層產(chǎn)生的運(yùn)動(dòng)信息，產(chǎn)生將被編碼的當(dāng)前幀的塊的預(yù)測(cè)塊。從第一存儲(chǔ)器600提供產(chǎn)生預(yù)測(cè)塊所需要的鄰近幀，從幀緩沖器500提供在基礎(chǔ)層產(chǎn)生的參考信息。
[0302]第二幀內(nèi)預(yù)測(cè)單元403基于包括當(dāng)前正被編碼的塊的幀的基礎(chǔ)層和增強(qiáng)層的至少一個(gè)編碼的塊，產(chǎn)生預(yù)測(cè)塊。
[0303]當(dāng)包括當(dāng)前正被編碼的塊的幀是I類型時(shí)，第二模式選擇器404選擇并輸出由第二幀內(nèi)預(yù)測(cè)單元403產(chǎn)生的預(yù)測(cè)塊，當(dāng)包括當(dāng)前編碼的塊的幀是P類型或B類型時(shí)，第二模式選擇器404選擇并輸出由第二幀間預(yù)測(cè)單元402產(chǎn)生的預(yù)測(cè)塊。
[0304]第二減法器405通過從當(dāng)前幀的塊減去從第二模式選擇器304接收的預(yù)測(cè)塊來產(chǎn)生殘差塊?！皻埐顗K”的意思是當(dāng)前幀的(實(shí)際)塊和預(yù)測(cè)塊的像素值之間的差的集合。例如，可以以2D塊格式(例如，像素值的2D矩陣或陣列)來表示殘差塊。[0305]第二變換單元407通過對(duì)殘差塊進(jìn)行變換來產(chǎn)生殘差變換系數(shù)。第二變換單元407將在時(shí)域中的像素值之間的差的集合變換為在頻域中表示像素值之間的差的能量的殘差變換系數(shù)。對(duì)此，可執(zhí)行例如DCT、整數(shù)變換、定向變換、小波變換或它們的組合。
[0306]第二量化單元408可通過使用由第二速率控制器410確定的第二量化參數(shù)QP2來對(duì)殘差變換系數(shù)進(jìn)行量化。第二量化參數(shù)QP2是表示將被執(zhí)行的基本量化程度的因子。當(dāng)?shù)诙炕瘏?shù)QP2增大時(shí)，壓縮率高，當(dāng)?shù)诙炕瘏?shù)QP2減小時(shí)，壓縮率低。當(dāng)?shù)诙炕瘏?shù)QP2增大時(shí)，當(dāng)以塊為單位執(zhí)行編碼時(shí)產(chǎn)生的比特?cái)?shù)減少。
[0307]第二反量化單元411對(duì)量化的殘差變換系數(shù)進(jìn)行反量化以恢復(fù)殘差變換系數(shù)。
[0308]第二反變換單元412對(duì)恢復(fù)的殘差變換系數(shù)進(jìn)行反變換以恢復(fù)殘差塊。
[0309]第二加法器406通過將恢復(fù)的殘差塊和從第二模式選擇器404接收的預(yù)測(cè)塊進(jìn)行結(jié)合來恢復(fù)視頻塊。
[0310]恢復(fù)的視頻塊通過第二濾波器413被去塊濾波，并隨后存儲(chǔ)在第二存儲(chǔ)器700中。存儲(chǔ)在第二存儲(chǔ)器700中的視頻塊可被用作參考幀數(shù)據(jù)以執(zhí)行幀間預(yù)測(cè)。
[0311]第二熵編碼單元409通過執(zhí)行VLC、算術(shù)編碼或任何其它熵編碼技術(shù)，將量化的殘差變換系數(shù)熵編碼為比特流。第二熵編碼單元409輸出當(dāng)執(zhí)行熵編碼時(shí)產(chǎn)生的比特產(chǎn)生信息,并將比特產(chǎn)生信息提供給第二速率控制器410。
[0312]基于由第二熵編碼單元409產(chǎn)生的比特產(chǎn)生信息來檢測(cè)當(dāng)執(zhí)行熵編碼時(shí)實(shí)際產(chǎn)生的比特?cái)?shù)。
[0313]第二速率控制器410基于從幀緩沖器500讀取的基礎(chǔ)層的編碼統(tǒng)計(jì)信息，確定宏塊和/或幀的目標(biāo)比特?cái)?shù)。例如，可根據(jù)等式I至等式3來確定將被分配給增強(qiáng)層的i宏塊的目標(biāo)比特?cái)?shù)Tmb(i)。第二速率控制器410可根據(jù)等式4來確定將被分配給增強(qiáng)層的第i中貞的目標(biāo)比特?cái)?shù)T腿—frame[i] ο
[0314]此外，第二速率控制器410可基于從幀緩沖器500讀取的ROI信息，將量化參數(shù)分配給增強(qiáng)層的宏塊。例如，如圖24所示，感興趣區(qū)域中的量化參數(shù)可被設(shè)置為小于非感興趣區(qū)域中的量化參數(shù)。
[0315]此外，第二速率控制器410根據(jù)分配給當(dāng)前宏塊的目標(biāo)比特?cái)?shù)與當(dāng)對(duì)當(dāng)前宏塊進(jìn)行熵編碼時(shí)實(shí)際產(chǎn)生的(實(shí)際產(chǎn)生的)比特?cái)?shù)之間的差，調(diào)整分配給在后的宏塊的量化參數(shù)?？苫谟伸鼐幋a單元409產(chǎn)生的比特產(chǎn)生信息來檢測(cè)實(shí)際產(chǎn)生的比特?cái)?shù)。
[0316]例如，當(dāng)目標(biāo)比特?cái)?shù)大于實(shí)際產(chǎn)生的比特?cái)?shù)時(shí)，分配給在后的塊的第一量化參數(shù)QPl減小，當(dāng)目標(biāo)比特?cái)?shù)小于實(shí)際產(chǎn)生的比特?cái)?shù)時(shí)，分配給在后的塊的第一量化參數(shù)QPl增大。當(dāng)目標(biāo)比特?cái)?shù)等于實(shí)際產(chǎn)生的比特?cái)?shù)時(shí)，分配給在后的塊的第一量化參數(shù)QPl保持。初始設(shè)置的量化參數(shù)可被分配給基礎(chǔ)層的塊。
[0317]例如，如果目標(biāo)比特?cái)?shù)大于實(shí)際產(chǎn)生的比特?cái)?shù)，則分配給在后的宏塊的量化參數(shù)減小，如果目標(biāo)比特?cái)?shù)小于實(shí)際產(chǎn)生的比特?cái)?shù)，則分配給在后的宏塊的量化參數(shù)增大。如果目標(biāo)比特?cái)?shù)等于實(shí)際產(chǎn)生的比特?cái)?shù)，則分配給在后的宏塊的量化參數(shù)保持。當(dāng)對(duì)每個(gè)幀的第一宏塊進(jìn)行編碼時(shí)使用根據(jù)ROI信息分配的量化參數(shù)。
[0318]圖16是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的多層編碼器的詳細(xì)框圖。參照?qǐng)D16，多層編碼器包括基礎(chǔ)層編碼器300、增強(qiáng)層編碼器400B、幀緩沖器500、第一存儲(chǔ)器600和第二存儲(chǔ)器700。[0319]基礎(chǔ)層編碼器300包括ROI檢測(cè)單元301、第一幀間預(yù)測(cè)單元301、第一幀內(nèi)預(yù)測(cè)單兀303、第一模式選擇器304、第一減法器305、第一加法器306、第一變換單兀307、第一量化單元308、第一熵編碼單元309、第一速率控制器310、第一反量化單元311、第一反變換單兀312和第一濾波器313。
[0320]增強(qiáng)層編碼器400B包括下采樣單元401B、第二幀間預(yù)測(cè)單元402、第二幀內(nèi)預(yù)測(cè)單元403、第二模式選擇器404、第二減法器405、第二加法器、第二變換單元407、第二量化單元408、第二熵編碼單元409、第二速率控制器410、第二反量化單元411、第二反變換單元412和第二濾波器413。
[0321]圖16的多層編碼器是支持空間分級(jí)的多層編碼器的示例。在圖16的多層編碼器中，基礎(chǔ)層編碼器300對(duì)具有原始圖像分辨率的視頻數(shù)據(jù)進(jìn)行編碼，增強(qiáng)層編碼器400B對(duì)分辨率低于原始圖像分辨率的視頻數(shù)據(jù)進(jìn)行編碼。
[0322]例如，當(dāng)原始視頻數(shù)據(jù)的分辨率具有高清晰度(HD)時(shí)，基礎(chǔ)層編碼器300對(duì)具有HD分辨率的原始視頻數(shù)據(jù)進(jìn)行編碼。增強(qiáng)層編碼器400B對(duì)分辨率通過下采樣而減小的SD或CIF視頻數(shù)據(jù)進(jìn)行編碼。
[0323]圖16的多層編碼器在增強(qiáng)層對(duì)分辨率低于基礎(chǔ)層的視頻數(shù)據(jù)進(jìn)行編碼，而圖15的多層編碼器在增強(qiáng)層對(duì)分辨率高于基礎(chǔ)層的視頻數(shù)據(jù)進(jìn)行編碼。
[0324]在圖15中示出的多層編碼器的增強(qiáng)層編碼器400A中，幀數(shù)據(jù)通過上采樣單元40IA被上采樣以產(chǎn)生具有更高分辨率的幀數(shù)據(jù)，并隨后被編碼。
[0325]相反，在圖16中示出的多層編碼器的增強(qiáng)層編碼器400B中，幀數(shù)據(jù)通過下采樣單元401B被下采樣以產(chǎn)生具有更低分辨率的幀數(shù)據(jù)，并隨后被編碼。
[0326]因此，在圖16中示出的多層編碼器的基礎(chǔ)層編碼器300具有與圖15的基礎(chǔ)層編碼器300相同的結(jié)構(gòu)和操作。除了包括下采樣單元401B而不是圖15的上采樣單元401A之外，在圖16中示出的多層編碼器的增強(qiáng)層編碼器400B的結(jié)構(gòu)和操作與在圖15中示出的多層編碼器的增強(qiáng)層編碼器400A的結(jié)構(gòu)和操作相同。因此，增強(qiáng)層編碼器400B的結(jié)構(gòu)和操作與增強(qiáng)層編碼器400A的結(jié)構(gòu)和操作相同，并且這里將不再進(jìn)行描述。
[0327]在圖15和圖16中涉及的塊可以是宏塊，或可具有與宏塊的尺寸不同的尺寸。例如，在圖15和圖16中，第一存儲(chǔ)器600和第二存儲(chǔ)器700可分別被置于基礎(chǔ)層編碼器300和增強(qiáng)層編碼器400A或400B中。
[0328]如果在圖15的多層編碼器的增強(qiáng)層編碼器400A中省略上采樣單元401A從而當(dāng)前幀數(shù)據(jù)可被直接提供給第二幀間預(yù)測(cè)單元402、第二幀內(nèi)預(yù)測(cè)單元403和第二減法器405，則圖15的多層編碼器可被實(shí)現(xiàn)為支持質(zhì)量分級(jí)的多層編碼器。
[0329]接下來，將參照?qǐng)D23的流程圖來描述根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的由視頻編碼設(shè)備執(zhí)行的用于多層視頻編碼的速率控制方法。
[0330]參照?qǐng)D23，首先，多層編碼器基于對(duì)第一層執(zhí)行編碼的結(jié)果產(chǎn)生編碼統(tǒng)計(jì)信息(步驟S110)。第一層可以是在ITU-T H.264/MPEG-4第10部分AVC標(biāo)準(zhǔn)中定義的基礎(chǔ)層?；蛘?，第一層可以是在ITU-T H.264/MPEG-4第10部分AVC標(biāo)準(zhǔn)中定義的增強(qiáng)層之一。優(yōu)選地，第一層比第二層的分辨率低。因此，第一層可被稱為較低層，第二層可被稱為較高層。
[0331]例如，編碼統(tǒng)計(jì)信息可包括以下信息中的至少一個(gè):關(guān)于以第一層的區(qū)域?yàn)閱挝划a(chǎn)生的比特?cái)?shù)的信息、關(guān)于當(dāng)前幀和預(yù)測(cè)幀的像素值之間的SAD的信息和關(guān)于第一層的區(qū)域的復(fù)雜度的信息。這里，區(qū)域可包括GOP、幀和宏塊中的至少一個(gè)。
[0332]隨后，多層編碼器基于第一層的編碼統(tǒng)計(jì)信息，確定將分別分配給第二層的區(qū)域的目標(biāo)比特?cái)?shù)(步驟S120)。例如，多層編碼器可根據(jù)等式I至等式4，基于與在第二層將被編碼的宏塊的位置相應(yīng)的第一層的編碼統(tǒng)計(jì)信息，確定宏塊和/或幀的目標(biāo)比特?cái)?shù)。在等式I至等式4中，基礎(chǔ)層相應(yīng)于第一層，增強(qiáng)層相應(yīng)于第二層。
[0333]隨后，多層編碼器通過使用在步驟S120確定的目標(biāo)比特?cái)?shù)來對(duì)第二層進(jìn)行編碼(步驟S130)。多層編碼器通過基于以第二層的區(qū)域?yàn)閱挝淮_定的目標(biāo)比特?cái)?shù)調(diào)整比特率，來對(duì)第二層進(jìn)行編碼。
[0334]在圖24中具體示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的包括在圖23的速率控制方法中的步驟S130。
[0335]參照?qǐng)D24，多層編碼器根據(jù)分配給第二層的區(qū)域的目標(biāo)比特?cái)?shù)與當(dāng)對(duì)第二層的區(qū)域進(jìn)行編碼時(shí)分別產(chǎn)生的比特?cái)?shù)之間的差，確定將被用于對(duì)第二層進(jìn)行編碼的量化參數(shù)(步驟S210)。多層編碼器根據(jù)針對(duì)第二層的宏塊和/或幀確定的目標(biāo)比特?cái)?shù)與當(dāng)對(duì)第二層進(jìn)行熵編碼時(shí)實(shí)際產(chǎn)生的比特?cái)?shù)之間的差，確定量化參數(shù)。例如，如果基于基礎(chǔ)層的編碼統(tǒng)計(jì)信息確定的目標(biāo)比特?cái)?shù)大于實(shí)際產(chǎn)生的比特?cái)?shù)，則分配給將被處理的宏塊的量化參數(shù)減小，如果基于基礎(chǔ)層的編碼統(tǒng)計(jì)信息確定的目標(biāo)比特?cái)?shù)小于實(shí)際產(chǎn)生的比特?cái)?shù)，則分配給將被處理的宏塊的量化參數(shù)增大。如果基于基礎(chǔ)層的編碼統(tǒng)計(jì)信息確定的目標(biāo)比特?cái)?shù)等于實(shí)際產(chǎn)生的比特?cái)?shù)，則分配給將被處理的宏塊的量化參數(shù)保持。
[0336]隨后，多層編碼器通過使用在步驟S210確定的量化參數(shù)在第二層的編碼期間執(zhí)行量化(步驟S220)。多層編碼器通過使用確定的量化參數(shù)對(duì)在第二層的編碼期間產(chǎn)生的殘差變換系數(shù)進(jìn)行量化。
[0337]圖25是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的包括在用于多層視頻編碼的速率控制方法中的確定第二層的量化參數(shù)的操作的流程圖。
[0338]參照?qǐng)D25，多層編碼器產(chǎn)生關(guān)于輸入的圖像的ROI信息(步驟S310)。例如，多層編碼器可通過使用圖6至圖8之一中示出的ROI檢測(cè)單元70產(chǎn)生ROI信息。
[0339]隨后，多層編碼器基于在步驟S310產(chǎn)生的ROI信息將量化參數(shù)分配給第二層(步驟S320)。多層編碼器基于在第一層產(chǎn)生的ROI信息，確定將被分配給第二層的區(qū)域的量化參數(shù)。例如，可檢測(cè)與將被編碼的第二層的當(dāng)前宏塊相應(yīng)的第一層的宏塊，可通過使用關(guān)于檢測(cè)的第一層的宏塊的ROI信息來將量化參數(shù)分配給將被編碼的第二層的宏塊。如圖24所示，感興趣區(qū)域中的量化參數(shù)可被設(shè)置為小于非感興趣區(qū)域中的量化參數(shù)。
[0340]隨后，多層編碼器基于在操作320中分配的量化參數(shù)來對(duì)第二層執(zhí)行量化(步驟S330)。例如，多層編碼器根據(jù)分配給第二層的當(dāng)前宏塊的目標(biāo)比特?cái)?shù)與當(dāng)對(duì)當(dāng)前宏塊進(jìn)行熵編碼時(shí)產(chǎn)生的比特?cái)?shù)之間的差，調(diào)整分配給在后的宏塊的量化參數(shù)，并通過使用調(diào)整的量化參數(shù)來對(duì)在第二層的編碼期間產(chǎn)生的殘差變換系數(shù)進(jìn)行量化。
[0341]接下來，現(xiàn)在將參照?qǐng)D26描述根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的由視頻編碼設(shè)備執(zhí)行的用于多層視頻編碼的速率控制方法。
[0342]首先，多層編碼器基于對(duì)第一層執(zhí)行編碼的結(jié)果，產(chǎn)生編碼統(tǒng)計(jì)信息和ROI信息(步驟S410)。上面描述了基于對(duì)第一層執(zhí)行編碼的結(jié)果產(chǎn)生編碼統(tǒng)計(jì)信息和ROI信息的處理。[0343]隨后，多層編碼器基于第一層的編碼統(tǒng)計(jì)信息，確定將被分配給第二層的區(qū)域的目標(biāo)比特?cái)?shù)(步驟S420)。例如，多層編碼器可根據(jù)等式I至等式4，基于與將被編碼的第二層的宏塊的位置相應(yīng)的第一層的編碼統(tǒng)計(jì)信息，確定將被分配給第二層的宏塊和/或幀的目標(biāo)比特?cái)?shù)。在等式I至等式4中，基礎(chǔ)層相應(yīng)于第一層，增強(qiáng)層相應(yīng)于第二層。
[0344]隨后，多層編碼器基于在第一層產(chǎn)生的ROI信息，將量化參數(shù)分配給第二層的區(qū)域(步驟S430)。例如，可檢測(cè)與將被編碼的第二層的宏塊相應(yīng)的第一層的宏塊，并可基于關(guān)于檢測(cè)的第一層的宏塊的ROI信息來將量化參數(shù)分配給將被編碼的第二層的宏塊。
[0345]隨后，多層編碼器通過使用分別針對(duì)第二層的區(qū)域確定的目標(biāo)比特?cái)?shù)和量化參數(shù)，來對(duì)第二層執(zhí)行編碼(步驟S440)。隨后，多層編碼器根據(jù)針對(duì)第二層的宏塊和/或幀確定的目標(biāo)比特?cái)?shù)以及當(dāng)對(duì)第二層進(jìn)行熵編碼時(shí)實(shí)際產(chǎn)生的比特?cái)?shù)，調(diào)整在步驟S430分配的量化參數(shù)。例如，如果基于基礎(chǔ)層的編碼統(tǒng)計(jì)信息確定的目標(biāo)比特?cái)?shù)大于實(shí)際產(chǎn)生的比特?cái)?shù)，則分配給將被處理的在后的宏塊的量化參數(shù)減小，如果基于基礎(chǔ)層的編碼統(tǒng)計(jì)信息確定的目標(biāo)比特?cái)?shù)小于實(shí)際產(chǎn)生的比特?cái)?shù)，則分配給將被處理的在后的宏塊的量化參數(shù)增大。如果基于基礎(chǔ)層的編碼統(tǒng)計(jì)信息確定的目標(biāo)比特?cái)?shù)等于實(shí)際產(chǎn)生的比特?cái)?shù)，則分配給在后的宏塊的量化參數(shù)保持。如上所述，多層編碼器通過調(diào)整分配的量化參數(shù)來對(duì)當(dāng)對(duì)第二層進(jìn)行編碼時(shí)產(chǎn)生的殘差變換系數(shù)進(jìn)行量化。
[0346]圖27是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的視頻提供設(shè)備2000的框圖。參照?qǐng)D27，視頻提供設(shè)備2000包括中央處理單元(CPU)810、多層編碼器820、網(wǎng)絡(luò)接口(I/F)830、用戶接口(UI) 840、視頻源850和總線860。
[0347]總線860是傳輸線和系統(tǒng)總線，其中，經(jīng)由總線860在視頻提供設(shè)備2000的構(gòu)成元件之間交換數(shù)據(jù)或控制信號(hào)。
[0348]視頻源850是視頻捕捉裝置，例如，視頻攝像機(jī)、內(nèi)容提供裝置、相機(jī)電話、視頻電話、具有內(nèi)置攝像頭的移動(dòng)電話等。
[0349]多層編碼器820可以是圖2中示出的視頻編碼器120。
[0350]網(wǎng)絡(luò)I/F830可包括用于經(jīng)由有線/無線通信信道將由多層編碼器820編碼的基礎(chǔ)層和/或增強(qiáng)層比特流發(fā)送到目標(biāo)裝置的軟件和/或硬件。
[0351]用戶接口 UI840是輸入用于控制CPU810的操作的控制信號(hào)或?qū)⒂蒀PU810處理的數(shù)據(jù)的裝置。UI840可被實(shí)現(xiàn)為觸摸板、鼠標(biāo)、鍵區(qū)或鍵盤。
[0352]圖28是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的視頻服務(wù)系統(tǒng)3000的框圖。參照?qǐng)D28，視頻服務(wù)系統(tǒng)3000包括網(wǎng)絡(luò)900、連接到網(wǎng)絡(luò)900的視頻提供設(shè)備910和至少一個(gè)目標(biāo)裝置(例如，目標(biāo)裝置911至917)。
[0353]網(wǎng)絡(luò)900可被實(shí)現(xiàn)為有線/無線通信網(wǎng)絡(luò)。
[0354]視頻提供設(shè)備910可以是圖28的視頻提供設(shè)備。
[0355]目標(biāo)裝置911至917可以是電視(TV) 911、個(gè)人計(jì)算機(jī)(PC) 912、個(gè)人數(shù)字助理(PDA)913、移動(dòng)電話914、導(dǎo)航915、視頻游戲裝置916和筆記本計(jì)算機(jī)917，但不限于此，目標(biāo)裝置可以是能夠接收和解碼數(shù)字視頻數(shù)據(jù)的任何其它各種裝置。
[0356]雖然已參照本發(fā)明構(gòu)思的示例性實(shí)施例具體示出和描述了本發(fā)明構(gòu)思，但是將理解在不脫離權(quán)利要求的精神和范圍的情況下可對(duì)此進(jìn)行形式和細(xì)節(jié)上的各種改變。
【權(quán)利要求】
1.一種用于多層視頻編碼的速率控制方法，所述方法包括: 在第一層對(duì)輸入的視頻數(shù)據(jù)進(jìn)行編碼； 基于在第一層對(duì)輸入的視頻數(shù)據(jù)進(jìn)行編碼的結(jié)果，產(chǎn)生編碼統(tǒng)計(jì)信息； 基于編碼統(tǒng)計(jì)信息，確定將分別被分配給第二層的區(qū)域的目標(biāo)比特?cái)?shù)； 基于目標(biāo)比特?cái)?shù)，在第二層對(duì)輸入的視頻數(shù)據(jù)進(jìn)行編碼。
2.如權(quán)利要求1所述的速率控制方法，其中，第二層的區(qū)域包括圖像組(GOP)、幀或宏塊中的至少一個(gè)。
3.如權(quán)利要求1所述的速率控制方法，其中，編碼統(tǒng)計(jì)信息包括關(guān)于當(dāng)在第一層以區(qū)域?yàn)閱挝粓?zhí)行編碼時(shí)產(chǎn)生的比特?cái)?shù)的信息。
4.如權(quán)利要求1所述的速率控制方法，其中，編碼統(tǒng)計(jì)信息包括關(guān)于在第一層的編碼期間以第一層的區(qū)域?yàn)閱挝挥?jì)算的當(dāng)前幀和預(yù)測(cè)幀的像素值之間的絕對(duì)差和(SAD)的信
5.如權(quán)利要求1所述的速率控制方法，其中，編碼統(tǒng)計(jì)信息包括關(guān)于以第一層的區(qū)域?yàn)閱挝挥?jì)算的復(fù)雜度的信息。
6.如權(quán)利要求1所述的速率控制方法，其中，編碼統(tǒng)計(jì)信息包括以下信息中的至少兩個(gè): 關(guān)于在第一層的編碼期間以第一層的區(qū)域?yàn)閱挝划a(chǎn)生的比特?cái)?shù)的信息； 關(guān)于以第一層的區(qū)域?yàn)閱挝挥?jì)算的當(dāng)前幀和預(yù)測(cè)幀的像素值之間的絕對(duì)差和(SAD)的信息； 關(guān)于以第一層的區(qū)域?yàn)閱挝挥?jì)算的復(fù)雜度的信息。
7.如權(quán)利要求1所述的速率控制方法，其中，如果在第一層將被編碼的視頻數(shù)據(jù)的空間分辨率與在第二層將被編碼的視頻數(shù)據(jù)的空間分辨率不同，則基于為了控制編碼的空間分辨率相同而對(duì)編碼統(tǒng)計(jì)信息進(jìn)行放大或縮小的結(jié)果，確定將被分配給第二層的區(qū)域的目標(biāo)比特?cái)?shù)。
8.如權(quán)利要求1所述的速率控制方法，其中，基于當(dāng)對(duì)與第二層的當(dāng)前宏塊的位置相應(yīng)的第一層的宏塊進(jìn)行編碼時(shí)產(chǎn)生的比特?cái)?shù)，確定將被分配給第二層的當(dāng)前宏塊的目標(biāo)比特?cái)?shù)。
9.如權(quán)利要求1所述的速率控制方法，其中，基于在與第二層的宏塊匹配的第一層的宏塊中計(jì)算的當(dāng)前幀和預(yù)測(cè)幀的像素值之間的絕對(duì)差和(SAD)，確定將被分別分配給第二層的宏塊的目標(biāo)比特?cái)?shù)。
10.如權(quán)利要求1所述的速率控制方法，其中，基于以下信息確定將被分配給第二層的宏塊的目標(biāo)比特?cái)?shù): 當(dāng)對(duì)與第二層的宏塊匹配的第一層的宏塊進(jìn)行編碼時(shí)產(chǎn)生的比特?cái)?shù)； 在與第二層的宏塊匹配的第一層的宏塊中計(jì)算的像素值之間的絕對(duì)差和(SAD)。
11.如權(quán)利要求1所述的速率控制方法，其中，基于關(guān)于以第一層的區(qū)域?yàn)閱挝挥?jì)算的復(fù)雜度的信息和第一層的圖像組(GOP)的幀比特占用信息中的至少一個(gè)，確定將被分別分配給第二層的幀的目標(biāo)比特?cái)?shù)。
12.如權(quán)利要求1所述的速率控制方法，其中，在第二層對(duì)輸入的視頻數(shù)據(jù)進(jìn)行編碼的步驟包括:基于目標(biāo)比特?cái)?shù)確定量化參數(shù)，在第二層對(duì)輸入的視頻數(shù)據(jù)進(jìn)行編碼期間通過使用量化參數(shù)來執(zhí)行量化。
13.如權(quán)利要求12所述的速率控制方法，其中，通過根據(jù)分配給第二層的區(qū)域的目標(biāo)比特?cái)?shù)與在第二層的編碼期間產(chǎn)生的比特?cái)?shù)之間的差調(diào)整分配給第二層的區(qū)域的參數(shù)，來確定量化參數(shù)。
14.如權(quán)利要求1所述的速率控制方法，還包括: 產(chǎn)生關(guān)于輸入的視頻數(shù)據(jù)的感興趣區(qū)域(ROI)信息； 基于ROI信息，確定以第二層的區(qū)域?yàn)閱挝环峙浣o輸入的視頻數(shù)據(jù)的量化參數(shù)。
15.一種用于多層視頻編碼的速率控制方法，所述方法包括: 產(chǎn)生關(guān)于輸入的視頻數(shù)據(jù)的感興趣區(qū)域(ROI)信息； 基于ROI信息，確定將被分配給增強(qiáng)層的一個(gè)幀的多個(gè)區(qū)域的多個(gè)量化參數(shù)。
16.如權(quán)利要求15所述的速率控制方法，其中，確定所述多個(gè)量化參數(shù)的步驟包括: 基于ROI信息確定感興 趣區(qū)域中的第一量化參數(shù)，基于ROI信息確定非感興趣區(qū)域中的第二量化參數(shù)，其中，第一量化參數(shù)和第二量化參數(shù)不同。
17.如權(quán)利要求15所述的速率控制方法，其中，使用以下信息中的至少一個(gè)來計(jì)算ROI信息: 圖像的運(yùn)動(dòng)量； 圖像復(fù)雜度； 像素的分布。
18.—種視頻編碼設(shè)備，包括: 第一編碼處理器，在第一層對(duì)輸入的視頻數(shù)據(jù)進(jìn)行編碼，并被配置為基于在第一層對(duì)輸入的視頻數(shù)據(jù)進(jìn)行編碼的結(jié)果產(chǎn)生編碼統(tǒng)計(jì)信息； 第二速率控制器，基于編碼統(tǒng)計(jì)信息，產(chǎn)生將在第二層執(zhí)行編碼時(shí)使用的第二量化參數(shù)； 第二編碼處理器，通過使用第二量化參數(shù)在第二層對(duì)輸入的視頻數(shù)據(jù)進(jìn)行編碼。
19.如權(quán)利要求18所述的視頻編碼設(shè)備，其中，編碼統(tǒng)計(jì)信息包括以下信息中的至少一個(gè): 關(guān)于當(dāng)以第一層的區(qū)域?yàn)閱挝粓?zhí)行編碼時(shí)產(chǎn)生的比特?cái)?shù)的信息， 關(guān)于以第一層的區(qū)域?yàn)閱挝挥?jì)算的當(dāng)前幀和預(yù)測(cè)幀的像素值之間的絕對(duì)差和(SAD)的信息， 關(guān)于第一層的區(qū)域的復(fù)雜度的信息。
20.如權(quán)利要求18所述的視頻編碼設(shè)備，其中，第二速率控制器包括: 比特?cái)?shù)確定單元，基于編碼統(tǒng)計(jì)信息，確定將被分別分配給第二層的區(qū)域的目標(biāo)比特?cái)?shù)； 量化參數(shù)產(chǎn)生單元，基于目標(biāo)比特?cái)?shù)與由第二編碼處理器產(chǎn)生的比特?cái)?shù)之間的差，產(chǎn)生量化參數(shù)。
21.如權(quán)利要求20所述的視頻編碼設(shè)備，其中，比特?cái)?shù)確定單元基于當(dāng)對(duì)與第二層的宏塊匹配的第一層的宏塊進(jìn)行編碼時(shí)產(chǎn)生的比特?cái)?shù)，確定將被分別分配給第二層的宏塊的目標(biāo)比特?cái)?shù)。
22.如權(quán)利要求20所述的視頻編碼設(shè)備，其中，比特?cái)?shù)確定單元基于在與第二層的宏塊匹配的第一層的宏塊中的當(dāng)前幀和預(yù)測(cè)幀的像素值之間計(jì)算的絕對(duì)差和(SAD)，確定將被分別分配給第二層的宏塊的目標(biāo)比特?cái)?shù)。
23.如權(quán)利要求20所述的視頻編碼設(shè)備，其中，比特?cái)?shù)確定單元基于以下信息中的至少一個(gè)來確定將被分別分配給第二層的宏塊的目標(biāo)比特?cái)?shù): 關(guān)于在第一層計(jì)算的第一層的區(qū)域的復(fù)雜度的信息， 第一層的圖像組(GOP)的幀比特占用信息。
24.如權(quán)利要求18所述的視頻編碼設(shè)備，還包括:感興趣區(qū)域(ROI)檢測(cè)單元，檢測(cè)輸入的視頻數(shù)據(jù)的感興趣區(qū)域，并產(chǎn)生指示檢測(cè)的感興趣區(qū)域的ROI信息， 其中，速率控制器基于ROI信息確定將被分配給第二層的區(qū)域的量化參數(shù)。
25.—種視頻信號(hào)處理系統(tǒng),包括: 多層編碼器，在基礎(chǔ)層和至少一個(gè)增強(qiáng)層對(duì)源視頻數(shù)據(jù)進(jìn)行編碼； 發(fā)送器，經(jīng)由有 線或無線網(wǎng)絡(luò)將由多層編碼器編碼的源視頻數(shù)據(jù)發(fā)送到目標(biāo)裝置， 其中，多層編碼器基于根據(jù)對(duì)在基礎(chǔ)層編碼的源視頻數(shù)據(jù)進(jìn)行編碼的結(jié)果產(chǎn)生的編碼統(tǒng)計(jì)信息，確定將被分配給所述至少一個(gè)增強(qiáng)層的一個(gè)幀中的區(qū)域的目標(biāo)比特?cái)?shù)。
26.如權(quán)利要求25所述的視頻信號(hào)處理系統(tǒng)，其中，多層編碼器基于關(guān)于源視頻數(shù)據(jù)的感興趣區(qū)域(ROI)信息，確定將被分配給所述至少一個(gè)增強(qiáng)層的區(qū)域的量化參數(shù)。
27.一種視頻編碼設(shè)備，包括: 第一編碼處理器，在第一層對(duì)輸入的視頻數(shù)據(jù)進(jìn)行編碼，并被配置為基于在第一層對(duì)輸入的視頻數(shù)據(jù)進(jìn)行編碼的結(jié)果產(chǎn)生編碼統(tǒng)計(jì)信息； 緩沖器，存儲(chǔ)編碼統(tǒng)計(jì)信息； 第二速率控制器，基于編碼統(tǒng)計(jì)信息產(chǎn)生每個(gè)當(dāng)前宏塊的第二量化參數(shù)用于在第二層進(jìn)行編碼。
28.如權(quán)利要求27所述的視頻編碼設(shè)備，還包括:第二編碼處理器，通過使用第二量化參數(shù)在第二層對(duì)輸入的視頻數(shù)據(jù)進(jìn)行編碼。
29.如權(quán)利要求27所述的視頻編碼設(shè)備，還包括:第一速率控制器，產(chǎn)生第一量化參數(shù)以用于在第一層進(jìn)行編碼。
【文檔編號(hào)】H04N7/32GK103458241SQ201310217285
【公開日】2013年12月18日 申請(qǐng)日期:2013年6月3日 優(yōu)先權(quán)日:2012年6月1日
【發(fā)明者】張爀在, 權(quán)寧圭 申請(qǐng)人:三星電子株式會(huì)社