圖像處理裝置和圖像處理方法
【技術(shù)領(lǐng)域】
[0001] 本公開內(nèi)容涉及圖像處理裝置和圖像處理方法。
【背景技術(shù)】
[0002] 為了比H. 264/AVC(參見例如非專利文獻(xiàn)1)更加改進(jìn)編碼效率，作為ITU-T和 ISO/IEC的聯(lián)合標(biāo)準(zhǔn)化組織的聯(lián)合協(xié)作視頻編碼組（JCTVC)目前正在進(jìn)行對被稱為高效率 視頻編碼01EVC)的圖像編碼方案的標(biāo)準(zhǔn)化。
[0003] HEVC不僅提供了對單層的編碼，還提供了可分級視頻編碼（如在已知的圖像編 碼方案（例如MPEG2和高級視頻編碼（AVC))中）。HEVC可分級視頻編碼技術(shù)也被稱為 SHVC(可分級HEVC)(例如，參見非專利文獻(xiàn)2)。
[0004] 附帶地，可分級視頻編碼通常是對傳輸粗略圖像信號的層和傳輸精細(xì)信號的層進(jìn) 行分層編碼的技術(shù)。可分級視頻編碼中被分層的典型屬性主要包括以下三種：
[0005] -空間可分級：空間分辨率或圖像大小被分層。
[0006] -時間可分級：幀速率被分層。
[0007] -信噪比（SNR)可分級：SN比被分層。
[0008] 此外，盡管位深度可分級和色度格式可分級尚未被用在標(biāo)準(zhǔn)中，但也對其進(jìn)行了 討論。
[0009] 在非專利文獻(xiàn)3和非專利文獻(xiàn)4中，提出了其中色域被分層的色域可分級。在高 清（HD)電視機(jī)中，通常使用1920X1080像素的圖像大小、ITU-RBT. 709的色域以及8位 的位深度。另一方面，在超高清（UHD)電視機(jī)中，對4000X2000像素或8000X4000像素的 圖像大小、ITU-RBT. 2020的色域以及10位或12位的位深度的使用正在研宄中。根據(jù)在 非專利文獻(xiàn)3和非專利文獻(xiàn)4中所描述的方法，BT. 2020的色域中的對應(yīng)像素矢量是使用3 維查找表根據(jù)BT. 709的色域中的像素矢量（Y，U，V)來預(yù)測的。
[0010] 引用列表
[0011] 非專利文獻(xiàn)
[0012] 非專利文獻(xiàn) 1:BenjaminBross,Woo-JinHan,GaryJ.Sullivan,Jens-Rainer Ohm,GaryJ.Sullivan,Ye-KuiWang和Thomasffiegand,"HighEfficiencyVideo Coding(HEVC)textspecificationdraft10(forFDIS&Consent)"（JCTVC_L1003v4，l月 14 日至 23 日，2013)
[0013] 非專利文獻(xiàn) 2:JianleChen等人，"Descriptionofscalablevideocoding technologyproposalbyQualcomm(configuration2)"（JCTVC-K0036, 10 月 10 日至 19 日，2012)
[0014] 非專利文獻(xiàn) 3:PhilippeBordes等人，"SCE4:Resultson5. 3_testland5. 3_te st2"（JCTVC-00159, 10 月 23 日至 11 月 1 日，2013)
[0015] 非專利文獻(xiàn)4:YuwenHe等人，"Non_SCE4/AHG14:Combinedbit-depthandcolor gamutconversionwith3DLUTforSHVCcolorgamutscalability"（JCTVC-00161，10 月23日至11月1日，2013)
[0016]技術(shù)問題
[0017] 一般情況下，在相同的層中，三個顏色分量的位深度互相相同。因此，當(dāng)像素值被 選擇（分級）成參考查找表時，通常針對三個顏色分量設(shè)計粒度。例如，在非專利文獻(xiàn)3 中，假定在用于色域預(yù)測的查找表中的三個顏色分量的粒度由在圖像參數(shù)集（PPS)中編碼 的參數(shù)nbp_c〇de來定義。在非專利文獻(xiàn)4中，查找表的大?。ㄈ齻€顏色分量的粒度）被 設(shè)置成17X17X17。分級越精細(xì)，色域預(yù)測的預(yù)測精度越高，但查找表的大?。↙UT大?。?越大。例如，當(dāng)預(yù)測像素值的位深度為10位并且LUT大小為17X17X17時，必須確保有 17X17X17X3(顏色分量的數(shù)目）X10(位深度）=147390位的緩沖區(qū)，以便對查找表進(jìn) 行緩存。在考慮到對于ffiVC的一般量化矩陣（縮放列表）所必需的緩沖區(qū)大小為約8000 位的事實的情況下，用于色域預(yù)測的查找表的緩沖區(qū)大小被理解為非常大。
[0018] 因此，期望提供一種減小查找表的緩沖區(qū)大小并且確保色域可分級中的足夠預(yù)測 精度的方法。

【發(fā)明內(nèi)容】

[0019] 解決方案
[0020] 根據(jù)本公開內(nèi)容，提供了一種圖像處理裝置，其包括：預(yù)測部，該預(yù)測部被配置成 使用查找表根據(jù)第一層的圖像來預(yù)測與所述第一層具有不同色域的第二層的圖像，所述查 找表將所述第一層的亮度分量、第一色度分量和第二色度分量的組合映射到所述第二層的 對應(yīng)于該組合的預(yù)測像素值。預(yù)測部使用如下的所述查找表：在該查找表中，所述第一色度 分量的粒度和所述第二色度分量的粒度比所述亮度分量的粒度更粗糙。
[0021] 根據(jù)本公開內(nèi)容，提供了一種圖像處理方法，其包括：使用查找表根據(jù)第一層的 圖像來預(yù)測與所述第一層具有不同色域的第二層的圖像，所述查找表將所述第一層的亮度 分量、第一色度分量和第二色度分量的組合映射到所述第二層的對應(yīng)于該組合的預(yù)測像素 值。使用如下的所述查找表來執(zhí)行對所述第二層的所述圖像的所述預(yù)測：在該查找表中，所 述第一色度分量的粒度和所述第二色度分量的粒度比所述亮度分量的粒度更粗糙。
[0022] 發(fā)明的有利效果
[0023] 根據(jù)本公開內(nèi)容中的技術(shù)，可以減小查找表的緩沖區(qū)大小并且確保色域可分級中 的足夠預(yù)測精度。
【附圖說明】
[0024][圖1]圖1是說明可分級視頻編碼的說明圖。
[0025][圖2]圖2是說明由BT. 709和BT. 2020表示的色域的說明圖。
[0026][圖3]圖3是示出根據(jù)一種實施方式的圖像編碼裝置的示意性配置的框圖。
[0027][圖4]圖4是示出根據(jù)一種實施方式的圖像解碼裝置的示意性配置的框圖。
[0028][圖5]圖5是示出圖3中所示的EL編碼部的配置的示例的框圖。
[0029][圖6]圖6是示出根據(jù)一種實施方式的用于編碼的示意性處理流程的示例的流程 圖。
[0030] [圖7]圖7示出用于增強(qiáng)層的編碼處理中的色域預(yù)測處理的流程的示例的流程 圖。
[0031][圖8]圖8是示出圖4中所示的EL解碼部的配置的示例的框圖。
[0032][圖9]圖9是示出根據(jù)一種實施方式的在解碼時的示意性處理流程的示例的流程 圖。
[0033] [圖10]圖10是示出在用于增強(qiáng)層的解碼處理中的色域預(yù)測處理的流程的示例的 流程圖。
[0034] [圖11]圖11是說明視頻格式的動態(tài)范圍的說明圖。
[0035][圖12]圖12是實現(xiàn)動態(tài)范圍可分級的EL編碼部的配置的示例的框圖。
[0036][圖13]圖13是實現(xiàn)動態(tài)范圍可分級的EL解碼部的配置的示例的框圖。
[0037][圖14]圖14是示出電視機(jī)的示意性配置的示例的框圖。
[0038] [圖15]圖15是示出移動電話的示意性配置的示例的框圖。
[0039][圖16]圖16是示出記錄/再現(xiàn)裝置的示意性配置的示例的框圖。
[0040][圖17]圖17是示出圖像捕獲裝置的示意性配置的示例的框圖。
[0041][圖18]圖18是說明使用可分級視頻編碼的第一示例的說明圖。
[0042] [圖19]圖19是說明使用可分級視頻編碼的第二示例的說明圖。
[0043] [圖20]圖20是說明使用可分級視頻編碼的第三示例的說明圖。
[0044][圖21]圖21是說明多視點(diǎn)編解碼的說明圖。
[0045][圖22]圖22是示出用于多視點(diǎn)編解碼的圖像編碼裝置的示意性配置的框圖。
[0046][圖23]圖23是示出用于多視點(diǎn)編解碼的圖像解碼裝置的示意性配置的框圖。
【具體實施方式】
[0047] 在下文中，將參照附圖來詳細(xì)描述本發(fā)明的優(yōu)選實施方式。要指出的是，在該說明 書和附圖中，用相同的附圖標(biāo)記來表示具有基本相同功能和結(jié)構(gòu)的元素，并且省略重復(fù)說 明。
[0048] 將按照以下順序做出描述。
[0049] 1?概述
[0050]1-1.可分級視頻編碼
[0051]1-2?色域可分級
[0052]1-3.編碼器的基本配置示例
[0053]1-4.解碼器的基本配置示例
[0054]2.-種實施方式中的EL編碼部的配置示例
[0055]2-1.整體配置
[0056]2-2.色域預(yù)測的細(xì)節(jié)
[0057] 3.根據(jù)一種實施方式的用于編碼的處理流程
[0058]3-1.示意性流程
[0059]3-2.色域預(yù)測處理
[0060]4.-種實施方式中的EL解碼部的配置示例
[0061]4-1.整體配置
[0062] 4-2.色域預(yù)測的細(xì)節(jié)
[0063] 5.根據(jù)一種實施方式的用于解碼的處理流程
[0064] 5-1?示意性流程
[0065] 5-2.色域預(yù)測處理
[0066] 6.動態(tài)范圍可分級
[0067] 7.示例應(yīng)用
[0068] 7-1.對于各種產(chǎn)品的應(yīng)用
[0069] 7-2.可分級視頻編碼的各種用途
[0070] 7-3?其他
[0071] 8?結(jié)論
[0072] 〈1.概述〉
[0073] [1. 1?可分級視頻編碼]
[0074] 在可分級視頻編碼中，對下述多個層進(jìn)行編碼：在所述多個層中每個層包含一系 列圖像?；緦邮谴碜畲致缘膱D像的、首先被編碼的層。基本層的編碼流可以在不對其 它層的編碼流進(jìn)行解碼的情況下被獨(dú)立地解碼。除了基本層以外的層是代表精細(xì)圖像的、 被稱為增強(qiáng)層的層。增強(qiáng)層的編碼流通過使用包含在基本層的編碼流中的信息來編碼。因 此，為了再現(xiàn)增強(qiáng)層的圖像，要對基本層和增強(qiáng)層二者的編碼流進(jìn)行解碼。在可分級視頻編 碼中處理的層的數(shù)目可以是等于或大于2的任何數(shù)目。當(dāng)對三個層或更多層進(jìn)行編碼時， 最低層是基本層，而剩余的層是增強(qiáng)層。對于較高增強(qiáng)層的編碼流，可以使用包含在較低增 強(qiáng)層和基本層的編碼流中的信息來編碼和解碼。
[0075] 圖1示出了經(jīng)受可分級視頻編碼的三個層Ll、L2和L3。層L1是基本層，而層L2 和層L3是增強(qiáng)層。層L2與層L1的空間分辨率比為2:1，并且層L3與層L1的空間分辨率 比為4:1。本文中的分辨率僅為示例。例如，可以使用非整數(shù)例如1. 5:1的分辨率比。層L1 的塊B1是在基本層的畫面中的編碼處理的處理單元。層L2的塊B2是在對于塊B1來說共 同的場景被投影到的增強(qiáng)層的畫面中的編碼處理的處理單元。塊B2對應(yīng)于層L1的塊B1。 層L3的塊B3是在對于塊B1和塊B2來說共同的場景被投影到的比前述層高的增強(qiáng)層的畫 面中的編碼處理的處理單元。塊B3對應(yīng)于層L1的塊B1和層L2的塊B2。
[0076] [1-2?色域可分級]
[0077] 在圖1所例證的層結(jié)構(gòu)中，在被投射了共同場景的層之間，圖像的紋理是相似的。 也就是說，層L1中的塊B1的紋理、層L2中的塊B2的紋理以及層L3中的塊B3的紋理是相 似的。因此，例如，當(dāng)使用塊B1作為參考塊來對塊B2或塊B3的像素進(jìn)行預(yù)測或者使用塊 B2作為參考塊來對塊B3的像素進(jìn)行預(yù)測時，存在獲得較高預(yù)測精度的可能性。層之間的這 種預(yù)測被稱為層間預(yù)測。非專利文獻(xiàn)2提出了用于層間預(yù)測的幾種方法。在所述方法中， 基本層的解碼圖像（重構(gòu)圖像）被用作參考圖像，以對幀內(nèi)BL預(yù)測中的增強(qiáng)層的解碼圖像 進(jìn)行預(yù)測。在幀內(nèi)殘差預(yù)測和幀間殘差預(yù)測中，基本層的預(yù)測誤差（殘差）圖像被用作參 考圖像，以預(yù)測增強(qiáng)層的預(yù)測誤差圖像。
[0078] 此處，例如將層L1的圖像假定為HD電視圖像并且將層L2的圖像假定為UHD電視 圖像。圖2是說明由BT. 709和BT. 2020表示的色域的說明圖。參照圖2,示出了使用預(yù)定 約束條件將3維顏色空間映射到2維平面的色域曲線圖。圖中的交叉標(biāo)記指示白色被映射 到的位置。圖中的虛線指示由BT. 709表示的顏色范圍。圖中的實線指示由BT. 2020表示 的顏色范圍。圖中的點(diǎn)線指示人類視覺可以識別的顏色范圍。從圖2可以理解，與BT. 709 相比，BT. 2020可以表示更多種類的顏色。當(dāng)層L1的每個像素由BT. 709來表示并且層L2 的每個像素由BT. 2020來表示時，在層間預(yù)測時對參考圖像（層1的圖像）執(zhí)行分辨率轉(zhuǎn) 換（即，上采樣）或色域轉(zhuǎn)換。例如，在非專利文獻(xiàn)3和非專利文獻(xiàn)4中，描述了使用3維 查找表將BT. 709的像素矢量轉(zhuǎn)換成BT. 2020的像素矢量的方法。在實際中，轉(zhuǎn)換后的像素 矢量不是在不加改變的情況下被使用，但是殘余誤差（預(yù)測誤差）可以被單獨(dú)地進(jìn)行編碼 和解碼。因此，這樣的色域轉(zhuǎn)換被稱為色域預(yù)測。查找表將層L1的亮度分量（Y)、第一色度 分量（U)和第二色度分量（V)映射到層L2的對應(yīng)于該組合的預(yù)測像素值。
[0079] 附帶地，一般情況下，相同層中的在三個顏色分量的位深度彼此相同。當(dāng)位深度 是n位時，亮度分量的范圍寬度和色度分量的范圍寬度二者等于2n。因此，當(dāng)像素值被選擇 (分級）成參考查找表時，通常對三個顏色分量設(shè)計粒度。例如，在非專利文獻(xiàn)3中，假定用 于色域預(yù)測的查找表中的三個顏色分量的粒度由在PPS中編碼的一個參數(shù)nbp_c〇de來定 義，如以下表1所示的。
[0080][表1]
[0081] 表1?(從JCTVC-00159摘選的）用于色域可分級的語法
[0082]
[0083] 在表1中，標(biāo)志use_color_prediction_flag是指示色域是否在層之間轉(zhuǎn)換的標(biāo) 志。函數(shù)3D_LUT_color_data()定義與用于色域預(yù)測的查找表相關(guān)聯(lián)的語法。參數(shù)nbp_ code共同地定義用于色域預(yù)測的查找表中的三個顏色分量的粒度。粒度nbp與參數(shù)nbp_ code之間的實際關(guān)系由關(guān)系式nbp=l+(l〈〈(nbp_code_l))來表示。參數(shù)lut_bit_depth_ minus8定義預(yù)測像素值的位深度。函數(shù)coding_octant(0, 0, 0, 0)是定義按照由參數(shù)nbp_ code指定的粒度的查找表的（輸入像素值與預(yù)測的像素值之間進(jìn)行映射的）內(nèi)容的函數(shù)。 在非專利文獻(xiàn)3中描述了函數(shù)coding_octant(0,0,0,0)的具體規(guī)范。在非專利文獻(xiàn)4中， 當(dāng)使用查找表對色域預(yù)測的性能進(jìn)行仿真時，在所有測試中使用具有17X17X17的大小 的查找表。
[0084] 隨著在用于色域預(yù)測的查找表中的顏色分量的粒度越精細(xì)，可以預(yù)期到越高的色 域預(yù)測的預(yù)測精度。另一方面，隨著粒度越精細(xì)，查找表的大?。↙UT大?。┰酱?。例如，當(dāng) 預(yù)測像素值的位深度為10位并且LUT大小為17X17X17時，必須確保17X17X17X3 (顏 色分量的數(shù)目）x10 (位深度）=147390位（bit)的緩沖區(qū)，以便緩存查找表。在考慮到對 于HEVC的一般量化矩陣（縮放列表）所必需的緩沖區(qū)大小為約8000位的事實的情況下， 用于色域預(yù)測的查找表的緩沖區(qū)大小被理解為非常大。當(dāng)確保大的緩沖區(qū)容量時，可能會 存在各種缺點(diǎn)，例如設(shè)備成本的增加、因存儲器資源短缺而引起的操作失敗以及處理延遲。 因此，在下面要描述的一種實施方式中，將描述一種被配置成減小查找表的緩沖區(qū)大小并 且確保色域可分級中的足夠預(yù)測精度的結(jié)構(gòu)。
[0085] [1-3?編碼器的基本配置示例]
[0086] 圖3是示出根據(jù)支持可分級視頻編碼的一種實施方式的圖像編碼裝置10的示意 性配置的框圖。參照圖3,圖像編碼裝置10包括基本層（BL)編碼部la、增強(qiáng)層（EL)編碼 部lb、共用存儲器2和多路復(fù)用部3。
[0087] BL編碼部la對基本層圖像進(jìn)行編碼，以生成基本層的編碼流。EL編碼部lb對增 強(qiáng)層圖像進(jìn)行編碼，以生成增強(qiáng)層的編碼流。共用存儲器2存儲在層之間共同使用的信息。 多路復(fù)用部3對由BL編碼部la所生成的基本層的編碼流和由EL編碼部lb所生成的至少 一個增強(qiáng)層的編碼流進(jìn)行復(fù)用，以生成多層復(fù)用流。
[0088] [1-4?解碼器的基本配置示例]
[0089] 圖4是示出根據(jù)支持可分級視頻編碼的一種實施方式的圖像解碼裝置60的示意 性配置的框圖。參照圖4,圖像解碼裝置60包括解復(fù)用部5、基本層（BL)解碼部6a、增強(qiáng)層 (EL)解碼部6b和共用存儲器7。