顏色信息和色度信令的制作方法
【技術(shù)領(lǐng)域】
[0001] 本公開總體涉及視頻編碼，更具體地講，涉及用于視頻編碼的顏色信息和色度信 令。
【背景技術(shù)】
[0002] 許多系統(tǒng)包括視頻編碼器以實現(xiàn)視頻編碼標(biāo)準(zhǔn)并且壓縮視頻數(shù)據(jù)以便于利用有 限帶寬和/或有限存儲容量經(jīng)由信道傳輸。這些視頻編碼標(biāo)準(zhǔn)可包括諸如幀內(nèi)預(yù)測、從空間 域變換到頻域、從頻域逆變換到空間域、量化、熵編碼、運動估計和運動補(bǔ)償?shù)亩鄠€編碼階 段，以便更有效地對幀進(jìn)行編碼。

【發(fā)明內(nèi)容】

[0003] 技術(shù)問題
[0004] 傳統(tǒng)數(shù)字高清(HD)內(nèi)容可按照視頻編碼標(biāo)準(zhǔn)國際電信聯(lián)盟無線電通信組（ITU-R) 建議BT. 709所描述的格式來表示，該標(biāo)準(zhǔn)定義了視頻內(nèi)容的分辨率、色域、伽馬和量化位 深。隨著更高分辨率的視頻標(biāo)準(zhǔn)(例如ITU-R超高清電視(UHDTV)，其與BT.709相比除了具有 更高分辨率以外，還可具有更寬的色域和增加的量化位深)的出現(xiàn)，基于較低分辨率的HD內(nèi) 容的許多傳統(tǒng)系統(tǒng)可能無法使用壓縮的UHDTV內(nèi)容。目前維持這些傳統(tǒng)系統(tǒng)的可用性的解 決方案之一包括分離地聯(lián)播壓縮的HD內(nèi)容和壓縮的UHDTV內(nèi)容二者。盡管接收到該聯(lián)播的 傳統(tǒng)系統(tǒng)能夠解碼并使用壓縮的HD內(nèi)容，但是壓縮并聯(lián)播具有相同的基本內(nèi)容的多個比特 流無法有效使用處理、帶寬和存儲資源。
[0005] 問題的解決方案
[0006] 根據(jù)本發(fā)明，提供一種將視頻解碼的方法，包括：（a)接收編碼的畫面的視頻比特 流，其中，所述視頻比特流包括多個層；以及(b)接收與所述視頻比特流有關(guān)的色度信息，其 中，所述色度信息包括（1)視頻信號信息的集合；（2)所述視頻信號信息的所述集合的數(shù)量； (3)所述視頻信號信息的索引；以及(4)指示所述數(shù)量和所述索引是否存在的標(biāo)志。
[0007] 通過考慮以下結(jié)合附圖進(jìn)行的對本發(fā)明的詳細(xì)描述，本發(fā)明的以上和其它目的、 特征和優(yōu)點將更容易理解。
【附圖說明】
[0008]圖1是視頻編碼系統(tǒng)的框圖不例。
[0009] 圖2是示出BT . 709視頻標(biāo)準(zhǔn)中和UHDTV視頻標(biāo)準(zhǔn)中所支持的色域的示例曲線圖 200 〇
[0010] 圖3A是圖1所示的視頻編碼器的框圖示例。
[0011] 圖3B是圖1所示的視頻編碼器的框圖示例。
[0012]圖4是圖3A和圖3B所示的顏色空間預(yù)測器的框圖示例。
[0013]圖5A是圖1所示的視頻解碼器的框圖示例。
[0014]圖5B是圖1所示的視頻解碼器的框圖示例。
[0015]圖6是圖5A和圖5B所示的顏色空間預(yù)測器的框圖示例。
[0016] 圖7是圖1所示的視頻編碼器中的顏色空間預(yù)測的示例操作流程圖。
[0017] 圖8是圖1所示的視頻解碼器中的顏色空間預(yù)測的示例操作流程圖。
[0018] 圖9是圖1所示的視頻解碼器中的顏色空間預(yù)測的另一示例操作流程圖。
[0019] 圖IOA是包括顏色位深縮放的視頻編碼器的框圖示例。
[0020] 圖IOB是包括顏色位深縮放的視頻編碼器的框圖示例。
[0021] 圖11是是包括位深縮放的編碼方法的流程圖
[0022] 圖12A是包括顏色位深縮放的視頻解碼器的框圖示例。
[0023] 圖12B是包括顏色位深縮放的視頻解碼器的框圖示例。
[0024] 圖13是包括位深縮放的解碼方法的流程圖。
[0025] 圖 14A 示出示例性 vps_extension()句法。
[0026] 圖 14B 不出不例性 vps_extension()句法。
[0027] 圖15示出示例性vps_vui ()句法。
[0028] 圖 16A 不出不例性 seq_parameter_set_rbsp()句法。
[0029] 圖 16B 不出不例性 seq_parameter_set_rbsp()句法。
[0030] 圖 16C 不出不例性 seq_parameter_set_rbsp()句法。
[0031 ]圖 17 不出不例性 vui_parameters()句法。
[0032] 圖 18 不出不例性 video_signal_info()句法。
[0033] 圖 19 不出不例性 video_signal_info()句法。
[0034] 圖 20 不出不例性 video_signal_info()句法。
[0035] 圖 21 不出不例性 video_signal_info()句法。
【具體實施方式】
[0036] 圖1是視頻編碼系統(tǒng)100的框圖示例。視頻編碼系統(tǒng)100可包括視頻編碼器300,其 接收按BT. 2020標(biāo)準(zhǔn)化的視頻流，例如超高清電視(UHDTV)視頻流102，和BT. 709視頻流104， 并且基于所述視頻流生成編碼的視頻流112。視頻編碼器300可將編碼的視頻流112發(fā)送給 視頻解碼器500。視頻解碼器500可將編碼的視頻流112解碼以生成解碼的UHDTV視頻流122 和/或解碼的BT. 709視頻流124。
[0037]與BT. 709視頻流104相比，UHDTV視頻流102可具有不同的分辨率、不同的量化位深 并且表示不同的色域。例如，UHDTV或BT. 2020視頻標(biāo)準(zhǔn)具有可支持4k(3840x2160像素)或8k (7680x4320像素)分辨率和10或12比特量化位深的格式建議。BT. 709視頻標(biāo)準(zhǔn)具有可支持 2k(1920xl080像素)分辨率和8或10比特量化位深的格式建議。UHDTV格式建議還可支持比 BT. 709格式建議更寬的色域。UHDTV視頻標(biāo)準(zhǔn)域BT. 709視頻標(biāo)準(zhǔn)之間的色域差異的實施方 式將在下面參照圖2更詳細(xì)地示出和描述。
[0038] 視頻編碼器300可包括增強(qiáng)層編碼器302和基本層編碼器304。基本層編碼器304可 例如利用實現(xiàn)運動圖像專家組(MPEG)-2標(biāo)準(zhǔn)等的編解碼器實現(xiàn)對高清(HD)內(nèi)容的視頻編 碼。增強(qiáng)層編碼器302可實現(xiàn)對UHDTV內(nèi)容的視頻編碼。在一些實施方式中，增強(qiáng)層編碼器 302可通過從基本層編碼器302中編碼的BT.709圖像幀利用運動補(bǔ)償預(yù)測、幀內(nèi)預(yù)測和縮放 顏色預(yù)測生成UHDTV圖像幀的至少一部分的預(yù)測來對UHDTV視頻幀進(jìn)行編碼。視頻編碼器 300可利用所述預(yù)測來生成預(yù)測殘差，例如預(yù)測與UHDTV圖像幀之間的差異，并且將所述預(yù) 測殘差編碼在編碼的視頻流112中。
[0039]在一些實施方式中，當(dāng)視頻編碼器300使用從BT.709圖像幀的縮放顏色預(yù)測時，視 頻編碼器300可將顏色預(yù)測參數(shù)114發(fā)送給視頻解碼器500。顏色預(yù)測參數(shù)114可包括由視頻 編碼器300用來生成縮放顏色預(yù)測的參數(shù)。例如，視頻編碼器300可通過獨立顏色信道預(yù)測 或者基于仿射矩陣的顏色預(yù)測來生成縮放顏色預(yù)測，獨立顏色信道預(yù)測或者基于仿射矩陣 的顏色預(yù)測各自具有不同的參數(shù)，例如每信道的增益參數(shù)或者每信道的增益參數(shù)和偏移參 數(shù)。顏色預(yù)測參數(shù)114可包括視頻編碼器300所使用的與獨立顏色信道預(yù)測或者基于仿射矩 陣的顏色預(yù)測對應(yīng)的參數(shù)。在一些實施方式中，編碼器300可將顏色預(yù)測參數(shù)114包括在編 碼的視頻流112的規(guī)范部分中，例如序列參數(shù)集(SPS)、畫面參數(shù)集(PPS)或者編碼的視頻流 112的規(guī)范部分的另一低級區(qū)段中。在一些實施方式中，視頻編碼器300可利用默認(rèn)顏色預(yù) 測參數(shù)114，這些默認(rèn)顏色預(yù)測參數(shù)可存在于視頻解碼器500中，從而使得視頻編碼器300不 必向視頻解碼器500發(fā)送顏色預(yù)測參數(shù)114。視頻編碼器300的實施例將在下面更詳細(xì)地描 述。
[0040] 視頻解碼器500可包括增強(qiáng)層解碼器502和基本層解碼器504?；緦咏獯a器504可 例如利用實現(xiàn)運動圖像專家組(MPEG)-2標(biāo)準(zhǔn)等的編解碼器來實現(xiàn)對高清(HD)內(nèi)容的視頻 解碼，并且將編碼的視頻流112解碼以生成解碼的BT.709視頻流124。增強(qiáng)層解碼器502可實 現(xiàn)對UHDTV內(nèi)容的視頻解碼并且將編碼的視頻流112解碼以生成解碼的UHDTV視頻流122。
[0041] 在一些實施方式中，增強(qiáng)層解碼器502可將編碼的視頻流112的至少一部分解碼為 UHDTV視頻幀的預(yù)測殘差。增強(qiáng)層解碼器502可生成視頻編碼器300在編碼期間所生成的 UHDTV圖像幀的相同或相似的預(yù)測，然后將所述預(yù)測與預(yù)測殘差組合以生成解碼的UHDTV視 頻流122。增強(qiáng)層解碼器502可從基本層解碼器504中解碼的BT. 709圖像幀通過運動補(bǔ)償預(yù) 測、幀內(nèi)預(yù)測或縮放顏色預(yù)測生成UHDTV圖像幀的預(yù)測。視頻編碼器400的實施方式將在下 面更詳細(xì)地描述。
[0042] 盡管圖1示出利用視頻編碼器300和視頻解碼器500對UHDTV視頻流和BT. 709視頻 流的基于顏色預(yù)測的視頻編碼，在一些實施方式中，可利用基于顏色預(yù)測的視頻編碼對表 示不同色域的任何視頻流進(jìn)行編碼或解碼。
[0043] 圖2是示出BT . 709視頻標(biāo)準(zhǔn)中和UHDTV視頻標(biāo)準(zhǔn)中所支持的色域的示例曲線圖 200。參照圖2,曲線圖200示出國際照明委員會(CIEH931色度xy圖格式的色域的二維表示。 曲線圖200包括標(biāo)準(zhǔn)觀測者色域210以表示由CIE在1931確定的標(biāo)準(zhǔn)人觀測者可看到的顏色 范圍。曲線圖200包括UHDTV色域220以表示UHDTV視頻標(biāo)準(zhǔn)所支持的顏色范圍。曲線圖200包 括BT.709色域230以表示BT.709視頻標(biāo)準(zhǔn)所支持的顏色范圍，它比UHDTV色域220窄。該曲線 圖還包括表示白色240的點，其包括在標(biāo)準(zhǔn)觀測者色域210、UHDTV色域220和BT. 709色域230 中。
[0044]圖3A和圖3B是圖1所示的視頻編碼器300的框圖示例。參照圖3A，視頻編碼器300可 包括增強(qiáng)層編碼器302和基本層編碼器304。基本層編碼器304可包括視頻輸入362以接收具 有HD圖像幀的BT. 709視頻流104。基本層編碼器304可包括編碼預(yù)測環(huán)路364以對從視頻輸 入362接收的BT. 709視頻流104進(jìn)行編碼，并且將BT. 709視頻流的重構(gòu)的幀存儲在參考緩沖 器368中。參考緩沖器368可將重構(gòu)的BT. 709圖像幀返回提供給編碼預(yù)測環(huán)路364以用于對 BT.709視頻流104的相同幀的其它部分或其它幀進(jìn)行編碼。參考緩沖器368可存儲由編碼預(yù) 測環(huán)路364編碼的圖像幀?；緦泳幋a器304可包括熵編碼功能366以對來自編碼預(yù)測環(huán)路 364的BT. 709視頻流的編碼版本執(zhí)行熵編碼操作，并且將熵編碼的流提供給輸出接口 380。 [0045] 增強(qiáng)層編碼器302可包括視頻輸入310以接收具有UHDTV圖像幀的UHDTV視頻流 102。增強(qiáng)層編碼器302可生成UHDTV圖像幀的預(yù)測并且利用該預(yù)測來生成預(yù)測殘差，例如利 用組合功能315確定的預(yù)測與UHDTV圖像幀之間的差異。在一些實施方式中，組合功能315可 包括例如線性加權(quán)的加權(quán)以從UHDTV圖像幀的預(yù)測生成預(yù)測殘差。增強(qiáng)層編碼器302可利用 變換和量化功能320對預(yù)測殘差進(jìn)行變換和量化。熵編碼功能330可對變換和量化功能320 的輸出進(jìn)行編碼，并且將熵編碼的流提供給輸出接口 380。輸出接口 380可將來自熵編碼功 能366和330的熵編碼的流復(fù)用以生成編碼的視頻流112。
[0046] 增強(qiáng)層編碼器302可包括顏色空間預(yù)測器400、運動補(bǔ)償預(yù)測功能354和幀內(nèi)預(yù)測 器356，其各自可生成UHDTV圖像幀的預(yù)測。增強(qiáng)層編碼器302可包括預(yù)測選擇功能350以選 擇由顏色空間預(yù)測器400、運動補(bǔ)償預(yù)測功能354和/或幀內(nèi)預(yù)測器356生成的預(yù)測以提供給 組合功能315。
[0047]在一些實施方式中，運動補(bǔ)償預(yù)測功能354和幀內(nèi)預(yù)測器356可基于先前由增強(qiáng)層 編碼器302編碼和解碼的UHDTV圖像幀來生成其相應(yīng)的預(yù)測。例如，在預(yù)測殘差已被變換和 量化之后，變換和量化功能320可將變換和量化的預(yù)測殘差提供給縮放和逆變換功能322， 其結(jié)果可在組合功能325中與用于生成預(yù)測殘差的預(yù)測組合并生成解碼的UHDTV圖像幀。組 合功能325可將解碼的UHDTV圖像幀提供給解塊功能351，解塊功能351可將解碼的UHDTV圖 像幀存儲在參考緩沖器340中，該參考緩沖器340保存解碼的UHDTV圖像幀以便于運動補(bǔ)償 預(yù)測功能354和幀內(nèi)預(yù)測器356使用。在一些實施方式中，例如，解塊功能351可對解碼的 UHDTV圖像幀進(jìn)行濾波，以使圖像中與解碼的UHDTV圖像幀對應(yīng)的宏塊之間的銳邊平滑。 [0048]運動補(bǔ)償預(yù)測功能354可從參考緩沖器340接收一個或更多個解碼的UHDTV圖像 幀。運動補(bǔ)償預(yù)測功能354可基于來自參考緩沖器340的一個或更多個解碼的UHDTV圖像幀 與UHDTV圖像幀之間的圖像運動來生成當(dāng)前UHDTV圖像幀的預(yù)測。
[0049]幀內(nèi)預(yù)測器356可從參考緩沖器340接收當(dāng)前UHDTV圖像幀的第一部分。幀內(nèi)預(yù)測 器356可至少基于先前由增強(qiáng)層編碼器302編碼和解碼的當(dāng)前UHDTV圖像幀的第二部分來生 成與當(dāng)前UHDTV圖像幀的第一部分對應(yīng)的預(yù)測。
[0050] 顏色空間預(yù)測器400可基于先前由基本層編碼器304編碼的BT.709圖像幀來生成 UHDTV圖像幀的預(yù)測。在一些實施方式中，基本層編碼器304中的參考緩沖器368可將重構(gòu)的 BT. 709圖像幀提供給分辨率升頻(upscaling)功能370,該分辨率升頻功能370可將重構(gòu)的 BT. 709圖像幀的分辨率縮放至與UHDTV視頻流102對應(yīng)的分辨率。分辨率升頻功能370可將 重構(gòu)的BT.709圖像幀的分辨率升頻版本提供給顏色空間預(yù)測器400。顏色空間預(yù)測器可基 于重構(gòu)的BT. 709圖像幀的分辨率升頻版本來生成UHDTV圖像幀的預(yù)測。在一些實施方式中， 顏色空間預(yù)測器400可將重構(gòu)的BT.709圖像幀的分辨率升頻版本的YUV顏色空間縮放為與 UHDTV視頻流102所支持的YUV表示對應(yīng)。
[0051] 顏色空間預(yù)測器400有多種方式來將BT. 709視頻編碼標(biāo)準(zhǔn)所支持的顏色空間縮放 至UHDTV視頻流102所支持的顏色空間，例如獨立信道預(yù)測和仿射混合信道預(yù)測。獨立信道 預(yù)測可包括將用于BT. 709圖像幀的YUV顏色空間的各個部分分別轉(zhuǎn)換為UHDTV圖像幀的預(yù) 測?？筛鶕?jù)式1來縮放Y部分或亮度：
[0052] Yuhdtv = gi · Ybt.7。9+〇1
[0053] 可根據(jù)式2來縮放U部分或色度部分之一：
[0054] Uuhdtv =g2 · Ubt. 709+02
[0055] 可根據(jù)式3來縮放V部分或色度部分之一：
[0056] Vuhdtv =g3 · Vbt. 709+03
[0057] 增益參數(shù)8142和83以及偏移參數(shù)〇1、〇2和〇3可基于81'.709視頻編碼標(biāo)準(zhǔn)和11!1017 視頻標(biāo)準(zhǔn)所支持的顏色空間的差異，并且可根據(jù)各個BT. 709圖像幀和UHDTV圖像幀的內(nèi)容 而變化。例如，增強(qiáng)層編碼器304可經(jīng)由輸出接口 380將由顏色空間預(yù)測器400用來生成 UHDTV圖像幀的預(yù)測的增益參數(shù)gl、g2和g3以及偏移參數(shù)〇1、〇2和〇3輸出給視頻解碼器500 作為顏色預(yù)測參數(shù)114。
[0058]在一些實施方式中，獨立信道預(yù)測可包括增益參數(shù)gl、g2和g3以及零(zero)參數(shù)。 可根據(jù)式4來縮放Y部分或亮度：
[0059] YuHDTV = gi · (YBT.7〇9~Yzer〇BT.7〇9)+YzerouHDTV
[0060] 可根據(jù)式5來縮放U部分或色度部分之一：
[0061] Uuhdtv = g2 ·(Ubt. 7〇9-Uzer〇BT. 7〇9)+UzerouHDTV
[0062] 可根據(jù)式6來縮放V部分或色度部分之一：
[0063] VuHDTV = g3 · (VBT.7〇9~Vzer〇BT.7〇9)+VzerouHDTV
[0064] 增益參數(shù)gl、g2和g3可基于BT. 709視頻編碼標(biāo)準(zhǔn)和UHDTV視頻標(biāo)準(zhǔn)所支持的顏色 空間的差異，并且可根據(jù)各個BT. 709圖像幀和UHDTV圖像幀的內(nèi)容而變化。例如，增強(qiáng)層編 碼器304可經(jīng)由輸出接口 380將由顏色空間預(yù)測器400用來生成UHDTV圖像幀的預(yù)測的增益 參數(shù)gl、g2和g3輸出給視頻解碼器500作為顏色預(yù)測參數(shù)114。由于視頻解碼器500可被預(yù)載 零參數(shù)，所以視頻編碼器300可生成并向視頻解碼器500發(fā)送較少顏色預(yù)測參數(shù)114,例如三 個而非六個。
[0065] 在一些實施方式中，式4-6中所使用的零參數(shù)可基于顏色信道和相關(guān)顏色空間的 位深來定義。例如，在表1中，零參數(shù)可如下定義：
[0066][表1]
[0068]表 1
[0069]仿射混合信道預(yù)測可包括通過例如經(jīng)由矩陣乘法功能將BT. 709圖像幀的YUV信道 混合來轉(zhuǎn)換用于BT. 709圖像幀的YUV顏色空間以生成UHDTV圖像幀的預(yù)測。在一些實施方式 中，可根據(jù)式7來縮放BT.709的顏色空間：
[0070]
[0071 ]矩陣參數(shù) mil、m12、ml3、m21、m22、m23、m31、m32 和 m33 以及偏移參數(shù) ol、〇2 和 〇3 可基 于BT.709視頻格式建議和UHDTV視頻格式建議所支持的顏色空間的差異，并且可根據(jù)各個 BT. 709圖像幀和UHDTV圖像幀的內(nèi)容而變化。例如，增強(qiáng)層編碼器304可經(jīng)由輸出接口 380將 由顏色空間預(yù)測器400用來生成UHDTV圖像幀的預(yù)測的矩陣和偏移參數(shù)輸出給視頻解碼器 500作為顏色預(yù)測參數(shù)114。
[0072]在一些實施方式中，可根據(jù)式8來縮放BT.709的顏色空間：
[0073]
[0074] 矩陣參數(shù)11111、11112、11113、11122和11133以及偏移參數(shù)〇1、〇2和〇3可基于81'.709視頻編碼 標(biāo)準(zhǔn)和UHDTV視頻標(biāo)準(zhǔn)所支持的顏色空間的差異，并且可根據(jù)各個BT. 709圖像幀和UHDTV圖 像幀的內(nèi)容而變化。例如，增強(qiáng)層編碼器304可經(jīng)由輸出接口 380將由顏色空間預(yù)測器400用 來生成UHDTV圖像幀的預(yù)測的矩陣和偏移參數(shù)輸出給視頻解碼器500作為顏色預(yù)測參數(shù) 114〇
[0075] 通過用零取代矩陣參數(shù)m21、m23、m31和m32，UHDTV圖像幀預(yù)測的亮度信道Y可與 BT. 709圖像幀的顏色信道U和V混合，但是UHDTV圖像幀預(yù)測的顏色信道U和V可能沒有與 BT.709圖像幀的亮度信道Y混合。選擇性信道混合可在減少發(fā)送給視頻解碼器500的預(yù)測參 數(shù)114的數(shù)量的同時，允許亮度信道UHDTV圖像幀預(yù)測的更精確的預(yù)測。
[0076]在一些實施方式中，可根據(jù)式9來縮放BT.709的顏色空間：
[0077]
[0078] 矩陣參數(shù) 11111、11112、11113、11122、11123、11132和11133以及偏移參數(shù)〇1、〇2和〇3可基于81\709 視頻標(biāo)準(zhǔn)和UHDTV視頻標(biāo)準(zhǔn)所支持的顏色空間的差異，并且根據(jù)各個BT. 709圖像幀和UHDTV 圖像幀的內(nèi)容而變化。例如，增強(qiáng)層編碼器304可經(jīng)由輸出接口 380將由顏色空間預(yù)測器400 用來生成UHDTV圖像幀的預(yù)測的矩陣和偏移參數(shù)輸出給視頻解碼器500作為顏色預(yù)測參數(shù) 114〇
[0079]通過用零取代矩陣參數(shù)m21和m31，UHDTV圖像幀預(yù)測的亮度信道Y可與BT. 709圖像 幀的顏色信道U和V混合。UHDTV圖像幀預(yù)測的U和V顏色信道可與BT. 709圖像幀的U和V顏色 信道混合，但是未與BT.709圖像幀的亮度信道Y混合。選擇性信道混合可在減少發(fā)送給視頻 解碼器500的預(yù)測參數(shù)114的數(shù)量的同時，允許亮度信道UHDTV圖像幀預(yù)測的更精確的預(yù)測。
[0080]顏色空間預(yù)測器400可基于每序列（幀間）、每幀或每切片（幀內(nèi)）來為預(yù)測選擇功 能350生成縮放的顏色空間預(yù)測，并且視頻編碼器300可基于每序列（幀間）、每幀或每切片 (幀內(nèi)）發(fā)送與縮放的顏色空間預(yù)測對應(yīng)的預(yù)