用于具有增強(qiáng)動(dòng)態(tài)范圍的超高清視頻信號(hào)的向后兼容編碼的制作方法
【專利說明】用于具有増強(qiáng)動(dòng)態(tài)范圍的超高清視頻信號(hào)的向后兼容編碼
[0001] 相關(guān)申請(qǐng)的交叉引用
[0002] 本申請(qǐng)要求以下申請(qǐng)的優(yōu)先權(quán)：2013年1月2日提交的第61/748, 411號(hào)的美國(guó) 臨時(shí)申請(qǐng)、2013年5月8日提交的第61/821，173號(hào)的美國(guó)臨時(shí)申請(qǐng)；以及2013年9月26 日提交的第61/882, 773號(hào)的美國(guó)臨時(shí)專利申請(qǐng)，所有這些申請(qǐng)的全部?jī)?nèi)容都通過引用并 入本文。
技術(shù)領(lǐng)域
[0003] 本發(fā)明總體上涉及圖像。更特別地，本發(fā)明的實(shí)施例涉及具有增強(qiáng)動(dòng)態(tài)范圍的高 清信號(hào)的向后兼容的編碼和解碼。
【背景技術(shù)】
[0004] 音頻和視頻壓縮是多媒體內(nèi)容的開發(fā)、存儲(chǔ)、發(fā)布和消費(fèi)中的關(guān)鍵組成部分。壓縮 方法的選擇涉及編碼效率、編碼復(fù)雜度和延遲之間的權(quán)衡。隨著處理能力對(duì)計(jì)算成本的比 率增大，使得可以開發(fā)出允許更高效的壓縮的更復(fù)雜的壓縮技術(shù)。作為例子，在視頻壓縮 中，來自國(guó)際標(biāo)準(zhǔn)組織（ISO)的運(yùn)動(dòng)圖像專家組（MPEG)通過發(fā)布MPEG-2、MPEG-4(第2部 分）和H. 264/AVC (或MPEG-4,第10部分）編碼標(biāo)準(zhǔn)來持續(xù)地改進(jìn)最初的MPEG-1視頻標(biāo) 準(zhǔn)。
[0005] 盡管H. 264的壓縮效率和成就，被稱為高效率視頻編碼（HEVC)的新一代視頻壓縮 技術(shù)現(xiàn)在正在開發(fā)之中。HEVC有望提供優(yōu)于現(xiàn)有的H. 264 (也被稱為AVC)標(biāo)準(zhǔn)的改進(jìn)的壓 縮能力，關(guān)于 HEVC 的草稿可在 B. Bross、W. -J. Han、G. J. Sullivan、J. -R. Ohm 和 T. Wiegand 的"high efficiency video coding(HEVC)text specification draft 8"，ITU-T/ISO/ IEC Joint Collaborative Team on Video Coding(JCT-VC)document JCTVC-J1003, July 2012中獲得，該文獻(xiàn)的全部?jī)?nèi)容通過引用并入本文，現(xiàn)有的H. 264標(biāo)準(zhǔn)被發(fā)表為"Advanced Video Coding for generic audio-visual services"，ITU T Rec. H. 264 和 ISO/ IEC14496-10，該標(biāo)準(zhǔn)的全部?jī)?nèi)容通過引用并入本文。
[0006] 視頻信號(hào)可以用多個(gè)參數(shù)來表征，諸如位深、顏色空間、色域和分辨率?，F(xiàn)代的電 視和視頻回放設(shè)備（例如，藍(lán)光播放器）支持多種分辨率，包括標(biāo)清（例如，720 X480i)和 高清（HD)(例如，1920X 1080p)。超高清（UHD)是至少具有3, 840X2, 160分辨率（被稱為 4K UHD)并且具有高達(dá)7680X4320 (被稱為8K UHD)的選項(xiàng)的下一代分辨率格式。超高清 還可以被稱為Ultra HD、UHDTV或超高視覺。如本文中所使用的，UHD表示高于HD分辨率 的任何分辨率。
[0007] 視頻信號(hào)的特性的另一方面是其動(dòng)態(tài)范圍。動(dòng)態(tài)范圍OR)是圖像中的強(qiáng)度（例 如，亮度，luma)的范圍（例如，從最黑暗的暗色到最明亮的亮色）。如本文中所使用的，術(shù) 語(yǔ)"動(dòng)態(tài)范圍"(DR)可以與人類心理視覺系統(tǒng)（HVS)感知圖像中的強(qiáng)度（例如，亮度，luma) 的范圍（例如，從最黑暗的暗色到最明亮的亮色）的能力相關(guān)。從這個(gè)意義上來說，DR與 "參考場(chǎng)景的"強(qiáng)度相關(guān)。DR還可以與顯示設(shè)備充分地或逼近地呈現(xiàn)具有特定廣度的強(qiáng)度 范圍的能力相關(guān)。從這個(gè)意義上來說，DR與"參考顯示器的"強(qiáng)度相關(guān)。除非特定意義在本 文的描述中的任何地方被明確地指定具有特殊重要性，否則應(yīng)推斷該術(shù)語(yǔ)例如可互換地用 于兩者之中任何一種意義上。
[0008] 如本文中所使用的，術(shù)語(yǔ)高動(dòng)態(tài)范圍（HDR)與跨越人類視覺系統(tǒng)（HVS)的14-15 個(gè)數(shù)量級(jí)的DR廣度相關(guān)。例如，（例如，從統(tǒng)計(jì)意義、生物計(jì)量意義或眼科意義中的一個(gè)或 多個(gè)上來說）基本正常的適應(yīng)性強(qiáng)的人具有跨越大約15個(gè)數(shù)量級(jí)的強(qiáng)度范圍。具有適應(yīng) 性的人可以感知到少到僅少數(shù)幾個(gè)光子的昏暗光源。然而，同樣的這些人可以在沙漠中、在 海中或者在雪中感知到正午的太陽(yáng)的幾乎令人痛苦地耀眼的強(qiáng)度（或者甚至望向太陽(yáng)，但 是短暫地望向太陽(yáng)以防止傷害）。不過，該跨度可供"具有適應(yīng)性的"人（例如，其HVS具有 在其中進(jìn)行重置和調(diào)整的時(shí)間段的那些人）使用。
[0009] 相比之下，在其上人類可以同時(shí)感知到強(qiáng)度范圍中的廣泛廣度的DR相對(duì)于HDR而 言可能有所截?cái)?。如本文中所使用的，術(shù)語(yǔ)"增強(qiáng)動(dòng)態(tài)范圍"（EDR)、"視覺動(dòng)態(tài)范圍"或"可 變動(dòng)態(tài)范圍"(VDR)可以單獨(dú)地或者可互換地與HVS可同時(shí)感知的DR相關(guān)。如本文中所使 用的，EDR可以與跨越5-6個(gè)數(shù)量級(jí)的DR相關(guān)。因此，雖然可能相對(duì)于真實(shí)的場(chǎng)景參考HDR 而言有些窄，但是EDR卻表示寬泛的DR廣度。如本文中所使用的，術(shù)語(yǔ)"同時(shí)動(dòng)態(tài)范圍"可 以與EDR相關(guān)。
[0010] 為了支持與老式回放設(shè)備以及新式HDR或UHD顯示技術(shù)的向后兼容性，可以使用 多個(gè)層來將UHD和HDR(或EDR)視頻數(shù)據(jù)從上游設(shè)備遞送到下游設(shè)備。給定這樣的多層流， 老式解碼器可以使用基本層來重構(gòu)內(nèi)容的HD SDR版本。高級(jí)解碼器可以使用基本層和增 強(qiáng)層兩層來重構(gòu)內(nèi)容的UHD EDR版本以在更有能力的顯示器上呈現(xiàn)它。如這里的發(fā)明人所 意識(shí)到的，改進(jìn)的UHD EDR視頻編碼技術(shù)是令人期望的。
[0011] 本章節(jié)中所描述的方法是可以尋求的方法，但是不一定是以前已經(jīng)設(shè)想過或?qū)で?過的方法。因此，除非另有指示，否則不應(yīng)僅因本章節(jié)中所描述的任一方法被包括在本章節(jié) 中就假定該方法作為現(xiàn)有技術(shù)。類似地，對(duì)于一種或多種方法被標(biāo)識(shí)的問題不應(yīng)基于本章 節(jié)就被假定已經(jīng)在任何現(xiàn)有技術(shù)中被認(rèn)識(shí)到，除非另有指示。
【附圖說明】
[0012] 本發(fā)明的實(shí)施例在附圖的圖中以舉例的方式、而不是以限制的方式被例示，在附 圖中，相似的標(biāo)號(hào)指代類似的元件，其中：
[0013] 圖1描繪根據(jù)本發(fā)明的實(shí)施例的UHD EDR編碼系統(tǒng)的示例實(shí)現(xiàn)；
[0014] 圖2描繪根據(jù)本發(fā)明的實(shí)施例的UHD EDR解碼系統(tǒng)的示例實(shí)現(xiàn)；
[0015] 圖3描繪根據(jù)本發(fā)明的實(shí)施例的圖1中所描繪的系統(tǒng)的變型，其中，基本層包括隔 行信號(hào)（interlaced signal)；
[0016] 圖4描繪根據(jù)本發(fā)明的實(shí)施例的圖2的解碼系統(tǒng)的變型，其中，基本層包括隔行視 頻信號(hào)；
[0017] 圖5描繪根據(jù)本發(fā)明的實(shí)施例的用于增強(qiáng)層中的殘差信號(hào)的非線性量化器的示 例實(shí)現(xiàn)；
[0018] 圖6A描繪根據(jù)本發(fā)明的實(shí)施例的殘差像素的自適應(yīng)預(yù)量化處理；和
[0019] 圖6B描繪根據(jù)本發(fā)明的實(shí)施例的設(shè)置用于殘差信號(hào)的非線性量化器的下輸入邊 界或上輸入邊界的自適應(yīng)處理。
【具體實(shí)施方式】
[0020] 本文描述了具有增強(qiáng)動(dòng)態(tài)范圍的超高清信號(hào)的向后兼容編碼。給定可以用如下 兩個(gè)信號(hào)表示的輸入視頻信號(hào)：一個(gè)信號(hào)具有超高清（UHD)分辨率和高或增強(qiáng)動(dòng)態(tài)范圍 (EDR)，另一個(gè)信號(hào)具有UHD (或較低）分辨率和標(biāo)準(zhǔn)動(dòng)態(tài)范圍（SDR)，這兩個(gè)信號(hào)被編碼在 向后兼容的分層流中，這使得老式解碼器可以提取HD標(biāo)準(zhǔn)動(dòng)態(tài)范圍（SDR)信號(hào)并且使得新 式解碼器可以提取UHD EDR信號(hào)。
[0021] 在以下描述中，為了說明的目的，闡述了許多特定細(xì)節(jié)，以便提供本發(fā)明的透徹理 解。然而，將顯而易見的是，可以在沒有這些特定細(xì)節(jié)的情況下實(shí)施本發(fā)明。在其它情況下， 不對(duì)公知的結(jié)構(gòu)和設(shè)備進(jìn)行詳盡的描述，以便避免不必要地模糊本發(fā)明。
[0022] 概述
[0023] 本文中所描述的示例實(shí)施例涉及具有增強(qiáng)動(dòng)態(tài)范圍的超高清信號(hào)的向后兼容的 編碼和解碼。給定用如下兩個(gè)信號(hào)表示的輸入視頻信號(hào)：一個(gè)信號(hào)具有超高清（UHD)分 辨率和高或增強(qiáng)動(dòng)態(tài)范圍（EDR)，另一個(gè)信號(hào)具有UHD(或較低）分辨率和標(biāo)準(zhǔn)動(dòng)態(tài)范圍 (SDR)，這兩個(gè)信號(hào)被編碼在向后兼容的分層流中，這使得老式解碼器可以提取HD標(biāo)準(zhǔn)動(dòng) 態(tài)范圍（SDR)信號(hào)并且使得新式解碼器可以提取UHDEDR信號(hào)。響應(yīng)于基本層HD SDR信號(hào)， 使用單獨(dú)的亮度預(yù)測(cè)模型和色度預(yù)測(cè)模型產(chǎn)生預(yù)測(cè)信號(hào)。在亮度預(yù)測(cè)器中，僅基于基本層 的亮度像素值計(jì)算預(yù)測(cè)信號(hào)的亮度像素值，而在色度預(yù)測(cè)器中，基于基本層的亮度像素值 和色度像素值兩者計(jì)算預(yù)測(cè)信號(hào)的色度像素值。基于輸入的UHD EDR信號(hào)和預(yù)測(cè)信號(hào)計(jì)算 殘差信號(hào)。分別對(duì)基本層信號(hào)和殘差信號(hào)進(jìn)行編碼以形成編碼的位流。
[0024] 在另一實(shí)施例中，接收器對(duì)所接收的分層位流進(jìn)行解復(fù)用以產(chǎn)生HD分辨率的、標(biāo) 準(zhǔn)動(dòng)態(tài)范圍（SDR)的編碼的基本層（BL)流和UHD分辨率的、增強(qiáng)動(dòng)態(tài)范圍（EDR)的編碼的 增強(qiáng)層流。使用BL解碼器對(duì)編碼的BL流進(jìn)行解碼以產(chǎn)生HD分辨率的、標(biāo)準(zhǔn)動(dòng)態(tài)范圍的解 碼的BL信號(hào)。響應(yīng)于解碼的BL信號(hào)，產(chǎn)生預(yù)測(cè)EDR信號(hào)，其中，該預(yù)測(cè)信號(hào)的亮度分量的 像素值僅基于解碼的BL信號(hào)的亮度像素值被預(yù)測(cè)，而該預(yù)測(cè)信號(hào)的至少一個(gè)色度分量的 像素值基于解碼的BL信號(hào)的亮度值和色度值兩者被預(yù)測(cè)。使用EL解碼器對(duì)編碼的EL流 進(jìn)行解碼以產(chǎn)生解碼的殘差信號(hào)。響應(yīng)于解碼的殘差信號(hào)和預(yù)測(cè)信號(hào)，還可以產(chǎn)生輸出UHD EDR信號(hào)。
[0025] 在另一實(shí)施例中，增強(qiáng)層中的殘差信號(hào)在用非線性量化器量化之前進(jìn)行自適應(yīng)預(yù) 處理。在一個(gè)實(shí)施例中，如果殘差像素值周圍的像素的標(biāo)準(zhǔn)差低于閾值，則將這些殘差像素 值預(yù)量化為零。
[0026] 在另一實(shí)施例中，根據(jù)具有非常大的或非常小的像素值的殘差像素的像素連接性 的度量，限制非線性量化器的輸入范圍。
[0027] 在另一實(shí)施例中，基于場(chǎng)景中的連續(xù)幀序列上的殘差像素的極值來設(shè)置非線性量 化器的參數(shù)。
[0028] 用于超高清EDR信號(hào)的編碼器
[0029] 現(xiàn)有的顯示和回放設(shè)備，諸如HDTV、機(jī)頂盒或藍(lán)光播放器，通常支持高達(dá)1080p HD分辨率（例如，以每秒60幀的1920X1080)的信號(hào)。對(duì)于消費(fèi)者應(yīng)用，現(xiàn)在通常以亮 度-色度顏色格式使用每一顏色分量每一像素8位的位深對(duì)這樣的信號(hào)進(jìn)行壓縮，在所述 亮度-色度顏色格式中，通常，色度分量具有比亮度分量低的分辨率（例如，YCbCr或YUV 4:2:0顏色格式）。因?yàn)?位深度和相應(yīng)的低動(dòng)態(tài)范圍，這樣的信號(hào)通常被稱為具有標(biāo)準(zhǔn)動(dòng) 態(tài)范圍（SDR)的信號(hào)。
[0030] 隨著新的電視標(biāo)準(zhǔn)（諸如超高清（UHD))正被開發(fā)，可能可取的是，以老式HDTV解 碼器和新式UHD解碼器都可以處理的格式對(duì)具有增強(qiáng)分辨率和/或增強(qiáng)動(dòng)態(tài)范圍的信號(hào)進(jìn) 行編碼。
[0031] 圖1描繪了支持具有增強(qiáng)動(dòng)態(tài)范圍（EDR)的UHD信號(hào)的向后兼