用于層間視頻解碼和編碼設備和方法的對深度圖像的場景內預測方法
【技術領域】
[0001] 本發(fā)明構思設及層間視頻編碼和解碼方法，更具體地講，設及一種將在用于對深 度圖像進行編碼和解碼的方法和設備中使用的對深度圖像的屏幕內預測的方法。
【背景技術】
[0002] 立體圖像是指連同深度數(shù)據(jù)和關于空間的形狀數(shù)據(jù)一起提供圖像數(shù)據(jù)的=維 (3D)圖像。盡管立體感圖像（stereo-image)提供分別與左眼和右眼的不同視點相應的圖 像，但立體圖像提供圖像使得每當觀察者改變他或她的視點時圖像如同從不同位置被看到 一樣。因此，需要在多個視點捕獲的圖像W產生立體圖像。
[0003] 為了產生立體圖像而在多個視點捕獲的圖像構成大量的數(shù)據(jù)。因此，考慮到網(wǎng)絡 基礎架構和地面帶寬，即使通過使用針對單視點視頻編碼技術饋如，MPEG-2、H.265/AVC和 肥VC)而優(yōu)化的編碼設備來對立體圖像進行編碼，也不可能顯示立體圖像。
[0004] 因此，需要多視點（多層）圖像編碼設備來產生立體圖像。具體地講，需要開發(fā)用于 有效減少時間點和視點之間的冗余的技術。
[0005] 例如，多視點視頻編解碼器可通過使用單視點視頻編碼技術對基本視點進行壓縮 并通過參考基本視點來對擴展的視點進行編碼，從而提高壓縮效率。另外，通過進一步對如 同深度圖像的附加數(shù)據(jù)進行編碼，可產生包括比經由解碼器輸入的視點更多的視點的圖 像。運里，深度圖像用于對中間視點圖像進行合成，而不被直接顯示給用戶，其中，深度圖像 的退化使合成的圖像的質量惡化。因此，需要不僅有效地對多視點視頻進行壓縮還有效地 對深度圖像進行壓縮的多視點視頻編解碼器。

【發(fā)明內容】

[0006] 技術問題
[0007] 由于深度圖像是用于在解碼器中對中間視點圖像進行合成的附加數(shù)據(jù)，因此需要 考慮深度圖像對合成后的圖像的影響而對深度圖像進行編碼。深度圖像的深度值在對象的 邊界顯著地改變，并且在對象內部的改變相對不顯著。具體地講，使在與顯著改變的深度值 相應的對象的邊界處發(fā)生的誤差最小化可使合成的圖像誤差最小化。
[000引同時，為了對深度圖像進行編碼，可經由特定預測模式（例如，DC模式、平面模式 (planar mode)和深度建模模式(DMM)預測模式)對當前塊進行編碼。具體來說，確定用于將 被編碼的塊的均值（W下，稱為"DC值"），并通過將確定的DC值映射到深度查找表來計算索 引。另外，編碼設備僅將基于原始塊的DC值計算出的索引與基于預測塊的DC值計算出的索 引之間的差發(fā)送到解碼設備。
[0009]同時，用于將屬于預測塊的所有像素值求和并將總和除W相應像素的數(shù)量的計算 處理用于計算用于預測塊的DC值，其中，運樣的用于對像素值進行累加和除法的計算處理 會增加編碼設備和解碼設備的復雜度。
[0010] 解決方案
[0011]根據(jù)本發(fā)明構思的一方面，提供了一種層間視頻解碼方法，包括:從比特流獲得關 于深度圖像的當前塊的預測模式信息;基于獲得的預測模式信息產生當前塊的預測塊;通 過使用預測塊的與特定位置相應的像素值對預測塊的均值進行預測;通過使用預測塊的均 值對深度圖像進行解碼。
[0012]有益效果
[0013] 根據(jù)基于一些示例性實施例的層間視頻解碼/編碼設備和方法，可有效地對深度 圖像進行編碼或解碼，進而降低設備的復雜度并有效地產生具有合成的視點的圖像。
【附圖說明】
[0014] 圖Ia是根據(jù)一些示例性實施例的層間視頻編碼設備的框圖。
[0015] 圖化是根據(jù)一些示例性實施例的視頻編碼方法的流程圖。
[0016] 圖2a是根據(jù)一些示例性實施例的層間視頻解碼設備的框圖。
[0017]圖化是示出根據(jù)一些示例性實施例的層間解碼方法的流程圖。
[0018] 圖3是根據(jù)一些示例性實施例的層間預測結構的示圖。
[0019] 圖4a是用于描述根據(jù)一些示例性實施例的計算用于預測塊的均值的方法的示圖。
[0020] 圖4b是用于描述根據(jù)一些示例性實施例的計算用于預測塊的均值的方法的另一 示例的示圖。
[0021] 圖4c是用于描述根據(jù)一些示例性實施例的計算用于使用DMM預測模式的預測塊的 均值的方法的示圖。
[0022] 圖5a是示出根據(jù)一些示例性實施例的通過使用用于預測塊的均值和深度查找表 來對深度圖像進行編碼的方法的流程圖。
[0023] 圖加是示出根據(jù)一些示例性實施例的通過使用用于預測塊的均值和深度查找表 對深度圖像進行解碼的方法的流程圖。
[0024] 圖6是示出根據(jù)一些示例性實施例的層間視頻解碼設備的另一示例的示圖。
[0025] 圖7a是用于描述根據(jù)一些示例性實施例的在DC預測模式下計算用于預測塊的均 值的方法的另一示例的示圖。
[0026] 圖7b是用于描述根據(jù)一些示例性實施例的在DMM預測模式下計算用于預測塊的均 值的方法的另一示例的示圖。
[0027] 圖7c是用于描述根據(jù)一些示例性實施例的在平面預測模式下計算用于預測塊的 均值的方法的示圖。
[0028] 圖8是根據(jù)一些示例性實施例的基于根據(jù)樹結構的編碼單元的視頻編碼設備的框 圖。
[0029] 圖9是根據(jù)本發(fā)明構思的一些示例性實施例的基于根據(jù)樹結構的編碼單元的視頻 解碼設備的框圖。
[0030] 圖10是用于描述根據(jù)一些示例性實施例的編碼單元的概念的示圖。
[0031] 圖11是根據(jù)一些示例性實施例的基于編碼單元的圖像編碼器的框圖。
[0032] 圖12是根據(jù)一些實施例的基于編碼單元的圖像解碼器的框圖。
[0033] 圖13是示出根據(jù)本發(fā)明構思的一些示例性實施例的編碼單元和分區(qū)的示圖。
[0034] 圖14是用于描述根據(jù)本發(fā)明構思的一些實施例的編碼單元和變換單元之間的關 系的不圖。
[0035] 圖15是用于描述根據(jù)一些示例性實施例的編碼信息的示圖。
[0036] 圖16是根據(jù)一些示例性實施例的根據(jù)深度的較深層編碼單元的示圖。
[0037] 圖17至圖19是用于描述根據(jù)一些示例性實施例的編碼單元、預測單元和變換單元 之間的關系的示圖。
[0038] 圖20是用于描述根據(jù)圖7c的編碼模式信息的編碼單元、預測單元和變換單元之間 的關系的示圖。
[0039] 圖21是根據(jù)一些示例性實施例的存儲有程序的盤的物理結果的示圖。
[0040] 圖22是用于將程序記錄到盤W及從盤讀取程序的盤驅動器的示圖。
[0041] 圖23是用于提供內容分布服務的內容供應系統(tǒng)的整體結構的示圖。
[0042] 圖24和圖25示出根據(jù)一些示例性實施例的應用了本發(fā)明構思的視頻編碼方法和 視頻解碼方法的移動電話的外部結構和內部結構。
[0043] 圖26示出根據(jù)一些示例性實施例的采用通信系統(tǒng)的數(shù)字廣播系統(tǒng)。
[0044] 圖27是示出根據(jù)一些示例性實施例的使用視頻編碼設備和視頻解碼設備的云計 算系統(tǒng)的網(wǎng)絡結構的示圖。
[0045] 最佳模式
[0046] 根據(jù)本發(fā)明構思的一方面，提供了一種層間視頻解碼方法，包括:從比特流獲得關 于深度圖像的當前塊的預測模式信息;基于獲得的預測模式信息產生當前塊的預測塊;通 過使用預測塊的與特定位置相應的像素值來對預測塊的均值進行預測;通過使用預測塊的 均值對深度圖像進行解碼。
[0047] 根據(jù)一些示例性實施例，對產生的預測塊的均值進行預測的步驟可包括:通過使 用預測塊的左上像素值、右上像素值、左下像素值和右下像素值來對產生的預測塊的均值 進行預測。
[0048] 根據(jù)一些示例性實施例，對產生的預測塊的均值進行預測的步驟可包括:通過對 預測塊的左上像素值、右上像素值、左下像素值和右下像素值進行加權求和來對產生的預 測塊的均值進行預測。
[0049] 根據(jù)一些示例性實施例，其中，對產生的預測塊的均值進行預測的步驟可包括:確 定是否存在關于深度圖像的深度查找表;如果存在深度查找表，則通過使用預測塊的左上 像素值、右上像素值、左下像素值和右下像素值來對產生的預測塊的均值進行預測。
[0050] 根據(jù)一些示例性實施例，預測塊可在DC模式、平面模式、角模式和深度建模模式 (DMM)預測模式中的一種預測模式下被預測。
[0051] 根據(jù)一些示例性實施例，通過使用預測塊的均值對深度圖像進行解碼的步驟可包 括:通過使用深度查找表來確定與預測塊的均值相應的預測索引；通過使用從比特流獲得 的索引殘差值來確定與關于當前塊的恢復塊的均值相應的恢復索引；通過使用深度查找表 來確定與恢復索引相應的恢復塊的均值;通過使用關于預測塊的均值和關于恢復塊的均值 來對深度圖像進行解碼。
[0052] 根據(jù)一些示例性實施例，層間視頻解碼方法還可包括:通過使用當前塊的至少一 個鄰近像素值來對預測塊的均值進行預測。
[0053] 根據(jù)本發(fā)明構思的一方面，提供了一種層間視頻解碼設備，包括:預測模式確定 器，從比特流獲得關于深度圖像的當前塊的預測模式信息;預測塊產生器，基于獲得的預測 模式信息產生當前塊的預測塊;均值計算器，通過使用預測塊的與特定位置相應的像素值 來對預測塊的均值進行預測;解碼器，通過使用預測塊的均值對深度圖像進行解碼。
[0054] 根據(jù)一些示例性實施例，預測模式確定器可通過使用預測塊的左上像素值、右上 像素值、左下像素值和右下像素值來對產生的預測塊的均值進行預測。
[0055] 根據(jù)一些示例性實施例，預測模式確定器可通過對預測塊的左上像素值、右上像 素值、左下像素值和右下像素值進行加權求和來對產生的預測塊的均值進行預測。
[0056] 根據(jù)一些示例性實施例，預測模式確定器可確定是否存在關于深度圖像的深度查 找表，如果存在深度查找表，則預測模式確定器通過使用預測塊的左上像素值、右上像素 值、左下像素值和右下像素值來對產生的預測塊的均值進行預測。
[0057] 根據(jù)一些示例性實施例，預測塊可在DC模式、平面模式、角模式和深度建模模式 (DMM)預測模式中的一種預測模式下被預測。
[0058] 根據(jù)一些示例性實施例，解碼器可通過使用深度查找表來確定與預測塊的均值相 應的預測索引，通過使用從比特流獲得的索引殘差值來確定與關于當前塊的恢復塊的均值 相應的恢復索引，通過使用深度查找表來確定與恢復索引相應的恢復塊的均值，通過使用 關于預測塊的均值和關于恢復塊的均值來對深度圖像進行解碼。
[0059] 根據(jù)一些示例性實施例，均值計算器可通過使用當前塊的至少一個鄰近像素值來 對預測塊的均值進行預測。
[0060] 根據(jù)本發(fā)明構思的一方面，可提供另一種方法、另一種系統(tǒng)W及一種記錄有用于 實現(xiàn)層間視頻解碼方法的計算機程序的非暫時性計算機可讀記錄介質。
【具體實施方式】
[0061] W下，將參照圖Ia至圖7c描述用于根據(jù)示例性實施例的層間視頻解碼和編碼的方 法和設備的對深度圖像的屏幕內預測的方法。
[0062] 此外，將參照圖8至圖20描述根據(jù)可應用于層間視頻編碼和解碼技術的示例性實 施例的基于具有樹結構的編碼單元的視頻編碼技術和視頻解碼技術。此外，將參照圖21至 圖27描述視頻編碼方法和視頻解碼方法可應用的各種示例性實施例。
[0063] W下，"圖像"可表示視頻的靜止圖像或運動圖像，或視頻本身。
[0064] W下，"樣點"表示分配到圖像的樣點位置并將被處理的數(shù)據(jù)。例如，空間域的圖像 中的像素可W是樣點。
[0065] W下，"當前塊"可表示將被編碼或解碼的圖像的塊。
[0066] 首先，將參照圖Ia至圖7c描述用于根據(jù)一些示例性實施例的層間視頻解碼和編碼 的方法和設備的對深度圖像的屏幕內預測的方法。
[0067] 圖Ia是根據(jù)一些示例性實施例的層間視頻編碼設備10的框圖。圖化是根據(jù)一些示 例性實施例的視頻編碼方法的流程圖。
[0068] 根據(jù)一些示例性實施例的層間視頻編碼設備10可包括預測模式確定器12、預測塊 產生器14、均值計算器16和編碼器18。另外，根據(jù)一些示例性實施例的層間視頻編碼設備10 可包括：中央處理器(未示出），控制預測模式確定器12、預測塊產生器14、均值計算器16和 編碼器18?？蛇x擇地，預測模式確定器12、預測塊產生器14、均值計算器16和編碼器18中的 每一個由它們自己的處理器(未示出）操作，由于所述處理器(未示出）在W相互有機的關系 進行操作，因此全部的層間視頻編碼設備10可被操作?？蛇x擇地，預測模式確定器12、預測 塊產生器14、均值計算器16和編碼器18可由層間視頻編碼設備10外部的外部處理器(未示 出)控制。
[0069] 層間視頻編碼設備10可包括:一個或更多個數(shù)據(jù)存儲單元(未示出），用于存儲輸 入到預測模式確定器12、預測塊產生器14、均值計算器16和編碼器18的數(shù)據(jù)和由預測模式 確定器12、預測塊產生器14、均值計算器16和編碼器18輸出的數(shù)據(jù)。層間視頻編碼設備10可 包括用于管理一個或更多個數(shù)據(jù)存儲單元(未示出）的數(shù)據(jù)輸入和數(shù)據(jù)輸出的存儲器控制 器(未示出）。
[0070] 為了輸出視頻編碼結果，層間視頻編碼設備10可與嵌入在其中的內部視頻編碼處 理器或外部視頻編碼處理器協(xié)同地進行操作，進而執(zhí)行包括變換的視頻編碼處理。層間視 頻編碼設備10的內部視頻編碼處理器可W是單獨的處理器并執(zhí)行視頻編碼處理。另外，層 間視頻編碼設備10、中央處理器或視頻處理器可包括視頻編碼處理模塊，進而執(zhí)行基本視 頻編碼處理。
[0071] 根據(jù)一些示例性實施例的層間視頻編碼設備10可根據(jù)層對多個圖像序列進行分 類并根據(jù)可伸縮視頻編碼方法對每個圖像序列進行編碼，并輸出包括根據(jù)層被編碼的數(shù)據(jù) 的單獨的流。層間視頻編碼設備10可將第一層圖像序列和第二層圖像序列編碼到不同的 層。
[0072] 例如，根據(jù)基于空間可伸縮性的可伸縮視頻編碼方法，低分辨率圖像可被編碼為 第一層圖像，高分辨率圖像可被變?yōu)榈诙訄D像。第一層圖像的編碼結果被輸出為第一層 流，第二層圖像的編碼結果被輸出為第二層流。
[0073] 作為另一示例，多視點視頻可根據(jù)可伸縮視頻編碼方法被編碼。在運種情況下，中 屯、視點圖像可被編碼為第一層圖像，左視點圖像和右視點圖像可通過參考第一層圖像被編 碼為第二層圖像。可選擇地，當層間視頻編碼設備10允許至少=個層(例如，第一層至第= 層)時，中屯、視點圖像可被編碼為第一層圖像，左視點圖像可被編碼為第二層圖像，右視點 圖像可被編碼為第=層圖像。當然，示例性實施例不限于此，通過對中屯、視點圖像、左視點 圖像和右視點圖像進行編碼而獲得的層和被參考的層可改變。
[0074] 作為另一示例，可根據(jù)基于時間可伸縮性的時間分層預測來執(zhí)行可伸縮視頻編碼 方法。可輸出包括通過對基本帖率圖像進行編碼而產生的編碼信息的第一層流?？筛鶕?jù)帖 率對時間層進行分類，并且可根據(jù)層對每個時間等級進行編碼?？赏ㄟ^參考基本帖率圖像 進一步對高帖率圖像進行編碼來輸出包括高帖率的編碼信息的第二層流。
[0075] 此外，可對第一層和多個第二層執(zhí)行可伸縮視頻編碼。當存在至少=個第二層時， 可對第一層圖像W及第一第二層圖像至第K第二層圖像進行編碼。因此，第一層圖像的編碼 結果可被輸出為第一層流，第一第二層圖像至第K第二層圖像的編碼結果可分別被輸出為 第一第二層流至第K第二層流。
[0076] 根據(jù)一些示例性實施例的層間視頻編碼設備10可執(zhí)行單層的圖像被參考的帖間 預測，W便對當前畫面進行預測。通過執(zhí)行帖間預測，可產生指示當前畫面和參考畫面之間 的運動信息的運動矢量W及當前畫面和參考畫面之間的殘差。
[0077] 此外，層間視頻編碼設備10可執(zhí)行第一層圖像被參考的層間預測W便對第二層圖 像進行預測。
[0078] 此外，當根據(jù)一些示例性實施例的層間視頻編碼設備10允許至少=個層（即，第一 層至第=層)時，可根據(jù)多層預測結構執(zhí)行第一層圖像和第=層圖像之間的層間預測、第二 層圖像和第=層圖像之間的層間預測。
[0079] 經由層間預測，可產生當前畫面與和當前畫面的層不同的層的參考畫面之間的位 置差分量W及當前畫面與所述不同層的參考畫面之間的殘差。
[0080] 稍后將參照圖3描述層間預測結構。
[0081] 根據(jù)一些示例性實施例的層間視頻編碼設備10可根據(jù)層執(zhí)行根據(jù)視頻的每個圖 像的塊的編碼。塊可W是正方形、矩形或任意幾何形狀，并不限于具有特定尺寸的數(shù)據(jù)單 元。塊可W是根據(jù)樹結構的編碼單元之中的最大編碼單元、編碼單元、預測單元或變換單 元。包括樹結構的編碼單元的最大編碼單元可被不同地稱為諸如編碼樹單元、編碼塊樹、塊 樹、根塊樹、編碼樹、編碼根或樹干。稍后將參照圖8至圖20描述基于根據(jù)樹結構的編碼單元 的視頻編碼和解碼方法。
[0082] 同時，如果根據(jù)一些示例性實施例的層間視頻編碼設備10對多視點視頻進行編 碼，則層間視頻編碼設備10可額外地對補充數(shù)據(jù)(諸如，深度圖像)進行編碼，并因此可產生 包括比經由解碼器輸入的視點更多的視點的圖像。運里，由于深度圖像用于對中間視點圖 像進行合成而不是直接被顯示給用戶，因此深度圖像的惡化可影響合成的圖像的質量。
[0083] 深度圖像的深度值在對象的邊界附近顯著改變，并且在對象的內部的改變不顯 著。因此，在與顯著改變的深度值相應的對象的邊界處發(fā)生的誤差的最小化可使合成的圖 像的誤差最小化。另外，可通過相對減少關于深度值改變不顯著的對象內部的數(shù)據(jù)量來提 高對深度圖像進行編碼的效率。
[0084] 因此，層間視頻編碼設備10可通過使用特定預測模式(例如，DC模式、平面模式、角 模式(angular mode)或深度建模模式(DMM)預測模式)對深度圖像的當前塊進行編碼。另 夕h層間視頻編碼設備10可計算關于將被編碼的塊的DC值（W下，將被稱為"均值"），并將計 算的均值映射到深度查找表，從而確定索引。運里，深度查找表表示深度圖像的可能的深度 值被匹配到索引的表。
[0085] 另外，層間視頻編碼設備10可僅將通過將原始塊的均值映射到深度查找表而確定 的索引與基于從預測塊獲得的均值計算出的索引之間的差發(fā)送到解碼設備。
[0086] 同時，用于將屬于預測塊的所有像素值求和并將總和除W相應像素的數(shù)量的計算 處理可用于計算預測塊的均值，其中，運樣的用于對像素值進行累加和除法的計算處理會 增加編碼設備和解碼設備的復雜度。
[0087] 因此，可通過僅使用與預測塊的像素之中的位于特定位置處的像素相應的像素值 來對預測塊的均值進行預測，從而根據(jù)一些示例性實施例的層間視頻編碼設備10的復雜度 可降低。
[0088] W下，將參照圖Ib詳細描述根據(jù)一些示例性實施例的層間視頻編碼設備10的操 作。
[0089] 在操作11，預測模式確定器12可確定針對深度圖像的當前塊的預測模式。運里，預 測模式可W是DC模式、平面模式、角模式和深度建模模式(DMM)預測模式之一。運里，DMM預 測模式可包括DMM模式-I (或DMM_WRJ化模式)和DMM模式-4(或DMM_CPREDTEX模式）。
[0090] 運里，DC模式是使用鄰近參考樣點的均值來填充預測塊的預測樣點的帖內預測模 式。
[0091] 另外，平面模式是根據(jù)下面的等式1針對參考樣點p[x][y]計算具有x，y = 〇---nTbS-1的預測樣點口'6(15曰1]1口16[義][7]的帖內預測模式。
[0092] [等式 1]
[0093] predSamples[x] [y] = ((nTbS-1-x)*p[-l] [7] + (義+1)*口[11化5] [-l] + (nTbS-1-y)* 口[又][-1] + (7+1)*口[-1][0化5]+11化5)>>化〇邑2(11化5) + 1)
[0094] 運里，n化S表示預測塊的水平長度或垂直長度。
[0095] 另外，角模式表示考慮從模式2到模式34的屏幕內預測模式的方向從參考樣點之 中確定預測樣點的預測模式。
[0096] 另外，DMM預測模式是通過根據(jù)圖案將當前塊劃分為至少兩個區(qū)域來執(zhí)行預測的 模式，其中，在所述模式中，針對每個區(qū)域計算均值。同時，DMM預測模式可包括DMM模式-1和 DMM模式-4。011模式-1可W是層間視頻編碼設備10通過應用各種邊界對當前塊進行劃分并 基于最適邊界對當前塊進行劃分的模式，而DMM模式-4可W是根據(jù)當前塊的紋理的圖案將 預測塊劃分為至少兩個或更多個塊的模式。
[0097] 同時，DC模式、平面模式、角模式和深度建模模式(DMM)預測模式是通過使用當前 塊周圍的恢復的像素執(zhí)行屏幕內預測的模式，并且對于本領域普通技術人員而言是顯然 的。因此，將省略詳細的描述。
[0098] 另外，預測模式確定器12可確定當前塊的預測模式是不是使用下述的預測塊的均 值的模式。
[0099] 在操作13,預測塊產生器14可基于確定的預測模式產生當前塊的預測塊。
[0100] 在操作15,均值計算器16可通過使用預測塊的與特定位置相應的像素值來對預測 塊的均值進行預測。
[0101 ]例如，均值計算器16可通過使用W下像素值來對預測塊的均值進行預測：與預測 塊的左上區(qū)域相應的像素值、與預測塊的右上區(qū)域相應的像素值、與預測塊的左下區(qū)域相 應的像素值和與預測塊的右下區(qū)域相應的像素值。詳細地，作為替代通過使用預測塊中的 所有像素值來獲得均值的方式，均值計算器16可通過對W下像素值進行加權求和來對預測 塊的均值進行預測：與預測塊的左上區(qū)域相應的像素值、與預測塊的右上區(qū)域相應的像素 值、與預測塊的左下區(qū)域相應的像素值和與預測塊的右下區(qū)域相應的像素值。然而，本發(fā)明 構思不限于此，可通過使用每個區(qū)域的至少一個或至少更多個像素值(例如，與左上區(qū)域相 應的四個像素值和與右上區(qū)域相應的四個像素值)來對預測塊的均值進行預測。
[0102] 在另一示例中，均值計算器16可將與產生的預測塊的右下區(qū)域相應的像素值預測 為預測塊的均值。
[0103] 另外，均值計算器16可在不同的預測模式下獲得不同的關于預測塊的均值。
[0104] 例如，如果存在深度