的空間多路復用；8卩，在組合圖像數(shù)據(jù)(212-Y1)(例如左視圖(L) 105-1)和相關(guān)聯(lián)的深度數(shù)據(jù)(212-YZ)(例如Z 107)的多路復用的圖片中，圖像數(shù)據(jù)(例如左視圖(L))的分辨率與其相關(guān)聯(lián)的深度圖(例如ZJ的分辨率不同。
[0026]在一個實施例中，給定具有像素分辨率hXw(例如h = 1080以及w = 1920)的多路復用的輸入幀(例如112)，子采樣的左視圖(L)可以被分配比其相關(guān)聯(lián)的深度圖多的像素。因此，給定比例a，其中l(wèi)>a彡1/2，原始左視圖圖片可以被縮放(例如子采樣)為尺寸hXaw，而深度圖可以被縮放為尺寸hX (l-a)wo該方法可以導致比對稱的左視圖圖片和右視圖圖片(例如，當a = 1/2)銳利的3D圖片。
[0027]可選地，額外的深度數(shù)據(jù)(例如4，和ZJ還可以被嵌入到編碼幀的對應的色度分量(例如212-UV)中。
[0028]在備選實施例中，包含圖像和深度圖區(qū)段(例如212-Y)的圖片幀的尺寸可以比輸入圖像的視圖的活躍圖像尺寸大；因此，可能不需要縮放圖像數(shù)據(jù)以適配到圖像區(qū)段內(nèi)。例如，給定1080X1920圖像數(shù)據(jù)(例如L)，(212-Y)的寬度w可以大于1920并且高度h可以大于1080。傳送幀還可以由虛擬數(shù)據(jù)填補從而與由編碼器(120)使用的編碼的單元(例如宏塊)的尺寸實現(xiàn)一致。例如，在示例實施例中，可以向1080的高位加入8個像素線從而使得線的總數(shù)1088是16的倍數(shù)。
[0029]在備選實施例中，多路復用的圖像幀(例如112)可以在垂直方向被劃分。因此，圖像數(shù)據(jù)區(qū)段(212-YI)可以具有haXw的分辨率而深度圖數(shù)據(jù)區(qū)段(212-YZ)可以具有h(l-a) Xw的分辨率。
[0030]在一些實施例中，圖像數(shù)據(jù)區(qū)段可以被多路復用至深度圖數(shù)據(jù)區(qū)段的右部。
[0031]在一些實施例中，圖像數(shù)據(jù)區(qū)段可以被多路復用至深度圖數(shù)據(jù)區(qū)段的底部。
[0032]在實施例中，類似于AVC/H.264或HEVC視頻編碼標準中定義地，可以通過在編碼比特流中使用剪切矩形和長寬比語法參數(shù)(aspect rat1 syntax parameter)來定義圖片的活躍區(qū)域(例如hXaw)，從而實現(xiàn)反向兼容性。在這種實現(xiàn)中，老式2D接收器可以提取、解碼并顯示僅由這些參數(shù)定義的圖片區(qū)域(例如L)并且忽略深度圖信息(例如ZJ。具有3D能力的接收器可以解碼整個圖片、使用剪切參數(shù)來確定圖片區(qū)域和深度圖區(qū)域并隨后使用該深度圖信息來呈現(xiàn)多個視圖。3D接收器可以使用接收的剪切和長寬比參數(shù)來按需要縮放2D圖片和深度。還可以傳輸包含關(guān)于基于每幅圖片的圖片布局的信息的輔助數(shù)據(jù)(或元數(shù)據(jù))。
[0033]在示例實施例中，如果a = 2/3，給定1080X 1920的輸入信號，則圖像數(shù)據(jù)(例如L)可以使用1080X1280像素的分辨率被在水平維度上按比例縮小并且被編碼，而深度分量(例如Z1)可以使用1080X640分辨率被縮放并且被編碼。在一些實施例中，深度分量可以以備選分辨率被在水平和垂直分辨率兩者上被按比例縮小并且被編碼，所述備選分辨率比深度圖區(qū)段中可獲得區(qū)域的分辨率小，例如540X640或360X640。在這種實現(xiàn)中，不與任何深度值對應的輝度或色度分量的像素值可以被設(shè)置為固定的填充值(例如128)以改進編碼效率?？梢酝ㄟ^允許圖像和深度數(shù)據(jù)的更平衡的分配來改進該非對稱格式的性能，如圖3所示。
[0034]圖3示出了根據(jù)本發(fā)明的實施例的深度圖傳送格式的示例。為了簡化起見，僅示出了信號(112)的亮度分量；然而，還可以對色度分量執(zhí)行類似的像素分配。如圖3所示，圖像(212-Y)包括圖像視圖中的一個或多個(例如L214)的亮度分量的縮放表示和感興趣的深度圖(例如Zl 218)的旋轉(zhuǎn)且縮放表示。作為示例，在一個實施例中，針對1080X1920的輸入，圖像視圖的輝度可以被縮放為1080X 1280的分辨率(對應于水平方向上2/3的縮放)，而初始深度圖可以被縮放為540X960的分辨率(對應于在水平和垂直方向上的對半縮放)。如圖3所示，深度圖旋轉(zhuǎn)90度允許傳送比圖2中示出的傳統(tǒng)格式高的水平分辨率的深度圖，這導致接收器處整體更好且更準確的3D圖片質(zhì)量。
[0035]如圖3所示，由于縮放和旋轉(zhuǎn)，圖像幀(212-Y)的某些像素區(qū)域可能未被使用。該區(qū)域(例如216)可以被設(shè)置為固定的填充值(例如128)，或者該圖像和深度數(shù)據(jù)區(qū)域可以被適當?shù)乜s放從而使得它們的和填充整個區(qū)域。例如，在實施例中，圖像區(qū)域可以具有1080X1380的像素分辨率，而深度圖數(shù)據(jù)區(qū)域可以具有540X960的像素分辨率。在優(yōu)選的實施例中，為了改進編碼效率，圖像的維度和深度圖視圖尺寸可以被選擇為由編碼器(120)使用的編碼單元尺寸(例如16X16)的倍數(shù)。作為替代地，可以通過添加虛擬數(shù)據(jù)來調(diào)整傳送格式(212-Y)的幀尺寸從而實現(xiàn)與由編碼器(120)使用的編碼的單元(例如宏塊)的尺寸的一致。例如，在示例實施例中，可以向1080的高位添加8個像素線從而使得線的總數(shù)1088是16的倍數(shù)。
[0036]如圖4A和4B中的示例實施例所示，旋轉(zhuǎn)的深度圖可以被用于多種其他深度數(shù)據(jù)傳送格式。除了圖像部分(410)包括在水平方向上子采樣并且并排堆疊的左視圖(L)和右視圖(R)兩者以外，圖4A中示出的格式與圖3中所示的格式類似。在示例實施例中，使用1080X1920的幀，可以使用1080X720的分辨率來存儲每個視圖，而480X960的深度圖(例如ZJ被旋轉(zhuǎn)存儲在1080X480的深度圖數(shù)據(jù)區(qū)段(418)中。
[0037]如圖4B所示，在另一個實施例中，圖像部分(412)包括在垂直和水平方向上子采樣并且上下堆疊的左視圖(L)和右視圖(R)兩者。在示例實施例中，使用1080X1920的幀，可以使用540X 1440的分辨率來存儲每個視圖，而480X960的深度圖(例如Zj被旋轉(zhuǎn)存儲在1080X480的深度圖數(shù)據(jù)區(qū)段(418)中。
[0038]在圖5中，深度圖數(shù)據(jù)傳送格式(520)示出了根據(jù)實施例的3D+Z數(shù)據(jù)傳送的另一個示例。該格式組合了深度圖數(shù)據(jù)的旋轉(zhuǎn)和可選擇的段。作為示例，考慮1080X1920的分辨率的初始圖像數(shù)據(jù)(I) (510)和深度數(shù)據(jù)(Z) (512)將被多路復用為單一的1080X1920的輸出幀(520)。與之前類似，為了簡化起見，僅示出了用于輝度分量的多路復用；然而，還可以對色度分量執(zhí)行相似的操作。
[0039]使用非對稱空間縮放的原理，圖像數(shù)據(jù)和深度數(shù)據(jù)兩者可以被縮放以產(chǎn)生縮放的圖像數(shù)據(jù)Is(514)和縮放的深度圖數(shù)據(jù)Zs(516)。例如，圖像I可以被在水平方向上以3/4縮放以產(chǎn)生1080X1440的圖像Is(514)，而深度數(shù)據(jù)Z(512)可以被因數(shù)2在兩個方向上縮放以產(chǎn)生540X960的縮放的深度圖Zs(516)。為了使&適合深度圖區(qū)段(520-Z)，(例如，1080X (1920-1440) = 1080X480)，縮放的深度圖Zs(516)可以被分為兩個或更多個段(例如，480X960ZA和60X480ZB和ZC)。隨后，輸出的多路復用圖像(520)的深度圖區(qū)段(520-Z)可以包括:堆疊在ZB和ZC深度圖段的頂部上的旋轉(zhuǎn)的ZA深度圖段。
[0040]深度數(shù)據(jù)Z(512)的縮放可以考慮分配的深度圖區(qū)段(520-Z)的尺寸和深度圖段的任何后續(xù)旋轉(zhuǎn)和分段。
[0041]在一些實施例中，輸出的多路復用圖片(520)的圖像部分區(qū)段(520-1)的尺寸可以等于或大于活躍輸入圖像數(shù)據(jù)I (510)的尺寸，因此圖像數(shù)據(jù)(510)的縮放可以被跳過。
[0042]在一些實施例中，圖像數(shù)據(jù)區(qū)段和深度數(shù)據(jù)區(qū)段可以通過一個在另一個頂部上地垂直