幀兼容的全分辨率立體3d壓縮和解壓縮的制作方法
【專利摘要】高分辨率3D圖像可以被編碼成基礎(chǔ)層中的降低分辨率圖像以及一個或更多個增強層中的全分辨率未濾波圖像。用于3D圖像的經(jīng)編碼的分辨率不對稱的圖像數(shù)據(jù)可以被分發(fā)到用于3D圖像處理和呈現(xiàn)的多種裝置。接收裝置可以重建降低分辨率圖像和全分辨率未濾波圖像，以由于眼間掩蔽而利用高主觀感知質(zhì)量呈現(xiàn)3D圖像。全分辨率未濾波圖像可以在左眼和右眼之間交替。
【專利說明】幀兼容的全分辨率立體3D壓縮和解壓縮
[0001]相關(guān)申請的交叉引用
[0002]本申請要求2011年9月16日提交的美國臨時專利申請N0.61/535，880的優(yōu)先權(quán)，其整體通過參考被并入于此。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明一般涉及圖像數(shù)據(jù)。更特別地，本發(fā)明的示例實施例涉及用于立體3D圖像的圖像數(shù)據(jù)。
【背景技術(shù)】
[0004]用于3D內(nèi)容遞送的幀兼容的半分辨率(FCHR)解決方案遭受空間分辨率劣化，這是因為半分辨率3D內(nèi)容僅僅包含從全分辨率3D圖像幀二次采樣(sub-sampled)的半分辨率圖像幀。
[0005]幀兼容的全分辨率(FCFR)解決方案可以被用來通過經(jīng)由基礎(chǔ)層發(fā)送半分辨率3D圖像幀以及經(jīng)由增強層發(fā)送互補半分辨率3D圖像幀來產(chǎn)生全分辨率3D圖像幀。半分辨率3D圖像幀以及互補半分辨率3D圖像幀可以由接收裝置結(jié)合成全分辨率的3D圖像幀。
[0006]然而，雙層FCFR解決方案執(zhí)行低通濾波以便減少/去除半分辨率圖像幀中的混疊(aliasing)。因為圖像幀中的高頻率內(nèi)容通過低通濾波被去除，所以下游裝置不可能恢復(fù)高空間頻率內(nèi)容中的所有細節(jié)和紋理(textures)。雖然仍然可能構(gòu)造全分辨率3D圖像中貞，但是3D圖像幀中的像素會已經(jīng)通過低通濾波而不可逆地改變并且不能用于再現(xiàn)產(chǎn)生3D圖像幀的原始的3D內(nèi)容中的原始的分辨率和銳度(sharpness)。
[0007]在該部分中描述的方法是可以被實行的方法，但不一定是先前已經(jīng)被設(shè)想或者實行的方法。因此，除非另有指明，否則不應(yīng)該僅僅由于它們包括在該部分中而假設(shè)在該部分中描述的任何方法有資格作為現(xiàn)有技術(shù)。類似地，除非另有指明，否則不應(yīng)該基于該部分假設(shè)關(guān)于一個或更多個方法識別出的問題已經(jīng)在任何現(xiàn)有技術(shù)中被認識到。
【專利附圖】

【附圖說明】
[0008]本發(fā)明通過示例的方式而不是通過限制的方式被示出在附圖的各圖中，并且在附圖中相似的附圖標志指的是類似的元件，并且在附圖中:
[0009]圖1A示出示例的多層視頻編碼器，圖1B示出示例的多層視頻解碼器，并且圖1C示出示例的基礎(chǔ)層視頻解碼器，這些圖與對其中高空間頻率內(nèi)容被濾波/去除的圖像數(shù)據(jù)進行編碼或解碼有關(guān)；
[0010]圖2A示出對用于左眼和右眼之一而不用于左眼和右眼中的另一個的高空間頻率內(nèi)容進行編碼的示例的多層視頻編碼器；圖2B示出被配置為對包括用于左眼和右眼之一而不用于左眼和右眼中的另一個的高空間頻率內(nèi)容的一個或更多個視頻信號進行解碼的示例的多層視頻解碼器；
[0011]圖3A示出在左眼和右眼之間交替對高空間頻率內(nèi)容進行編碼的示例的多層視頻編碼器；圖3B示出對包括在左眼和右眼之間交替地編碼的高空間頻率內(nèi)容的一個或更多個視頻信號進行解碼的示例的多層視頻解碼器；
[0012]圖3C示出被配置為對一個或更多個增強層中的高空間頻率內(nèi)容和互補的降低分辨率圖像數(shù)據(jù)兩者進行解碼的示例的多層視頻解碼器；
[0013]圖4示出攜帶在左眼和右眼之間交替的用于眼睛的高空間頻率內(nèi)容的3D圖像的示例序列；
[0014]圖5示出包括用于左眼和右眼之一的全分辨率未濾波圖像幀和用于另一個眼睛的半分辨率濾波圖像幀的3D圖像的示例類型；
[0015]圖6A和圖6B示出根據(jù)本發(fā)明的示例實施例的示例處理流程；以及
[0016]圖7示出根據(jù)本發(fā)明的示例實施例的其上可以實現(xiàn)如在本申請中描述的計算機或者計算裝置的示例硬件平臺。
【具體實施方式】
[0017]在本申請中描述涉及在不同顯示能力之上的基于感知照度非線性的圖像數(shù)據(jù)交換的示例實施例。在下面的描述中，出于說明的目的，闡述了許多的具體細節(jié)以便提供對本發(fā)明的徹底的了解。然而，將明白，可以在沒有這些具體細節(jié)的情況下實現(xiàn)本發(fā)明。在其它情況中，不以詳盡的細節(jié)的方式描述公知的結(jié)構(gòu)和裝置，以免不必要地遮蔽、模糊或者混亂本發(fā)明。
[0018]在本申請中根據(jù)以下概述描述示例實施例:
[0019]1、一般概述
[0020]2、其中對于雙眼的高空間內(nèi)容被濾波的多層視頻遞送[0021 ] 3、其中對于一個眼睛的高空間內(nèi)容未濾波的多層視頻遞送
[0022]4、其中在交替的視角(perspective)中高空間內(nèi)容未濾波的多層視頻遞送
[0023]5、示例性處理流程
[0024]6、實現(xiàn)機構(gòu)——硬件概述
[0025]7、等同物、擴展、替代方案和雜項
[0026]1、一般概述
[0027]該概述介紹本發(fā)明的示例實施例的一些方面的基本描述。應(yīng)當注意，該概述不是示例實施例的方面的廣泛的或者詳盡的總結(jié)。此外，應(yīng)當注意，該概述不意圖被理解為標識示例實施例的任何特別顯著的方面或者元件，也不被理解為特別地描繪示例實施例的任何范圍，也沒有一般描繪本發(fā)明的任何范圍。該概述僅僅以精簡和簡化的格式介紹涉及示例實施例的一些概念，并且應(yīng)該被理解為僅僅是對于下面跟隨的示例實施例的更詳細描述的概念上的序言。
[0028]當前主要經(jīng)由網(wǎng)絡(luò)連接(例如從基于因特網(wǎng)的內(nèi)容供應(yīng)商)接收視頻數(shù)據(jù)。然而，分配給計算裝置上的顯示應(yīng)用(諸如3D顯示應(yīng)用)的比特率(bitrate)是有限的。
[0029]為了支持最廣泛的可能種類的3D圖像呈現(xiàn)裝置，3D圖像內(nèi)容可以被傳遞作為具有降低分辨率的幀兼容的3D圖像幀(或圖畫)。如所討論的，3D圖像幀可以被從全分辨率3D圖像幀二次采樣為降低分辨率3D圖像幀；全分辨率3D圖像幀中的高空間頻率內(nèi)容可以由低通濾波器去除以便防止二次采樣的圖像幀中的混疊。[0030]本發(fā)明的實施例利用在立體3D觀看的情況下人類視覺中的兩眼間的掩蔽效應(yīng)和感知的冗余。當(同時或以幀連續(xù)的方式)觀看包括具有兩個不同的空間分辨率的3D圖像的左眼(LE)和右眼(RE)圖像幀的3D圖像時，人類眼睛傾向于以兩個不同的空間分辨率中的更高的空間分辨率來感知3D圖像。
[0031]實施例包括將分辨率不對稱的3D圖像數(shù)據(jù)編碼和提供給下游裝置。為了呈現(xiàn)3D圖像的序列中的各個3D圖像，為左眼和右眼中的一個提供全分辨率未濾波圖像數(shù)據(jù)，而同時為左眼和右眼中的另一個提供僅僅經(jīng)濾波圖像數(shù)據(jù)。
[0032]因為當分辨率在LE和RE圖像幀之間不同時3D圖像的質(zhì)量和銳度的感知強烈地傾斜(weighted)朝向觀看更大的空間分辨率圖像幀的眼睛，所以在此描述的技術(shù)之下的分辨率不對稱的3D圖像數(shù)據(jù)要求少得多的數(shù)據(jù)量，但是提供與其它技術(shù)之下的使用多得多的數(shù)據(jù)來為左眼和右眼兩者提供具有全分辨率未濾波圖像數(shù)據(jù)的分辨率對稱的3D圖像數(shù)據(jù)類似的主觀圖畫質(zhì)量。
[0033]在一些示例實施例中，在基礎(chǔ)層中將3D圖像的幀兼容的降低分辨率LE和RE圖像幀提供給接收裝置的同時，在與基礎(chǔ)層分離的一個或更多個增強層中將用于左眼和右眼中的一個的3D圖像的全分辨率未濾波圖像數(shù)據(jù)提供給接收裝置。接收裝置可以將3D圖像的全分辨率未濾波圖像數(shù)據(jù)與3D圖像的兩個幀兼容的降低分辨率3D圖像幀中的用于左眼和右眼中的同一個眼睛的一個圖像幀結(jié)合，以便重建用于左眼和右眼中的所述一個眼睛的全分辨率未濾波圖像中貞。
[0034]在此描述的編解碼器(Codec)實現(xiàn)技術(shù)可以被配置為包括層間預(yù)測能力，以便充分利用在基礎(chǔ)層中的降低分辨率濾波圖像幀中的一個和對應(yīng)的源圖像幀之間的統(tǒng)計冗余(statistical redundancy)。增強層中的經(jīng)編碼圖像數(shù)據(jù)可以(可能僅僅)攜帶殘留的(或差分的)圖像數(shù)據(jù)，而不是在不利用不同層的圖像數(shù)據(jù)中的統(tǒng)計冗余的情況下攜帶大量全分辨率未濾波圖像數(shù)據(jù)。增強層中提供的殘留圖像數(shù)據(jù)使得下游裝置能夠通過在基礎(chǔ)層中的降低分辨率濾波圖像幀中的一個之上添加殘留圖像數(shù)據(jù)來構(gòu)造全分辨率未濾波圖像幀。
[0035]在一些示例實施例中，編解碼器可以被配置為包括如ITU-T推薦H.264和ISO/IEC14496-10中描述的使用的視圖間(inter-view)預(yù)測能力。在一些示例實施例中，RPU(參考處理單元)可以被用來改善用于增強層壓縮的層間預(yù)測中的效率。
[0036]在一些實施例中，由于缺少低通濾波而保留高空間頻率內(nèi)容的用于一個眼睛的全分辨率未濾波圖像幀以及不保留高空間頻率內(nèi)容的用于另一個眼睛的降低分辨率(例如，上采樣的)圖像幀被呈現(xiàn)以用于觀看。全分辨率未濾波圖像幀的呈現(xiàn)可以從一個3D圖像到下一個3D圖像在左眼和右眼之間交替?？商娲睾?或可選地，全分辨率未濾波圖像幀的呈現(xiàn)可以從一個場景(scene)到下一個場景在左眼和右眼之間交替。可替代地和/或可選地，全分辨率未濾波圖像幀的呈現(xiàn)可以從一個固定持續(xù)時間到下一個固定持續(xù)時間在左眼和右眼之間交替。在示例實施例中，固定持續(xù)時間可以是一個單幀或多個幀的回放時間。在示例實施例中，持續(xù)時間的長度可以在節(jié)目之間變化。可以使用在兩個眼睛之間交替顯示全分辨率未濾波圖像幀的其它方式。
[0037]奇偶標志可以與圖像幀一起被提供以便在增強層中用信號通知圖像數(shù)據(jù)的奇偶性。圖像數(shù)據(jù)的奇偶性指的是圖像數(shù)據(jù)用于哪個眼睛。奇偶標志可以被傳送作為視頻比特流中可用的輔助增強信息(SEI)或其它類似的元數(shù)據(jù)運輸(carriage)的一部分。[0038]在一些示例實施例中，其它應(yīng)用需要的數(shù)據(jù)也可以與全分辨率未濾波圖像數(shù)據(jù)一起被包括在增強層中。在一些示例實施例中，如市場上可從加利福尼亞州的舊金山的杜比實驗室買到的FCFR技術(shù)提供的特征可以被在此描述的基礎(chǔ)和增強層支持。
[0039]本發(fā)明的實施例可以使帶寬或比特率使用最小化并且以降低分辨率保留幀兼容的3D圖像數(shù)據(jù)，其可以支持各種電視機、顯示器和其它圖像呈現(xiàn)裝置。此外，與不使用在此描述的技術(shù)的其它方法相比，一些可用的系統(tǒng)部件的重復(fù)使用和改編特征和改善能力允許相對低的成本實現(xiàn)。
[0040]在一些不例實施例中，如本申請中描述的機構(gòu)形成媒體處理系統(tǒng)的一部分,該媒體處理系統(tǒng)包括但不限于:手持裝置、游戲機、電視機、膝上型計算機、上網(wǎng)本計算機、平板計算機、蜂窩式無線電話、電子圖書閱讀器、銷售點終端、臺式計算機、計算機工作站、計算機機房(kiosk)、或各種其它種類的終端和媒體處理單元。
[0041]對優(yōu)選實施例的各種變型以及本申請中描述的通用原理和特征對于本領(lǐng)域技術(shù)人員而言將是容易明白的。因此，本公開不意圖限于示出的實施例，而是要被給予符合本申請中描述的原理和特征的最寬的范圍。
[0042]2、其中對于雙眼的高空間內(nèi)容被濾波的多層視頻遞送
[0043]圖1A示出了根據(jù)本發(fā)明實施例的示例的多層視頻編碼器(100)，其濾波/去除存在于輸入視頻序列中的高空間頻率內(nèi)容。圖1B示出了根據(jù)該示例實施例的與圖1A所示出的多層視頻編碼器(100)對應(yīng)的多層視頻解碼器(150)。
[0044]在示例實施例中，多層視頻編碼器(100)被配置為對由3D輸入圖像的序列組成的輸入3D視頻序列進行編碼。3D圖像的序列中的3D輸入圖像包括包含高空間頻率內(nèi)容的全分辨率3D圖像數(shù)據(jù)。如在此使用的，術(shù)語“全分辨率”可以指的是由圖像幀中的可獨立設(shè)置的像素的總數(shù)最大限度地支持的空間分辨率。3D輸入圖像中的全分辨率3D圖像數(shù)據(jù)可以由多層視頻編碼器(100)初始解碼成輸入LE圖像幀(102-L)和輸入RE圖像幀(102-R)，這兩者都包含高空間頻率內(nèi)容。
[0045]在一個示例實施例中，多層視頻編碼器(100)中的一個或更多個濾波機構(gòu)(例如，104-L和104-R)基于輸入的LE和RE圖像幀(102-L和102-R)產(chǎn)生經(jīng)濾波的LE和RE圖像數(shù)據(jù)(106-L和106-R)。經(jīng)濾波的LE和RE圖像數(shù)據(jù)(106-L和106-R)可以通過從輸入的LE和RE圖像幀(102-L和102-R)中去除高空間頻率內(nèi)容的全部或顯著的部分而產(chǎn)生。可以利用濾波機構(gòu)(例如，104-L和104-R)中的一個或更多個低通濾波器(LPF)執(zhí)行濾波。在一個示例實施例中，在此描述的濾波去除或基本上衰減輸入圖像中的在與多層視頻解碼器(150 )支持的空間分辨率對應(yīng)的臨界頻率以上的任何空間頻率內(nèi)容。
[0046]如在此使用的，術(shù)語“高空間頻率內(nèi)容”可以指的是存在于輸入的3D視頻序列中但是出于防混疊目的被例如低通濾波器去除的高空間頻率圖像細節(jié)。如果已經(jīng)發(fā)生高空間頻率內(nèi)容的去除，則如下將是不可逆的，即下游裝置不會能夠利用經(jīng)濾波圖像數(shù)據(jù)再現(xiàn)高分辨率圖像細節(jié)。
[0047]在一個示例實施例中，可以被實現(xiàn)為濾波機構(gòu)(104-L和104-R)的一部分或除濾波機構(gòu)(104-L和104-R)之外實現(xiàn)的一個或更多個采樣器(例如，如圖1A的104-L和104-R中利用向下指的箭頭所示出的下采樣器)執(zhí)行采樣(下采樣)作為產(chǎn)生經(jīng)濾波的LE和RE圖像數(shù)據(jù)(106-L和106-R)的一部分。在一個示例實施例中，采樣器將經(jīng)濾波的LE圖像數(shù)據(jù)分離成兩半，其中的一半包括二次采樣的(例如，每個奇數(shù)列或行)LE圖像數(shù)據(jù)部分，而其中另一半包括互補的二次采樣的(例如，每個偶數(shù)列或行)LE圖像數(shù)據(jù)部分。類似地，采樣器將經(jīng)濾波的RE圖像數(shù)據(jù)分離成兩半，其中的一半包括二次采樣的(例如，每個奇數(shù)列或行)RE圖像數(shù)據(jù)部分，而其中另一半包括互補的二次采樣的(例如，每個偶數(shù)列或行)RE圖像數(shù)據(jù)部分。
[0048]在一個示例實施例中，一個或更多個多路復(fù)用器(例如，Muxl08_l和Muxl08_2)將經(jīng)濾波的LE和RE圖像數(shù)據(jù)(106-L和106-R)多路復(fù)用成多路復(fù)用的3D圖像幀(112-1和112-2)。多路復(fù)用的3D圖像幀(112-1和112-2中的一個)包括用于左眼的(例如，下采樣的)圖像數(shù)據(jù)部分和用于右眼的(例如，下采樣的)圖像數(shù)據(jù)部分兩者。多路復(fù)用的3D圖像幀可以被下游裝置解碼成降低分辨率(例如，一半分辨率)的LE圖像幀和RE圖像巾貞，降低分辨率小于全分辨率的100%。這種經(jīng)解碼的降低分辨率的LE和RE圖像幀可以被上采樣以便包括與全分辨率圖像幀相同數(shù)量的像素，其具有比不是通過上采樣操作獲得的全分辨率圖像更模糊(fuzzy)的外觀(look)。
[0049]在一個示例實施例中，多路復(fù)用的3D圖像幀(I 12-1)包括用于左眼的全分辨率圖像幀中的像素的總數(shù)的一半(例如，每隔一列或每隔一行)以及用于右眼的另一半的圖像數(shù)據(jù)，而多路復(fù)用的3D圖像幀(112-2)包括用于左眼的全分辨率圖像幀中的像素的總數(shù)的一半(例如，每隔一列或每隔一行)以及用于右眼的另一半的互補的圖像數(shù)據(jù)。降低分辨率LE和RE圖像數(shù)據(jù)部分可以在多路復(fù)用的3D圖像幀(例如，112-1和112-2中的一個)之內(nèi)以并排格式、上下格式、梅花形(quincunx)格式、棋盤(checkerboard)格式、交錯(interleaved)格式、先前格式的組合或其它多路復(fù)用格式被多路復(fù)用。
[0050]一個或更多個增強層可以被用來攜帶互補的圖像數(shù)據(jù)，該互補的圖像數(shù)據(jù)可以與基礎(chǔ)層中的圖像數(shù)據(jù)結(jié)合來產(chǎn)生等于或低于全分辨率的圖像幀。在一個示例中，基礎(chǔ)層可以攜帶半分辨率圖像幀并且增強層可以攜帶互補的半分辨率圖像幀，該互補的半分辨率圖像幀可以通過下游裝置來與基礎(chǔ)層中的半分辨率圖像幀結(jié)合以產(chǎn)生全分辨率的圖像幀。在另一個示例中，基礎(chǔ)層壓縮并且攜帶全分辨率的圖像幀的三分之一，而增強層攜帶全分辨率的圖像幀的剩余的三分之二，該剩余的三分之二可以通過下游裝置來與基礎(chǔ)層中的三分之一分辨率圖像幀結(jié)合以產(chǎn)生全分辨率的圖像幀。將全分辨率分解成降低分辨率的其它變型也是可能的。
[0051]在一個示例實施例中，BL編碼器(110)至少部分基于多路復(fù)用的3D圖像幀(112-1)產(chǎn)生要在基礎(chǔ)層幀兼容的視頻流(BL FC視頻流118-1)中攜帶的基礎(chǔ)層視頻信號，而EL編碼器(116)至少部分基于多路復(fù)用的3D圖像幀(112-2)產(chǎn)生要在增強層幀兼容的視頻流(EL FC視頻流118-3)中攜帶的增強層視頻信號。BL編碼器(110)和EL編碼器
(116)中的一個或兩者可以使用多個編解碼器(諸如H.264/AVC、VP8、VC-1和/或其它)中的一個或更多個被實現(xiàn)。
[0052]可以使用混合視頻編碼方法(例如，由諸如VC-1、H.264/AVC和/或其它之類的視頻編解碼器實現(xiàn))產(chǎn)生在此描述的增強層視頻信號?？梢愿鶕?jù)相同圖像幀中的相鄰樣本(使用幀內(nèi)預(yù)測(intra prediction))、或者根據(jù)來自屬于同一個層并且在預(yù)測參考圖像幀緩沖器之內(nèi)緩沖作為運動補償?shù)念A(yù)測參考的過去解碼的圖像幀(幀間預(yù)測(interprediction))的樣本，預(yù)測多路復(fù)用的3D圖像幀112-2中的圖像數(shù)據(jù)。層間預(yù)測也可以至少部分基于來自其它層(例如，基礎(chǔ)層等)的經(jīng)解碼的信息。
[0053]另外和/或可選地，多層視頻編碼器(100)可以包括參考處理單元(RPU，114)來執(zhí)行與預(yù)測有關(guān)的操作。如由參考處理單元(114)實現(xiàn)的預(yù)測可以被用來減少在多層視頻解碼器(150)中構(gòu)造全分辨率3D圖像幀中的開銷(overhead)和冗余數(shù)據(jù)。RPU (114)可以從BL編碼器110接收和利用BL圖像數(shù)據(jù)和其它預(yù)測有關(guān)的信息，并且通過幀內(nèi)或幀間預(yù)測產(chǎn)生預(yù)測參考圖像幀。
[0054]在利用這種預(yù)測的那些示例實施例中，EL編碼器(116)至少部分基于多路復(fù)用的3D圖像幀(112-2)和預(yù)測參考圖像幀產(chǎn)生多路復(fù)用的3D圖像殘差(預(yù)測參考圖像幀和多路復(fù)用的3D圖像幀112-2之間的差)并且將圖像殘差存儲在要在EL FC視頻流(118-3)中攜帶的增強層視頻信號中。此外，RPU (114)至少部分基于預(yù)測參考圖像幀產(chǎn)生要在增強層(EL) RPU流(118-2)中攜帶的參考視頻信號。
[0055]圖1B示出了根據(jù)實施例的多層視頻解碼器(150)，其接收其中已經(jīng)將高空間頻率內(nèi)容從原始的視頻序列(其可以是如結(jié)合圖1A所討論的輸入視頻序列)去除的輸入視頻信號。在一個示例實施例中，輸入視頻信號在多個層(或多個比特流)中被接收。如在此使用的，術(shù)語“多層”或“多個層”可以指的是攜帶(輸入視頻信號的)彼此之間具有一個或更多個邏輯依賴關(guān)系的輸入視頻信號的兩個或更多個比特流。
[0056]在一個示例實施例中，多層視頻解碼器(150)被配置為將BL FC視頻流(圖1B的118-1),EL RI3U流(圖1B的118-2)和EL FC視頻流(圖1B的118-3)中的一個或更多個輸入視頻信號解碼成3D輸出圖像的序列。多層視頻解碼器(150)解碼得到的3D輸出圖像的序列中的3D輸出圖像不包括用于任一眼睛的全分辨率未濾波的3D圖像數(shù)據(jù)，這是因為產(chǎn)生輸入視頻信號的原始的視頻序列中的高空間頻率內(nèi)容已經(jīng)被濾波/去除并且不再能被多層視頻解碼器(150)恢復(fù)。
[0057]在一個示例實施例中，BL解碼器(152)至少部分基于從BL FC視頻流(圖1B的118-1)接收的BL視頻信號產(chǎn)生第一多路復(fù)用的3D圖像幀(158-1)，而EL解碼器(156)至少部分基于從EL FC視頻流(圖1B的118-3)接收的EL視頻信號產(chǎn)生第二多路復(fù)用的3D圖像幀(158-2)。BL解碼器(152)和EL解碼器(156)中的一個或兩者可以使用多個編解碼器(諸如H.264/AVC、VP8、VC-1和/或其它)中的一個或更多個被實現(xiàn)。
[0058]在利用預(yù)測的實施例中，解碼器側(cè)RPU (154)至少部分基于從EL RI3U流(圖1B的118-2)接收的參考視頻信號和/或來自BL解碼器(152)的BL圖像數(shù)據(jù)產(chǎn)生預(yù)測參考圖像幀。此外，EL解碼器(156)至少部分基于EL FC視頻流(圖1B的118-3)中的EL視頻信號和來自RPU (154)的預(yù)測參考圖像幀產(chǎn)生第二多路復(fù)用的3D圖像幀(158-2)。
[0059]多層視頻解碼器(150)可以將在一個或更多個增強層(例如，EL RPU流118_2和ELFC視頻流118-3)中接收的互補的圖像數(shù)據(jù)與在基礎(chǔ)層(例如，BL FC視頻流118-1)中接收的圖像數(shù)據(jù)結(jié)合來產(chǎn)生等于或低于全分辨率的圖像幀。多層視頻解碼器(150)可以支持將全分辨率分解成基礎(chǔ)層和一個或更多個增強層中的降低分辨率的變型中的一個或更多個。
[0060]在一個示例實施例中，一個或更多個多路分解器(demultiplexer)(例如，DeMuxl60-l和160-2)將多路復(fù)用的3D圖像幀(158-1和158-2)多路分解(de-multiplex)成等于或低于全分辨率的經(jīng)濾波的LE和RE輸出圖像幀(162-L和162-R)。雖然多路復(fù)用的3D圖像幀(158-1和158-2)包括用于左眼和右眼兩者的圖像數(shù)據(jù)，但是經(jīng)濾波的LE和RE輸出圖像巾貞(162-L和162-R)中的每一個僅僅用于左眼和右眼中的一個。第一多路復(fù)用的3D圖像幀(158-1)中的降低分辨率的第一 LE圖像數(shù)據(jù)部分可以與第二多路復(fù)用的3D圖像幀(158-2)中的降低分辨率的第二 LE圖像數(shù)據(jù)部分結(jié)合，以便形成等于或低于全分辨率的經(jīng)濾波的LE輸出圖像(162-L)。類似地，第一多路復(fù)用的3D圖像幀(158-1)中的降低分辨率的第一 RE圖像數(shù)據(jù)部分可以與第二多路復(fù)用的3D圖像幀(158-2)中的降低分辨率的第二 RE圖像數(shù)據(jù)部分結(jié)合，以便形成等于或低于全分辨率的經(jīng)濾波的RE輸出圖像(162-R)。
[0061]等于或低于全分辨率的經(jīng)濾波的LE和RE輸出圖像幀可以由顯示裝置(其例如可以包括多層視頻解碼器150)呈現(xiàn)來表現(xiàn)輸出3D圖像。呈現(xiàn)經(jīng)濾波的LE和RE輸出圖像幀可以但不限于以幀連續(xù)的方式。因為已經(jīng)從多層視頻解碼器(150)接收的視頻信號中濾出高空間頻率內(nèi)容，所以輸出3D圖像不包含可能存在于原始的3D圖像(其可以是圖1A的3D輸入圖像中的一個)中的高空間頻率圖像細節(jié)。
[0062]圖1C示出了根據(jù)實施例的基礎(chǔ)層視頻解碼器(150-1 )，其接收其中已經(jīng)將高空間頻率內(nèi)容從原始的視頻序列(其可以是如結(jié)合圖1A所討論的輸入視頻序列)去除的一個或更多個輸入視頻信號。在一個示例實施例中，基礎(chǔ)層視頻解碼器(150-1)被配置為不管由解碼器接收的物理信號中是否可以存在其它層中的視頻信號、都將從基礎(chǔ)層(圖1C的BL FC視頻流118-1)接收的BL輸入視頻信號解碼成3D輸出圖像的序列。在一個示例實施例中，基礎(chǔ)層視頻解碼器(150-1)被配置為忽略除BL FC視頻流(118-1)以外的其它流中的視頻信號的任何存在。
[0063]基礎(chǔ)層視頻解碼器(150-1)產(chǎn)生的3D輸出圖像的序列中的3D輸出圖像不包括全分辨率未濾波的3D圖像數(shù)據(jù)，這是因為產(chǎn)生輸入視頻信號的原始的視頻序列中的高空間頻率內(nèi)容已經(jīng)被濾波/去除并且不能由多層視頻解碼器(150-1)恢復(fù)。
[0064]在一個示例實施例中，BL解碼器(圖1C的152)至少部分基于BL FC視頻流(圖1C的118-1)中的BL輸入視頻信號產(chǎn)生多路復(fù)用的3D圖像幀(圖1C的158-1)。BL解碼器(圖1C的152)可以使用多個編解碼器(諸如H.264/AVC、VP8、VC-1和/或其它)中的一個或更多個被實現(xiàn)。
[0065]在一個示例實施例中，上采樣單元(170)將多路復(fù)用的3D圖像幀(158_1)多路分解和/或分離成兩個圖像數(shù)據(jù)部分。雖然多路復(fù)用的3D圖像幀(158-1)包括用于左眼和右眼兩者的多路復(fù)用的經(jīng)濾波圖像數(shù)據(jù)，但是圖像數(shù)據(jù)部分包括均處于低于全分辨率的降低分辨率的經(jīng)濾波的LE圖像數(shù)據(jù)部分和經(jīng)濾波的RE圖像數(shù)據(jù)部分。在一個示例實施例中，上采樣單元(170)對經(jīng)濾波的LE圖像數(shù)據(jù)部分進行上采樣來形成上采樣的低于全分辨率的LE濾波輸出圖像幀(172-L)。類似地，上采樣單元(170)對經(jīng)濾波的RE圖像數(shù)據(jù)部分進行上采樣來形成上采樣的低于全分辨率的RE濾波輸出圖像幀(172-R)。即使上采樣的LE和RE濾波圖像幀(172-L和-R)中的每一個可以包括與全分辨率圖像幀相同數(shù)量的像素，利用上采樣的LE和RE濾波圖像幀(172-L和-R)呈現(xiàn)的3D圖像也具有比由不是由上采樣操作獲得的全分辨率LE和RE圖像幀(圖1B的162-L和-R)組成的3D圖像更模糊的外觀。另外，上采樣的LE和RE濾波圖像幀(172-L和-R)不具有在輸入視頻信號(其可以從例如圖1A的118-1到118-3導(dǎo)出)的編碼處理中去除的高空間頻率圖像細節(jié)。
[0066]上采樣的低于全分辨率的LE和RE濾波圖像幀(172-L和-R)可以由顯示裝置(其例如可以包括基礎(chǔ)層視頻解碼器150-1)呈現(xiàn)來表現(xiàn)輸出3D圖像。呈現(xiàn)上采樣的LE和RE濾波圖像幀(172-L和-R)可以但不限于以幀連續(xù)的方式。
[0067]3、其中對于一個眼睛的高空間內(nèi)容未濾波的多層視頻遞送
[0068]圖2A示出了根據(jù)實施例的多層視頻編碼器(200)，其對用于一個眼睛的輸入視頻序列中的高空間頻率內(nèi)容進行濾波但是不對另一個眼睛進行濾波。圖2B示出了根據(jù)該實施例的與圖2A所示出的多層視頻編碼器(200)對應(yīng)的多層視頻解碼器(250)。
[0069]僅僅出于例證的目的，圖2A示出多層視頻編碼器(200)可以被用來在由多層視頻編碼器(200)產(chǎn)生的經(jīng)編碼的輸出視頻信號中提供用于左眼的未濾波的高空間頻率內(nèi)容和用于右眼的沒有高空間頻率內(nèi)容的經(jīng)濾波圖像數(shù)據(jù)。相同技術(shù)可以被用來實現(xiàn)在由多層視頻編碼器產(chǎn)生的經(jīng)編碼的輸出視頻信號中提供用于右眼的未濾波的高空間頻率內(nèi)容和代之以用于左眼的沒有高空間頻率內(nèi)容的經(jīng)濾波圖像數(shù)據(jù)的多層視頻編碼器。
[0070]在示例實施例中，多層視頻編碼器(200)被配置為對由3D輸入圖像的序列組成的輸入3D視頻序列進行編碼。3D圖像的序列中的3D輸入圖像的全分辨率未濾波的3D圖像數(shù)據(jù)可以被解碼成3D輸入圖像的輸入左眼(LE)圖像幀(102-L)和輸入右眼(RE)圖像幀(102-R)。
[0071]在一個示例實施例中，多層視頻編碼器(200)中的一個或更多個濾波機構(gòu)(例如，104-L和104-R)基于輸入LE和RE圖像幀(102-L和102-R)產(chǎn)生經(jīng)濾波的LE和RE圖像數(shù)據(jù)(106-L和106-R)。經(jīng)濾波的LE和RE圖像數(shù)據(jù)(106-L和106-R)可以被從輸入LE和RE圖像幀(102-L和102-R)中去除高空間頻率內(nèi)容，并且可以通過濾波和/或下采樣輸入LE和RE圖像幀(102-L和102-R)來產(chǎn)生。
[0072]在一個示例實施例中，多路復(fù)用器(例如，Muxl08-1)在多路復(fù)用的3D圖像幀(112-1)中將經(jīng)濾波的LE和RE圖像數(shù)據(jù)(106-L和106-R)多路復(fù)用。多路復(fù)用的3D圖像幀包括用于左眼和右眼兩者的經(jīng)濾波圖像數(shù)據(jù)，并且可以由下游裝置解碼成降低分辨率的LE圖像幀和RE圖像幀。
[0073]在一個示例實施例中，多路復(fù)用的3D圖像幀(112-1)包括用于全分辨率LE圖像幀的一半(例如，每個奇數(shù)列或行)的圖像數(shù)據(jù)以及用于全分辨率RE圖像的一半的圖像數(shù)據(jù)。降低分辨率LE和RE圖像數(shù)據(jù)可以在多路復(fù)用的3D圖像幀(112-1)之內(nèi)以并排格式、上下格式、梅花形格式、棋盤格式、交錯格式、先前的格式的組合或其它多路復(fù)用格式被多路復(fù)用。
[0074]一個或更多個增強層可以被用來攜帶要由下游裝置使用的用于左眼的未濾波的高空間頻率內(nèi)容，以便產(chǎn)生具有用于左眼的未濾波的高空間圖像細節(jié)的全分辨率LE輸出圖像幀。在一個示例中，基礎(chǔ)層可以攜帶半分辨率圖像幀并且增強層可以攜帶未濾波的LE圖像數(shù)據(jù)，該未濾波的LE圖像數(shù)據(jù)可以通過下游裝置來與基礎(chǔ)層中的半分辨率圖像幀結(jié)合以產(chǎn)生全分辨率的圖像幀。在另一個示例中，基礎(chǔ)層壓縮并且攜帶全分辨率的圖像幀的三分之一，而增強層攜帶未濾波的LE圖像，該未濾波的LE圖像可以通過下游裝置來與基礎(chǔ)層中的三分之一分辨率圖像幀結(jié)合以產(chǎn)生全分辨率的圖像幀。結(jié)合基礎(chǔ)層和增強層圖像數(shù)據(jù)的其它變型也是可能的。
[0075]在一個示例實施例中，BL編碼器(110)至少部分基于多路復(fù)用的3D圖像幀(112-1)產(chǎn)生要在基礎(chǔ)層幀兼容的視頻流(BL FC視頻流118-1)中攜帶的基礎(chǔ)層視頻信號，而EL編碼器(216)至少部分基于(未濾波的)輸入左眼(LE)圖像幀(102-L)產(chǎn)生要在可以是或可以不是幀兼容的增強層視頻流(EL視頻流218-1)中攜帶的用于左眼的具有未濾波的高空間頻率內(nèi)容的增強層視頻信號。BL編碼器(110)和EL編碼器(216)中的一個或兩者可以使用多個編解碼器(諸如H.264/AVC、VP8、VC-l和/或其它)中的一個或更多個被實現(xiàn)。
[0076]可以使用混合視頻編碼方法(例如，由諸如VC-1、H.264/AVC和/或其它之類的視頻編解碼器實現(xiàn))產(chǎn)生在此描述的增強層視頻信號?？梢愿鶕?jù)相同圖像幀中的相鄰樣本(使用幀內(nèi)預(yù)測)或者根據(jù)來自屬于同一個層并且在預(yù)測參考圖像幀緩沖器之內(nèi)緩沖作為運動補償?shù)念A(yù)測參考的過去解碼的圖像幀(巾貞間預(yù)測)的樣本，預(yù)測未濾波的全分辨率LE圖像幀的圖像數(shù)據(jù)。層間預(yù)測也可以至少部分基于來自其它層(例如，基礎(chǔ)層等)的經(jīng)解碼的信息。
[0077]另外和/或可選地，多層視頻編碼器(200)可以包括參考處理單元(RPU，214)，其執(zhí)行與預(yù)測有關(guān)的一個或更多個操作。如由參考處理單元實現(xiàn)的預(yù)測可以減少在多層視頻解碼器(250)中構(gòu)造用于左眼的全分辨率未濾波圖像幀中的開銷。RPU (214)可以從BL編碼器110接收BL圖像數(shù)據(jù)，并且通過幀內(nèi)或幀間預(yù)測(或估計)產(chǎn)生預(yù)測參考圖像幀。
[0078]在利用預(yù)測的實施例中，EL編碼器(216)至少部分基于未濾波的輸入LE圖像幀(102-L)和預(yù)測參考圖像幀產(chǎn)生未濾波的LE圖像殘差(預(yù)測參考圖像幀和未濾波的輸入LE圖像幀102-L之間的差)，將圖像殘差存儲在要在EL視頻流(218-1)中攜帶的增強層視頻信號中。此外，RPU (214)至少部分基于預(yù)測參考圖像幀產(chǎn)生要在增強層(EL)RPU流(218-2)中攜帶的參考視頻信號。
[0079]圖2B示出了根據(jù)實施例的示例多層視頻解碼器(250)，其接收包括用于左眼的未濾波的高空間頻率內(nèi)容和用于右眼的沒有高空間頻率內(nèi)容的經(jīng)濾波圖像數(shù)據(jù)的輸入視頻信號。在一個示例實施例中，輸入視頻信號在包括基礎(chǔ)層和一個或更多個增強層的多個層(或多個比特流)中被接收。
[0080]在一個示例實施例中，多層視頻解碼器(250)被配置為將BL FC視頻流(圖2B的118-1)、EL RI3U流(圖2B的218-2)和EL視頻流(圖2B的218-1)中的一個或更多個輸入視頻信號解碼成3D輸出圖像的序列。在一個示例實施例中，3D輸出圖像的序列中的3D輸出圖像包括用于左眼的具有全分辨率未濾波圖像細節(jié)的LE3D和等于或低于全分辨率的RE經(jīng)濾波的3D輸出圖像。
[0081]在一個示例實施例中，BL解碼器(152)至少部分基于BL FC視頻流(圖2B的118-1)中的BL視頻信號產(chǎn)生多路復(fù)用的3D圖像幀(圖2B的158-1)，而EL解碼器(256)至少部分基于EL視頻流(圖2B的218-1)中的EL視頻信號產(chǎn)生包括存在于原始的輸入視頻序列(其可以是圖2A的輸入視頻序列)中的未濾波的聞空間頻率內(nèi)容的左眼輸出圖像中貞(272-L)。BL解碼器(152)和EL解碼器(256)中的一個或兩者可以使用多個編解碼器(諸如H.264/AVC、VP8、VC-l和/或其它)中的一個或更多個被實現(xiàn)。
[0082]在利用這種預(yù)測的那些示例實施例中，解碼器側(cè)RPU (254)至少部分基于EL RPU流(圖2B的218-2)中的參考視頻信號和/或來自BL解碼器(152)的BL圖像數(shù)據(jù)產(chǎn)生預(yù)測參考圖像幀。此外，EL解碼器(256)至少部分基于EL視頻流(圖2B的218-1)中的EL視頻信號和來自RPU (254)的預(yù)測參考圖像幀來產(chǎn)生包括未濾波的高空間頻率內(nèi)容的LE輸出圖像幀(272-L)。
[0083]在一個示例實施例中，上采樣單元(170)將多路復(fù)用的3D圖像幀(158_1)多路分解和/或分離成兩個圖像數(shù)據(jù)部分。雖然多路復(fù)用的3D圖像幀(158-1)包括用于左眼和右眼兩者的多路復(fù)用的經(jīng)濾波圖像數(shù)據(jù)，但是圖像數(shù)據(jù)部分包括經(jīng)濾波的LE圖像數(shù)據(jù)部分和經(jīng)濾波的RE圖像數(shù)據(jù)部分，其中每個圖像數(shù)據(jù)部分都處于低于全分辨率的降低分辨率。在一個示例實施例中，上采樣單元(170)對經(jīng)濾波的RE圖像數(shù)據(jù)部分進行上采樣來形成上采樣的低于全分辨率的RE濾波輸出圖像幀(172-R)。即使上采樣的RE濾波圖像幀(172-R)可以包括與全分辨率圖像幀相同數(shù)量的像素，上采樣的RE濾波圖像幀(172-R)也具有比不是由上采樣操作獲得的全分辨率RE圖像幀(例如，圖1B的162-R)更模糊的外觀。另外，上采樣的RE濾波圖像幀(172-R)不具有在輸入視頻信號(其可以從例如圖2A的118-1導(dǎo)出)的編碼處理中去除的高空間頻率圖像細節(jié)。
[0084]在一個示例實施例中，多層視頻解碼器(250)可以與基礎(chǔ)層中接收的圖像數(shù)據(jù)一起利用在一個或更多個增強層中接收的圖像數(shù)據(jù)(包括但不限于EL RTO流中的參考視頻信號和EL視頻流中的EL視頻信號)，以便改善上采樣的RE輸出圖像幀(172-R)的空間分辨率。
[0085]包括未濾波的高空間頻率內(nèi)容的LE輸出圖像幀(272-L)和上采樣的低于全分辨率的RE濾波圖像幀(172-R)可以由顯示裝置(其例如可以包括多層視頻解碼器250)呈現(xiàn)來表現(xiàn)輸出3D圖像?？梢缘幌抻谝詭B續(xù)的方式呈現(xiàn)LE和RE圖像幀。
[0086]4、其中在交替視角中高空間內(nèi)容未濾波的多層視頻遞送
[0087]單眼優(yōu)勢(eye dominance)可能在各種群之間不同。將未濾波的全分辨率圖像細節(jié)僅僅呈現(xiàn)到同一個眼睛(例如，左眼或右眼)可以影響例如與不同種群的觀看者有關(guān)的主觀的或美學(xué)的感覺方面的3D觀看體驗的質(zhì)量。在一些示例實施例中，未濾波圖像幀可以在左眼和右眼之間交替，這因此可以幫助保持3D圖像質(zhì)量。例如，各包括具有未濾波的高空間頻率內(nèi)容的LE圖像幀和沒有未濾波的高空間頻率內(nèi)容的RE濾波圖像幀的一個或更多個第一 3D圖像以及各包括具有未濾波的聞空間頻率內(nèi)容的RE圖像巾貞和沒有未濾波的聞空間頻率內(nèi)容的LE濾波圖像幀的一個或更多個第二 3D圖像可以由顯示裝置分別在第一時間和不同的第二時間處呈現(xiàn)。如將在稍后進一步說明的，可以以不同的時間分辨率發(fā)生一個或更多個第一 3D圖像和一個或更多個第二 3D圖像之間的交替。
[0088]圖3A示出了根據(jù)本公開的實施例的對用于一個眼睛的輸入視頻序列中的高空間頻率內(nèi)容進行濾波但是保留用于另一個眼睛的未濾波的高空間頻率內(nèi)容的多層視頻編碼器(300)。圖3B示出了根據(jù)本公開的實施例的與圖3A所示出的多層視頻編碼器(300)對應(yīng)的多層視頻解碼器(350)。
[0089]在一個示例實施例中，多層視頻編碼器(300)被配置為對由3D輸入圖像的序列組成的輸入3D視頻序列進行編碼。3D圖像的序列中的3D輸入圖像的全分辨率未濾波的3D圖像數(shù)據(jù)可以被解碼成3D輸入圖像的輸入左眼(LE)圖像幀(102-L)和輸入右眼(RE)圖像中貞(102-R)。
[0090]在一個示例實施例中，多層視頻編碼器(300)中的一個或更多個濾波機構(gòu)(例如，104-L和104-R)基于輸入LE和RE圖像幀(102-L和102-R)產(chǎn)生經(jīng)濾波的LE和RE圖像數(shù)據(jù)(106-L和106-R)。經(jīng)濾波的LE和RE圖像數(shù)據(jù)(106-L和106-R)可以被從輸入LE和RE圖像幀(102-L和102-R)中去除高空間頻率內(nèi)容，并且可以通過對輸入LE和RE圖像幀(102-L和102-R)濾波和/或下采樣來產(chǎn)生。[0091]在一個示例實施例中，多路復(fù)用器(例如，Muxl08_l)將經(jīng)濾波的LE和RE圖像數(shù)據(jù)(106-L和106-R)在多路復(fù)用的3D圖像幀(112-1)中多路復(fù)用。多路復(fù)用的3D圖像幀包括用于左眼和右眼兩者的經(jīng)濾波圖像數(shù)據(jù)，并且可以由下游裝置解碼成降低分辨率的LE圖像幀和RE圖像幀。
[0092]在一個示例實施例中，多路復(fù)用的3D圖像幀(112-1)包括用于全分辨率LE圖像幀的一半(例如，每個奇數(shù)列或行)的圖像數(shù)據(jù)以及用于全分辨率RE圖像的一半的圖像數(shù)據(jù)。降低分辨率LE和RE圖像數(shù)據(jù)可以在多路復(fù)用的3D圖像幀(112-1)之內(nèi)以并排格式、上下格式、梅花形格式、棋盤格式、交錯格式、先前的格式的組合或其它多路復(fù)用格式被多路復(fù)用。
[0093]一個或更多個增強層可以被用來攜帶要由下游裝置使用的用于左眼和右眼中的一個的未濾波的高空間頻率內(nèi)容，以便產(chǎn)生用于左眼和右眼中的一個的具有未濾波的高空間圖像細節(jié)的全分辨率輸出圖像幀。在一個示例中，基礎(chǔ)層可以攜帶半分辨率LE或RE圖像幀并且增強層可以攜帶未濾波的LE或RE圖像數(shù)據(jù)，該未濾波的LE或RE圖像數(shù)據(jù)可以通過下游裝置來與基礎(chǔ)層中的半分辨率圖像幀結(jié)合以產(chǎn)生全分辨率的圖像幀。在另一個示例中，基礎(chǔ)層壓縮并且攜帶全分辨率的LE或RE圖像幀的三分之一，而增強層攜帶未濾波的LE或RE圖像，該未濾波的LE或RE圖像可以通過下游裝置來與基礎(chǔ)層中的三分之一分辨率圖像幀結(jié)合以產(chǎn)生全分辨率的圖像幀。結(jié)合基礎(chǔ)層和增強層圖像數(shù)據(jù)的其它變型也是可能的。
[0094]在一個示例實施例中，BL編碼器(110)至少部分基于多路復(fù)用的3D圖像幀(112-1)產(chǎn)生要在基礎(chǔ)層幀兼容的視頻流(BL FC視頻流118-1)中攜帶的基礎(chǔ)層視頻信號，而EL編碼器(316)至少部分基于(未濾波的)輸入LE圖像巾貞(102-L)和(未濾波的)輸入RE圖像幀(102-R)中的一個來產(chǎn)生要在可以是或可以不是幀兼容的增強層視頻流(EL視頻流318-1)中攜帶的用于對應(yīng)的眼睛的具有未濾波的高空間頻率內(nèi)容的增強層視頻信號。BL編碼器(110 )和EL編碼器(316 )中的一個或兩者可以使用多個編解碼器(諸如H.264/AVC、VP8、VC-1和/或其它)中的一個或更多個被實現(xiàn)。
[0095]可以使用混合視頻編碼方法(例如，由諸如VC-1、H.264/AVC和/或其它之類的視頻編解碼器實現(xiàn))產(chǎn)生在此描述的增強層視頻信號。可以根據(jù)相同圖像幀中的相鄰樣本(使用幀內(nèi)預(yù)測)或者根據(jù)來自屬于同一個層并且在預(yù)測參考圖像幀緩沖器之內(nèi)緩沖作為運動補償?shù)念A(yù)測參考的過去解碼的圖像幀(幀間預(yù)測)的樣本，預(yù)測未濾波的全分辨率LE或RE圖像幀的圖像數(shù)據(jù)。層間預(yù)測也可以至少部分基于來自其它層(例如，基礎(chǔ)層)的經(jīng)解碼的信息。
[0096]另外和/或可選地，多層視頻編碼器(300)可以包括參考處理單元(RPU314)，其執(zhí)行與預(yù)測有關(guān)的一個或更多個操作。如由參考處理單元實現(xiàn)的預(yù)測可以減少在多層視頻解碼器(350)中構(gòu)造用于左眼和右眼中的一個的全分辨率未濾波圖像幀中的開銷。RPU(314)可以從BL編碼器110接收BL圖像數(shù)據(jù)，并且通過幀內(nèi)或幀間預(yù)測(或估計)產(chǎn)生預(yù)測參考圖像幀。
[0097]在一個示例實施例中，多層視頻編碼器(300)包括決策器(decision maker)單元(320)，用于判決用于EL視頻流(318-1)中的圖像數(shù)據(jù)的奇偶標志的值。奇偶標志的第一值(例如，“L”、二進制值等)指示EL視頻流(318-1)中的圖像數(shù)據(jù)包括用于左眼的未濾波的高空間頻率內(nèi)容，而不同的第二值(例如，“R”、二進制值等)指示EL視頻流(318-1)中的圖像數(shù)據(jù)包括用于右眼的未濾波的高空間頻率內(nèi)容。決策器單元(320)被配置為基于基礎(chǔ)層圖像數(shù)據(jù)、(未濾波的)輸入LE圖像幀(102-L)和(未濾波的)輸入RE圖像幀(102-R)中的一個或更多個判決用于奇偶標志的值。在一個示例實施例中，決策器單元(320)將所判決的奇偶標志的值提供給RPU (314)。奇偶標志的值和與奇偶標志的值關(guān)聯(lián)的圖像幀的識別信息可以通過使用EL RI3U流(318-2)被用信號通知(例如，作為SEI的一部分)給下游裝置。在一個示例實施例中，決策器(320)被配置為設(shè)立用于(未濾波的)輸入LE圖像幀(102-L)和(未濾波的)輸入RE圖像幀(102-R)中的與要被提供給EL編碼器(316)的奇偶標志的值對應(yīng)的一個的數(shù)據(jù)流路(data flow path)。然后由EL編碼器(316)將(未濾波的)輸入LE圖像幀(102-L)和(未濾波的)輸入RE圖像幀(102-R)中的那一個編碼成EL視頻信號。
[0098]在利用這種預(yù)測的那些示例實施例中，EL編碼器(316)至少部分基于未濾波的輸入LE圖像幀(102-L)和未濾波的輸入LE圖像幀(102-L)中的一個以及預(yù)測參考圖像幀產(chǎn)生未濾波的圖像殘差(預(yù)測參考圖像幀與未濾波的輸入LE圖像幀(102-L)和未濾波的輸入LE圖像幀(102-L)中的一個之間的差)，將圖像殘差存儲在EL視頻流(318-1)中要攜帶的增強層視頻信號中。此外，RPU (314)至少部分基于預(yù)測參考圖像幀產(chǎn)生要在增強層(EL)RPU流(318-2)中攜帶的參考視頻信號。
[0099]在此描述的技術(shù)之下，一個或更多個增強層基本上包含未濾波的全分辨率LE或RE圖像幀的序列。對于包括一對LE和RE圖像的3D圖像，LE和RE圖像中的僅僅一個在增強層中存在有未濾波的高空間頻率內(nèi)容。由于基礎(chǔ)層圖畫中的圖像數(shù)據(jù)和增強層中的圖像數(shù)據(jù)之間的大量統(tǒng)計冗余的存在，可以使得更有效地將圖像數(shù)據(jù)編碼成增強層。統(tǒng)計冗余可以出于預(yù)測目的被采用，由此使對于增強層的比特率要求最小化。
[0100]決策器(320)可以被配置為使用多個不同的方法中的任意一個來判決增強層中攜帶的未濾波圖像數(shù)據(jù)的奇偶標志的值。在第一示例中，同一個3D圖像的LE和RE未濾波圖像數(shù)據(jù)兩者被攜帶在增強層中。
[0101]在第二示例中，在任何給定時間處同一個3D圖像的用于僅僅一個眼睛而不是左眼和右眼兩者的未濾波圖像數(shù)據(jù)被攜帶在增強層中。可以以幀級別將未濾波的LE和RE圖像數(shù)據(jù)交替地攜帶在增強層中。例如，第一未濾波的LE圖像數(shù)據(jù)可以被攜帶在用于第一 3D圖像的增強層中。用于第二 3D圖像(例如，緊接著第一 3D圖像)的第二未濾波的RE圖像數(shù)據(jù)可以在增強層中緊接著第一未濾波的LE圖像數(shù)據(jù)。用于第三3D圖像(例如，緊接著第二3D圖像)的第三未濾波圖像數(shù)據(jù)可以在增強層中緊接著第二未濾波的RE圖像數(shù)據(jù)。對于額外的未濾波的LE和RE圖像數(shù)據(jù)可以類似地排序。
[0102]在第三示例中，未濾波的LE和RE圖像數(shù)據(jù)可以以場景級別被交替地攜帶在增強層中。第一未濾波的LE圖像數(shù)據(jù)可以被攜帶在用于3D圖像序列中的第一場景的增強層中。用于3D圖像序列中的第二場景(例如，緊接著第一場景)的第二未濾波的RE圖像數(shù)據(jù)可以在增強層中緊接著第一未濾波的LE圖像數(shù)據(jù)。用于3D圖像序列中的第三場景(例如，緊接著第二場景)的第三未濾波LE圖像數(shù)據(jù)可以在增強層中緊接著第二未濾波的RE圖像數(shù)據(jù)。對于額外的未濾波的LE和RE圖像數(shù)據(jù)可以類似地排序。
[0103]在第四示例中，未濾波的LE和RE圖像數(shù)據(jù)可以周期性地被交替地攜帶在增強層中。用于構(gòu)造第一多個未濾波的LE圖像幀的第一未濾波的LE圖像數(shù)據(jù)可以在第一時間段內(nèi)被攜帶在增強層中。用于在第二時間段(例如，緊接著第一時間段)內(nèi)構(gòu)造第二多個未濾波圖像幀的第二未濾波的RE圖像數(shù)據(jù)可以在增強層中緊接著第一未濾波的LE圖像數(shù)據(jù)。用于在第三時間段(例如，緊接著第二時間段)內(nèi)構(gòu)造第三多個未濾波圖像幀的第三未濾波的LE圖像數(shù)據(jù)可以在增強層中緊接著第二未濾波的RE圖像數(shù)據(jù)。對于額外的未濾波的LE和RE圖像數(shù)據(jù)可以類似地排序。
[0104]在如圖4中所示出的示例實施例中，在基礎(chǔ)層和增強層的視頻信號中編碼的3D圖像序列可以包括兩個類型的對(每個對是如圖4所示的“3D圖畫對”)的圖像幀的序列。第一類型對的圖像幀包括未濾波的全分辨率RE圖像幀(全分辨率RE)和經(jīng)濾波的上采樣的LE圖像幀(半分辨率LE)，而第二類型對的圖像幀包括未濾波的全分辨率LE圖像幀(全分辨率LE)和經(jīng)濾波的上采樣的RE圖像幀(半分辨率RE)。每個類型對的圖像幀可以被用來提供用于通過后處理進一步增強3D圖像的空間分辨率的良好的基礎(chǔ)。例如，對于一個眼睛(左眼或右眼)，上采樣的和未濾波的全分辨率圖像數(shù)據(jù)兩者是可用的，并且可以被用來推導(dǎo)估計或者預(yù)測來恢復(fù)用于另一個眼睛的圖像數(shù)據(jù)中的高空間頻率內(nèi)容。
[0105]圖4 Ca)示出如第二示例中一樣以幀級別改變的交替類型對的圖像幀的序列，而圖4 (b)示出如第三示例中一樣以場景級別交替的交替類型對的圖像幀的序列，或者如第四示例中一樣以固定持續(xù)時間(或時間段)級別交替的交替類型對的圖像幀的序列。
[0106]在其它示例實施例中，輸入3D圖像(或者它們的LE和RE構(gòu)成圖像幀)的一個或更多個信號特性(例如，指紋(fingerprint)、統(tǒng)計亮度值(luminance value)、動作、色度特征、銳度、亮度、顏色等)可以由在此描述的多層視頻編碼器使用來判決奇偶標志的值是否轉(zhuǎn)變?yōu)椴煌闹狄约昂螘r轉(zhuǎn)變?yōu)椴煌闹?，其指示增強層中的圖像數(shù)據(jù)對應(yīng)的左眼和右眼中的特定一個。例如，在實況行動(live action)內(nèi)容的情況下，由不同的照相機捕獲的原始圖像幀(圖畫)頻繁地表現(xiàn)出銳度、亮度和顏色等的差異。在此描述的多層視頻編碼器可以基于源自原始圖像幀或者從原始圖像幀導(dǎo)出的這些信號特性中的一個或更多個選擇用于奇偶標志的值，使得經(jīng)編碼的視頻信號表現(xiàn)最好的3D觀看體驗。這種決策過程可以考慮分析增強層中的未濾波的全分辨率圖像數(shù)據(jù)和基礎(chǔ)層中的經(jīng)濾波圖像數(shù)據(jù)的結(jié)果。
[0107]由多層視頻編碼器(300)或者在其中的決策器(320)做出的決定引導(dǎo)創(chuàng)建增強層比特流。因此，該決定在信號中被傳送到下游裝置以便由下游裝置使用它們，以正確構(gòu)造用于3D觀看的LE和RE圖像幀的對。這種信號可以被攜帶在EL RPU流(318-2)中或者以其它類似的方式傳送。另外和/或可選地，出于在視頻解碼器側(cè)構(gòu)造LE或者RE輸出圖像幀的目的，用于指示任何需要的下游裝置進行的濾波的指標(index)可以被提供到下游裝置。
[0108]然而，如下是可能的，即用戶可能注意到與交替來自不同眼睛的圖像幀關(guān)聯(lián)的“閃爍(flicker)”，尤其在使用幀級別交替法的情況下。在一些示例實施例中，這可以在接收器/解碼器側(cè)經(jīng)由一個或更多個高級后處理技術(shù)被改善，例如，通過使用諸如運動估計運動補償(MEMC)或者3D內(nèi)插技術(shù)之類的方法內(nèi)插遺漏的像素來被改善。
[0109]在一些示例實施例中，在增強層中在不同眼睛之間交替可以以較小時間段(幾分之一秒、一秒、兩秒等)的轉(zhuǎn)變來實現(xiàn)。例如，當未濾波的LE圖像數(shù)據(jù)被改變?yōu)樵鰪妼又械奈礊V波的RE圖像數(shù)據(jù)時，在此描述的多層視頻編碼器(例如，300)可以逐漸地(在連續(xù)的幀中；以便避免在單幀中突然地切換)將LE未濾波圖像幀的全分辨率按比例縮小到比得上(comparable to)(相等，具有相同的分辨率范圍，具有五(5)或者其它較小百分率的分辨率差異，等)基礎(chǔ)層中的經(jīng)濾波的RE圖像幀的分辨率的轉(zhuǎn)變分辨率。當通過增強層中的LE圖像幀達到轉(zhuǎn)變分辨率時，濾波到比得上轉(zhuǎn)變分辨率的起始分辨率的RE圖像幀被編碼成增強層(在一些示例實施例中包括EL參考層)。多層視頻編碼器(300)可以逐漸地(在連續(xù)的幀中)從起始分辨率到未濾波的RE圖像幀的全分辨率按比例放大增強層中的RE圖像幀。
[0110]在一些示例實施例中，可以由下游裝置執(zhí)行在增強層中在不同眼睛之間改變圖像幀時逐漸地轉(zhuǎn)變分辨率。例如，多層視頻編碼器(例如，300)可以從預(yù)定的一組濾波器中選擇濾波器。濾波器在應(yīng)用時可以在增強層中攜帶的圖像數(shù)據(jù)中逐漸地減少用于一個眼睛的分辨率并且逐漸地增大用于另一個眼睛的分辨率。在一個示例實施例中，多層視頻編碼器(300)可以包括EL RTO流中攜帶的RPU數(shù)據(jù)中的濾波器指標。濾波器指標可以由下游裝置使用，以便查找預(yù)配置的一組可用的濾波器，并且確定在增強層中圖像幀正在從一個眼睛改變到另一個眼睛時預(yù)配置的該組可用的濾波器中的哪一個應(yīng)該被應(yīng)用于逐漸地轉(zhuǎn)變圖像幀的分辨率。
[0111]圖3B示出了根據(jù)實施例的多層視頻解碼器(350)，其接收包括用于左眼和右眼中的一個的未濾波的高空間頻率內(nèi)容和用于左眼和右眼中的另一個的沒有高空間頻率內(nèi)容的經(jīng)濾波圖像數(shù)據(jù)的輸入視頻信號。在一個示例實施例中，輸入視頻信號在包括基礎(chǔ)層和一個或更多個增強層的多個層(或多個比特流)中被接收。
[0112]在一個示例實施例中，多層視頻解碼器(350)被提供用于將BLFC視頻流(圖3B的118-1)、EL RI3U流(圖3B的318-2)和EL視頻流(圖3B的318-1)中的一個或更多個輸入視頻信號解碼成3D輸出圖像的序列。在一個示例實施例中，3D輸出圖像的序列中的3D輸出圖像包括用于左眼和右眼中的一個的具有全分辨率未濾波圖像細節(jié)的3D以及用于左眼和右眼中的另一個的等于或低于全分辨率的經(jīng)濾波的3D輸出圖像。
[0113]在一個示例實施例中，RPU (354)被配置為根據(jù)在EL RPU流(318_2)中接收的參考視頻信號來確定奇偶標志的值以及EL視頻流(318-1)中的EL視頻信號中的與奇偶標志的值關(guān)聯(lián)的圖像幀的識別信息。
[0114]在一個示例實施例中，EL解碼器(356)從RPU (354)接收奇偶標志的值和EL視頻信號中的與奇偶標志的值關(guān)聯(lián)的圖像幀的識別信息。至少部分基于EL視頻流(圖3B的318-1)中的EL視頻信號，EL解碼器(356)產(chǎn)生用于左眼和右眼中的與從RPU (354)接收的奇偶標志的值對應(yīng)的一個眼睛的未濾波的輸出圖像幀(372-L和372-R中的一個)。未濾波的輸出圖像巾貞(372-L和372-R中的一個)包括存在于原始的輸入視頻序列(其可以是圖3A的輸入視頻序列)中的未濾波的高空間頻率內(nèi)容。
[0115]在一個示例實施例中，多層視頻解碼器(350)包括開關(guān)(374)，該開關(guān)被配置為從RPU (354)接收奇偶標志的值并且基于奇偶標志的值切換數(shù)據(jù)流。例如，如果奇偶標志的值對應(yīng)于左眼，則未濾波的輸出圖像幀對應(yīng)于左眼。開關(guān)(374)基于奇偶標志的相同的值設(shè)立對應(yīng)的數(shù)據(jù)流以便輸出用于左眼的未濾波的輸出圖像幀作為3D輸出圖像序列的一部分。
[0116]在一個示例實施例中，BL解碼器(152)至少部分基于BL FC視頻流(圖3B的118-1)中的BL視頻信號產(chǎn)生多路復(fù)用的3D圖像幀(圖3B的158-1)。
[0117]在一個示例實施例中，上采樣單元(370)從RPU (354)接收奇偶標志的值和EL視頻信號中的與奇偶標志的值關(guān)聯(lián)的圖像幀的有關(guān)信息(例如，識別信息、濾波器信息等)。基于從RPU (354)接收的信息，上采樣單元(370)從多路復(fù)用的3D圖像幀(158-1)中取回和/或提取對應(yīng)于左眼和右眼中的另一個(相對于由EL解碼器356解碼的圖像幀)的中間濾波圖像部分。中間濾波圖像部分處于低于全分辨率的降低分辨率。在一個示例實施例中，上采樣單元(170)對中間濾波圖像部分進行上采樣來形成上采樣的低于全分辨率的濾波輸出圖像幀(172-R和172-L中的一個)。
[0118]在一個示例實施例中，多層視頻解碼器(350)可以與基礎(chǔ)層中接收的圖像數(shù)據(jù)一起利用在一個或更多個增強層中接收的圖像數(shù)據(jù)(包括但不限于EL RTO流中的參考視頻信號和EL視頻流中的EL視頻信號)，以便改善上采樣的輸出圖像幀(172-R和172-L中的一個)的空間分辨率。
[0119]在利用預(yù)測的實施例中，解碼器側(cè)RPU (354)至少部分基于EL RPU流(圖3B的318-2)中的參考視頻信號和/或來自BL解碼器(152)的預(yù)測有關(guān)的信息產(chǎn)生預(yù)測參考圖像幀。此外，EL解碼器(356)至少部分基于EL視頻流(圖3B的318-1)中的EL視頻信號和來自RPU (354)的預(yù)測參考圖像幀來產(chǎn)生包括未濾波的高空間頻率內(nèi)容的輸出圖像幀(372-L 和 372-2 中的一個)。
[0120]在此描述的技術(shù)之下，經(jīng)解碼的增強層包含未濾波的全分辨率LE和RE圖像幀的序列。在如圖5中所示出的示例實施例中，3D圖像可以以一對(或者“3D圖畫對”)未濾波的全分辨率RE圖像幀(經(jīng)解碼的全分辨率RE圖畫或者全分辨率RE)和經(jīng)濾波的上采樣的LE圖像幀(重建的和上采樣的全分辨率LE圖畫或者半分辨率LE)被呈現(xiàn)在3D TV上。類似地，3D圖像可以以一對(或者3D圖畫對)未濾波的全分辨率LE圖像幀(經(jīng)解碼的全分辨率LE圖畫或者全分辨率LE)和經(jīng)濾波的上采樣的RE圖像幀(重建的和上采樣的全分辨率RE圖畫或者半分辨率RE)被呈現(xiàn)在3D TV上。
[0121]包括未濾波的高空間頻率內(nèi)容的LE輸出圖像幀(272-L和272-R中的一個)和上采樣的低于全分辨率的濾波圖像幀(172-R和172-L中的一個)可以由顯示裝置例如以幀連續(xù)的方式來呈現(xiàn)。
[0122]BL解碼器(152)和EL解碼器(256)中的一個或兩者可以使用多個編解碼器(諸如
H.264/AVC、VP8、VC-l和/或其它)中的一個或更多個被實現(xiàn)。
[0123]示例實施例包括比圖3B更綜合的構(gòu)架(framework)。圖3C示出也許能對在增強層流中編碼的多個不同類型的圖像數(shù)據(jù)中的任意一個進行解碼的多層視頻解碼處理。多個不同類型的(經(jīng)編碼的)圖像數(shù)據(jù)可以包括增強層中的用于雙眼的經(jīng)濾波的降低分辨率圖像數(shù)據(jù)、增強層中的未濾波的全分辨率LE圖像數(shù)據(jù)、增強層中的未濾波的全分辨率RE圖像數(shù)據(jù)、先前的組合、其它類型的分辨率不對稱的圖像數(shù)據(jù)等。用于用信號通知重構(gòu)的奇偶標志由RI3U流(318-2)攜帶。在一些示例實施例中，對于全分辨率3D觀看，三個選項是可用的。在選項A之下，提供分辨率對稱的3D圖像，其可以包括LE和RE圖像(162-L和162-R)。在選項B和C之下，未濾波的RE或者LE圖像幀被提供以便改善3D圖像的空間分辨率的感知。與選項A、B或者C對應(yīng)的增強層中的圖像數(shù)據(jù)發(fā)送的選擇可以基于來自不同應(yīng)用的要求。編碼處理可以具有確定要經(jīng)由增強層傳送什么類型的圖像數(shù)據(jù)的靈活性?？梢圆捎脹Q策器(例如，圖3A的320)來分析3D圖像的輸入序列以及針對最好可能的3D觀看體驗選擇所發(fā)送的東西。
[0124]在圖3C中，來自RI3U流的奇偶標志控制經(jīng)解碼的BL和EL視頻數(shù)據(jù)的正確的重構(gòu)路徑?；谠诿總€時間情況處什么類型圖像數(shù)據(jù)存在于增強層中，奇偶標志可以被用來控制開關(guān)(374-1和374-2)的操作以便使得能夠?qū)⒑线m類型的LE和RE圖像的對發(fā)送給下游處理，例如，以用于在3D TV (374)上的圖像呈現(xiàn)。
[0125]另外和/或可選地，可以由在此描述的解碼器或者視頻編碼器執(zhí)行變換、量子化、熵編碼、圖像緩沖、采樣濾波、下采樣、上采樣、內(nèi)插、多路復(fù)用、多路分解、交錯、按比例放大、按比例縮小、運動補償、視差(disparity)估計、視差補償、深度估計、深度補償、編碼、解碼等中的一個或更多個。
[0126]實施例保持編碼的立體3D圖像中的空間分辨率。在一些示例實施例中，維持與僅僅能夠解碼BL3D圖像的解碼器的向后兼容性和與能夠解碼經(jīng)濾波的互補的EL3D圖像數(shù)據(jù)的解碼器的向后兼容性中的一個或更多個。因此，在一些示例實施例中，在此描述的視頻信號可以向后兼容現(xiàn)有的用于3D內(nèi)容遞送的幀兼容的系統(tǒng)并且可以和當前FCFR構(gòu)架一起使用。另外，在此描述的技術(shù)提供為了產(chǎn)生3D視覺質(zhì)量的最佳再現(xiàn)交替在增強層中編碼的圖像幀的奇偶性的靈活性。
[0127]5、示例處理流程
[0128]圖6A示出根據(jù)本發(fā)明實施例的示例處理流程。在一些示例實施例中，一個或更多個計算裝置或部件可以執(zhí)行這個處理流程。在塊602中，多層視頻編碼器(例如，300)接收3D輸入圖像，該3D輸入圖像包括用于第一視角的第一輸入圖像幀和用于不同的第二視角的第二輸入圖像幀。如在此使用的，視角(例如，第一視角或者第二視角)指的是左眼(LE)視圖(view)和右眼(RE)視圖中的一個。
[0129]在塊604中，多層視頻編碼器(300)基于第一輸入圖像幀產(chǎn)生用于第一視角的降低分辨率圖像數(shù)據(jù)。
[0130]在塊606中，多層視頻編碼器(300)基于第二輸入圖像幀產(chǎn)生用于第二視角的全分辨率圖像數(shù)據(jù)。
[0131]在塊608中，多層視頻編碼器(300)編碼和輸出降低分辨率圖像數(shù)據(jù)和全分辨率圖像數(shù)據(jù)以便表現(xiàn)3D輸出圖像。這里，3D輸出圖像包括一對從用于第一視角的降低分辨率圖像數(shù)據(jù)導(dǎo)出的降低分辨率輸出圖像幀和從用于第二視角的全分辨率圖像數(shù)據(jù)導(dǎo)出的全分辨率輸出圖像中貞。
[0132]在一個示例實施例中，3D輸出圖像的全分辨率輸出圖像幀包括從第二輸入圖像幀導(dǎo)出的未濾波的高空間頻率內(nèi)容，而3D輸出圖像的降低分辨率輸出圖像幀包括從第一輸入圖像幀導(dǎo)出的經(jīng)濾波圖像數(shù)據(jù)。
[0133]在一個示例實施例中，3D輸入圖像是3D輸入圖像的序列中的第一 3D輸入圖像，所述序列包括不同的第二 3D輸入圖像，所述第二 3D輸入圖像具有用于第一視角的第三輸入圖像幀和用于第二視角的第四輸入圖像幀；并且多層視頻編碼器(300)還執(zhí)行:基于第四輸入圖像幀產(chǎn)生用于第二視角的第二降低分辨率圖像數(shù)據(jù)；基于第一輸入圖像幀產(chǎn)生用于第一視角的第二全分辨率圖像數(shù)據(jù)；以及編碼和輸出第二降低分辨率圖像數(shù)據(jù)和第二全分辨率圖像數(shù)據(jù)以便表現(xiàn)第二 3D輸出圖像，該第二 3D輸出圖像包括第二對從用于第二視角的降低分辨率圖像數(shù)據(jù)導(dǎo)出的第二降低分辨率輸出圖像幀和從用于第一視角的全分辨率圖像數(shù)據(jù)導(dǎo)出的全分辨率輸出圖像幀。
[0134]在一個示例實施例中，與第二視角對應(yīng)的奇偶標志的第一值被輸出作為用于3D輸出圖像的圖像數(shù)據(jù)的一部分，而同時與第一視角對應(yīng)的奇偶標志的不同的第二值被輸出作為用于第二 3D輸出圖像的圖像數(shù)據(jù)的一部分。
[0135]在一個示例實施例中，奇偶標志以巾貞級別、場景級別或固定持續(xù)時間級別中的一種在第一值和不同的第二值之間轉(zhuǎn)變。在一個示例實施例中，固定持續(xù)時間可以是一個單幀或多個幀的回放時間。在一個示例實施例中，持續(xù)時間的長度可以在各個節(jié)目之間變化。
[0136]在一個示例實施例中，多層視頻編碼器(300)按比例縮小多個3D輸出圖像中的多個全分辨率輸出圖像幀的空間分辨率，以便在其中奇偶標志在第一值和不同的第二值之間轉(zhuǎn)變的時間段期間提供用于雙眼的分辨率的平滑轉(zhuǎn)變。
[0137]在一個示例實施例中，用于第一視角的降低分辨率圖像數(shù)據(jù)在多路復(fù)用的3D圖像幀中，該多路復(fù)用的3D圖像幀還包括用于第二視角的降低分辨率圖像數(shù)據(jù)。在一個示例實施例中，該多路復(fù)用的3D圖像幀在多個輸出比特流的基礎(chǔ)層輸出比特流中被輸出。
[0138]在一個示例實施例中，多層視頻編碼器(300)還執(zhí)行:至少部分基于用于第二視角的降低分辨率圖像數(shù)據(jù)產(chǎn)生預(yù)測參考幀；以及產(chǎn)生用于第二視角的全分辨率圖像數(shù)據(jù)作為預(yù)測參考幀和第二輸入圖像幀之間的差。在一個示例實施例中，多層視頻編碼器(300)還輸出具有降低分辨率圖像數(shù)據(jù)和全分辨率圖像數(shù)據(jù)的預(yù)測參考幀。
[0139]在一個示例實施例中，全分辨率圖像數(shù)據(jù)的至少一部分(例如，未濾波的高空間頻率內(nèi)容)在多個輸出比特流的一個或更多個增強層輸出比特流中被輸出。
[0140]在一個示例實施例中，多層視頻編碼器(300)還執(zhí)行:將利用一個或更多個輸入視頻信號表現(xiàn)、接收、傳送或存儲的一個或更多個3D輸入圖像轉(zhuǎn)換成利用一個或更多個輸出視頻信號表現(xiàn)、接收、傳送或存儲的一個或更多個3D輸出圖像。
[0141]在一個示例實施例中，3D輸出圖像和3D輸入圖像中的至少一個包括以高動態(tài)范圍(HDR)圖像格式、與電影藝術(shù)與科學(xué)學(xué)院(AMPAS)的學(xué)院色彩編碼規(guī)范(ACES)標準關(guān)聯(lián)的RGB顏色空間、數(shù)字電影倡導(dǎo)聯(lián)盟的P3顏色空間標準、參考輸入媒體度量/參考輸出媒體度量(RIMM/ROMM)標準、sRGB顏色空間或與國際電信聯(lián)盟(ITU)的BT.709推薦標準關(guān)聯(lián)的RGB顏色空間中的一個編碼的圖像數(shù)據(jù)。
[0142]圖6B示出根據(jù)本發(fā)明示例實施例的另一個示例處理流程。在一些示例實施例中，一個或更多個計算裝置可以執(zhí)行這個處理流程。在塊652中，多層視頻解碼器(例如，350-1)接收3D圖像，所述3D圖像包括用于第一視角的輸入的降低分辨率圖像數(shù)據(jù)和用于不同的第二視角的輸入的全分辨率圖像數(shù)據(jù)。
[0143]在塊654中，多層視頻解碼器(350-1)基于輸入的降低分辨率圖像數(shù)據(jù)產(chǎn)生用于第一視角的3D圖像的降低分辨率圖像幀。
[0144]在塊656中，多層視頻解碼器(350-1)基于輸入的全分辨率圖像數(shù)據(jù)產(chǎn)生用于第二視角的全分辨率圖像幀。
[0145]在塊658中，多層視頻解碼器(350-1)通過呈現(xiàn)用于第一視角的3D圖像的降低分辨率圖像幀并且通過呈現(xiàn)用于第二視角的3D圖像的全分辨率圖像幀來呈現(xiàn)3D圖像。
[0146]在一個示例實施例中，3D圖像的全分辨率圖像幀包括在源3D圖像中的未濾波的高空間頻率內(nèi)容，而同時3D圖像的降低分辨率圖像幀包括在源3D圖像中的經(jīng)濾波圖像數(shù)據(jù)。
[0147]在一個示例實施例中，3D圖像是3D圖像的序列中的第一 3D圖像，所述序列包括不同的第二 3D圖像，第二 3D圖像具有用于第二視角的第二輸入降低分辨率圖像數(shù)據(jù)以及用于第一視角的第二輸入全分辨率圖像數(shù)據(jù)；并且多層視頻解碼器(350-1)還執(zhí)行基于第二輸入降低分辨率圖像數(shù)據(jù)產(chǎn)生用于第二視角的第二 3D圖像的第二降低分辨率圖像幀；基于第二輸入全分辨率圖像數(shù)據(jù)產(chǎn)生用于第一視角的第二全分辨率圖像幀；以及通過呈現(xiàn)用于第二視角的第二 3D圖像的第二降低分辨率圖像幀并且通過呈現(xiàn)用于第一視角的第二 3D圖像的第二全分辨率圖像幀來呈現(xiàn)第二 3D圖像。
[0148]在一個示例實施例中，與第二視角對應(yīng)的奇偶標志的第一值被接收作為用于第一3D圖像的圖像數(shù)據(jù)的一部分，而同時與第一視角對應(yīng)的奇偶標志的不同的第二值被接收作為用于第二 3D圖像的圖像數(shù)據(jù)的一部分。在一個示例實施例中，奇偶標志以幀級別、場景級別或固定持續(xù)時間級別中的一個在第一值和不同的第二值之間轉(zhuǎn)變。
[0149]在一個示例實施例中，多層視頻解碼器(350-1)基于接收到的濾波器標志選擇分辨率濾波器，以便按比例縮小多個3D圖像中的多個全分辨率輸出圖像幀的空間分辨率，以便在其中奇偶標志在第一值和不同的第二值之間轉(zhuǎn)變的時間段期間提供用于雙眼的分辨率的平滑轉(zhuǎn)變。
[0150]在一個示例實施例中，用于第一視角的輸入的降低分辨率圖像數(shù)據(jù)在輸入的多路復(fù)用的3D圖像幀中，該輸入的多路復(fù)用的3D圖像幀還包括用于第二視角的輸入的降低分辨率圖像數(shù)據(jù)。
[0151 ] 在一個示例實施例中，從多個輸入的比特流的基礎(chǔ)層輸入比特流接收輸入的多路復(fù)用的3D圖像幀。
[0152]在一個示例實施例中，多層視頻解碼器(350-1)還執(zhí)行至少部分基于用于第二視角的輸入的降低分辨率圖像數(shù)據(jù)產(chǎn)生預(yù)測參考幀；以及通過結(jié)合預(yù)測參考幀和輸入的全分辨率圖像數(shù)據(jù)來產(chǎn)生全分辨率圖像幀。
[0153]在一個示例實施例中，從多個輸入比特流的一個或更多個增強層比特流接收輸入的全分辨率圖像數(shù)據(jù)的至少一部分。
[0154]在一個示例實施例中，多層視頻解碼器(350-1)處理利用一個或更多個輸入視頻信號表現(xiàn)、接收、傳送或存儲的一個或更多個3D圖像。
[0155]在一個示例實施例中，3D圖像包括以高動態(tài)范圍(HDR)圖像格式、與電影藝術(shù)與科學(xué)學(xué)院(AMPAS)的學(xué)院色彩編碼規(guī)范(ACES)標準關(guān)聯(lián)的RGB顏色空間、數(shù)字電影倡導(dǎo)聯(lián)盟的P3顏色空間標準、參考輸入媒體度量/參考輸出媒體度量(RIMM/ROMM)標準、sRGB顏色空間或與國際電信聯(lián)盟(ITU)的BT.709推薦標準關(guān)聯(lián)的RGB顏色空間中的一個編碼的圖像數(shù)據(jù)。
[0156]在各種示例實施例中，編碼器、解碼器、系統(tǒng)等執(zhí)行如描述的先前的方法的一部分或任何一個。
[0157]6、實現(xiàn)機構(gòu)——硬件概述
[0158]根據(jù)一個實施例，本申請中描述的技術(shù)由一個或更多個專用的計算裝置實現(xiàn)。專用的計算裝置可以是被硬接線為執(zhí)行該技術(shù)的，或者可以包括持久地被編程為執(zhí)行該技術(shù)的數(shù)字電子器件(諸如一個或更多個專用集成電路(ASIC)或者現(xiàn)場可編程門陣列(FPGA))，或者可以包括被編程為依據(jù)固件、存儲器、其它存儲器或者組合中的程序指令執(zhí)行該技術(shù)的一個或更多個通用的硬件處理器。這種專用的計算裝置還可以結(jié)合具有定制的編程的定制的硬連線邏輯、ASIC或者FPGA以便實現(xiàn)該技術(shù)。專用的計算裝置可以是臺式計算機系統(tǒng)、便攜式計算機系統(tǒng)、手持裝置、連網(wǎng)裝置或者包括硬接線和/或程序邏輯以實現(xiàn)該技術(shù)的任何其它裝置。
[0159]例如，圖7是示出其上可以實現(xiàn)本發(fā)明的示例實施例的計算機系統(tǒng)700的框圖。計算機系統(tǒng)700包括總線702或者用于傳遞信息的其它通信機構(gòu)、以及用于處理信息的與總線702耦接的硬件處理器704。硬件處理器704可以是例如通用微處理器。
[0160]計算機系統(tǒng)700還包括與總線702耦接的用于存儲要由處理器704執(zhí)行的指令和信息的主存儲器706，諸如隨機訪問存儲器(RAM)或者其它動態(tài)存儲裝置。主存儲器706還可以被用于在執(zhí)行要由處理器704執(zhí)行的指令期間存儲臨時變量或者其它中間信息。這種指令在存儲在處理器704能訪問的非暫態(tài)存儲介質(zhì)中時致使計算機系統(tǒng)700為被定制以執(zhí)行指令中指定的操作的專用機器。
[0161]計算機系統(tǒng)700還包括與總線702耦接的用于存儲用于處理器704的指令和靜態(tài)信息的只讀存儲器(ROM) 708或者其它靜態(tài)存儲裝置。存儲裝置710 (諸如磁盤或者光盤)被提供并且與總線702耦接以用于存儲信息與指令。
[0162]計算機系統(tǒng)700可以經(jīng)由總線702耦接到顯示器712 (諸如液晶顯示器)，以用于向計算機用戶顯示信息。輸入裝置714 (包括字母數(shù)字鍵和其它鍵)與總線702耦接以用于向處理器704傳遞信息和命令選擇。另一類型的用戶輸入裝置是用于向處理器704傳遞方向信息和命令選擇以及用于控制顯示器712上的光標移動的光標控制716，諸如鼠標、軌跡球或者光標方向鍵。這個輸入裝置典型地具有在兩個軸(第一軸(例如，X)和第二軸(例如，Y?上的兩個自由度，其允許裝置指定平面中的位置。
[0163]計算機系統(tǒng)700可以使用與計算機系統(tǒng)結(jié)合使得或者編程計算機系統(tǒng)700為專用機器的定 制的硬連線邏輯、一個或更多個ASIC或FPGA、固件和/或程序邏輯來實現(xiàn)本申請中描述的技術(shù)。根據(jù)一個實施例，由計算機系統(tǒng)700響應(yīng)于處理器704執(zhí)行包含在主存儲器706中的一個或更多個指令的一個或更多個序列執(zhí)行本申請中的技術(shù)。這種指令可以被從另一存儲介質(zhì)(諸如存儲裝置710)讀到主存儲器706中。包含在主存儲器706中的指令序列的執(zhí)行使得處理器704執(zhí)行本申請中描述的處理步驟。在可替代實施例中，硬接線的電路可以被使用來代替軟件指令或與軟件指令結(jié)合。
[0164]本文中使用的術(shù)語“存儲介質(zhì)”指的是存儲使得機器以特定方式操作的指令和/或數(shù)據(jù)的任何非暫態(tài)介質(zhì)。這種存儲介質(zhì)可以包括非易失性介質(zhì)和/或易失性的介質(zhì)。非易失性介質(zhì)包括例如光盤或磁盤，諸如存儲裝置710。易失性介質(zhì)包括動態(tài)存儲器，諸如主存儲器706。存儲介質(zhì)的常見形式包括，例如，軟盤、柔性磁盤、硬盤、固態(tài)驅(qū)動、磁帶或任何其它磁數(shù)據(jù)存儲介質(zhì)、CD-ROM、任何其它光數(shù)據(jù)存儲介質(zhì)、任何具有孔的圖案的物理介質(zhì)、RAM、PROM 和 EPROM、FLASH-EPROM、NVRAM、任何其它存儲器芯片或盒(cartridge)。
[0165]存儲介質(zhì)與傳輸介質(zhì)不同但是可以與傳輸介質(zhì)結(jié)合使用。傳輸介質(zhì)參與存儲介質(zhì)之間的傳送信息。例如，傳輸介質(zhì)包括同軸電纜、銅線和光纖，包括包含總線702的導(dǎo)線。傳輸介質(zhì)還可以采取聲波或光波的形式，諸如在無線電波和紅外數(shù)據(jù)通信期間產(chǎn)生的那些。
[0166]各種形式的介質(zhì)可以涉及將一個或更多個指令的一個或更多個序列運送到處理器704以用于執(zhí)行。例如，指令可以初始被攜帶在遠程計算機的固態(tài)驅(qū)動或磁盤上。遠程計算機可以裝載指令到它的動態(tài)存儲器中并且使用調(diào)制解調(diào)器經(jīng)由電話線發(fā)送指令。對于計算機系統(tǒng)700局部的調(diào)制解調(diào)器可以在電話線上接收數(shù)據(jù)并且使用紅外的發(fā)送器來轉(zhuǎn)換數(shù)據(jù)為紅外信號。紅外檢測器可以接收紅外信號中攜帶的數(shù)據(jù)，并且適當?shù)碾娐房梢苑胖脭?shù)據(jù)在總線702上。總線702將數(shù)據(jù)運載到主存儲器706，處理器704從該主存儲器706取回指令并且執(zhí)行指令。主存儲器706接收的指令可以可選地在處理器704執(zhí)行前后被存儲在存儲裝置710上。
[0167]計算機系統(tǒng)700還包括與總線702耦接的通信接口 718。通信接口 718提供與網(wǎng)絡(luò)鏈路720耦接的雙向的數(shù)據(jù)通信，網(wǎng)絡(luò)鏈路720連接到局部網(wǎng)絡(luò)722。例如，通信接口 718可以為集成服務(wù)數(shù)字網(wǎng)絡(luò)(ISDN)卡、電纜調(diào)制解調(diào)器、衛(wèi)星調(diào)制解調(diào)器、或提供到對應(yīng)類型電話線的數(shù)據(jù)通信連接的調(diào)制解調(diào)器。作為另一示例，通信接口 718可以為局域網(wǎng)(LAN)卡以便提供數(shù)據(jù)通信連接到可兼容的LAN。還可以實現(xiàn)無線鏈路。在任何這種實現(xiàn)中，通信接口 718發(fā)送和接收電信號、電磁信號或光信號，其攜帶代表各種類型信息的數(shù)字數(shù)據(jù)流。
[0168]網(wǎng)絡(luò)鏈路720典型地通過一個或更多個網(wǎng)絡(luò)提供數(shù)據(jù)通信到其它數(shù)據(jù)裝置。例如，網(wǎng)絡(luò)鏈路720可以通過局部網(wǎng)絡(luò)722提供連接到主機計算機724或到由因特網(wǎng)服務(wù)供應(yīng)商(ISP) 726操作的數(shù)據(jù)設(shè)備。ISP726又通過環(huán)球分組數(shù)據(jù)通信網(wǎng)絡(luò)(現(xiàn)在一般被稱為“因特網(wǎng)”728)提供數(shù)據(jù)通信服務(wù)。局部網(wǎng)絡(luò)722和因特網(wǎng)728兩者使用攜帶數(shù)字數(shù)據(jù)流的電信號、電磁信號或光信號。通過各種網(wǎng)絡(luò)的信號以及網(wǎng)絡(luò)鏈路720上的和通過通信接口 718的信號(運送數(shù)字數(shù)據(jù)到計算機系統(tǒng)700和從計算機系統(tǒng)700運送數(shù)字數(shù)據(jù))為傳輸介質(zhì)的示例形式。
[0169]計算機系統(tǒng)700可以通過網(wǎng)絡(luò)(或多個網(wǎng)絡(luò))、網(wǎng)絡(luò)鏈路720以及通信接口 718發(fā)送消息以及接收數(shù)據(jù)，包括程序代碼。在因特網(wǎng)示例中，服務(wù)器730可能通過因特網(wǎng)728、ISP726、局部網(wǎng)絡(luò)722和通信接口 718發(fā)送用于應(yīng)用程序的請求代碼。
[0170]接收的代碼可以由處理器704按照接收的原樣執(zhí)行，和/或存儲在存儲裝置710中或其它非易失性存儲器，以用于稍后執(zhí)行。
[0171]7、等同物、擴展、替代方案和雜項
[0172]在前述說明書中，已經(jīng)參考可以在實現(xiàn)方式之間變化的許多具體細節(jié)描述了本發(fā)明的示例實施例。因此，何為本發(fā)明以及 申請人:意圖為本發(fā)明的僅有的且唯一的指示器為本申請發(fā)布的權(quán)利要求組，具有這種權(quán)利要求發(fā)布的特定形式，包括任何后續(xù)的校正。本申請中對于這種權(quán)利要求中包含的術(shù)語明確地陳述的任何定義應(yīng)該決定權(quán)利要求中使用的這種術(shù)語的意思。因此，在權(quán)利要求中沒有明確地敘述的限制、元件、特性、特征、優(yōu)點、或?qū)傩圆粦?yīng)該以任何方式限制這種權(quán)利要求的范圍。因此，說明書和附圖要被當作是示例性的而不是限制性的。
【權(quán)利要求】
1.一種方法，包括: 接收3D輸入圖像，該3D輸入圖像包括用于第一視角的第一輸入圖像幀和用于不同的第二視角的第二輸入圖像幀； 基于第一輸入圖像幀產(chǎn)生用于第一視角的降低分辨率圖像數(shù)據(jù)； 基于第二輸入圖像幀產(chǎn)生用于第二視角的全分辨率圖像數(shù)據(jù)；以及編碼和輸出該降低分辨率圖像數(shù)據(jù)和該全分辨率圖像數(shù)據(jù)以便表現(xiàn)3D輸出圖像，該3D輸出圖像包括一對從用于第一視角的降低分辨率圖像數(shù)據(jù)導(dǎo)出的降低分辨率輸出圖像幀和從用于第二視角的全分辨率圖像數(shù)據(jù)導(dǎo)出的全分辨率輸出圖像幀。
2.如權(quán)利要求1所述的方法，其中3D輸出圖像的全分辨率輸出圖像幀包括從第二輸入圖像幀導(dǎo)出的未濾波的高空間頻率內(nèi)容，并且其中3D輸出圖像的降低分辨率輸出圖像幀包括從第一輸入圖像幀導(dǎo)出的經(jīng)濾波圖像數(shù)據(jù)。
3.如權(quán)利要求1所述的方法，其中3D輸入圖像是3D輸入圖像的序列中的第一3D輸入圖像，所述序列包括不同的第二 3D輸入圖像，所述第二 3D輸入圖像具有用于第一視角的第三輸入圖像幀和第四輸入圖像幀；并且所述方法還包括: 基于第四輸入圖像幀產(chǎn)生用于第二視角的第二降低分辨率圖像數(shù)據(jù)； 基于第三輸入圖像幀產(chǎn)生用于第一視角的第二全分辨率圖像數(shù)據(jù)；以及編碼和輸出第二降低分辨率圖像數(shù)據(jù)和第二全分辨率圖像數(shù)據(jù)以便表現(xiàn)第二 3D輸出圖像，該第二 3D輸出圖像包括第二對從用于第二視角的第二降低分辨率圖像數(shù)據(jù)導(dǎo)出的第二降低分辨率輸出圖像幀和從用于第一視角的第二全分辨率圖像數(shù)據(jù)導(dǎo)出的第二全分辨率輸出圖像中貞。
4.如權(quán)利要求1所述的方法，其中與第二視角對應(yīng)的奇偶標志的第一值被輸出作為用于3D輸出圖像的圖像數(shù)據(jù)的一部分，并且其中與第一視角對應(yīng)的奇偶標志的不同的第二值被輸出作為用于第二 3D輸出圖像的圖像數(shù)據(jù)的一部分。
5.如權(quán)利要求4所述的方法，其中奇偶標志以幀級別、場景級別或固定持續(xù)時間級別中的一個在第一值和不同的第二值之間轉(zhuǎn)變。
6.如權(quán)利要求4所述的方法，還包括按比例縮小多個3D輸出圖像中的多個全分辨率輸出圖像幀的空間分辨率，以便在其中奇偶標志在第一值和不同的第二值之間轉(zhuǎn)變的時間段期間提供用于雙眼的分辨率的平滑轉(zhuǎn)變。
7.如權(quán)利要求1所述的方法，其中用于第一視角的降低分辨率圖像數(shù)據(jù)在多路復(fù)用的3D圖像幀中，該多路復(fù)用的3D圖像幀還包括用于第二視角的降低分辨率圖像數(shù)據(jù)。
8.如權(quán)利要求7所述的方法，其中該多路復(fù)用的3D圖像幀在多個輸出比特流的基礎(chǔ)層輸出比特流中被輸出。
9.如權(quán)利要求7所述的方法，還包括: 至少部分基于用于第二視角的降低分辨率圖像數(shù)據(jù)產(chǎn)生預(yù)測參考幀；以及 產(chǎn)生用于第二視角的全分辨率圖像數(shù)據(jù)作為預(yù)測參考幀和第二輸入圖像幀之間的差。
10.如權(quán)利要 求7所述的方法，還包括: 至少部分基于用于第二視角的降低分辨率圖像數(shù)據(jù)產(chǎn)生預(yù)測參考幀；以及 利用降低分辨率圖像數(shù)據(jù)和全分辨率圖像數(shù)據(jù)來編碼和輸出預(yù)測參考幀。
11.如權(quán)利要求7所述的方法，其中經(jīng)編碼的全分辨率圖像數(shù)據(jù)的至少一部分在多個輸出比特流的一個或更多個增強層輸出比特流中被輸出。
12.如權(quán)利要求1所述的方法，還包括將利用一個或更多個輸入視頻信號表現(xiàn)、接收、傳送或存儲的一個或更多個3D輸入圖像轉(zhuǎn)換成利用一個或更多個輸出視頻信號表現(xiàn)、接收、傳送或存儲的一個或更多個3D輸出圖像。
13.如權(quán)利要求1所述的方法，其中3D輸出圖像和3D輸入圖像中的至少一個包括以高動態(tài)范圍(HDR)圖像格式、與電影藝術(shù)與科學(xué)學(xué)院(AMPAS)的學(xué)院色彩編碼規(guī)范(ACES)標準關(guān)聯(lián)的RGB顏色空間、數(shù)字電影倡導(dǎo)聯(lián)盟的P3顏色空間標準、參考輸入媒體度量/參考輸出媒體度量(RIMM/ROMM)標準、sRGB顏色空間或與國際電信聯(lián)盟(ITU)的BT.709推薦標準關(guān)聯(lián)的RGB顏色空間中的一個編碼的圖像數(shù)據(jù)。
14.一種方法,包括: 接收3D圖像，所述3D圖像包括用于第一視角的輸入的降低分辨率圖像數(shù)據(jù)和用于不同的第二視角的輸入的全分辨率圖像數(shù)據(jù)； 基于輸入的降低分辨率圖像數(shù)據(jù)產(chǎn)生用于第一視角的3D圖像的降低分辨率圖像幀； 基于輸入的全分辨率圖像數(shù)據(jù)產(chǎn)生用于第二視角的全分辨率圖像幀；以及 通過呈現(xiàn)用于第一視角的3D圖像的降低分辨率圖像幀并且通過呈現(xiàn)用于第二視角的3D圖像的全分辨率圖像幀來呈現(xiàn)3D圖像。
15.如權(quán)利要求14所述的方法，其中3D圖像的全分辨率圖像幀包括在源3D圖像中的未濾波的高空間頻率內(nèi)容； 并且 其中3D圖像的降低分辨率圖像幀包括在源3D圖像中的經(jīng)濾波圖像數(shù)據(jù)。
16.如權(quán)利要求14所述的方法，其中該3D圖像是3D圖像的序列中的第一3D圖像，所述序列包括不同的第二 3D圖像，第二 3D圖像具有用于第二視角的第二輸入降低分辨率圖像數(shù)據(jù)以及用于第一視角的第二輸入全分辨率圖像數(shù)據(jù)；并且所述方法還包括: 基于第二輸入降低分辨率圖像數(shù)據(jù)產(chǎn)生用于第二視角的第二 3D圖像的第二降低分辨率圖像幀； 基于第二輸入全分辨率圖像數(shù)據(jù)產(chǎn)生用于第一視角的第二全分辨率圖像幀；以及 通過呈現(xiàn)用于第二視角的第二 3D圖像的第二降低分辨率圖像幀并且通過呈現(xiàn)用于第一視角的第二 3D圖像的第二全分辨率圖像幀來呈現(xiàn)第二 3D圖像。
17.如權(quán)利要求14所述的方法，其中與第二視角對應(yīng)的奇偶標志的第一值被接收作為用于第一 3D圖像的圖像數(shù)據(jù)的一部分，并且其中與第一視角對應(yīng)的奇偶標志的不同的第二值被接收作為用于第二 3D圖像的圖像數(shù)據(jù)的一部分。
18.如權(quán)利要求17所述的方法，其中奇偶標志以幀級別、場景級別或固定持續(xù)時間級別中的一個在第一值和不同的第二值之間轉(zhuǎn)變。
19.如權(quán)利要求17所述的方法，還包括基于接收到的濾波器標志選擇分辨率濾波器，以便按比例縮小多個3D圖像中的多個全分辨率輸出圖像幀的空間分辨率，以便在其中奇偶標志在第一值和不同的第二值之間轉(zhuǎn)變的時間段期間提供用于雙眼的分辨率的平滑轉(zhuǎn)變。
20.如權(quán)利要求14所述的方法，其中用于第一視角的輸入的降低分辨率圖像數(shù)據(jù)在輸入的多路復(fù)用的3D圖像幀中，該輸入的多路復(fù)用的3D圖像幀還包括用于第二視角的輸入的降低分辨率圖像數(shù)據(jù)。
21.如權(quán)利要求20所述的方法，其中從多個輸入的比特流的基礎(chǔ)層輸入比特流接收該輸入的多路復(fù)用的3D圖像幀。
22.如權(quán)利要求20所述的方法，還包括: 至少部分基于用于第二視角的輸入的降低分辨率圖像數(shù)據(jù)產(chǎn)生預(yù)測參考幀；以及 通過結(jié)合預(yù)測參考幀和輸入的全分辨率圖像數(shù)據(jù)來產(chǎn)生全分辨率圖像幀。
23.如權(quán)利要求20所述的方法，其中從多個輸入比特流的一個或更多個增強層比特流接收輸入的全分辨率圖像數(shù)據(jù)的至少一部分。
24.如權(quán)利要求14所述的方法，還包括處理利用一個或更多個輸入視頻信號表現(xiàn)、接收、傳送或存儲的一個或更多個3D圖像。
25.如權(quán)利要求14所述的方法，其中3D圖像包括以高動態(tài)范圍(HDR)圖像格式、與電影藝術(shù)與科學(xué)學(xué)院(AMPAS)的學(xué)院色彩編碼規(guī)范(ACES)標準關(guān)聯(lián)的RGB顏色空間、數(shù)字電影倡導(dǎo)聯(lián)盟的P3顏色空間標準、參考輸入媒體度量/參考輸出媒體度量(RIMM/ROMM)標準、sRGB顏色空間或與國際電信聯(lián)盟(ITU)的BT.709推薦標準關(guān)聯(lián)的RGB顏色空間中的一個編碼的圖像數(shù)據(jù)。
26.執(zhí)行如權(quán)利要求1-13所述的方法中的任意一個的一種編碼器。
27.執(zhí)行如權(quán)利要求14-25所述的方法中的任意一個的一種解碼器。
28.執(zhí)行如權(quán)利要求1-25所述的方法中的任意一個的一種系統(tǒng)。
29.—種系統(tǒng),包括: 編碼器，被配置為 接收3D輸入圖像，該3D輸入圖像包括用于第一視角的第一輸入圖像幀和用于不同的第二視角的右眼(RE)輸入圖像幀； 基于第一輸入圖像幀產(chǎn)生用于第一視角的降低分辨率圖像數(shù)據(jù)； 基于第二輸入圖像幀產(chǎn)生用于第二視角的全分辨率圖像數(shù)據(jù)；以及編碼和輸出該降低分辨率圖像數(shù)據(jù)和該全分辨率圖像數(shù)據(jù)以便表現(xiàn)3D輸出圖像，該3D輸出圖像包括一對從用于第一視角的降低分辨率圖像數(shù)據(jù)導(dǎo)出的降低分辨率輸出圖像幀和從用于第二視角的全分辨率圖像數(shù)據(jù)導(dǎo)出的全分辨率輸出圖像幀；解碼器，被配置為: 接收用于第一視角的降低分辨率圖像數(shù)據(jù)和用于第二視角的全分辨率圖像數(shù)據(jù)； 基于降低分辨率圖像數(shù)據(jù)產(chǎn)生用于第一視角的降低分辨率輸出圖像幀； 基于全分辨率圖像數(shù)據(jù)產(chǎn)生用于第二視角的全分辨率輸出圖像幀；以及通過呈現(xiàn)用于第一視角的降低分辨率輸出圖像幀并且通過呈現(xiàn)用于第二視角的全分辨率輸出圖像幀，來呈現(xiàn)3D輸出圖像。
【文檔編號】H04N13/00GK103814572SQ201280044749
【公開日】2014年5月21日 申請日期:2012年9月13日 優(yōu)先權(quán)日:2011年9月16日
【發(fā)明者】陳濤, S·N·胡亞勒卡, 格普·拉克什米納拉亞納 申請人:杜比實驗室特許公司