專利名稱：用于2d視頻數(shù)據(jù)到3d視頻數(shù)據(jù)的轉(zhuǎn)換的深度圖產(chǎn)生技術(shù)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻譯碼，及二維QD)視頻數(shù)據(jù)到三維(3D)視頻數(shù)據(jù)的轉(zhuǎn)換。
背景技術(shù)：
可將數(shù)字多媒體能力并入到廣泛范圍的裝置中，包括數(shù)字電視、數(shù)字直播系統(tǒng)、 無線通信裝置、無線廣播系統(tǒng)、個人數(shù)字助理(PDA)、膝上型或桌上型計(jì)算機(jī)、數(shù)碼相機(jī)、數(shù)字記錄裝置、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線電電話、數(shù)字媒體播放器及其類似者。數(shù)字多媒體裝置可實(shí)施視頻譯碼技術(shù)，例如MPEG-2、ITU-H. 263, MPEG-4或 ITU-H. 264/MPEG-4第10部分(高級視頻譯碼(AVC))，以更有效率地發(fā)射及接收或存儲及檢索數(shù)字視頻數(shù)據(jù)。視頻編碼技術(shù)可經(jīng)由空間及時間預(yù)測來執(zhí)行視頻壓縮，以減少或移除視頻序列中所固有的冗余。大多數(shù)常規(guī)視頻序列是按二維QD)檢視格式編碼及解碼。然而，三維(3D)序列也是可能的，在所述情況下，視頻序列具有與每一視頻幀相關(guān)聯(lián)的兩個或兩個以上視圖。在此情況下，可在3D顯示上組合所述兩個或兩個以上視圖以再現(xiàn)3D視頻。在一些情況下，兩個或兩個以上視圖可由不同相機(jī)俘獲，且編碼成包括多個視圖的3D序列?；蛘?，可基于原始2D視頻幀合成視頻幀的一個或一個以上二級視圖。為了有助于2D到3D轉(zhuǎn)換，可使用深度圖將深度值指派到視頻幀的像素。可在一視圖合成過程中將用于給定視頻幀的深度圖應(yīng)用于所述視頻幀，以便產(chǎn)生視頻幀的二級視圖或多個額外視圖。

發(fā)明內(nèi)容
本發(fā)明描述用于產(chǎn)生用于視頻單元(例如，視頻幀、視頻幀的片段或視頻幀的其它部分)的深度圖的技術(shù)。所述技術(shù)可由視頻編碼器執(zhí)行，以便將二維OD)視頻轉(zhuǎn)換到三維(3D)視頻。所述技術(shù)可或者由視頻解碼器執(zhí)行，以便將所接收的2D視頻轉(zhuǎn)換到3D視頻。本發(fā)明的技術(shù)可包括深度圖初始化過程。為了深度圖初始化，可基于相對于視頻序列的先前視頻單元的對應(yīng)像素的與一視頻單元的像素相關(guān)聯(lián)的運(yùn)動將初始深度值指派到所述像素。接著可調(diào)整滿足閾值的初始深度值，其中所述所調(diào)整的深度值是基于與所述像素相關(guān)聯(lián)的色彩。接著可產(chǎn)生用于所述視頻單元的初始化的深度圖，其中所述初始化的深度圖包含用于所述像素的第一子集的初始深度值及用于所述像素的第二子集的所調(diào)整的深度值。在一些情況下，可將初始化的深度圖用作最終深度圖而無進(jìn)一步處理，且在其它情況下，可關(guān)于初始化的深度圖應(yīng)用額外技術(shù)，以便定義最終深度圖。舉例來說，所述技術(shù)可確定視頻單元是否對應(yīng)于相對于先前視頻單元的場景改變。如果視頻單元對應(yīng)于場景改變，則所述技術(shù)可選擇初始化的深度圖作為用于視頻單元的最終深度圖。然而，如果視頻單元不對應(yīng)于場景改變，則所述技術(shù)可確定視頻單元是否表示相對于先前視頻單元的低級別的運(yùn)動。如果視頻單元不表示低級別的運(yùn)動，則所述技術(shù)可基于用于視頻單元的初始化的深度圖的深度值與用于先前視頻單元的先前深度圖的深度值的加權(quán)平均值而定義最終深度圖。如果視頻單元表示低級別的運(yùn)動，則所述技術(shù)可基于用于視頻單元的初始化的深度圖的深度值與用于先前視頻單元的先前深度圖的深度值中的最大者而定義最終深度圖。在一個實(shí)例中，本發(fā)明描述一種方法，其包含基于相對于視頻序列的先前視頻單元的對應(yīng)像素的與一視頻單元的像素相關(guān)聯(lián)的運(yùn)動將初始深度值指派到所述像素；識別所述初始深度值是否滿足閾值；將所調(diào)整的深度值指派到所述視頻單元的所述像素中的一者或一者以上，所述像素中的一者或一者以上的所述初始深度值滿足所述閾值，其中所述所調(diào)整的深度值是基于與所述像素相關(guān)聯(lián)的色彩；及產(chǎn)生用于所述視頻單元的深度圖，其中所述深度圖包含用于所述像素的第一子集的所述初始深度值及用于所述像素的第二子集的所述所調(diào)整的深度值。在另一實(shí)例中，一種視頻譯碼器設(shè)備可包含深度圖產(chǎn)生單元，所述深度圖產(chǎn)生單元基于相對于視頻序列的先前視頻單元的對應(yīng)像素的與一視頻單元的像素相關(guān)聯(lián)的運(yùn)動將初始深度值指派到所述像素；識別所述初始深度值是否滿足閾值；將所調(diào)整的深度值指派到所述視頻單元的所述像素中的一者或一者以上，所述像素中的一者或一者以上的所述初始深度值滿足所述閾值，其中所述所調(diào)整的深度值是基于與所述像素相關(guān)聯(lián)的色彩；及產(chǎn)生用于所述視頻單元的深度圖，其中所述深度圖包含用于所述像素的第一子集的所述初始深度值及用于所述像素的第二子集的所述所調(diào)整的深度值。在另一實(shí)例中，一種裝置可包含用于基于相對于視頻序列的先前視頻單元的對應(yīng)像素的與一視頻單元的像素相關(guān)聯(lián)的運(yùn)動將初始深度值指派到所述像素的裝置；用于識別所述初始深度值是否滿足閾值的裝置；用于將所調(diào)整的深度值指派到所述視頻單元的所述像素中的一者或一者以上的裝置，所述像素中的一者或一者以上的所述初始深度值滿足所述閾值，其中所述所調(diào)整的深度值是基于與所述像素相關(guān)聯(lián)的色彩；及用于產(chǎn)生用于所述視頻單元的深度圖的裝置，其中所述深度圖包含用于所述像素的第一子集的所述初始深度值及用于所述像素的第二子集的所述所調(diào)整的深度值。本發(fā)明中所描述的技術(shù)可實(shí)施于硬件、軟件、固件或其任何組合中。如果實(shí)施于軟件中，則可在一個或一個以上處理器中執(zhí)行軟件，例如微處理器、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)或數(shù)字信號處理器(DSP)。執(zhí)行所述技術(shù)的軟件可最初存儲于計(jì)算機(jī)可讀媒體中且加載并執(zhí)行于處理器中。因此，本發(fā)明也涵蓋一種計(jì)算機(jī)可讀存儲媒體，其包含在由處理器執(zhí)行后即刻使所述處理器進(jìn)行以下操作的指令基于相對于視頻序列的先前視頻單元的對應(yīng)像素的與一視頻單元的像素相關(guān)聯(lián)的運(yùn)動將初始深度值指派到所述像素；識別所述初始深度值是否滿足閾值；將所調(diào)整的深度值指派到所述視頻單元的所述像素中的一者或一者以上，所述像素中的一者或一者以上的所述初始深度值滿足所述閾值，其中所述所調(diào)整的深度值是基于與所述像素相關(guān)聯(lián)的色彩；及產(chǎn)生用于所述視頻單元的深度圖，其中所述深度圖包含用于所述像素的第一子集的所述初始深度值及用于所述像素的第二子集的所述所調(diào)整的深度值。
在深度圖初始化之后，與本發(fā)明一致，接著可應(yīng)用額外技術(shù)以便定義最終深度圖。 在這些實(shí)例中，原始產(chǎn)生的深度圖可被稱作初始化的深度圖。在此情況下，一種方法可進(jìn)一步包含確定視頻單元是否對應(yīng)于相對于先前視頻單元的場景改變；如果所述視頻單元對應(yīng)于相對于所述先前視頻單元的場景改變，則選擇所述初始化的深度圖作為用于所述視頻單元的最終深度圖；如果所述視頻單元不對應(yīng)于相對于所述先前視頻單元的場景改變，則確定所述視頻單元是否表示相對于所述先前視頻單元的低級別的運(yùn)動；如果所述視頻單元不表示所述低級別的運(yùn)動，則基于用于所述視頻單元的所述初始化的深度圖的所述深度值與用于所述先前視頻單元的先前深度圖的深度值的加權(quán)平均值而定義所述最終深度圖；及如果所述視頻單元表示所述低級別的運(yùn)動，則基于用于所述視頻單元的所述初始化的深度圖的所述深度值與用于所述先前視頻單元的所述先前深度圖的所述深度值中的最大者而定義所述最終深度圖。在隨附圖式及以下描述中闡述本發(fā)明的一個或一個以上方面的細(xì)節(jié)。本發(fā)明中所描述的技術(shù)的其它特征、目標(biāo)及優(yōu)點(diǎn)將從描述及圖式及從權(quán)利要求書變得顯而易見。


圖1為說明可實(shí)施本發(fā)明的技術(shù)的示范性視頻編碼及解碼系統(tǒng)的框圖。圖2為說明可執(zhí)行作為視頻編碼過程的部分的本發(fā)明的技術(shù)的示范性視頻編碼器的框圖。圖3為說明可執(zhí)行作為視頻解碼過程的部分的本發(fā)明的技術(shù)的示范性視頻解碼器的框圖。圖4為說明深度估計(jì)及視圖合成的過程的流程圖。圖5為說明初始化深度圖的過程的流程圖。圖6為說明產(chǎn)生完成的深度圖的過程的流程圖。圖7為說明深度圖初始化及完成的深度圖的產(chǎn)生的流程圖。
具體實(shí)施例方式本發(fā)明描述用于產(chǎn)生用于視頻單元(例如，視頻幀或片段視頻幀)的深度圖的技術(shù)。所述技術(shù)可由視頻編碼器執(zhí)行以將二維OD)視頻轉(zhuǎn)換到三維(3D)視頻。所述技術(shù)可或者由視頻解碼器執(zhí)行以將所接收的2D視頻轉(zhuǎn)換到3D視頻。術(shù)語“譯碼”在本文中經(jīng)定義以指代視頻編碼或視頻解碼。類似地，短語“視頻譯碼器”指代視頻編碼器或視頻解碼器。 一般來說，與本發(fā)明一致，深度圖初始化及產(chǎn)生可由編碼器或解碼器執(zhí)行。本發(fā)明的技術(shù)可包括深度圖初始化過程。為了深度圖初始化，可基于相對于視頻序列的先前視頻單元的對應(yīng)像素的與一視頻單元的像素相關(guān)聯(lián)的運(yùn)動而將初始深度值指派到所述像素。接著可調(diào)整滿足一閾值的初始深度值，其中所述所調(diào)整的深度值是基于與像素相關(guān)聯(lián)的色彩。接著可產(chǎn)生用于視頻單元的深度圖(其可被稱作初始化的深度圖)，其中所述深度圖包含用于像素的第一子集的初始深度值及用于像素的第二子集的所調(diào)整的深度值?？山又鴳?yīng)用額外技術(shù)，以便基于在初始化期間所產(chǎn)生的深度圖(其可稱為初始化的深度圖)而定義最終深度圖。舉例來說，所述技術(shù)可確定視頻單元是否對應(yīng)于相對于先前視頻單元的場景改變。如果視頻單元對應(yīng)于場景改變，則所述技術(shù)可選擇初始化的深度圖作為用于視頻單元的最終深度圖。然而，如果視頻單元不對應(yīng)于場景改變，則所述技術(shù)可確定視頻單元是否表示相對于先前視頻單元的低級別的運(yùn)動。如果視頻單元不表示低級別的運(yùn)動，則所述技術(shù)可基于用于視頻單元的初始化的深度圖的深度值與用于先前視頻單元的先前深度圖的深度值的加權(quán)平均值而定義最終深度圖。如果視頻單元表示低級別的運(yùn)動，則所述技術(shù)可基于用于視頻單元的初始化的深度圖的深度值與用于先前視頻單元的先前深度圖的深度值中的最大者而定義最終深度圖。圖1為說明可實(shí)施本發(fā)明的技術(shù)的示范性視頻編碼及解碼系統(tǒng)10的框圖。如圖 1中所示，系統(tǒng)10包括源裝置12，源裝置12經(jīng)由通信信道15將經(jīng)編碼的視頻發(fā)射到目的地裝置16。源裝置12及目的地裝置16可包含廣泛范圍的裝置中的任一者，包括移動裝置或大體固定裝置。在一些情況下，源裝置12及目的地裝置16包含無線通信裝置，例如無線手持機(jī)、所謂的蜂窩式或衛(wèi)星無線電電話、個人數(shù)字助理(PDA)、移動媒體層，或可經(jīng)由通信信道15 (其可能或可能不是無線的)而傳達(dá)視頻信息的任何裝置。然而，涉及用于2D到3D 視頻轉(zhuǎn)換的深度圖的產(chǎn)生及應(yīng)用的本發(fā)明的技術(shù)可用于許多不同系統(tǒng)及設(shè)定中，包括用于無線、有線或混合系統(tǒng)中。圖1僅為此系統(tǒng)的一個實(shí)例。在圖1的實(shí)例中，源裝置12可包括視頻源20、視頻編碼器22、調(diào)制器/解調(diào)器(調(diào)制解調(diào)器)23及發(fā)射器M。目的地裝置16可包括接收器沈、調(diào)制解調(diào)器27、視頻解碼器 28及顯示裝置30。根據(jù)本發(fā)明，源裝置12的視頻編碼器22或接收裝置的視頻解碼器觀可經(jīng)配置以產(chǎn)生用于2D到3D視頻轉(zhuǎn)換的深度圖。源裝置12可編碼視頻信息且將其發(fā)射到目的地裝置16。目的地裝置16可接收且解調(diào)從源裝置12接收的無線信號。源裝置12及目的地裝置16為譯碼裝置的實(shí)例。舉例來說，源裝置12可包括產(chǎn)生用于發(fā)射到目的地裝置16的經(jīng)譯碼的視頻數(shù)據(jù)的譯碼裝置。 在一些情況下，裝置12、16可按實(shí)質(zhì)上對稱的方式操作，使得裝置12、16中的每一者包括視頻編碼及解碼組件。因此，系統(tǒng)10可支持視頻裝置12、16之間的單向或雙向視頻發(fā)射，例如，用于視頻串流、視頻重放、視頻廣播或視頻電話。源裝置12的視頻源20可包括視頻俘獲裝置，例如攝像機(jī)、含有先前俘獲的視頻的視頻檔案，或來自視頻內(nèi)容提供者的視頻饋送。作為另一替代，視頻源20可產(chǎn)生基于計(jì)算機(jī)圖形的數(shù)據(jù)作為源視頻，或?qū)崨r視頻、歸檔視頻與計(jì)算機(jī)產(chǎn)生的視頻的組合。在一些情況下，如果視頻源20為攝像機(jī)，則源裝置12及目的地裝置16可形成所謂的相機(jī)電話或視頻電話。在每一情況下，經(jīng)俘獲、預(yù)俘獲或計(jì)算機(jī)產(chǎn)生的視頻可由視頻編碼器22編碼。經(jīng)編碼的視頻信息可接著由調(diào)制解調(diào)器23根據(jù)通信標(biāo)準(zhǔn)(例如，碼分多址(CDMA)、全球移動通信系統(tǒng)(GSM)、頻分多址(FDMA)、時分多址(TDMA)、“wifi”、藍(lán)牙、任何寬帶通信，或任何其它通信技術(shù)、標(biāo)準(zhǔn)或其組合)調(diào)制。接著可經(jīng)由發(fā)射器M將經(jīng)調(diào)制的信息發(fā)射到目的地裝置16。調(diào)制解調(diào)器23可包括各種混頻器、濾波器、放大器，或經(jīng)設(shè)計(jì)以用于信號調(diào)制的其它組件。發(fā)射器M可包括經(jīng)設(shè)計(jì)以用于發(fā)射數(shù)據(jù)的電路，包括放大器、濾波器及一個或一個以上天線。目的地裝置16的接收器沈經(jīng)由信道15接收信息，且調(diào)制解調(diào)器27解調(diào)所述信息。在不同實(shí)例中，源裝置12的視頻編碼過程或目的地裝置16的視頻解碼過程可實(shí)施本文中所描述的技術(shù)中的一者或一者以上以產(chǎn)生深度圖。在一些情況下，經(jīng)由信道15所傳達(dá)的信息可包括由源裝置12產(chǎn)生的深度圖，且在其它情況下，可基于從源裝置12傳達(dá)的2D 視頻幀而在目的地裝置16處產(chǎn)生深度圖。顯示裝置30對用戶顯示經(jīng)解碼的視頻數(shù)據(jù)，且可包含多種顯示裝置中的任一者，例如陰極射線管、液晶顯示器(LCD)、等離子顯示器、有機(jī)發(fā)光二極管(OLED)顯示器，或另一類型的顯示裝置。顯示裝置30可具有用于多視圖再現(xiàn)的3D能力。在圖1的實(shí)例中，通信信道15可包含任何無線或有線通信媒體，例如射頻(RF)頻譜或一個或一個以上物理發(fā)射線，或無線與有線媒體的任何組合。因此，調(diào)制解調(diào)器23及發(fā)射器M可支持許多可能的無線協(xié)議、有線協(xié)議或有線及無線協(xié)議。通信信道15可形成例如局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)或包含一個或一個以上網(wǎng)絡(luò)的互連的全球網(wǎng)絡(luò)(例如，因特網(wǎng))等基于包的網(wǎng)絡(luò)的部分。通信信道15 —般表示用于將視頻數(shù)據(jù)從源裝置12發(fā)射到目的地裝置16的任何合適的通信媒體，或不同通信媒體的集合。通信信道15可包括路由器、交換器、基站，或?qū)τ诖龠M(jìn)從源裝置12到目的地裝置16的通信可為有用的任何其它設(shè)備。本發(fā)明的技術(shù)未必需要經(jīng)編碼的數(shù)據(jù)從一個裝置到另一者的通信，且可應(yīng)用于無互逆解碼的編碼情形。又，本發(fā)明的方面可應(yīng)用于無互逆編碼的解碼情形。視頻編碼器22及視頻解碼器28可實(shí)質(zhì)上與一視頻壓縮標(biāo)準(zhǔn)(例如，ITU-T H. 264 標(biāo)準(zhǔn)，或者描述為MPEG-4第10部分(高級視頻譯碼(AVC))) —致地操作。然而，本發(fā)明的技術(shù)不限于任何特定譯碼標(biāo)準(zhǔn)或其擴(kuò)展。盡管在圖1中未圖示，但在一些方面中，視頻編碼器 22及視頻解碼器觀可各自與音頻編碼器及解碼器整合，且可包括適當(dāng)?shù)腗UX-DEMUX單元或其它硬件及軟件，以處置在共同數(shù)據(jù)流或單獨(dú)數(shù)據(jù)流中的音頻及視頻兩者的編碼。如果適用，則MUX-DEMUX單元可遵照ITU H. 223多路復(fù)用器協(xié)議，或例如用戶數(shù)據(jù)報(bào)協(xié)議(UDP)等其它協(xié)議。ITU-T H. 264/MPEG-4(AVC)標(biāo)準(zhǔn)由 ITU-T視頻譯碼專家組(VCEG)與 IS0/IEC動畫專家組(MPEG) —起制定，作為稱為聯(lián)合視頻團(tuán)隊(duì)(JVT)的共同合作伙伴關(guān)系的產(chǎn)品。H. 264 標(biāo)準(zhǔn)由ITU-T研究組且日期為2005年3月描述于ITU-T國際標(biāo)準(zhǔn)H.沈4(用于一般視聽服務(wù)的高級視頻譯碼)中，其在本文中可被稱作H. 264標(biāo)準(zhǔn)或H. 264規(guī)范，或H. 264/AVC標(biāo)準(zhǔn)或規(guī)范。聯(lián)合視頻團(tuán)隊(duì)(JVT)繼續(xù)致力于對HJ64/MPEG-4AVC的擴(kuò)展。在ITU-T的各種論壇(例如，關(guān)鍵技術(shù)領(lǐng)域(KTA)論壇)中已開始致力于推進(jìn) H. 264/MPEG-4AVC標(biāo)準(zhǔn)。KTA論壇部分地設(shè)法開發(fā)出展現(xiàn)比通過H. 264/AVC標(biāo)準(zhǔn)所展現(xiàn)的譯碼效率高的譯碼效率的譯碼技術(shù)。本發(fā)明中所描述的技術(shù)可提供相對于H. ^4/AVC標(biāo)準(zhǔn)的譯碼改進(jìn)，特別對于3D視頻及2D到3D視頻轉(zhuǎn)換。視頻編碼器22及視頻解碼器觀各自可實(shí)施為一個或一個以上微處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、離散邏輯電路、在微處理器或其它平臺上執(zhí)行的軟件、硬件、固件或其任何組合。視頻編碼器22及視頻解碼器觀中的每一者可包括于一個或一個以上編碼器或解碼器中，其中任一者可整合為相應(yīng)移動裝置、訂戶裝置、廣播裝置、服務(wù)器或其類似者中的組合的編碼器/解碼器(CODEC)的部分。視頻序列通常包括一系列視頻幀。視頻編碼器22及視頻解碼器觀可對個別視頻幀內(nèi)的視頻塊操作，以便編碼及解碼視頻數(shù)據(jù)。視頻塊可具有固定或變化的大小，且大小可根據(jù)所指定的譯碼標(biāo)準(zhǔn)而不同。每一視頻幀可包括一系列片段或其它可獨(dú)立解碼的單元。 每一片段可包括一系列宏塊，所述塊可布置成子塊。作為一實(shí)例，ITU-T H. 264標(biāo)準(zhǔn)支持各種塊大小(例如，對于亮度分量，16乘16、8乘8或4乘4，及對于色度分量，8乘8)中的幀內(nèi)預(yù)測，以及各種塊大小(例如，對于亮度分量，16乘16、16乘8、8乘16、8乘8、8乘4、4乘 8及4乘4，及對于色度分量的對應(yīng)的按比例縮放的大小)中的幀間預(yù)測。視頻塊可包含殘余像素?cái)?shù)據(jù)的塊或變換系數(shù)的塊，例如，遵循例如離散余弦變換等變換過程或概念上類似的變換過程。較小的視頻塊可提供更好的分辨率，且可用于包括高細(xì)節(jié)級別的視頻幀的位置。 一般來說，可將宏塊及各種子塊或分割區(qū)均考慮為視頻塊。另外，可將片段考慮為一系列視頻塊，例如宏塊及/或子塊或分割區(qū)。一般來說，宏塊可指界定16乘16像素區(qū)域的一組色度及亮度值。亮度塊可包含16乘16值集合，但可進(jìn)一步分割成更小的視頻塊，例如8乘8 塊、4乘4塊、8乘4塊、4乘8塊或其它大小。兩個不同色度塊可界定用于宏塊的色彩，且可各自包含與16乘16像素區(qū)域相關(guān)聯(lián)的色彩值的8乘8子取樣的塊。宏塊可包括語法信息以定義應(yīng)用于宏塊的譯碼模式及/或譯碼技術(shù)?？蓪⒑陦K或其它視頻塊分組成可解碼單元，例如片段、幀或其它獨(dú)立單元。每一片段可為視頻幀的可獨(dú)立解碼的單元?；蛘撸瑤陨砜蔀榭山獯a單元，或可將幀的其它部分定義為可解碼單元。在本發(fā)明中，術(shù)語“經(jīng)譯碼的單元”指視頻幀的任何可獨(dú)立解碼單元，例如整個幀、幀的一片段、圖片群組(GOP)，或根據(jù)所使用的譯碼技術(shù)所定義的另一可獨(dú)立解碼的單元。在基于幀內(nèi)或幀間的預(yù)測性編碼之后且在任何變換(例如，用于H. 264/AVC中的 4X4或8X8整數(shù)變換或離散余弦變換或DCT)之后，可執(zhí)行量化。量化一般指系數(shù)經(jīng)量化以可能地減少用以表示系數(shù)的數(shù)據(jù)的量的過程。量化過程可減小與所述系數(shù)中的一些或全部相關(guān)聯(lián)的位深度。舉例來說，在量化期間可將16位值向下舍入到15位值。在量化之后， 可執(zhí)行熵譯碼，例如，根據(jù)內(nèi)容適應(yīng)性可變長度譯碼(CAVLC)、內(nèi)容適應(yīng)性二進(jìn)制算術(shù)譯碼 (CABAC)或另一熵譯碼方法。3D視頻可能需要與每一原始編碼的幀相關(guān)聯(lián)的一個或一個以上額外視頻幀(例如，額外視圖)。舉例來說，可使用兩個不同視圖來界定視頻幀的立體3D再現(xiàn)。可包含兩個視圖、三個視圖或三個以上視圖的多個視圖也可支持多視圖3D再現(xiàn)。3D視頻的不同視圖可具有類似的時序或同步，使得與兩個或兩個以上視圖相關(guān)聯(lián)的視頻幀或片段對應(yīng)于一視頻序列的相同的時間實(shí)例。以此方式，兩個或兩個以上視圖可大體界定兩個或兩個以上2D序列，所述兩個或兩個以上2D序列一起形成可共同再現(xiàn)以提供3D視頻的3D序列。為了支持基于初始2D視頻序列的3D視頻再現(xiàn)，本發(fā)明描述深度圖的產(chǎn)生。深度圖可包括用于一視頻單元(例如，幀或片段)的不同像素的深度值?？稍诰幋a器處產(chǎn)生深度圖，在所述情況下，可將深度圖傳達(dá)到解碼器作為位流的部分，或應(yīng)用于在編碼器處的視圖合成過程中以產(chǎn)生可在位流中傳達(dá)的一個或一個以上額外視圖。或者，可在解碼器處產(chǎn)生深度圖，在所述情況下，編碼器裝置可僅將2D位流發(fā)送到解碼器裝置，解碼器裝置產(chǎn)生深度圖。如本發(fā)明中所描述的深度圖初始化及最終深度圖產(chǎn)生技術(shù)可完全在編碼器中、完全在解碼器中，或部分在編碼器中且部分在解碼器中執(zhí)行。一旦產(chǎn)生，則深度圖可用于視圖合成過程中，以便產(chǎn)生用于2D序列的一個或一個以上二級視圖，使得可按3D再現(xiàn)2D序列。圖2為說明可執(zhí)行作為視頻編碼過程的部分的與本發(fā)明一致的技術(shù)的視頻編碼器50的一實(shí)例的框圖。在圖2的實(shí)例中，深度圖可產(chǎn)生且作為視頻位流的部分來傳達(dá)。然而，如所提及，本發(fā)明也涵蓋在編碼器處的深度圖的產(chǎn)生及應(yīng)用，在所述情況下，可將深度圖或所產(chǎn)生的3D序列從視頻編碼器50傳達(dá)到另一裝置。視頻編碼器50可對應(yīng)于源裝置12的視頻編碼器22，或不同裝置的視頻編碼器。 視頻編碼器50可執(zhí)行視頻幀內(nèi)的塊的幀內(nèi)譯碼及幀間譯碼。幀內(nèi)譯碼依賴于空間預(yù)測以減少或移除在給定視頻幀內(nèi)的視頻中的空間冗余。幀間譯碼依賴于時間預(yù)測以減少或移除視頻序列的鄰近幀內(nèi)的視頻中的時間冗余。幀內(nèi)模式(I模式)可指基于空間的壓縮模式， 且例如預(yù)測(P模式)或雙向(B模式)等幀間模式可指基于時間的壓縮模式。如圖2中所示，視頻編碼器50接收待編碼的視頻幀或片段內(nèi)的當(dāng)前視頻塊。在圖 2的實(shí)例中，視頻編碼器50包括預(yù)測單元35、存儲器34、加法器48、變換單元38、量化單元 40及熵譯碼單元46。對于視頻塊重建構(gòu)，視頻編碼器50還包括逆量化單元42、逆變換單元 44及加法器51。此外，根據(jù)本發(fā)明，視頻編碼器50可包括深度圖產(chǎn)生單元36，深度圖產(chǎn)生單元36產(chǎn)生如本文中所描述的深度圖。視頻編碼器50也可包括其它組件，例如解塊濾波器(未圖示)以對塊邊界進(jìn)行濾波以從經(jīng)重建構(gòu)的視頻移除成塊效應(yīng)假象。如果需要，則解塊濾波器將通常對加法器51的輸出進(jìn)行濾波。在編碼過程期間，視頻編碼器50接收待譯碼的視頻塊，且預(yù)測單元35執(zhí)行幀內(nèi)或幀間預(yù)測性譯碼。舉例來說，編碼器50的預(yù)測單元35可執(zhí)行對于經(jīng)譯碼的單元(例如，幀或片段)的每一視頻塊或視頻塊分割區(qū)的運(yùn)動估計(jì)及運(yùn)動補(bǔ)償。預(yù)測單元35可計(jì)算與編碼特定塊相關(guān)聯(lián)的每一適用模式的速率失真成本(rdcost)，且可選擇產(chǎn)生最低成本的譯碼模式。rdcost可按所使用的位的數(shù)目及相對于原始視頻數(shù)據(jù)的在經(jīng)譯碼的數(shù)據(jù)中的失真的級別來量化成本。速率-失真(RD)分析在視頻譯碼中相當(dāng)普遍，且一般涉及指示譯碼成本的成本量度的計(jì)算。成本量度可平衡譯碼所需的位的數(shù)目(速率)與同譯碼相關(guān)聯(lián)的質(zhì)量等級(失真)。典型的速率-失真成本計(jì)算可一般對應(yīng)于以下格式J(A) = λ R+D,其中J(X)為成本，R為位速率，D為失真，且λ為拉格朗日乘數(shù)。預(yù)測單元35可應(yīng)用此類型的成本函數(shù)，以比較可用以執(zhí)行視頻塊編碼的各種幀內(nèi)及幀間譯碼模式(及適用的分割區(qū)大小)。一旦所要的預(yù)測數(shù)據(jù)由預(yù)測單元35識別，則視頻編碼器50通過從正譯碼的原始視頻塊中減去預(yù)測數(shù)據(jù)以產(chǎn)生殘余塊來形成殘余視頻塊。加法器48表示執(zhí)行這些減法運(yùn)算的組件。變換單元38將變換(例如，離散余弦變換(DCT)或概念上類似的變換)應(yīng)用于塊中的殘余值，從而產(chǎn)生包含殘余變換塊系數(shù)的視頻塊。變換單元38可執(zhí)行變換，例如由 H. 264標(biāo)準(zhǔn)所定義的變換，其概念上類似于DCT。也可使用小波變換、整數(shù)變換、次頻帶變換或其它類型的變換。在任何情況下，變換單元38將變換應(yīng)用于殘余塊，從而產(chǎn)生殘余變換系數(shù)的塊。變換可將殘余信息從像素域轉(zhuǎn)換到頻域。量化單元40量化殘余變換系數(shù)，以進(jìn)一步減小位速率。量化過程可減小與所述系數(shù)中的一些或全部相關(guān)聯(lián)的位深度。舉例來說，在量化期間可將m位值向下舍入到m-n位值，其中m及m為非零，且m大于η。另外，對于使用偏差的情況，量化單元40可量化不同偏差。在量化之后，熵譯碼單元46熵譯碼經(jīng)量化的變換系數(shù)。舉例來說，熵譯碼單元46可執(zhí)行內(nèi)容適應(yīng)性可變長度譯碼(CAVLC)、內(nèi)容適應(yīng)性二進(jìn)制算術(shù)譯碼(CABAC)或另一熵譯碼方法。在由熵譯碼單元46進(jìn)行熵譯碼之后，經(jīng)編碼的視頻可發(fā)射到另一裝置或經(jīng)歸檔用于稍后發(fā)射或檢索。經(jīng)譯碼的位流可包括經(jīng)熵譯碼的殘余塊、這些塊的運(yùn)動向量，及其它語法(例如，本文中描述的用于支持2D到3D視頻轉(zhuǎn)換的深度圖)。逆量化單元42及逆變換單元44分別應(yīng)用逆量化及逆變換以在像素域中重建構(gòu)殘余塊，例如，用于按上文所描述的方式稍后用作參考數(shù)據(jù)。加法器51將經(jīng)重建構(gòu)的殘余塊加到由運(yùn)動補(bǔ)償單元35產(chǎn)生的第一及/或第二級預(yù)測塊，以產(chǎn)生用于存儲于存儲器34中的經(jīng)重建構(gòu)的視頻塊。經(jīng)重建構(gòu)的視頻塊及殘余數(shù)據(jù)可由運(yùn)動補(bǔ)償單元35用作參考塊，來幀間編碼在后續(xù)視頻幀或其它經(jīng)譯碼的單元中的塊。為了支持3D視頻，視頻編碼器50可進(jìn)一步包括深度圖產(chǎn)生單元36，深度圖產(chǎn)生單元36關(guān)于存儲于存儲器34中的經(jīng)重建構(gòu)的2D視頻序列來操作。深度圖產(chǎn)生單元36可基于相對于視頻序列的先前視頻單元的對應(yīng)像素的與一視頻單元的像素相關(guān)聯(lián)的運(yùn)動而將初始深度值指派到所述像素。深度圖產(chǎn)生單元36可接著識別初始深度值是否滿足閾值，例如，初始深度值中的任一者是大于預(yù)定義的閾值還是或者小于預(yù)定義的閾值。深度圖產(chǎn)生單元36可將所調(diào)整的深度值指派到視頻單元的像素中的一者或一者以上，所述像素中的一者或一者以上的初始深度值滿足所述閾值，其中所調(diào)整的深度值是基于與像素相關(guān)聯(lián)的色彩。深度圖產(chǎn)生單元36可接著產(chǎn)生用于視頻單元的初始化的深度圖，其中初始化的深度圖包含不滿足閾值的用于像素的第一子集的初始深度值，及滿足閾值的用于像素的第二子集的所調(diào)整的深度值。又，在替代實(shí)例中，可按大于或在其它實(shí)例中小于閾值的深度值來考慮閾值的滿足。深度圖產(chǎn)生單元36可通過基于相對于先前視頻單元的位于同一地點(diǎn)的像素的亮度值的視頻單元的像素的亮度值指派初始深度值來基于運(yùn)動指派初始深度值。深度圖產(chǎn)生單元36可通過至少部分基于視頻單元的像素的色度值指派所調(diào)整的深度值來基于色彩指派所調(diào)整的深度值。舉例來說，如下文更詳細(xì)地描述，基于運(yùn)動指派初始深度值可包含根據(jù)以下等式指派初始深度值Hlni=ILmi-L1^i其中Himi表示初始深度值，Ln,i表示在視頻單元η中的像素i的亮度值，且L1^i表示在先前視頻單元n-1中的像素i的對應(yīng)的亮度值?；谏手概伤{(diào)整的深度值可包含根據(jù)以下等式指派所調(diào)整的深度值

權(quán)利要求
1.一種方法，其包含基于相對于視頻序列的先前視頻單元的對應(yīng)像素的與一視頻單元的像素相關(guān)聯(lián)的運(yùn)動將初始深度值指派到所述像素；識別所述初始深度值是否滿足閾值；將所調(diào)整的深度值指派到所述視頻單元的所述像素中的一者或一者以上，所述像素中的一者或一者以上的所述初始深度值滿足所述閾值，其中所述所調(diào)整的深度值是基于與所述像素相關(guān)聯(lián)的色彩；及產(chǎn)生用于所述視頻單元的深度圖，其中所述深度圖包含用于所述像素的第一子集的所述初始深度值及用于所述像素的第二子集的所述所調(diào)整的深度值。
2.根據(jù)權(quán)利要求1所述的方法，其中基于運(yùn)動指派所述初始深度值包含基于相對于所述先前視頻單元的位于同一地點(diǎn)的像素的亮度值的所述視頻單元的所述像素的亮度值而指派所述初始深度值。
3.根據(jù)權(quán)利要求1所述的方法，其中基于色彩指派所述所調(diào)整的深度值包含至少部分基于所述視頻單元的所述像素的色度值而指派所述所調(diào)整的深度值。
4.根據(jù)權(quán)利要求1所述的方法，其中基于運(yùn)動指派所述初始深度值包含基于相對于所述先前視頻單元的位于同一地點(diǎn)的像素的亮度值的所述視頻單元的所述像素的亮度值而指派所述初始深度值，其中基于色彩指派所述所調(diào)整的深度值包含至少部分基于所述視頻單元的所述像素的色度值而指派所述所調(diào)整的深度值，且其中指派所述所調(diào)整的深度值包括將在色度值的允許間隔內(nèi)的色度值映射到零與所述閾值之間的深度值。
5.根據(jù)權(quán)利要求1所述的方法，其中所述深度圖包含初始化的深度圖，所述方法進(jìn)一步包含確定所述視頻單元是否對應(yīng)于相對于所述先前視頻單元的場景改變； 如果所述視頻單元對應(yīng)于相對于所述先前視頻單元的場景改變，則選擇所述初始化的深度圖作為用于所述視頻單元的最終深度圖；如果所述視頻單元不對應(yīng)于相對于所述先前視頻單元的場景改變，則確定所述視頻單元是否表示相對于所述先前視頻單元的低級別的運(yùn)動；如果所述視頻單元不表示所述低級別的運(yùn)動，則基于用于所述視頻單元的所述初始化的深度圖的所述深度值與用于所述先前視頻單元的先前深度圖的深度值的加權(quán)平均值而定義所述最終深度圖；及如果所述視頻單元表示所述低級別的運(yùn)動，則基于用于所述視頻單元的所述初始化的深度圖的所述深度值與用于所述先前視頻單元的所述先前深度圖的所述深度值中的最大者而定義所述最終深度圖。
6.根據(jù)權(quán)利要求5所述的方法，其中所述方法由視頻解碼器執(zhí)行，所述方法進(jìn)一步包含基于所述最終深度圖執(zhí)行視圖合成以產(chǎn)生用于所述視頻單元的二級視圖。
7.根據(jù)權(quán)利要求5所述的方法，其中所述方法由視頻編碼器執(zhí)行，所述方法進(jìn)一步包含與所述視頻單元一起傳送所述最終深度圖。
8.根據(jù)權(quán)利要求5所述的方法，其中所述方法由視頻編碼器執(zhí)行，所述方法進(jìn)一步包含基于所述最終深度圖執(zhí)行視圖合成以產(chǎn)生用于所述視頻單元的二級視圖；及與所述視頻單元一起傳送所述二級視圖。
9.一種包含深度圖產(chǎn)生單元的視頻譯碼器設(shè)備，所述深度圖產(chǎn)生單元基于相對于視頻序列的先前視頻單元的對應(yīng)像素的與一視頻單元的像素相關(guān)聯(lián)的運(yùn)動將初始深度值指派到所述像素；識別所述初始深度值是否滿足閾值；將所調(diào)整的深度值指派到所述視頻單元的所述像素中的一者或一者以上，所述像素中的一者或一者以上的所述初始深度值滿足所述閾值，其中所述所調(diào)整的深度值是基于與所述像素相關(guān)聯(lián)的色彩；及產(chǎn)生用于所述視頻單元的深度圖，其中所述深度圖包含用于所述像素的第一子集的所述初始深度值及用于所述像素的第二子集的所述所調(diào)整的深度值。
10.根據(jù)權(quán)利要求9所述的視頻譯碼器設(shè)備，其中在基于運(yùn)動指派所述初始深度值的過程中，所述深度圖產(chǎn)生單元基于相對于所述先前視頻單元的位于同一地點(diǎn)的像素的亮度值的所述視頻單元的所述像素的亮度值而指派所述初始深度值。
11.根據(jù)權(quán)利要求9所述的視頻譯碼器設(shè)備，其中基于色彩指派所調(diào)整的深度值，所述深度圖產(chǎn)生單元至少部分基于所述視頻單元的所述像素的色度值而指派所述所調(diào)整的深度值。
12.根據(jù)權(quán)利要求9所述的視頻譯碼器設(shè)備，其中基于運(yùn)動指派所述初始深度值包含基于相對于所述先前視頻單元的位于同一地點(diǎn)的像素的亮度值的所述視頻單元的所述像素的亮度值而指派所述初始深度值，其中基于色彩指派所述所調(diào)整的深度值包含至少部分基于所述視頻單元的所述像素的色度值而指派所述所調(diào)整的深度值，且其中指派所述所調(diào)整的深度值包括將在色度值的允許間隔內(nèi)的色度值映射到零與所述閾值之間的深度值。
13.根據(jù)權(quán)利要求9所述的視頻譯碼器設(shè)備，其中所述深度圖包含初始化的深度圖，其中所述深度圖產(chǎn)生單元確定所述視頻單元是否對應(yīng)于相對于所述先前視頻單元的場景改變； 如果所述視頻單元對應(yīng)于相對于所述先前視頻單元的場景改變，則選擇所述初始化的深度圖作為用于所述視頻單元的最終深度圖；如果所述視頻單元不對應(yīng)于相對于所述先前視頻單元的場景改變，則確定所述視頻單元是否表示相對于所述先前視頻單元的低級別的運(yùn)動；如果所述視頻單元不表示所述低級別的運(yùn)動，則基于用于所述視頻單元的所述初始化的深度圖的所述深度值與用于所述先前視頻單元的先前深度圖的深度值的加權(quán)平均值而定義所述最終深度圖；及如果所述視頻單元表示所述低級別的運(yùn)動，則基于用于所述視頻單元的所述初始化的深度圖的所述深度值與用于所述先前視頻單元的所述先前深度圖的所述深度值中的最大者而定義所述最終深度圖。
14.根據(jù)權(quán)利要求13所述的視頻譯碼器設(shè)備，其中所述視頻譯碼器包含視頻解碼器，其中所述視頻解碼器進(jìn)一步包含二維2D到三維轉(zhuǎn)換單元，其基于所述最終深度圖執(zhí)行視圖合成以產(chǎn)生用于所述視頻單元的二級視圖。
15.根據(jù)權(quán)利要求13所述的視頻譯碼器設(shè)備，其中所述視頻譯碼器包含視頻編碼器， 其中視頻譯碼設(shè)備進(jìn)一步包含與所述視頻單元一起傳送所述最終深度圖的發(fā)射器。
16.根據(jù)權(quán)利要求13所述的視頻譯碼器設(shè)備，其中所述視頻譯碼器包含視頻編碼器， 其中所述視頻編碼器進(jìn)一步包含二維2D到三維轉(zhuǎn)換單元，所述二維2D到三維轉(zhuǎn)換單元基于所述最終深度圖執(zhí)行視圖合成以產(chǎn)生用于所述視頻單元的二級視圖，且其中所述視頻譯碼設(shè)備進(jìn)一步包含與所述視頻單元一起傳送所述二級視圖的發(fā)射器。
17.根據(jù)權(quán)利要求9所述的視頻譯碼器設(shè)備，其中所述設(shè)備包含以下中的至少一者集成電路；微處理器，無線通信裝置，其包括視頻編碼器，及無線通信裝置，其包括視頻解碼器。
18.一種裝置，其包含用于基于相對于視頻序列的先前視頻單元的對應(yīng)像素的與一視頻單元的像素相關(guān)聯(lián)的運(yùn)動將初始深度值指派到所述像素的裝置；用于識別所述初始深度值是否滿足閾值的裝置；用于將所調(diào)整的深度值指派到所述視頻單元的所述像素中的一者或一者以上的裝置， 所述像素中的一者或一者以上的所述初始深度值滿足所述閾值，其中所述所調(diào)整的深度值是基于與所述像素相關(guān)聯(lián)的色彩；及用于產(chǎn)生用于所述視頻單元的深度圖的裝置，其中所述深度圖包含用于所述像素的第一子集的所述初始深度值及用于所述像素的第二子集的所述所調(diào)整的深度值。
19.根據(jù)權(quán)利要求18所述的裝置，其中所述用于基于運(yùn)動指派所述初始深度值的裝置包含用于基于相對于所述先前視頻單元的位于同一地點(diǎn)的像素的亮度值的所述視頻單元的所述像素的亮度值而指派所述初始深度值的裝置。
20.根據(jù)權(quán)利要求18所述的裝置，其中所述用于基于色彩指派所述所調(diào)整的深度值的裝置包含用于至少部分基于所述視頻單元的所述像素的色度值而指派所述所調(diào)整的深度值的裝置。
21.根據(jù)權(quán)利要求18所述的裝置，其中用于基于運(yùn)動指派所述初始深度值的裝置包含用于基于相對于所述先前視頻單元的位于同一地點(diǎn)的像素的亮度值的所述視頻單元的所述像素的亮度值而指派所述初始深度值的裝置，其中用于基于色彩指派所述所調(diào)整的深度值的裝置包含用于至少部分基于所述視頻單元的所述像素的色度值而指派所述所調(diào)整的深度值的裝置，且其中用于指派所述所調(diào)整的深度值的裝置包括用于將在色度值的允許間隔內(nèi)的色度值映射到零與所述閾值之間的深度值的裝置。
22.根據(jù)權(quán)利要求18所述的裝置，其中所述深度圖包含初始化的深度圖，所述裝置進(jìn)一步包含用于確定所述視頻單元是否對應(yīng)于相對于所述先前視頻單元的場景改變的裝置； 用于在所述視頻單元對應(yīng)于相對于所述先前視頻單元的場景改變的情況下選擇所述初始化的深度圖作為用于所述視頻單元的最終深度圖的裝置；用于在所述視頻單元不對應(yīng)于相對于所述先前視頻單元的場景改變的情況下確定所述視頻單元是否表示相對于所述先前視頻單元的低級別的運(yùn)動的裝置；用于在所述視頻單元不表示所述低級別的運(yùn)動的情況下基于用于所述視頻單元的所述初始化的深度圖的所述深度值與用于所述先前視頻單元的先前深度圖的深度值的加權(quán)平均值而定義所述最終深度圖的裝置；及用于在所述視頻單元表示所述低級別的運(yùn)動的情況下基于用于所述視頻單元的所述初始化的深度圖的所述深度值與用于所述先前視頻單元的所述先前深度圖的所述深度值中的最大者而定義所述最終深度圖的裝置。
23.根據(jù)權(quán)利要求22所述的裝置，其中所述裝置包含視頻解碼器，所述裝置進(jìn)一步包含用于基于所述最終深度圖執(zhí)行視圖合成以產(chǎn)生用于所述視頻單元的二級視圖的裝置。
24.根據(jù)權(quán)利要求22所述的裝置，其中所述裝置包含視頻編碼器，所述裝置進(jìn)一步包含用于與所述視頻單元一起傳送所述最終深度圖的裝置。
25.根據(jù)權(quán)利要求22所述的裝置，其中所述裝置包含視頻編碼器，所述裝置進(jìn)一步包含用于基于所述最終深度圖執(zhí)行視圖合成以產(chǎn)生用于所述視頻單元的二級視圖的裝置；及用于與所述視頻單元一起傳送所述二級視圖的裝置。
26.一種計(jì)算機(jī)可讀存儲媒體，其包含在由處理器執(zhí)行后即刻使所述處理器進(jìn)行以下操作的指令基于相對于視頻序列的先前視頻單元的對應(yīng)像素的與一視頻單元的像素相關(guān)聯(lián)的運(yùn)動將初始深度值指派到所述像素；識別所述初始深度值是否滿足閾值；將所調(diào)整的深度值指派到所述視頻單元的所述像素中的一者或一者以上，所述像素中的一者或一者以上的所述初始深度值滿足所述閾值，其中所述所調(diào)整的深度值是基于與所述像素相關(guān)聯(lián)的色彩；及產(chǎn)生用于所述視頻單元的深度圖，其中所述深度圖包含用于所述像素的第一子集的所述初始深度值及用于所述像素的第二子集的所述所調(diào)整的深度值。
27.根據(jù)權(quán)利要求沈所述的計(jì)算機(jī)可讀存儲媒體，其中在基于運(yùn)動指派所述初始深度值的過程中，所述指令使所述處理器基于相對于所述先前視頻單元的位于同一地點(diǎn)的像素的亮度值的所述視頻單元的所述像素的亮度值而指派所述初始深度值。
28.根據(jù)權(quán)利要求沈所述的計(jì)算機(jī)可讀存儲媒體，其中在基于色彩指派所述所調(diào)整的深度值的過程中，所述指令使所述處理器至少部分基于所述視頻單元的所述像素的色度值而指派所述所調(diào)整的深度值。
29.根據(jù)權(quán)利要求沈所述的計(jì)算機(jī)可讀存儲媒體，其中基于運(yùn)動指派所述初始深度值包含基于相對于所述先前視頻單元的位于同一地點(diǎn)的像素的亮度值的所述視頻單元的所述像素的亮度值而指派所述初始深度值，其中基于色彩指派所述所調(diào)整的深度值包含至少部分基于所述視頻單元的所述像素的色度值而指派所述所調(diào)整的深度值，且其中指派所述所調(diào)整的深度值包括將在色度值的允許間隔內(nèi)的色度值映射到零與所述閾值之間的深度值。
30.根據(jù)權(quán)利要求沈所述的計(jì)算機(jī)可讀存儲媒體，其中所述深度圖包含初始化的深度圖，其中所述指令使所述處理器確定所述視頻單元是否對應(yīng)于相對于所述先前視頻單元的場景改變； 如果所述視頻單元對應(yīng)于相對于所述先前視頻單元的場景改變，則選擇所述初始化的深度圖作為用于所述視頻單元的最終深度圖；如果所述視頻單元不對應(yīng)于相對于所述先前視頻單元的場景改變，則確定所述視頻單元是否表示相對于所述先前視頻單元的低級別的運(yùn)動；如果所述視頻單元不表示所述低級別的運(yùn)動，則基于用于所述視頻單元的所述初始化的深度圖的所述深度值與用于所述先前視頻單元的先前深度圖的深度值的加權(quán)平均值而定義所述最終深度圖；及如果所述視頻單元表示所述低級別的運(yùn)動，則基于用于所述視頻單元的所述初始化的深度圖的所述深度值與用于所述先前視頻單元的所述先前深度圖的所述深度值中的最大者而定義所述最終深度圖。
31.根據(jù)權(quán)利要求30所述的計(jì)算機(jī)可讀存儲媒體，其中所述處理器包含視頻解碼器， 其中所述指令使所述處理器基于所述最終深度圖執(zhí)行視圖合成以產(chǎn)生用于所述視頻單元的二級視圖。
32.根據(jù)權(quán)利要求30所述的計(jì)算機(jī)可讀存儲媒體，其中所述處理器包含視頻編碼器， 其中所述指令使所述處理器與所述視頻單元一起傳送所述最終深度圖。
33.根據(jù)權(quán)利要求30所述的計(jì)算機(jī)可讀存儲媒體，其中所述處理器包含視頻編碼器， 其中所述指令使所述處理器基于所述最終深度圖執(zhí)行視圖合成以產(chǎn)生用于所述視頻單元的二級視圖；及與所述視頻單元一起傳送所述二級視圖。
全文摘要
本發(fā)明描述用于產(chǎn)生用于例如視頻幀或片段視頻幀等視頻單元的深度圖的技術(shù)。所述技術(shù)可由視頻編碼器執(zhí)行，以便將二維2D視頻轉(zhuǎn)換到三維3D視頻。所述技術(shù)可或者由視頻解碼器執(zhí)行，以便將所接收的2D視頻轉(zhuǎn)換到3D視頻。所述技術(shù)可在深度圖產(chǎn)生過程中使用運(yùn)動與色彩考慮的組合。
文檔編號H04N13/00GK102598674SQ201080047743
公開日2012年7月18日 申請日期2010年10月22日 優(yōu)先權(quán)日2009年10月23日
發(fā)明者張 榮, 瑪爾塔·卡切夫維琴, 陳英 申請人:高通股份有限公司