用于處理3d服務(wù)的方法和裝置制造方法
用于處理3d服務(wù)的方法和裝置制造方法
【專利摘要】本說(shuō)明書公開了用于處理3D服務(wù)的方法和裝置。這里，根據(jù)本發(fā)明的一個(gè)示例的一種3D服務(wù)裝置包括：接收單元，其被配置成接收含有3D服務(wù)的廣播信號(hào)；服務(wù)信息SI處理單元，其從所述廣播信號(hào)提取關(guān)于所述3D服務(wù)的SI信息并且解碼所提取的信息；第一處理單元，其解碼3D視圖數(shù)據(jù)和深度數(shù)據(jù)；第二處理單元，其使用從所述第一處理單元輸出的經(jīng)解碼信號(hào)作為輸入并基于經(jīng)解碼的所述SI信息產(chǎn)生特定時(shí)間點(diǎn)的虛擬視圖；以及輸出格式化器，其基于所述第二處理單元產(chǎn)生的特定時(shí)間點(diǎn)的虛擬視圖來(lái)產(chǎn)生并輸出3D服務(wù)數(shù)據(jù)。
【專利說(shuō)明】用于處理3D服務(wù)的方法和裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及3D (三維)服務(wù)，更具體地，涉及處理包括信令的3D服務(wù)以支持隨機(jī)視圖的虛擬3D視圖的方法及其裝置。
【背景技術(shù)】
[0002]隨著三維電視(3DTV)的普及正在盛行，激發(fā)了對(duì)3D服務(wù)的需求或關(guān)注以及對(duì)3D服務(wù)的研究。
[0003]通常，三維視頻使用雙眼的立體視覺(jué)原理提供3D效果。由于人通過(guò)雙眼的視差感到立體感，換句話講，由于彼此相隔大約65mm的雙眼之間的間隔導(dǎo)致的雙眼像差，因此3D視頻可以按分別提供使左眼和右眼看到相關(guān)平面視頻的視頻的方式來(lái)提供3D效果和立體感。
[0004]3D視頻顯示方法包括立體技術(shù)、容量技術(shù)(volumetric technique)、全息技術(shù)等。就立體技術(shù)而言，它提供了假定將被左眼觀看的左視圖圖像和假定將被右眼觀看的右視圖圖像。立體技術(shù)使得能夠以使左眼和右眼分別使用其自身的偏光眼鏡或顯示裝置觀看左視圖圖像和右視圖圖像的方式來(lái)識(shí)別3D視頻效果。
[0005]如以上描述中提到的，3D廣播分別傳遞左視圖圖像和右視圖圖像。并且，廣播接收器以正確處理左視圖圖像和右視圖圖像的方式形成3D視頻。因此，必須具有用于處理3D廣播信號(hào)的信令信息。
[0006]同時(shí)，可以通過(guò)傳統(tǒng)的3DTV接收器接收固定視圖中的受限3D視頻。因此，觀眾難以自由地選擇偏好的視圖。這種問(wèn)題會(huì)造成多視圖廣播以及自動(dòng)立體3DTV中出現(xiàn)。
【發(fā)明內(nèi)容】
[0007]技術(shù)任務(wù)
[0008]創(chuàng)造本本發(fā)明來(lái)解決上述問(wèn)題。在觀看3D視頻的同時(shí)控制3D效果的情況下，本發(fā)明的技術(shù)任務(wù)之一是以在接收器中產(chǎn)生并組合新的左視圖圖像和右視圖圖像的方式控制期望的3D效果。
[0009]本發(fā)明的另一個(gè)任務(wù)是使用2D視頻(L、R)中的每個(gè)的深度圖和相機(jī)參數(shù)恢復(fù)關(guān)于視頻(L、R)中的每個(gè)的3D信息并且通過(guò)執(zhí)行幾何投影產(chǎn)生隨機(jī)視圖的視頻。
[0010]本發(fā)明的其它任務(wù)是提供用于產(chǎn)生隨機(jī)視圖的3D視圖必需的信令信息的方法、處理3D服務(wù)的方法及其裝置。
[0011]技術(shù)方案
[0012]為了實(shí)現(xiàn)這些和其它優(yōu)點(diǎn)并且根據(jù)本發(fā)明的目的，如實(shí)施和廣義描述的，根據(jù)一個(gè)實(shí)施方式，一種3D服務(wù)裝置包括:接收單元，其被配置成接收含有3D服務(wù)的廣播信號(hào)；服務(wù)信息SI處理單元，其被配置成從所述廣播信號(hào)提取關(guān)于所述3D服務(wù)的SI信息并且解碼所述SI信息；第一處理單元，其被配置成解碼3D視圖數(shù)據(jù)和深度數(shù)據(jù)；第二處理單元，其被配置成基于經(jīng)解碼的所述SI信息通過(guò)所述第一處理單元的經(jīng)解碼信號(hào)的輸入來(lái)產(chǎn)生隨機(jī)視圖的虛擬視圖；以及輸出格式化器，其被配置成基于所述第二處理單元產(chǎn)生的所述隨機(jī)視圖的虛擬視圖來(lái)產(chǎn)生并輸出3D服務(wù)數(shù)據(jù)。
[0013]為了進(jìn)一步實(shí)現(xiàn)這些和其它優(yōu)點(diǎn)并且根據(jù)本發(fā)明的目的，根據(jù)不同實(shí)施方式，一種處理3D服務(wù)的方法，所述方法包括以下步驟:接收包含3D服務(wù)的廣播信號(hào)；從所述廣播信號(hào)提取關(guān)于所述3D服務(wù)的SI信息并且解碼所述SI信息；解碼3D視圖數(shù)據(jù)和深度數(shù)據(jù)；基于經(jīng)解碼的所述SI信息通過(guò)輸入經(jīng)解碼信號(hào)來(lái)產(chǎn)生隨機(jī)視圖的虛擬視圖；以及基于所產(chǎn)生的所述隨機(jī)視圖的虛擬視圖來(lái)產(chǎn)生并輸出3D服務(wù)數(shù)據(jù)。
[0014]有益效果
[0015]根據(jù)本發(fā)明，
[0016]第一，觀眾可以在觀看3D視頻的同時(shí)使用隨機(jī)視圖的3D視圖來(lái)控制期望的3D效
果O
[0017]第二，可以通過(guò)使用2D視頻(L、R)中的每個(gè)的深度圖和相機(jī)參數(shù)恢復(fù)關(guān)于視頻(L、R)中的每個(gè)的3D信息。并且，可以通過(guò)執(zhí)行幾何投影產(chǎn)生隨機(jī)視圖的視頻。
[0018]第三，可以提供產(chǎn)生隨機(jī)視圖的3D視圖必需的信令信息的方法、處理3D裝置的方法及其裝置。
【專利附圖】
【附圖說(shuō)明】
[0019]圖1是用于說(shuō)明根據(jù)本發(fā)明的3D廣播接收器的示例的示圖；
[0020]圖2是圖1中示出的第二處理單元160中的視圖合成模塊162的詳細(xì)配置框圖；
[0021]圖3是用于說(shuō)明與虛擬視圖合成相關(guān)的視頻和深度元件的配置的示圖；
[0022]圖4是用于說(shuō)明視圖合成描述符的示例的示圖；
[0023]圖5是用于說(shuō)明相機(jī)參數(shù)的示例的示圖；
[0024]圖6是用于說(shuō)明包括視圖合成描述符的PMT配置的示例的示圖；
[0025]圖7是用于說(shuō)明包括視圖合成描述符的TVCT配置的示例的示圖；
[0026]圖8是用于說(shuō)明包括視圖合成描述符的SDT配置的示例的示圖；
[0027]圖9是用于說(shuō)明發(fā)送view_synthesis_infor_data的方法的示例的示圖；
[0028]圖10是用于說(shuō)明視圖合成信息SEI消息的示例的示圖；
[0029]圖11是視圖合成SEI描述符的示例的示圖；
[0030]圖12是用于說(shuō)明圖2中示出的視圖合成模塊162中產(chǎn)生隨機(jī)視圖的視頻的示例的示圖；
[0031]圖13是用于說(shuō)明圖12中示出的通用卷曲(warping)的示圖；
[0032]圖14是用于說(shuō)明圖12中示出的ID并列卷曲的示圖；
[0033]圖15是用于說(shuō)明深度類型的示例的示圖；
[0034]圖16是用于更具體地說(shuō)明ID并列卷曲處理的示圖；
[0035]圖17是用于說(shuō)明相機(jī)布置和Z值測(cè)量的示例的示圖；以及
[0036]圖18是用于說(shuō)明圖7中的第i個(gè)相機(jī)的參數(shù)細(xì)節(jié)的示圖。
【具體實(shí)施方式】
[0037]現(xiàn)在，將詳細(xì)參照本發(fā)明的優(yōu)選實(shí)施方式，在附圖中示出優(yōu)選實(shí)施方式的示例。然而，本發(fā)明可以不受實(shí)施方式的局限或限制。
[0038]盡管本說(shuō)明書中使用的術(shù)語(yǔ)是在考慮到功能的情況下從當(dāng)前廣泛使用的通用術(shù)語(yǔ)中選擇的，但它們可以根據(jù)從事對(duì)應(yīng)領(lǐng)域的技術(shù)人員的意圖、慣例、新技術(shù)的到來(lái)等而變化。偶爾，可以由 申請(qǐng)人:任意選擇某些術(shù)語(yǔ)。在這種情況下，任意選擇的術(shù)語(yǔ)的含義應(yīng)該在說(shuō)明書的【具體實(shí)施方式】的對(duì)應(yīng)部分中描述。因此，本說(shuō)明書中使用的術(shù)語(yǔ)需要基于對(duì)應(yīng)術(shù)語(yǔ)的實(shí)質(zhì)含義和本說(shuō)明書中公開的整體問(wèn)題來(lái)理解，而不以術(shù)語(yǔ)的簡(jiǎn)單名稱來(lái)理解。
[0039]在3D系統(tǒng)中，通常，以發(fā)送方提供關(guān)于預(yù)定視圖的視頻和信息并且接收方基于對(duì)應(yīng)的視頻和信息提供固定視圖的3D視頻的方式形成3D服務(wù)。換句話講，大多數(shù)接收器向用戶提供基于相同視頻和信息的相同或固定視圖的3D視頻。
[0040]這種3D服務(wù)是根據(jù)內(nèi)容提供商或服務(wù)提供商的意圖單向執(zhí)行的，而沒(méi)有考慮個(gè)體的口味、年齡、環(huán)境、接收器的性能等。因此，3D服務(wù)會(huì)降低消費(fèi)內(nèi)容的用戶的滿意度或者會(huì)以服務(wù)沒(méi)有正確實(shí)現(xiàn)的方式使用戶感到不便。
[0041]因此，用戶或接收器必須選擇隨機(jī)視圖來(lái)合適地控制3D效果。同時(shí)，上述內(nèi)容也可以應(yīng)用于多視圖廣播或自動(dòng)立體3D服務(wù)。
[0042]本說(shuō)明書描述了在隨機(jī)視圖中提供3D視圖的內(nèi)容。例如，可以使用2D視頻(L、R)中的每個(gè)的相機(jī)參數(shù)和深度圖來(lái)恢復(fù)關(guān)于視頻(L、R)中的每個(gè)的3D信息并且可以通過(guò)幾何投影產(chǎn)生隨機(jī)視圖的視頻。為此目的，本說(shuō)明書提供了將在隨機(jī)視圖中產(chǎn)生3D視圖所必須的信息以信號(hào)發(fā)送的方法、處理3D服務(wù)的方法及其裝置。舉例來(lái)說(shuō)，本說(shuō)明書定義信令信息或服務(wù)信息(下文中，信令信息)以在對(duì)應(yīng)部分中執(zhí)行視圖合成并且具體說(shuō)明發(fā)送/接收(即以信號(hào)化)信令信息的方法的示例。然而，描述所述方法是為了幫助理解本發(fā)明以及易于說(shuō)明本發(fā)明。因此，本發(fā)明的技術(shù)思想可以不限于上述實(shí)施方式。
[0043]如上述描述中提到的，本說(shuō)明書定義產(chǎn)生3D視圖所需的各種變量和數(shù)據(jù)并且意圖使用它們。
[0044]在下面的描述中，本說(shuō)明書的信令信息主要用于隨機(jī)視圖的虛擬3D視圖的3D服務(wù)。例如，信令信息可以在與廣播服務(wù)相關(guān)使用的這種信息中定義或使用(或互鎖)，成為PSI/PSIP (節(jié)目特定信息/節(jié)目和系統(tǒng)信息協(xié)議)、DVB-SI (數(shù)字視頻廣播-服務(wù)信息)等。
[0045]同時(shí)，在本說(shuō)明書中，裝置可以指示所有數(shù)字裝置通過(guò)與外部連接來(lái)直接或間接地處理3D服務(wù)。然而，為了清晰起見(jiàn)，本說(shuō)明書將廣播接收器作為例子來(lái)說(shuō)明。數(shù)字裝置包括諸如智能TV、IPTV等的固定裝置、諸如智能電話、平板PC、筆記本等的移動(dòng)裝置。并且，數(shù)字裝置包括處理和/或輸出藍(lán)光、視頻CD、游戲、應(yīng)用、軟件以及包括3D服務(wù)的信號(hào)或內(nèi)容。除此之外，如有必要，數(shù)字裝置可以通過(guò)網(wǎng)絡(luò)與不同的數(shù)字裝置互鎖。并且，在數(shù)字裝置中還可以安裝單獨(dú)的OS。
[0046]圖1是用于說(shuō)明根據(jù)本發(fā)明的3D廣播接收器的示例的示圖。
[0047]參照?qǐng)D1，3D廣播接收器可以包括接收單元110、解調(diào)單元120、解復(fù)用單元130、SI處理器140、第一處理單兀150、第二處理單兀160和輸出格式化器170。
[0048]接收單元110經(jīng)由RF信道接收包括3D服務(wù)的視圖圖像數(shù)據(jù)和3D服務(wù)的信令信息的3DTV廣播信號(hào)。
[0049]解調(diào)單元120解調(diào)接收到的3DTV廣播信號(hào)。
[0050]解復(fù)用單元130將來(lái)自經(jīng)解調(diào)的3DTV廣播信號(hào)的視頻數(shù)據(jù)、音頻數(shù)據(jù)和包括視圖圖像數(shù)據(jù)的信令數(shù)據(jù)解復(fù)用并且將其發(fā)送到對(duì)應(yīng)的組件。
[0051]SI處理器140接收經(jīng)解復(fù)用的信令數(shù)據(jù)并且處理信號(hào)數(shù)據(jù)。經(jīng)處理的信令數(shù)據(jù)被發(fā)送到第一處理單元150、視圖合成模塊162、輸出格式化器170等并且用于處理對(duì)應(yīng)的組件?；蛘?，盡管在附圖中未示出，但經(jīng)處理的信令數(shù)據(jù)被暫時(shí)存儲(chǔ)在3D廣播接收器的內(nèi)部或外部安裝的SI數(shù)據(jù)庫(kù)(DB)中。例如，在經(jīng)處理的信令數(shù)據(jù)之中，SI處理器140將底層和增強(qiáng)層的適配數(shù)據(jù)的信令數(shù)據(jù)發(fā)送到第一處理單元150并且將3D虛擬視圖的信令數(shù)據(jù)發(fā)送到第二處理單元160。
[0052]第一處理單元150可以包括第一視圖處理單元和第二視圖處理單元。同時(shí)，第一視圖處理單元包括第一解碼器152和第二解碼器154并且第二視圖處理單元包括第三解碼器156和第四解碼器158。第一處理單元主要被配置成處理上述由發(fā)送方預(yù)定的固定視圖。
[0053]可以根據(jù)3D服務(wù)的類型通過(guò)自適應(yīng)性配置以不同方式實(shí)現(xiàn)第一處理單元150的配置。然而，為了清晰起見(jiàn)，本說(shuō)明書舉例說(shuō)明底層和增強(qiáng)層的3D服務(wù)數(shù)據(jù)處理的配置。分別在第一視圖處理單元和第二視圖處理單元中處理底層的3D服務(wù)數(shù)據(jù)和增強(qiáng)層的3D服務(wù)數(shù)據(jù)。
[0054]第一視圖處理單元的第二解碼器154解碼底層的視圖圖像數(shù)據(jù)并且第一解碼器152解碼關(guān)于經(jīng)第二解碼器154解碼的底層的視圖圖像數(shù)據(jù)的深度信息。在這種情況下，底層可以指示視圖圖像數(shù)據(jù)被從AVC層進(jìn)行AVC編碼。
[0055]第二視圖處理單元的第三解碼器156解碼增強(qiáng)層的視圖圖像數(shù)據(jù)并且第四解碼器158解碼關(guān)于經(jīng)第三解碼器156解碼的增強(qiáng)層的視圖圖像數(shù)據(jù)的深度信息。在這種情況下，增強(qiáng)層可以指示視圖圖像數(shù)據(jù)被從MVC擴(kuò)展層進(jìn)行MVC編碼。
[0056]如以上描述中提到的，第一視圖圖像數(shù)據(jù)/深度信息、第二圖像數(shù)據(jù)/深度信息是借助第一處理單元150產(chǎn)生的并且可以被發(fā)送到第二處理單元160或輸出格式化器170。同時(shí)，第一視圖圖像數(shù)據(jù)/深度信息和第二圖像數(shù)據(jù)/深度信息可以分別被定義為左視圖圖像數(shù)據(jù)和右視圖圖像數(shù)據(jù)，第一視圖圖像數(shù)據(jù)/深度信息和第二圖像數(shù)據(jù)/深度信息可以分別被定義為右視圖圖像數(shù)據(jù)和左視圖圖像數(shù)據(jù)。
[0057]并且，第二處理單元160可以包括視圖合成模塊162、第一虛擬視圖處理單元164、第二虛擬視圖處理單元166。關(guān)于此，將在圖2中進(jìn)行詳細(xì)描述。
[0058]輸出格式化器170借助通過(guò)第一處理單元150和第二處理單元160接收的左視圖圖像和右視圖圖像，產(chǎn)生并輸出根據(jù)輸出頻率合成的3D視圖數(shù)據(jù)。
[0059]在以上的描述中，構(gòu)成3D廣播接收器的組件可以在考慮到組件的功能、性能等的情況下以多個(gè)組件被模塊化的方式被實(shí)現(xiàn)為單個(gè)組件，反之亦然。
[0060]并且，盡管在圖1中未示出，但在3D廣播接收器中還可以包括與OSD生成相關(guān)的OSD引擎、混合器等。并且，包括顯示器和揚(yáng)聲器的輸出單元可以被包括在3D廣播接收器的內(nèi)部或外部。輸出單元可以經(jīng)由HDMI接口等與3D廣播接收器連接。
[0061]圖2是圖1中示出的第二處理單元160中的視圖合成模塊162的詳細(xì)配置框圖。
[0062]第二處理單元160可以基于經(jīng)由第一處理單元150接收的左視圖圖像/右視圖圖像和信令信息從用戶和/或接收器選擇隨機(jī)視圖。第二處理單元被配置成產(chǎn)生/處理所選擇的隨機(jī)視圖中的3D虛擬視圖圖像數(shù)據(jù)。
[0063]在上述圖1中，盡管第二處理單元160包括視圖合成模塊162、第一虛擬視圖處理單元164和第二虛擬視圖處理單元166，但圖2只示出視圖合成模塊162和輸出格式化器170。然而，明顯的是，第一虛擬視圖處理單元164和第二虛擬視圖處理單元166存在于視圖合成模塊和輸出格式化器之間。
[0064]視圖合成模塊162包括對(duì)應(yīng)于第一虛擬視圖處理單元164的第一合成單元和對(duì)應(yīng)于第二虛擬視圖處理單元166的第二合成單元。
[0065]第一合成單元包括第一卷曲單元212、第一合并單元214、第一空洞填充單元216和第一邊界噪聲消除單元218。同時(shí)，第二合成單元包括第二卷曲單元222、第二合并單元224、第一空洞填充單元226和第二邊界噪聲消除單元228。然而，為了清晰說(shuō)明本發(fā)明，只示出所需的配置。如有必要，可以添加或省略配置的一部分。
[0066]參照?qǐng)D2，在視圖合成模塊162中產(chǎn)生隨機(jī)3D虛擬視圖的過(guò)程如下。首先，卷曲單元對(duì)輸入的左視圖圖像數(shù)據(jù)(L_view&L_depth)和右視圖圖像數(shù)據(jù)(R_view&R_depth)執(zhí)行卷曲處理并且產(chǎn)生由左視圖圖像數(shù)據(jù)卷曲得到的數(shù)據(jù)和由右視圖圖像數(shù)據(jù)卷曲得到的數(shù)據(jù)。合并單元將由左視圖圖像數(shù)據(jù)卷曲得到的數(shù)據(jù)和由右視圖圖像數(shù)據(jù)卷曲得到的數(shù)據(jù)合并?？斩刺畛鋯卧畛淇斩础Ｈ缓?，邊界噪聲消除單元消除邊界的噪聲。最后，產(chǎn)生經(jīng)合成的左視圖和經(jīng)合成的右視圖。
[0067]在這種情況下，卷曲單元基于隨后描述的視圖合成信息中的相機(jī)參數(shù)、深度類型、depth_near、depth_far等中的至少一個(gè)對(duì)視圖圖像數(shù)據(jù)中的每個(gè)執(zhí)行卷曲處理。
[0068]并且，卷曲單元向合并單元、空洞填充單元和邊界噪聲消除單元提供深度信息和空洞信息并且使它們?cè)趫?zhí)行合并和空洞填充的情況下使用深度信息和空洞信息。
[0069]所產(chǎn)生的經(jīng)合成的左視圖和經(jīng)合成的右視圖分別經(jīng)受第一虛擬視圖處理單元164和第二虛擬視圖處理單元166處理。然后，視圖經(jīng)受輸出格式化器170處理。通過(guò)這樣做，提供了隨機(jī)視圖的經(jīng)合成的3D視圖。
[0070]同時(shí)，在圖2中說(shuō)明了在隨機(jī)視圖中形成經(jīng)合成的3D視圖的過(guò)程。與此相關(guān)，參照下面描述中描述的附圖更詳細(xì)地說(shuō)明在上述過(guò)程中使用的卷曲、合并、空洞填充和邊界噪聲消除處理。
[0071]圖3是用于說(shuō)明與虛擬視圖合成相關(guān)的視頻和深度元件的配置的示圖。
[0072]例如，圖3示出與本發(fā)明相關(guān)的用于視圖合成的廣播服務(wù)結(jié)構(gòu)的示例。在這種情況下，例如3D節(jié)目/服務(wù)/頻道可以只由視頻數(shù)據(jù)和深度數(shù)據(jù)構(gòu)成。
[0073]圖3示出用于第一(虛擬)視圖的視頻元件、用于第一(虛擬)視圖的深度元件、用于第二 (虛擬)視圖的視頻元件和用于第二 (虛擬)視圖的深度元件。
[0074]然而，圖3中示出的廣播服務(wù)結(jié)構(gòu)只是示例，本發(fā)明可以不受其限制。明顯的是，圖3中示出的廣播服務(wù)結(jié)構(gòu)可以應(yīng)用于根據(jù)技術(shù)增強(qiáng)添加的廣播服務(wù)結(jié)構(gòu)以及已經(jīng)公開宣布的廣播服務(wù)結(jié)構(gòu)。
[0075]圖4是用于說(shuō)明視圖合成描述符的示例的示圖。
[0076]圖4定義了根據(jù)本發(fā)明的產(chǎn)生隨機(jī)3D虛擬視圖所需的信令信息。在下面的描述中，該信令信息被稱為視圖合成信息。例如，視圖合成信息可以按與預(yù)先配置的SI信息具有兼容性的方式來(lái)定義和發(fā)送。
[0077]同時(shí)，視圖合成信息可以被定義為諸如一般在SI中定義的表格、描述符、字段等各種形式。然而，舉例來(lái)說(shuō)，本說(shuō)明書以描述符形式定義視圖合成信息并且通過(guò)將其命名為視圖合成描述符來(lái)說(shuō)明視圖合成信息。
[0078]例如，視圖合成描述符被包括在PMT (節(jié)目映射表)、TVCT (地面虛擬頻道表)、SDT(服務(wù)描述表)、EIT (事件信息表)等中。視頻合成信息告知關(guān)于被包括在當(dāng)前節(jié)目、頻道或服務(wù)中的視頻流或深度流的3D視頻獲取信息。隨后將對(duì)此進(jìn)行描述。
[0079]例如，視圖合成描述符提供與左視圖和右視圖中的每個(gè)的3D獲取相關(guān)的信息并且3D接收器提供產(chǎn)生隨機(jī)3D視圖的虛擬視圖所需的信息。
[0080]同時(shí)，如果視圖合成描述符指示關(guān)于各視圖的信息，則N對(duì)應(yīng)于I。在這種情況下，視圖合成描述符只提供關(guān)于對(duì)應(yīng)視圖的信息。
[0081]視圖合成描述符可以指示關(guān)于被包括在節(jié)目、頻道或服務(wù)中的所有視圖的信息。在這種情況下，N意味著實(shí)際發(fā)送的視圖的數(shù)量。
[0082]在下面的描述中，參照?qǐng)D4更詳細(xì)地說(shuō)明構(gòu)成視圖合成描述符的各字段或元件。
[0083]descriptor_tag字段和descriptor_length字段指不本描述符對(duì)應(yīng)于視圖合成描述符。并且，這些字段告知本描述符的長(zhǎng)度。
[0084]left_view_flag 字段指不應(yīng)用了下面的 depth_type、filter_coefficient 等的視圖。作為參考，就立體視頻服務(wù)(N等于或小于2)而言，本字段指示左視圖和右視圖。如果N大于2，則本字段應(yīng)該大于I位并且可以擴(kuò)展成指示視圖的相對(duì)位置。例如，O可以指示最左邊的視圖并且隨著數(shù)字增大可以指示右視圖。
[0085]depth_type字段指示所發(fā)送的深度圖的類型。接收器處理深度圖的方法可以根據(jù)本字段而變化。
[0086]同時(shí)，depth_type字段下面的字段對(duì)應(yīng)于循環(huán)結(jié)構(gòu)并且根據(jù)濾波器的數(shù)量提供濾波器相關(guān)信息。
[0087]filter_type字段指示諸如雙線性、雙三次等的濾波器類型。
[0088]filter_usage字段指示使用對(duì)應(yīng)濾波器的情況。例如，本字段的值可以指示字段是用于從整個(gè)插值成半像素還是用于從半像素插值成四分之一像素。
[0089]Num_filter_tap字段指示用于實(shí)現(xiàn)濾波器的系數(shù)的數(shù)量。系數(shù)I (coeffl)和系數(shù)2可以被定義成與濾波器抽頭的數(shù)量一樣多。在這種情況下，例如，可以用與所定義的系數(shù)I和系數(shù)2相關(guān)的“coeff l/coeff2”計(jì)算實(shí)際系數(shù)值。同時(shí)，可以用系數(shù)值的十進(jìn)制點(diǎn)單元表示濾波器系數(shù)。
[0090]上述系數(shù)I和系數(shù)2的filter_coefficient字段是被推薦用于在用于視圖合成的像素映射過(guò)程中執(zhí)行整個(gè)、半個(gè)、四分之一個(gè)像素插值的情況下實(shí)現(xiàn)濾波器的系數(shù)。
[0091]同時(shí)，根據(jù)上述N, left_view_flag字段和depth_type以下的字段可以具有循環(huán)結(jié)構(gòu)。
[0092]nearest_depth值字段和farthest_depth_value字段指示為深度圖中的指定的標(biāo)稱值(例如，O?255)提供有物理意義的Z值的深度范圍。
[0093]synthesis_mode字段通常意味著諸如通用模式、ID并列模式等的接收器的視圖合成算法。然而，在這種情況下，它可以被定義為所發(fā)送的參數(shù)集的分布概念。例如，本字段可以指示必要的旋轉(zhuǎn)矩陣系數(shù)等沒(méi)有以通用模式發(fā)送。這個(gè)字段可以被表示為完整版、簡(jiǎn)易版等。
[0094]可以根據(jù)synthesisjnode字段利用多視圖獲取信息SEI消息。并且，可以根據(jù)synthesis_mode字段確定下面的字段和值。例如，如果synthesis_mode字段的值對(duì)應(yīng)于O X 00,則定義圖5 (a)中不出的camera_instrinsic_info ()字段和圖5(b)中不出的camera_extrinstic_info O字段。如果synthesis_mode字段的值對(duì)應(yīng)于O X 01或者不是 O X 00,則可以定義 focal_length 字段、base I ine_di stance 字段、principal_point_offset_distance 字段等。
[0095]camera_intrinsic_info ()字段和 camera_extrinsic_info ()是與相機(jī)參數(shù)相關(guān)的字段。當(dāng)synthesisjnode字段對(duì)應(yīng)于0X00時(shí)，這些字段是有意義的并且發(fā)送完整參數(shù)集合。如果synthesis_mode字段對(duì)應(yīng)于0X01,則發(fā)送部分集合。關(guān)于所述部分集合,關(guān)于差異(主點(diǎn)偏移差異)等的信息可以從焦距、基線距離、主點(diǎn)偏移等發(fā)送。
[0096]在這種情況下，camera_parameter_id被分配給 camera_intrinsic_info 和camera_extrinsic_info。并且,對(duì)應(yīng)組合被存儲(chǔ)在接收器中并且可以隨后使用它。通過(guò)這樣做，由于不重復(fù)發(fā)送參數(shù)，因此可以減少帶寬浪費(fèi)。
[0097]merge_option_included_flag字段與執(zhí)行視圖合成處理所需的選項(xiàng)相關(guān)。例如，本字段可以定義提供視圖合成處理中使用的參數(shù)的depth_threshold字段和hole_count_threshold字段作為能夠由接收器根據(jù)對(duì)應(yīng)的選項(xiàng)值進(jìn)行選擇性參考的信息。
[0098]同時(shí)，如在以上描述中提到的，圖6至圖8示出根據(jù)本發(fā)明的包括視圖合成描述符的SI的示例。各【專利附圖】
/[文檔編號(hào)].gif)
【附圖說(shuō)明】包括視圖合成描述符的內(nèi)容。
[0099]圖6是用于說(shuō)明包括視圖合成描述符的PMT配置的示例的示圖。
[0100]在這種情況下，圖6只公開了根據(jù)本發(fā)明的視圖合成描述符所必須的配置或字段。然而，通用內(nèi)容、配置、PMT的字段和對(duì)PMT的詳細(xì)說(shuō)明可以參考已經(jīng)公開宣布的內(nèi)容和標(biāo)準(zhǔn)。在本說(shuō)明書中省略了對(duì)PMT的詳細(xì)說(shuō)明。
[0101]如果視圖合成描述符設(shè)置在PMT，則作為第一種選擇，可以對(duì)應(yīng)于深度流以基本流級(jí)執(zhí)行信令?；蛘?，作為第二種選擇，可以對(duì)應(yīng)于與深度對(duì)應(yīng)的視頻基本流以基本流級(jí)循環(huán)執(zhí)行信令。
[0102]參照?qǐng)D6，關(guān)于諸如視圖的視頻流和深度流的各種視圖流的信息可以被包括在節(jié)目中，尤其是包括對(duì)應(yīng)于O X 0002的program_number的節(jié)目中。
[0103]如果stream_type字段值對(duì)應(yīng)于OX IB,則這指示經(jīng)AVC編碼視頻流。這個(gè)值指示底層，即，第一視圖的流類型。這個(gè)視頻流的elementary_PID對(duì)應(yīng)于0X0090并且視圖合成描述符可以被包括在視頻流中。
[0104]如果81:^31]1_17卩6字段值對(duì)應(yīng)于0\2(),則這指示經(jīng)靈(]編碼視頻流。這個(gè)值指示增強(qiáng)層，即，第二視圖的流類型。這個(gè)視頻流的elementary_PID對(duì)應(yīng)于0Χ00Α0并且視圖合成描述符可以被包括在視頻流中。
[0105]如果stream_type字段值對(duì)應(yīng)于0X26,則這指示底層，即，上述第一視圖的深度流。這個(gè)視頻流的elementary_PID對(duì)應(yīng)于0X0091并且視圖合成描述符可以被包括在視
頻流中。
[0106]如果8廿冊(cè)!1^7?6字段值對(duì)應(yīng)于0\26，則它還指示深度流。然而，在這種情況下，它可以指示增強(qiáng)層，即，第二視圖的深度流。因此，這個(gè)視頻流的elementary_PID對(duì)應(yīng)于O X 0091并且視圖合成描述符可以被包括在視頻流中。
[0107]如以上描述中提到的，視圖合成描述符可以設(shè)置根據(jù)streamjype和elementary_PID設(shè)置在視頻流和深度流中的至少一個(gè)中。具體地，視圖合成描述符可以按視圖單元或流單元定義和發(fā)送。
[0108]圖7是用于說(shuō)明包括視圖合成描述符的TVCT配置的示例的示圖。
[0109]參照已經(jīng)公開宣布的內(nèi)容和標(biāo)準(zhǔn)在圖7中省略了構(gòu)成通用TVCT部分的各配置字段。圖7只說(shuō)明與本發(fā)明相關(guān)的內(nèi)容。
[0110]如果視圖合成描述符以被包括在TVCT中的方式發(fā)送,則作為第一種選擇,可以按頻道級(jí)描述符循環(huán)來(lái)設(shè)置視圖合成描述符?；蛘?，作為第二種選擇，視圖合成描述符的字段可以設(shè)置在傳統(tǒng)組件列表描述符中?；蛘?，作為第三種選擇，視圖合成描述符的字段可以按擴(kuò)展服務(wù)位置描述符的方式被包括在服務(wù)位置描述符中。
[0111]然而，如果視圖合成描述符被包括在TVCT中，則視圖合成描述符以關(guān)于所有視圖的信息都被包括在TVCT中的方式配置。
[0112]TVCT 部分借助 ma jor_channel_number 字段和 minor_channel_number 字段提供虛擬頻道的頻道號(hào)。TVCT部分借助channel_TSID字段與頻道的傳輸流ID連接。TVCT部分經(jīng)由program_number字段與PSI中的PAT (節(jié)目關(guān)聯(lián)表)和/或PMT的節(jié)目連接，TVCT部分經(jīng)由servicejype字段提供對(duì)應(yīng)頻道的服務(wù)類型信息。
[0113]在這種情況下，根據(jù)本發(fā)明的TVCT中的service_type字段包括3D裝置的服務(wù)類型。例如，如果service_type字段的值對(duì)應(yīng)于O X 07或O X 09，則它可以指示經(jīng)由對(duì)應(yīng)頻道發(fā)送的服務(wù)類型是3DTV服務(wù)。同時(shí)，servicejype字段的值只是示例并且可以不限于上述字段值。
[0114]如在以上描述中提到的，根據(jù)本發(fā)明的視圖合成描述符可以由圖7中的TVCT的描述符之一定義。舉例來(lái)說(shuō)，根據(jù)servicejype字段的值判定視圖合成描述符是否被包括(定義)在TVCT部分中。具體地，當(dāng)servicejype字段值指示服務(wù)類型對(duì)應(yīng)于3DTV服務(wù)時(shí)，視圖合成描述符可以被包括在TVCT部分中?；蛘撸?dāng)只定義諸如3D虛擬服務(wù)的單獨(dú)服務(wù)類型時(shí)，視圖合成描述符可以按被包括作為TVCT部分的描述符的方式發(fā)送。除此之外，可以根據(jù)頻道單元和/或progranuiumber而非服務(wù)單元判定是否包括(發(fā)送)視圖合成描述符。
[0115]圖8是用于說(shuō)明包括視圖合成描述符的SDT配置的示例的示圖。
[0116]圖8示出與DVB方案的服務(wù)相關(guān)的SDT部分。類似于圖7，視圖合成描述符可以被包括在SDT部分中。
[0117]如果視圖合成描述符被發(fā)送到SDT，則視圖合成描述符以服務(wù)級(jí)描述符循環(huán)進(jìn)行設(shè)置并且以關(guān)于所有視圖的信息被包括在視圖合成描述符中的方式配置。
[0118]同時(shí)，如在以上描述中提到的，當(dāng)servidid字段所標(biāo)識(shí)的服務(wù)只對(duì)應(yīng)于3D服務(wù)時(shí)，視圖合成描述符可以包括在SDT中?；蛘撸x單獨(dú)的3D虛擬服務(wù)的service_id并且當(dāng)只發(fā)送所定義的3D虛擬服務(wù)的標(biāo)識(shí)符時(shí)可以包括視圖合成描述符。或者，可以不顧及service_id,按被包括在SDT中的方式發(fā)送視圖合成描述符。
[0119]同時(shí)，圖8中示出的剩余配置字段可以指已經(jīng)公開宣布的內(nèi)容和標(biāo)準(zhǔn)。因此，省略對(duì)剩余字段的詳細(xì)說(shuō)明。
[0120]然而，service_id、視圖合成描述符等的內(nèi)容可以遵循通過(guò)新近標(biāo)準(zhǔn)和/或本說(shuō)明書定義的內(nèi)容。[0121]圖9是用于說(shuō)明發(fā)送view_synthesis_infor_data的方法的示例的示圖。圖10是用于說(shuō)明視圖合成信息SEI消息的示例的示圖。
[0122]不同于以上描述，在下面的描述中描述了發(fā)送用于視圖合成的信息所需的視頻級(jí)信令。為此目的，在下面描述了使用視頻流或視頻數(shù)據(jù)報(bào)頭的SEI消息(視頻合成信息SEI消息)而非描述符形式的PSI/PSIP/DVB-SI。視圖合成信息SEI消息意圖指示視頻級(jí)的視圖合成相關(guān)信息。
[0123]參照?qǐng)D9，在H.264 (或AVC)視頻的情況下，對(duì)應(yīng)信息被發(fā)送到SEI (補(bǔ)充增強(qiáng)信息)區(qū)域。user」dentifier 和 user_structure 被發(fā)送至丨J user_data_registered_itu_t_135 O ,以使 user_data_registered_itu_t_135 O 包括 user」dent ifier 和 user_structure。具體地,對(duì)應(yīng)信息被發(fā)送到SEI載荷而非user_data()。
[0124]SEI起到MPEG-2的用戶數(shù)據(jù)和圖片擴(kuò)展的作用并且也可以類似地限制位置。
[0125]具體地，圖9指示在AVC/H.264下發(fā)送視圖合成信息數(shù)據(jù)的方法。
[0126]圖10是用于說(shuō)明視圖合成信息SEI消息的示例的示圖。
[0127]如下詳細(xì)說(shuō)明圖10中的視圖合成信息SEI消息的各配置字段。
[0128]view_synthesis_info_id字段包括用于指示視圖合成信息SEI消息中包括的信息組合的標(biāo)識(shí)號(hào)。
[0129]如果view_synthesis_info_cancel_flag對(duì)應(yīng)于I,則這指示應(yīng)用于前一圖片的視圖合成信息不再被應(yīng)用。
[0130]由于剩余配置字段的內(nèi)容與圖4的上述配置字段相同，因此這里調(diào)用上述內(nèi)容并且省略重復(fù)說(shuō)明。
[0131]同時(shí)，發(fā)送view_synthesis_info_data以告知上述視圖合成信息SEI消息(具體地，視頻級(jí)的視圖合成相關(guān)信息)的方法如下。
[0132]在視圖合成信息SEI消息被包括在特定視圖的視頻數(shù)據(jù)或深度流中的情況下，借助view_synthesis_info_data將對(duì)應(yīng)流視圖的3D信息等以信號(hào)形式發(fā)送。借助SEIRBSP(原始字節(jié)序列載荷)接收view_synthesis_info_data()。在解析AVC NAL單元之后，如果 nal_unit_type 值對(duì)應(yīng)于 6,則這指示 SEI 數(shù)據(jù)。以讀取 user_data_registered_itu_t_t35SEI消息的方式檢查user_identifier,其中,payloadType對(duì)應(yīng)于4。以讀取其中user_identifier 值對(duì)應(yīng)于 O X 47413934 的 user_structure O 的方式提取其中 user_data_type_code對(duì)應(yīng)于OX 12的數(shù)據(jù)。以解析view_synthesis_info_dataO的方式得到3D獲取信息和被配置成隨后產(chǎn)生虛擬視圖的信息。
[0133]圖11是視圖合成SEI描述符的示例的示圖。
[0134]例如，圖11是在上述圖10中以視頻級(jí)被信號(hào)化的以信號(hào)形式發(fā)送視圖合成信息SEI消息是否以系統(tǒng)級(jí)存在的示例的示圖。
[0135]類似于圖6，可以以PMT的ES級(jí)等設(shè)置視圖合成SEI描述符。為了讓接收器知道視圖合成信息SEI消息是否被包括在預(yù)先系統(tǒng)級(jí)的對(duì)應(yīng)視頻中，提供了信令信息。
[0136]參照?qǐng)D11，本描述符包括如下的配置字段。
[0137]view_synthesis_info_SEI_message_exist_f lag 字段指不能夠具體標(biāo)識(shí)視圖合成相關(guān)信息的視圖合成SEI消息是否被包括在接收到的視頻流中。
[0138]同時(shí)，full_synthesis_mode_supported_flag字段可以指示以上描述中提到的synthesis_mode 值。
[0139]此外，還能夠預(yù)先知道包括在視圖合成信息SEI消息中的信息是否完全或部分地提供了與3D獲取相關(guān)的幾何信息。
[0140]如在以上描述中提到的，為了用廣播站發(fā)送的流產(chǎn)生隨機(jī)視圖中的3D虛擬視圖，可以經(jīng)歷以下步驟。
[0141]圖12是用于說(shuō)明圖12中示出的視圖合成模塊162中產(chǎn)生隨機(jī)視圖的視頻的示例的框圖。
[0142]首先，說(shuō)明卷曲步驟。
[0143]在這個(gè)步驟中，分別對(duì)構(gòu)成3D視圖的左視頻和右視頻中的每個(gè)應(yīng)用卷曲并且針對(duì)新視圖的視頻執(zhí)行像素單元的映射。
[0144]存在兩種類型的卷曲。一種是能夠針對(duì)所有相機(jī)配置執(zhí)行的通用卷曲模式。另一種是只針對(duì)ID并列相機(jī)配置情況執(zhí)行的卷曲模式（ID并列卷曲模式)。
[0145]同時(shí)，以經(jīng)受第一處理單元150處理以執(zhí)行卷曲的方式輸入的數(shù)據(jù)對(duì)應(yīng)于左視圖(L視頻圖像)、左深度圖（L深度圖)、右視圖（R視頻圖像）和右深度圖（R深度圖)。
[0146]隨后，當(dāng)進(jìn)行卷曲步驟時(shí)，執(zhí)行合并。
[0147]這個(gè)步驟是以將由左視圖卷曲得到的新視圖的視頻（L’）和由右視圖卷曲得到的新視圖的視頻（R’ )組合在一起的方式由之前得到的兩個(gè)經(jīng)卷曲視頻形成視頻的過(guò)程。
[0148]在這種情況下，在執(zhí)行合并的情況下，當(dāng)在L’視頻或R’視頻中存在經(jīng)映射的像素值并且另一方對(duì)應(yīng)于空洞時(shí)，可以用現(xiàn)有的像素值填充對(duì)應(yīng)像素。
[0149]并且，L’視頻和R’視頻都對(duì)應(yīng)于空洞，合并視圖的像素可以被保持為空洞。
[0150]然后，如果經(jīng)映射的像素值既存在于L’視頻又存在于R’視頻中，則從兩個(gè)值之中選擇一方的值或者兩個(gè)值以被合成為一個(gè)值的方式使用。在這種情況下，可能存在多種選擇/合成方法。
[0151]可能存在使用對(duì)應(yīng)像素的深度值的方法、當(dāng)像素被映射時(shí)使用相機(jī)基線距離[像素]的方法、通過(guò)測(cè)量像素附近的空洞的數(shù)量來(lái)計(jì)算可靠性的方法等。
[0152]隨后，當(dāng)進(jìn)行合并時(shí)，執(zhí)行空洞填充步驟。
[0153]這個(gè)步驟將以填充之前產(chǎn)生的合并視圖中保留的空洞的方式產(chǎn)生其中不存在空洞的視圖。
[0154]可以按全面考慮到空洞的位置、像素附近的空洞的數(shù)量、空洞附近的像素的位置、各像素的值和對(duì)應(yīng)像素的深度值中的至少一個(gè)的方式分配合適的值。存在各種算法。
[0155]最后，當(dāng)進(jìn)行空洞填充時(shí)，執(zhí)行邊界噪聲消除處理。
[0156]很有可能以直至空洞填充步驟都經(jīng)受的方式產(chǎn)生視頻中的邊界噪聲。因此，必須執(zhí)行消除噪聲的處理。為此目的，設(shè)計(jì)邊界噪聲消除處理。
[0157]圖13是用于說(shuō)明圖12中示出的通用卷曲的示圖。
[0158]圖13示出作為圖12中示出的卷曲方法中的一種的通用卷曲處理。
[0159]參照?qǐng)D13(a)，通用模式卷曲是以使用對(duì)應(yīng)像素的深度值和相機(jī)拍攝的對(duì)應(yīng)視頻的幾何信息將2D空間中的像素投影到3D空間然后將經(jīng)投影的像素再投影到新的隨機(jī)2D空間的方式來(lái)產(chǎn)生視頻的方法。
[0160]在這種情況下，M指示3D全局坐標(biāo)上的點(diǎn)。m和m’指示圖像平面上的M的投影。并且，t和t’指示相機(jī)的中心。
[0161]圖13(b)指示用于將2D空間中的點(diǎn)轉(zhuǎn)換成3D空間中的點(diǎn)的公式。
[0162]相反，圖13(c)指示用于將3D空間中的點(diǎn)轉(zhuǎn)換成2D空間中的點(diǎn)的公式。
[0163]在上述公式中，P對(duì)應(yīng)于歸一化的立體投影矩陣，s和S，對(duì)應(yīng)于標(biāo)量。
[0164]如果將兩個(gè)公式彼此組合，則可以推導(dǎo)出圖13(d)中示出的交互公式(interaction formula)。
[0165]圖14是用于說(shuō)明圖12中示出的ID并列卷曲的示圖。
[0166]圖14示出與圖13的通用卷曲方法不同的作為圖12中示出的卷曲方法中的一種的ID并列模式卷曲方法。
[0167]參照?qǐng)D14(a)，ID并列模式卷曲方法是只有當(dāng)滿足了相機(jī)布置被排列成ID方向的限制條件時(shí)才可用的方法。ID并列模式卷曲方法比通用模式卷曲簡(jiǎn)單并且基于下面的三個(gè)變量進(jìn)行處理。
[0168]f，焦距
[0169]I，基線間隔
[0170]du，主點(diǎn)的差異
[0171]并且,參照?qǐng)D14(b)和圖14(c),可以用給定深度圖、Z_near值和Z_far值計(jì)算實(shí)際深度值z(mì)，并且可以利用實(shí)際深度值z(mì)。
[0172]參照?qǐng)D14(d)，可以用這三個(gè)變量值計(jì)算視差值?；谝暡钪祱?zhí)行像素映射。
[0173]圖15是用于說(shuō)明深度類型的示例的示圖。圖16是用于更具體地說(shuō)明ID并列卷曲處理的示圖。圖17是用于說(shuō)明相機(jī)布置和Z值測(cè)量的示例的示圖。并且，圖18是用于說(shuō)明圖17中的第一個(gè)相機(jī)的參數(shù)細(xì)節(jié)的示圖。
[0174]同時(shí)，圖15至圖18更具體地說(shuō)明根據(jù)本發(fā)明的上述圖12中的各步驟中使用的參數(shù)。
[0175]首先，說(shuō)明設(shè)置處理。
[0176]SynthesisMode字段是說(shuō)明視圖合成模式的字段。視圖合成模式包括通用模式、ID并列模式和混合模式?？梢杂帽咀侄沃甘疽晥D合成模式中的至少一種。同時(shí)，本字段可以指示完整版以及輕(簡(jiǎn)易）版。
[0177]DepthType字段是說(shuō)明深度類型的字段。
[0178]圖15示出根據(jù)本字段值、Z值的范圍、用于深度和強(qiáng)度的方程（z-v)、用于強(qiáng)度和視差的方程（v-d)的各特性。圖16示意性示出根據(jù)深度類型執(zhí)行ID并列卷曲的方法。在這種情況下，例如，圖16(a)示出depth_type對(duì)應(yīng)于O的情況并且圖16(b)示出depth_type對(duì)應(yīng)于I的情況。
[0179]如圖15和圖16(a)中示出的，如果cbpth_type字段值對(duì)應(yīng)于0，則這意味著使用來(lái)自相機(jī)的深度的視圖合成模式。在這種情況下，深度值取與3D空間的原點(diǎn)相距負(fù)值以及正值。這可應(yīng)用于任何ID并列圖像。
[0180]如圖15和圖16(b)中所示，如果d印th_type字段值對(duì)應(yīng)于I，則這也意味著使用來(lái)自相機(jī)的深度的視圖合成模式。在這種情況下，深度值只取與3D空間的原點(diǎn)相距正值。這只可應(yīng)用于任何對(duì)象與3D空間的原點(diǎn)相距正深度的圖像。
[0181]同時(shí)，圖17不出與本發(fā)明相關(guān)的相機(jī)布置和Z值測(cè)量。[0182]參照?qǐng)D17,可以在 filter_usage、filter_type 和 filter_coefficient 字段之中進(jìn)行至少一種組合。具體地，filter_usage字段指示應(yīng)用對(duì)應(yīng)濾波器的時(shí)間。
[0183]filter_usage字段是指示應(yīng)用對(duì)應(yīng)濾波器的時(shí)間。這個(gè)字段用于指示諸如執(zhí)行將半像素區(qū)升采樣成四分之一像素區(qū)的情況、將整像素區(qū)升采樣成四分之一像素區(qū)的情況等的各種使用情況。
[0184]filter_type字段指示用于在子像素位置產(chǎn)生圖像信號(hào)的升采樣濾波器。如果本字段的值對(duì)應(yīng)于0，則這意味著(雙)線性濾波器。如果本字段的值對(duì)應(yīng)于1，則這意味著(雙）三次濾波器。如果本字段的值對(duì)應(yīng)于2，則這意味著MPEC-4AVC中使用的濾波器。
[0185]filter_coefficient字段指示用于濾波器的濾波器系數(shù)。
[0186]在設(shè)置處理之后，更詳細(xì)地說(shuō)明卷曲處理。
[0187]NearestDepthValue字段指明左圖像與相機(jī)或3D空間的原點(diǎn)相距的最近深度值。
[0188]FarestDepthValue字段指明左圖像與相機(jī)或3D空間的原點(diǎn)相距的最遠(yuǎn)深度值。
[0189]在執(zhí)行卷曲處理的情況下，通用模式需要所有相關(guān)的相機(jī)參數(shù)信息。以文件形式提供相機(jī)參數(shù)。優(yōu)選相機(jī)的參數(shù)可以按基于文件內(nèi)的優(yōu)選相機(jī)的名稱(標(biāo)識(shí)符)產(chǎn)生的方式來(lái)使用。
[0190]通過(guò)從由圖18(a)的旋轉(zhuǎn)矩陣R、圖18(b)的平移矢量t、圖18(c)的內(nèi)部矩陣A等組成的組中選擇的至少一種配置相機(jī)參數(shù)。
[0191]CameraParameterFi Ie字段指明包括所有相機(jī)的按真實(shí)視圖和虛擬視圖的內(nèi)在和外在參數(shù)的文件的文件名（帶有.txt)。
[0192]LeftCameraName字段指明特定虛擬視點(diǎn)相機(jī)的左手側(cè)的真實(shí)相機(jī)的名稱。
[0193]VirtualCameraName字段指明將被產(chǎn)生視圖圖像的虛擬視點(diǎn)相機(jī)的名稱。
[0194]RightCameraName字段指明特定虛擬視點(diǎn)相機(jī)的左手側(cè)的真實(shí)相機(jī)的名稱。
[0195]在執(zhí)行卷曲處理的情況下，ID并列模式需要左視頻和右視頻中的每個(gè)的下列信
肩、O
[0196]focal_length字段指明相機(jī)的焦距。
[0197]baseline_spacing字段指明相機(jī)之間的距離（即，所具有的L或R視頻的視圖和將產(chǎn)生的視頻的視圖之間的距離)。
[0198]difference_in_principal_point_offset字段指明基于所具有的L或R相機(jī)的主點(diǎn)偏移和將要產(chǎn)生的視頻相機(jī)的主點(diǎn)偏移值之差。
[0199]在卷曲處理之后，更詳細(xì)地說(shuō)明合并處理。
[0200]下列字段對(duì)應(yīng)于能夠被廣播站選擇性發(fā)送以使接收器能夠在執(zhí)行合并處理的情況下參考的值。
[0201]DepthThreshold字段是只有當(dāng)MergingOption被設(shè)置為2時(shí)才有效的參數(shù)。它用于啟發(fā)式混合算法。較大的值意味著更多像素被求平均。通常，期望較大的值對(duì)應(yīng)于差質(zhì)量的深度圖。關(guān)于這個(gè)的更多細(xì)節(jié)，參考MPEG文件M15883。
[0202]HoleCountThreshold字段是只有當(dāng)MergingOption被設(shè)置為2時(shí)才有效的參數(shù)。它用于啟發(fā)式混合算法。較大的值意味著更少像素被求平均。關(guān)于這個(gè)的更多細(xì)節(jié)，參考MPEG 文件 Ml5883。
[0203]同時(shí)，在執(zhí)行合并的情況下，下列方法是可用的。當(dāng)對(duì)于左參考視圖和右參考視圖而言像素都被映射時(shí)，需要應(yīng)用混合方法來(lái)決定最終像素值。
[0204]在與Z-緩沖器進(jìn)行比較之后分配較靠近相機(jī)的像素的值。
[0205]針對(duì)鄰近像素執(zhí)行空洞計(jì)數(shù)，然后分配包括較少空洞的像素的值(很有可能較少空洞)。
[0206]在比較基線距離之后，分配較靠近距離的像素的值。如果虛擬視點(diǎn)靠近左視點(diǎn)，則使用左視點(diǎn)圖像，反之亦然。
[0207]在這種情況下，主要使用左視圖圖像或右視圖圖像并且用其它圖像填充空洞。
[0208]使用通過(guò)將兩個(gè)像素值彼此組合形成的新像素值。作為代表性方法，可以使用求平均等。
[0209]本發(fā)明的實(shí)施方式
[0210]如在以上描述中提到的，在上述最優(yōu)實(shí)施方式中說(shuō)明了本發(fā)明的各種實(shí)施方式。
[0211]工業(yè)可應(yīng)用性
[0212]本發(fā)明可以在工業(yè)上以部分或全部應(yīng)用于數(shù)字系統(tǒng)的方式來(lái)利用。
【權(quán)利要求】
1.一種3D服務(wù)裝置，所述3D服務(wù)裝置包括: 接收單元，其被配置成接收含有3D服務(wù)的廣播信號(hào)； 服務(wù)信息SI處理單元，其被配置成從所述廣播信號(hào)提取關(guān)于所述3D服務(wù)的SI信息并且解碼所述SI信息； 第一處理單元，其被配置成解碼3D視圖數(shù)據(jù)和深度數(shù)據(jù)； 第二處理單元，其被配置成基于經(jīng)解碼的所述SI信息通過(guò)所述第一處理單元的經(jīng)解碼信號(hào)的輸入來(lái)產(chǎn)生隨機(jī)視圖的虛擬視圖；以及 輸出格式化器，其被配置成基于所述第二處理單元產(chǎn)生的所述隨機(jī)視圖的虛擬視圖來(lái)產(chǎn)生并輸出3D服務(wù)數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的裝置，其中所述第二處理單元被配置成包含產(chǎn)生經(jīng)合成的左視圖和右視圖的視圖合成模塊。
3.根據(jù)權(quán)利要求2所述的裝置，其中所述視圖合成模塊包括: 卷曲單元，其被配置成以向所述左視圖和所述右視圖中的每個(gè)應(yīng)用卷曲的方式以像素為單位執(zhí)行與新視圖的映射； 合并單元，其被配 置成以將經(jīng)卷曲的視圖組合在一起的方式將經(jīng)卷曲的視圖合并成一個(gè)視圖； 空洞填充單元，其被配置成填充經(jīng)合并視圖中留下的空洞；以及 邊界噪聲消除單元，其被配置成消除已填充空洞的視圖的邊界噪聲。
4.根據(jù)權(quán)利要求3所述的裝置，其中所述SI信息包括視圖合成信息，所述視圖合成信息包含能夠以包含與各視圖的3D獲取相關(guān)的信息的方式形成隨機(jī)3D視圖的虛擬視頻的信息，并且其中所述視圖合成信息被定義為系統(tǒng)級(jí)的描述符形式或者被定義為視頻級(jí)的SEI消息形式。
5.根據(jù)權(quán)利要求4所述的裝置，其中所述視圖合成信息包括從指示所發(fā)送的深度圖的類型的深度類型信息、指示濾波器類型的濾波器類型信息、指示根據(jù)所述濾波器類型使用對(duì)應(yīng)濾波器的情況的濾波器使用信息、關(guān)于用于濾波器的濾波器系數(shù)的濾波器系數(shù)信息、指明深度范圍以將具有物理意義的Z值分配給深度圖中指定的標(biāo)稱值的深度值信息、與所發(fā)送的作為視圖合成算法的各算法的參數(shù)集合的分布概念對(duì)應(yīng)的合成模式信息、以根據(jù)合成模式判定是整個(gè)參數(shù)集合還是部分參數(shù)集合的方式發(fā)送的相機(jī)信息、以及指示應(yīng)用上述信息的視圖的左視圖標(biāo)志信息組成的組中選擇的至少一個(gè)。
6.根據(jù)權(quán)利要求5所述的裝置，其中所述視圖合成算法包括通用模式和ID并行模式。
7.根據(jù)權(quán)利要求6所述的裝置，其中所述視圖合成信息被定義為視頻級(jí)的SEI消息形式，如果關(guān)于標(biāo)識(shí)所述SEI消息中包含的信息的組合的標(biāo)識(shí)符的標(biāo)識(shí)信息對(duì)應(yīng)于特定值，則還包括指示應(yīng)用于前一圖片的SEI消息的視圖合成信息不再被應(yīng)用的標(biāo)志信息。
8.根據(jù)權(quán)利要求7所述的裝置，其中以所述視頻級(jí)定義的所述視圖合成信息定義指示是否包含所述視圖合成信息的所述SEI消息的存在標(biāo)志信息和包含系統(tǒng)級(jí)的合成模式值的支持標(biāo)志信息。
9.一種處理3D服務(wù)的方法，所述方法包括以下步驟: 接收包含3D服務(wù)的廣播信號(hào)； 從所述廣播信號(hào)提取關(guān)于所述3D服務(wù)的SI信息并且解碼所述SI信息；解碼3D視圖數(shù)據(jù)和深度數(shù)據(jù)； 基于經(jīng)解碼的所述SI信息通過(guò)輸入經(jīng)解碼信號(hào)來(lái)產(chǎn)生隨機(jī)視圖的虛擬視圖；以及 基于所產(chǎn)生的所述隨機(jī)視圖的虛擬視圖來(lái)產(chǎn)生并輸出3D服務(wù)數(shù)據(jù)。
10.根據(jù)權(quán)利要求9所述的方法，其中隨機(jī)視圖的虛擬視圖產(chǎn)生步驟對(duì)應(yīng)于用視圖合成方法來(lái)產(chǎn)生經(jīng)合成的左視圖和右視圖的方法。
11.根據(jù)權(quán)利要求10所述的方法，其中所述視圖合成方法包括以下步驟: 以對(duì)所述左視圖和所述右視圖中的每個(gè)應(yīng)用卷曲的方式進(jìn)行卷曲從而以像素為單位執(zhí)行與新視圖的映射； 以將經(jīng)卷曲的視圖彼此組合的方式將經(jīng)卷曲的視圖合并成一個(gè)視圖； 進(jìn)行空洞填充以填充經(jīng)合并視圖中留下的空洞；以及 消除已填充空洞的視圖的邊界噪聲。
12.根據(jù)權(quán)利要求11所述的方法，其中所述SI信息包括視圖合成信息，所述視圖合成信息包含能夠以包含與各視圖的3D獲取相關(guān)的信息的方式形成隨機(jī)3D視圖的虛擬視頻的信息，并且其中所述視圖合成信息被定義為系統(tǒng)級(jí)的描述符形式或者被定義為視頻級(jí)的SEI消息形式。
13.根據(jù)權(quán)利要求12所述的方法，其中所述視圖合成信息包括從指示所發(fā)送的深度圖的類型的深度類型信息、指示濾波器類型的濾波器類型信息、指示根據(jù)所述濾波器類型使用對(duì)應(yīng)濾波器的情況的濾波器使用信息、關(guān)于用于濾波器的濾波器系數(shù)的濾波器系數(shù)信息、指明深度范圍以將具有物理意義的Z值分配給深度圖中指定的標(biāo)稱值的深度值信息、與所發(fā)送的作為視圖合成算法的各算法的參數(shù)集合的分布概念對(duì)應(yīng)的合成模式信息、以根據(jù)合成模式判定是整個(gè)參數(shù)集合還是部分參數(shù)集合的方式發(fā)送的相機(jī)信息、指示應(yīng)用上述信息的視圖的左視圖標(biāo)志信息組成的組中選擇的至少一個(gè)。
14.根據(jù)權(quán)利要求13所述的方法，其中所述視圖合成算法包括通用模式和ID并行模式。
15.根據(jù)權(quán)利要求14所述的方法，其中所述視圖合成信息被定義為視頻級(jí)的SEI消息形式，如果關(guān)于標(biāo)識(shí)所述SEI消息中包含的信息的組合的標(biāo)識(shí)符的標(biāo)識(shí)信息對(duì)應(yīng)于特定值，則還包括指示應(yīng)用于前一圖片的SEI消息的視圖合成信息不再被應(yīng)用的標(biāo)志信息，并且其中以所述視頻級(jí)定義的所述視圖合成信息定義指示是否包含所述視圖合成信息的所述SEI消息的存在標(biāo)志信息和包含系統(tǒng)級(jí)的合成模式值的支持標(biāo)志信息。
【文檔編號(hào)】H04N21/81GK103650492SQ201280035132
【公開日】2014年3月19日 申請(qǐng)日期:2012年7月16日 優(yōu)先權(quán)日:2011年7月15日
【發(fā)明者】徐琮烈, 崔智鉉 申請(qǐng)人:Lg電子株式會(huì)社
【專利摘要】本說(shuō)明書公開了用于處理3D服務(wù)的方法和裝置。這里，根據(jù)本發(fā)明的一個(gè)示例的一種3D服務(wù)裝置包括：接收單元，其被配置成接收含有3D服務(wù)的廣播信號(hào)；服務(wù)信息SI處理單元，其從所述廣播信號(hào)提取關(guān)于所述3D服務(wù)的SI信息并且解碼所提取的信息；第一處理單元，其解碼3D視圖數(shù)據(jù)和深度數(shù)據(jù)；第二處理單元，其使用從所述第一處理單元輸出的經(jīng)解碼信號(hào)作為輸入并基于經(jīng)解碼的所述SI信息產(chǎn)生特定時(shí)間點(diǎn)的虛擬視圖；以及輸出格式化器，其基于所述第二處理單元產(chǎn)生的特定時(shí)間點(diǎn)的虛擬視圖來(lái)產(chǎn)生并輸出3D服務(wù)數(shù)據(jù)。
【專利說(shuō)明】用于處理3D服務(wù)的方法和裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及3D (三維)服務(wù)，更具體地，涉及處理包括信令的3D服務(wù)以支持隨機(jī)視圖的虛擬3D視圖的方法及其裝置。
【背景技術(shù)】
[0002]隨著三維電視(3DTV)的普及正在盛行，激發(fā)了對(duì)3D服務(wù)的需求或關(guān)注以及對(duì)3D服務(wù)的研究。
[0003]通常，三維視頻使用雙眼的立體視覺(jué)原理提供3D效果。由于人通過(guò)雙眼的視差感到立體感，換句話講，由于彼此相隔大約65mm的雙眼之間的間隔導(dǎo)致的雙眼像差，因此3D視頻可以按分別提供使左眼和右眼看到相關(guān)平面視頻的視頻的方式來(lái)提供3D效果和立體感。
[0004]3D視頻顯示方法包括立體技術(shù)、容量技術(shù)(volumetric technique)、全息技術(shù)等。就立體技術(shù)而言，它提供了假定將被左眼觀看的左視圖圖像和假定將被右眼觀看的右視圖圖像。立體技術(shù)使得能夠以使左眼和右眼分別使用其自身的偏光眼鏡或顯示裝置觀看左視圖圖像和右視圖圖像的方式來(lái)識(shí)別3D視頻效果。
[0005]如以上描述中提到的，3D廣播分別傳遞左視圖圖像和右視圖圖像。并且，廣播接收器以正確處理左視圖圖像和右視圖圖像的方式形成3D視頻。因此，必須具有用于處理3D廣播信號(hào)的信令信息。
[0006]同時(shí)，可以通過(guò)傳統(tǒng)的3DTV接收器接收固定視圖中的受限3D視頻。因此，觀眾難以自由地選擇偏好的視圖。這種問(wèn)題會(huì)造成多視圖廣播以及自動(dòng)立體3DTV中出現(xiàn)。
【發(fā)明內(nèi)容】
[0007]技術(shù)任務(wù)
[0008]創(chuàng)造本本發(fā)明來(lái)解決上述問(wèn)題。在觀看3D視頻的同時(shí)控制3D效果的情況下，本發(fā)明的技術(shù)任務(wù)之一是以在接收器中產(chǎn)生并組合新的左視圖圖像和右視圖圖像的方式控制期望的3D效果。
[0009]本發(fā)明的另一個(gè)任務(wù)是使用2D視頻(L、R)中的每個(gè)的深度圖和相機(jī)參數(shù)恢復(fù)關(guān)于視頻(L、R)中的每個(gè)的3D信息并且通過(guò)執(zhí)行幾何投影產(chǎn)生隨機(jī)視圖的視頻。
[0010]本發(fā)明的其它任務(wù)是提供用于產(chǎn)生隨機(jī)視圖的3D視圖必需的信令信息的方法、處理3D服務(wù)的方法及其裝置。
[0011]技術(shù)方案
[0012]為了實(shí)現(xiàn)這些和其它優(yōu)點(diǎn)并且根據(jù)本發(fā)明的目的，如實(shí)施和廣義描述的，根據(jù)一個(gè)實(shí)施方式，一種3D服務(wù)裝置包括:接收單元，其被配置成接收含有3D服務(wù)的廣播信號(hào)；服務(wù)信息SI處理單元，其被配置成從所述廣播信號(hào)提取關(guān)于所述3D服務(wù)的SI信息并且解碼所述SI信息；第一處理單元，其被配置成解碼3D視圖數(shù)據(jù)和深度數(shù)據(jù)；第二處理單元，其被配置成基于經(jīng)解碼的所述SI信息通過(guò)所述第一處理單元的經(jīng)解碼信號(hào)的輸入來(lái)產(chǎn)生隨機(jī)視圖的虛擬視圖；以及輸出格式化器，其被配置成基于所述第二處理單元產(chǎn)生的所述隨機(jī)視圖的虛擬視圖來(lái)產(chǎn)生并輸出3D服務(wù)數(shù)據(jù)。
[0013]為了進(jìn)一步實(shí)現(xiàn)這些和其它優(yōu)點(diǎn)并且根據(jù)本發(fā)明的目的，根據(jù)不同實(shí)施方式，一種處理3D服務(wù)的方法，所述方法包括以下步驟:接收包含3D服務(wù)的廣播信號(hào)；從所述廣播信號(hào)提取關(guān)于所述3D服務(wù)的SI信息并且解碼所述SI信息；解碼3D視圖數(shù)據(jù)和深度數(shù)據(jù)；基于經(jīng)解碼的所述SI信息通過(guò)輸入經(jīng)解碼信號(hào)來(lái)產(chǎn)生隨機(jī)視圖的虛擬視圖；以及基于所產(chǎn)生的所述隨機(jī)視圖的虛擬視圖來(lái)產(chǎn)生并輸出3D服務(wù)數(shù)據(jù)。
[0014]有益效果
[0015]根據(jù)本發(fā)明，
[0016]第一，觀眾可以在觀看3D視頻的同時(shí)使用隨機(jī)視圖的3D視圖來(lái)控制期望的3D效
果O
[0017]第二，可以通過(guò)使用2D視頻(L、R)中的每個(gè)的深度圖和相機(jī)參數(shù)恢復(fù)關(guān)于視頻(L、R)中的每個(gè)的3D信息。并且，可以通過(guò)執(zhí)行幾何投影產(chǎn)生隨機(jī)視圖的視頻。
[0018]第三，可以提供產(chǎn)生隨機(jī)視圖的3D視圖必需的信令信息的方法、處理3D裝置的方法及其裝置。
【專利附圖】
【附圖說(shuō)明】
[0019]圖1是用于說(shuō)明根據(jù)本發(fā)明的3D廣播接收器的示例的示圖；
[0020]圖2是圖1中示出的第二處理單元160中的視圖合成模塊162的詳細(xì)配置框圖；
[0021]圖3是用于說(shuō)明與虛擬視圖合成相關(guān)的視頻和深度元件的配置的示圖；
[0022]圖4是用于說(shuō)明視圖合成描述符的示例的示圖；
[0023]圖5是用于說(shuō)明相機(jī)參數(shù)的示例的示圖；
[0024]圖6是用于說(shuō)明包括視圖合成描述符的PMT配置的示例的示圖；
[0025]圖7是用于說(shuō)明包括視圖合成描述符的TVCT配置的示例的示圖；
[0026]圖8是用于說(shuō)明包括視圖合成描述符的SDT配置的示例的示圖；
[0027]圖9是用于說(shuō)明發(fā)送view_synthesis_infor_data的方法的示例的示圖；
[0028]圖10是用于說(shuō)明視圖合成信息SEI消息的示例的示圖；
[0029]圖11是視圖合成SEI描述符的示例的示圖；
[0030]圖12是用于說(shuō)明圖2中示出的視圖合成模塊162中產(chǎn)生隨機(jī)視圖的視頻的示例的示圖；
[0031]圖13是用于說(shuō)明圖12中示出的通用卷曲(warping)的示圖；
[0032]圖14是用于說(shuō)明圖12中示出的ID并列卷曲的示圖；
[0033]圖15是用于說(shuō)明深度類型的示例的示圖；
[0034]圖16是用于更具體地說(shuō)明ID并列卷曲處理的示圖；
[0035]圖17是用于說(shuō)明相機(jī)布置和Z值測(cè)量的示例的示圖；以及
[0036]圖18是用于說(shuō)明圖7中的第i個(gè)相機(jī)的參數(shù)細(xì)節(jié)的示圖。
【具體實(shí)施方式】
[0037]現(xiàn)在，將詳細(xì)參照本發(fā)明的優(yōu)選實(shí)施方式，在附圖中示出優(yōu)選實(shí)施方式的示例。然而，本發(fā)明可以不受實(shí)施方式的局限或限制。
[0038]盡管本說(shuō)明書中使用的術(shù)語(yǔ)是在考慮到功能的情況下從當(dāng)前廣泛使用的通用術(shù)語(yǔ)中選擇的，但它們可以根據(jù)從事對(duì)應(yīng)領(lǐng)域的技術(shù)人員的意圖、慣例、新技術(shù)的到來(lái)等而變化。偶爾，可以由 申請(qǐng)人:任意選擇某些術(shù)語(yǔ)。在這種情況下，任意選擇的術(shù)語(yǔ)的含義應(yīng)該在說(shuō)明書的【具體實(shí)施方式】的對(duì)應(yīng)部分中描述。因此，本說(shuō)明書中使用的術(shù)語(yǔ)需要基于對(duì)應(yīng)術(shù)語(yǔ)的實(shí)質(zhì)含義和本說(shuō)明書中公開的整體問(wèn)題來(lái)理解，而不以術(shù)語(yǔ)的簡(jiǎn)單名稱來(lái)理解。
[0039]在3D系統(tǒng)中，通常，以發(fā)送方提供關(guān)于預(yù)定視圖的視頻和信息并且接收方基于對(duì)應(yīng)的視頻和信息提供固定視圖的3D視頻的方式形成3D服務(wù)。換句話講，大多數(shù)接收器向用戶提供基于相同視頻和信息的相同或固定視圖的3D視頻。
[0040]這種3D服務(wù)是根據(jù)內(nèi)容提供商或服務(wù)提供商的意圖單向執(zhí)行的，而沒(méi)有考慮個(gè)體的口味、年齡、環(huán)境、接收器的性能等。因此，3D服務(wù)會(huì)降低消費(fèi)內(nèi)容的用戶的滿意度或者會(huì)以服務(wù)沒(méi)有正確實(shí)現(xiàn)的方式使用戶感到不便。
[0041]因此，用戶或接收器必須選擇隨機(jī)視圖來(lái)合適地控制3D效果。同時(shí)，上述內(nèi)容也可以應(yīng)用于多視圖廣播或自動(dòng)立體3D服務(wù)。
[0042]本說(shuō)明書描述了在隨機(jī)視圖中提供3D視圖的內(nèi)容。例如，可以使用2D視頻(L、R)中的每個(gè)的相機(jī)參數(shù)和深度圖來(lái)恢復(fù)關(guān)于視頻(L、R)中的每個(gè)的3D信息并且可以通過(guò)幾何投影產(chǎn)生隨機(jī)視圖的視頻。為此目的，本說(shuō)明書提供了將在隨機(jī)視圖中產(chǎn)生3D視圖所必須的信息以信號(hào)發(fā)送的方法、處理3D服務(wù)的方法及其裝置。舉例來(lái)說(shuō)，本說(shuō)明書定義信令信息或服務(wù)信息(下文中，信令信息)以在對(duì)應(yīng)部分中執(zhí)行視圖合成并且具體說(shuō)明發(fā)送/接收(即以信號(hào)化)信令信息的方法的示例。然而，描述所述方法是為了幫助理解本發(fā)明以及易于說(shuō)明本發(fā)明。因此，本發(fā)明的技術(shù)思想可以不限于上述實(shí)施方式。
[0043]如上述描述中提到的，本說(shuō)明書定義產(chǎn)生3D視圖所需的各種變量和數(shù)據(jù)并且意圖使用它們。
[0044]在下面的描述中，本說(shuō)明書的信令信息主要用于隨機(jī)視圖的虛擬3D視圖的3D服務(wù)。例如，信令信息可以在與廣播服務(wù)相關(guān)使用的這種信息中定義或使用(或互鎖)，成為PSI/PSIP (節(jié)目特定信息/節(jié)目和系統(tǒng)信息協(xié)議)、DVB-SI (數(shù)字視頻廣播-服務(wù)信息)等。
[0045]同時(shí)，在本說(shuō)明書中，裝置可以指示所有數(shù)字裝置通過(guò)與外部連接來(lái)直接或間接地處理3D服務(wù)。然而，為了清晰起見(jiàn)，本說(shuō)明書將廣播接收器作為例子來(lái)說(shuō)明。數(shù)字裝置包括諸如智能TV、IPTV等的固定裝置、諸如智能電話、平板PC、筆記本等的移動(dòng)裝置。并且，數(shù)字裝置包括處理和/或輸出藍(lán)光、視頻CD、游戲、應(yīng)用、軟件以及包括3D服務(wù)的信號(hào)或內(nèi)容。除此之外，如有必要，數(shù)字裝置可以通過(guò)網(wǎng)絡(luò)與不同的數(shù)字裝置互鎖。并且，在數(shù)字裝置中還可以安裝單獨(dú)的OS。
[0046]圖1是用于說(shuō)明根據(jù)本發(fā)明的3D廣播接收器的示例的示圖。
[0047]參照?qǐng)D1，3D廣播接收器可以包括接收單元110、解調(diào)單元120、解復(fù)用單元130、SI處理器140、第一處理單兀150、第二處理單兀160和輸出格式化器170。
[0048]接收單元110經(jīng)由RF信道接收包括3D服務(wù)的視圖圖像數(shù)據(jù)和3D服務(wù)的信令信息的3DTV廣播信號(hào)。
[0049]解調(diào)單元120解調(diào)接收到的3DTV廣播信號(hào)。
[0050]解復(fù)用單元130將來(lái)自經(jīng)解調(diào)的3DTV廣播信號(hào)的視頻數(shù)據(jù)、音頻數(shù)據(jù)和包括視圖圖像數(shù)據(jù)的信令數(shù)據(jù)解復(fù)用并且將其發(fā)送到對(duì)應(yīng)的組件。
[0051]SI處理器140接收經(jīng)解復(fù)用的信令數(shù)據(jù)并且處理信號(hào)數(shù)據(jù)。經(jīng)處理的信令數(shù)據(jù)被發(fā)送到第一處理單元150、視圖合成模塊162、輸出格式化器170等并且用于處理對(duì)應(yīng)的組件?；蛘?，盡管在附圖中未示出，但經(jīng)處理的信令數(shù)據(jù)被暫時(shí)存儲(chǔ)在3D廣播接收器的內(nèi)部或外部安裝的SI數(shù)據(jù)庫(kù)(DB)中。例如，在經(jīng)處理的信令數(shù)據(jù)之中，SI處理器140將底層和增強(qiáng)層的適配數(shù)據(jù)的信令數(shù)據(jù)發(fā)送到第一處理單元150并且將3D虛擬視圖的信令數(shù)據(jù)發(fā)送到第二處理單元160。
[0052]第一處理單元150可以包括第一視圖處理單元和第二視圖處理單元。同時(shí)，第一視圖處理單元包括第一解碼器152和第二解碼器154并且第二視圖處理單元包括第三解碼器156和第四解碼器158。第一處理單元主要被配置成處理上述由發(fā)送方預(yù)定的固定視圖。
[0053]可以根據(jù)3D服務(wù)的類型通過(guò)自適應(yīng)性配置以不同方式實(shí)現(xiàn)第一處理單元150的配置。然而，為了清晰起見(jiàn)，本說(shuō)明書舉例說(shuō)明底層和增強(qiáng)層的3D服務(wù)數(shù)據(jù)處理的配置。分別在第一視圖處理單元和第二視圖處理單元中處理底層的3D服務(wù)數(shù)據(jù)和增強(qiáng)層的3D服務(wù)數(shù)據(jù)。
[0054]第一視圖處理單元的第二解碼器154解碼底層的視圖圖像數(shù)據(jù)并且第一解碼器152解碼關(guān)于經(jīng)第二解碼器154解碼的底層的視圖圖像數(shù)據(jù)的深度信息。在這種情況下，底層可以指示視圖圖像數(shù)據(jù)被從AVC層進(jìn)行AVC編碼。
[0055]第二視圖處理單元的第三解碼器156解碼增強(qiáng)層的視圖圖像數(shù)據(jù)并且第四解碼器158解碼關(guān)于經(jīng)第三解碼器156解碼的增強(qiáng)層的視圖圖像數(shù)據(jù)的深度信息。在這種情況下，增強(qiáng)層可以指示視圖圖像數(shù)據(jù)被從MVC擴(kuò)展層進(jìn)行MVC編碼。
[0056]如以上描述中提到的，第一視圖圖像數(shù)據(jù)/深度信息、第二圖像數(shù)據(jù)/深度信息是借助第一處理單元150產(chǎn)生的并且可以被發(fā)送到第二處理單元160或輸出格式化器170。同時(shí)，第一視圖圖像數(shù)據(jù)/深度信息和第二圖像數(shù)據(jù)/深度信息可以分別被定義為左視圖圖像數(shù)據(jù)和右視圖圖像數(shù)據(jù)，第一視圖圖像數(shù)據(jù)/深度信息和第二圖像數(shù)據(jù)/深度信息可以分別被定義為右視圖圖像數(shù)據(jù)和左視圖圖像數(shù)據(jù)。
[0057]并且，第二處理單元160可以包括視圖合成模塊162、第一虛擬視圖處理單元164、第二虛擬視圖處理單元166。關(guān)于此，將在圖2中進(jìn)行詳細(xì)描述。
[0058]輸出格式化器170借助通過(guò)第一處理單元150和第二處理單元160接收的左視圖圖像和右視圖圖像，產(chǎn)生并輸出根據(jù)輸出頻率合成的3D視圖數(shù)據(jù)。
[0059]在以上的描述中，構(gòu)成3D廣播接收器的組件可以在考慮到組件的功能、性能等的情況下以多個(gè)組件被模塊化的方式被實(shí)現(xiàn)為單個(gè)組件，反之亦然。
[0060]并且，盡管在圖1中未示出，但在3D廣播接收器中還可以包括與OSD生成相關(guān)的OSD引擎、混合器等。并且，包括顯示器和揚(yáng)聲器的輸出單元可以被包括在3D廣播接收器的內(nèi)部或外部。輸出單元可以經(jīng)由HDMI接口等與3D廣播接收器連接。
[0061]圖2是圖1中示出的第二處理單元160中的視圖合成模塊162的詳細(xì)配置框圖。
[0062]第二處理單元160可以基于經(jīng)由第一處理單元150接收的左視圖圖像/右視圖圖像和信令信息從用戶和/或接收器選擇隨機(jī)視圖。第二處理單元被配置成產(chǎn)生/處理所選擇的隨機(jī)視圖中的3D虛擬視圖圖像數(shù)據(jù)。
[0063]在上述圖1中，盡管第二處理單元160包括視圖合成模塊162、第一虛擬視圖處理單元164和第二虛擬視圖處理單元166，但圖2只示出視圖合成模塊162和輸出格式化器170。然而，明顯的是，第一虛擬視圖處理單元164和第二虛擬視圖處理單元166存在于視圖合成模塊和輸出格式化器之間。
[0064]視圖合成模塊162包括對(duì)應(yīng)于第一虛擬視圖處理單元164的第一合成單元和對(duì)應(yīng)于第二虛擬視圖處理單元166的第二合成單元。
[0065]第一合成單元包括第一卷曲單元212、第一合并單元214、第一空洞填充單元216和第一邊界噪聲消除單元218。同時(shí)，第二合成單元包括第二卷曲單元222、第二合并單元224、第一空洞填充單元226和第二邊界噪聲消除單元228。然而，為了清晰說(shuō)明本發(fā)明，只示出所需的配置。如有必要，可以添加或省略配置的一部分。
[0066]參照?qǐng)D2，在視圖合成模塊162中產(chǎn)生隨機(jī)3D虛擬視圖的過(guò)程如下。首先，卷曲單元對(duì)輸入的左視圖圖像數(shù)據(jù)(L_view&L_depth)和右視圖圖像數(shù)據(jù)(R_view&R_depth)執(zhí)行卷曲處理并且產(chǎn)生由左視圖圖像數(shù)據(jù)卷曲得到的數(shù)據(jù)和由右視圖圖像數(shù)據(jù)卷曲得到的數(shù)據(jù)。合并單元將由左視圖圖像數(shù)據(jù)卷曲得到的數(shù)據(jù)和由右視圖圖像數(shù)據(jù)卷曲得到的數(shù)據(jù)合并?？斩刺畛鋯卧畛淇斩础Ｈ缓?，邊界噪聲消除單元消除邊界的噪聲。最后，產(chǎn)生經(jīng)合成的左視圖和經(jīng)合成的右視圖。
[0067]在這種情況下，卷曲單元基于隨后描述的視圖合成信息中的相機(jī)參數(shù)、深度類型、depth_near、depth_far等中的至少一個(gè)對(duì)視圖圖像數(shù)據(jù)中的每個(gè)執(zhí)行卷曲處理。
[0068]并且，卷曲單元向合并單元、空洞填充單元和邊界噪聲消除單元提供深度信息和空洞信息并且使它們?cè)趫?zhí)行合并和空洞填充的情況下使用深度信息和空洞信息。
[0069]所產(chǎn)生的經(jīng)合成的左視圖和經(jīng)合成的右視圖分別經(jīng)受第一虛擬視圖處理單元164和第二虛擬視圖處理單元166處理。然后，視圖經(jīng)受輸出格式化器170處理。通過(guò)這樣做，提供了隨機(jī)視圖的經(jīng)合成的3D視圖。
[0070]同時(shí)，在圖2中說(shuō)明了在隨機(jī)視圖中形成經(jīng)合成的3D視圖的過(guò)程。與此相關(guān)，參照下面描述中描述的附圖更詳細(xì)地說(shuō)明在上述過(guò)程中使用的卷曲、合并、空洞填充和邊界噪聲消除處理。
[0071]圖3是用于說(shuō)明與虛擬視圖合成相關(guān)的視頻和深度元件的配置的示圖。
[0072]例如，圖3示出與本發(fā)明相關(guān)的用于視圖合成的廣播服務(wù)結(jié)構(gòu)的示例。在這種情況下，例如3D節(jié)目/服務(wù)/頻道可以只由視頻數(shù)據(jù)和深度數(shù)據(jù)構(gòu)成。
[0073]圖3示出用于第一(虛擬)視圖的視頻元件、用于第一(虛擬)視圖的深度元件、用于第二 (虛擬)視圖的視頻元件和用于第二 (虛擬)視圖的深度元件。
[0074]然而，圖3中示出的廣播服務(wù)結(jié)構(gòu)只是示例，本發(fā)明可以不受其限制。明顯的是，圖3中示出的廣播服務(wù)結(jié)構(gòu)可以應(yīng)用于根據(jù)技術(shù)增強(qiáng)添加的廣播服務(wù)結(jié)構(gòu)以及已經(jīng)公開宣布的廣播服務(wù)結(jié)構(gòu)。
[0075]圖4是用于說(shuō)明視圖合成描述符的示例的示圖。
[0076]圖4定義了根據(jù)本發(fā)明的產(chǎn)生隨機(jī)3D虛擬視圖所需的信令信息。在下面的描述中，該信令信息被稱為視圖合成信息。例如，視圖合成信息可以按與預(yù)先配置的SI信息具有兼容性的方式來(lái)定義和發(fā)送。
[0077]同時(shí)，視圖合成信息可以被定義為諸如一般在SI中定義的表格、描述符、字段等各種形式。然而，舉例來(lái)說(shuō)，本說(shuō)明書以描述符形式定義視圖合成信息并且通過(guò)將其命名為視圖合成描述符來(lái)說(shuō)明視圖合成信息。
[0078]例如，視圖合成描述符被包括在PMT (節(jié)目映射表)、TVCT (地面虛擬頻道表)、SDT(服務(wù)描述表)、EIT (事件信息表)等中。視頻合成信息告知關(guān)于被包括在當(dāng)前節(jié)目、頻道或服務(wù)中的視頻流或深度流的3D視頻獲取信息。隨后將對(duì)此進(jìn)行描述。
[0079]例如，視圖合成描述符提供與左視圖和右視圖中的每個(gè)的3D獲取相關(guān)的信息并且3D接收器提供產(chǎn)生隨機(jī)3D視圖的虛擬視圖所需的信息。
[0080]同時(shí)，如果視圖合成描述符指示關(guān)于各視圖的信息，則N對(duì)應(yīng)于I。在這種情況下，視圖合成描述符只提供關(guān)于對(duì)應(yīng)視圖的信息。
[0081]視圖合成描述符可以指示關(guān)于被包括在節(jié)目、頻道或服務(wù)中的所有視圖的信息。在這種情況下，N意味著實(shí)際發(fā)送的視圖的數(shù)量。
[0082]在下面的描述中，參照?qǐng)D4更詳細(xì)地說(shuō)明構(gòu)成視圖合成描述符的各字段或元件。
[0083]descriptor_tag字段和descriptor_length字段指不本描述符對(duì)應(yīng)于視圖合成描述符。并且，這些字段告知本描述符的長(zhǎng)度。
[0084]left_view_flag 字段指不應(yīng)用了下面的 depth_type、filter_coefficient 等的視圖。作為參考，就立體視頻服務(wù)(N等于或小于2)而言，本字段指示左視圖和右視圖。如果N大于2，則本字段應(yīng)該大于I位并且可以擴(kuò)展成指示視圖的相對(duì)位置。例如，O可以指示最左邊的視圖并且隨著數(shù)字增大可以指示右視圖。
[0085]depth_type字段指示所發(fā)送的深度圖的類型。接收器處理深度圖的方法可以根據(jù)本字段而變化。
[0086]同時(shí)，depth_type字段下面的字段對(duì)應(yīng)于循環(huán)結(jié)構(gòu)并且根據(jù)濾波器的數(shù)量提供濾波器相關(guān)信息。
[0087]filter_type字段指示諸如雙線性、雙三次等的濾波器類型。
[0088]filter_usage字段指示使用對(duì)應(yīng)濾波器的情況。例如，本字段的值可以指示字段是用于從整個(gè)插值成半像素還是用于從半像素插值成四分之一像素。
[0089]Num_filter_tap字段指示用于實(shí)現(xiàn)濾波器的系數(shù)的數(shù)量。系數(shù)I (coeffl)和系數(shù)2可以被定義成與濾波器抽頭的數(shù)量一樣多。在這種情況下，例如，可以用與所定義的系數(shù)I和系數(shù)2相關(guān)的“coeff l/coeff2”計(jì)算實(shí)際系數(shù)值。同時(shí)，可以用系數(shù)值的十進(jìn)制點(diǎn)單元表示濾波器系數(shù)。
[0090]上述系數(shù)I和系數(shù)2的filter_coefficient字段是被推薦用于在用于視圖合成的像素映射過(guò)程中執(zhí)行整個(gè)、半個(gè)、四分之一個(gè)像素插值的情況下實(shí)現(xiàn)濾波器的系數(shù)。
[0091]同時(shí)，根據(jù)上述N, left_view_flag字段和depth_type以下的字段可以具有循環(huán)結(jié)構(gòu)。
[0092]nearest_depth值字段和farthest_depth_value字段指示為深度圖中的指定的標(biāo)稱值(例如，O?255)提供有物理意義的Z值的深度范圍。
[0093]synthesis_mode字段通常意味著諸如通用模式、ID并列模式等的接收器的視圖合成算法。然而，在這種情況下，它可以被定義為所發(fā)送的參數(shù)集的分布概念。例如，本字段可以指示必要的旋轉(zhuǎn)矩陣系數(shù)等沒(méi)有以通用模式發(fā)送。這個(gè)字段可以被表示為完整版、簡(jiǎn)易版等。
[0094]可以根據(jù)synthesisjnode字段利用多視圖獲取信息SEI消息。并且，可以根據(jù)synthesis_mode字段確定下面的字段和值。例如，如果synthesis_mode字段的值對(duì)應(yīng)于O X 00,則定義圖5 (a)中不出的camera_instrinsic_info ()字段和圖5(b)中不出的camera_extrinstic_info O字段。如果synthesis_mode字段的值對(duì)應(yīng)于O X 01或者不是 O X 00,則可以定義 focal_length 字段、base I ine_di stance 字段、principal_point_offset_distance 字段等。
[0095]camera_intrinsic_info ()字段和 camera_extrinsic_info ()是與相機(jī)參數(shù)相關(guān)的字段。當(dāng)synthesisjnode字段對(duì)應(yīng)于0X00時(shí)，這些字段是有意義的并且發(fā)送完整參數(shù)集合。如果synthesis_mode字段對(duì)應(yīng)于0X01,則發(fā)送部分集合。關(guān)于所述部分集合,關(guān)于差異(主點(diǎn)偏移差異)等的信息可以從焦距、基線距離、主點(diǎn)偏移等發(fā)送。
[0096]在這種情況下，camera_parameter_id被分配給 camera_intrinsic_info 和camera_extrinsic_info。并且,對(duì)應(yīng)組合被存儲(chǔ)在接收器中并且可以隨后使用它。通過(guò)這樣做，由于不重復(fù)發(fā)送參數(shù)，因此可以減少帶寬浪費(fèi)。
[0097]merge_option_included_flag字段與執(zhí)行視圖合成處理所需的選項(xiàng)相關(guān)。例如，本字段可以定義提供視圖合成處理中使用的參數(shù)的depth_threshold字段和hole_count_threshold字段作為能夠由接收器根據(jù)對(duì)應(yīng)的選項(xiàng)值進(jìn)行選擇性參考的信息。
[0098]同時(shí)，如在以上描述中提到的，圖6至圖8示出根據(jù)本發(fā)明的包括視圖合成描述符的SI的示例。各【專利附圖】
【附圖說(shuō)明】包括視圖合成描述符的內(nèi)容。
[0099]圖6是用于說(shuō)明包括視圖合成描述符的PMT配置的示例的示圖。
[0100]在這種情況下，圖6只公開了根據(jù)本發(fā)明的視圖合成描述符所必須的配置或字段。然而，通用內(nèi)容、配置、PMT的字段和對(duì)PMT的詳細(xì)說(shuō)明可以參考已經(jīng)公開宣布的內(nèi)容和標(biāo)準(zhǔn)。在本說(shuō)明書中省略了對(duì)PMT的詳細(xì)說(shuō)明。
[0101]如果視圖合成描述符設(shè)置在PMT，則作為第一種選擇，可以對(duì)應(yīng)于深度流以基本流級(jí)執(zhí)行信令?；蛘?，作為第二種選擇，可以對(duì)應(yīng)于與深度對(duì)應(yīng)的視頻基本流以基本流級(jí)循環(huán)執(zhí)行信令。
[0102]參照?qǐng)D6，關(guān)于諸如視圖的視頻流和深度流的各種視圖流的信息可以被包括在節(jié)目中，尤其是包括對(duì)應(yīng)于O X 0002的program_number的節(jié)目中。
[0103]如果stream_type字段值對(duì)應(yīng)于OX IB,則這指示經(jīng)AVC編碼視頻流。這個(gè)值指示底層，即，第一視圖的流類型。這個(gè)視頻流的elementary_PID對(duì)應(yīng)于0X0090并且視圖合成描述符可以被包括在視頻流中。
[0104]如果81:^31]1_17卩6字段值對(duì)應(yīng)于0\2(),則這指示經(jīng)靈(]編碼視頻流。這個(gè)值指示增強(qiáng)層，即，第二視圖的流類型。這個(gè)視頻流的elementary_PID對(duì)應(yīng)于0Χ00Α0并且視圖合成描述符可以被包括在視頻流中。
[0105]如果stream_type字段值對(duì)應(yīng)于0X26,則這指示底層，即，上述第一視圖的深度流。這個(gè)視頻流的elementary_PID對(duì)應(yīng)于0X0091并且視圖合成描述符可以被包括在視
頻流中。
[0106]如果8廿冊(cè)!1^7?6字段值對(duì)應(yīng)于0\26，則它還指示深度流。然而，在這種情況下，它可以指示增強(qiáng)層，即，第二視圖的深度流。因此，這個(gè)視頻流的elementary_PID對(duì)應(yīng)于O X 0091并且視圖合成描述符可以被包括在視頻流中。
[0107]如以上描述中提到的，視圖合成描述符可以設(shè)置根據(jù)streamjype和elementary_PID設(shè)置在視頻流和深度流中的至少一個(gè)中。具體地，視圖合成描述符可以按視圖單元或流單元定義和發(fā)送。
[0108]圖7是用于說(shuō)明包括視圖合成描述符的TVCT配置的示例的示圖。
[0109]參照已經(jīng)公開宣布的內(nèi)容和標(biāo)準(zhǔn)在圖7中省略了構(gòu)成通用TVCT部分的各配置字段。圖7只說(shuō)明與本發(fā)明相關(guān)的內(nèi)容。
[0110]如果視圖合成描述符以被包括在TVCT中的方式發(fā)送,則作為第一種選擇,可以按頻道級(jí)描述符循環(huán)來(lái)設(shè)置視圖合成描述符?；蛘?，作為第二種選擇，視圖合成描述符的字段可以設(shè)置在傳統(tǒng)組件列表描述符中?；蛘?，作為第三種選擇，視圖合成描述符的字段可以按擴(kuò)展服務(wù)位置描述符的方式被包括在服務(wù)位置描述符中。
[0111]然而，如果視圖合成描述符被包括在TVCT中，則視圖合成描述符以關(guān)于所有視圖的信息都被包括在TVCT中的方式配置。
[0112]TVCT 部分借助 ma jor_channel_number 字段和 minor_channel_number 字段提供虛擬頻道的頻道號(hào)。TVCT部分借助channel_TSID字段與頻道的傳輸流ID連接。TVCT部分經(jīng)由program_number字段與PSI中的PAT (節(jié)目關(guān)聯(lián)表)和/或PMT的節(jié)目連接，TVCT部分經(jīng)由servicejype字段提供對(duì)應(yīng)頻道的服務(wù)類型信息。
[0113]在這種情況下，根據(jù)本發(fā)明的TVCT中的service_type字段包括3D裝置的服務(wù)類型。例如，如果service_type字段的值對(duì)應(yīng)于O X 07或O X 09，則它可以指示經(jīng)由對(duì)應(yīng)頻道發(fā)送的服務(wù)類型是3DTV服務(wù)。同時(shí)，servicejype字段的值只是示例并且可以不限于上述字段值。
[0114]如在以上描述中提到的，根據(jù)本發(fā)明的視圖合成描述符可以由圖7中的TVCT的描述符之一定義。舉例來(lái)說(shuō)，根據(jù)servicejype字段的值判定視圖合成描述符是否被包括(定義)在TVCT部分中。具體地，當(dāng)servicejype字段值指示服務(wù)類型對(duì)應(yīng)于3DTV服務(wù)時(shí)，視圖合成描述符可以被包括在TVCT部分中?；蛘撸?dāng)只定義諸如3D虛擬服務(wù)的單獨(dú)服務(wù)類型時(shí)，視圖合成描述符可以按被包括作為TVCT部分的描述符的方式發(fā)送。除此之外，可以根據(jù)頻道單元和/或progranuiumber而非服務(wù)單元判定是否包括(發(fā)送)視圖合成描述符。
[0115]圖8是用于說(shuō)明包括視圖合成描述符的SDT配置的示例的示圖。
[0116]圖8示出與DVB方案的服務(wù)相關(guān)的SDT部分。類似于圖7，視圖合成描述符可以被包括在SDT部分中。
[0117]如果視圖合成描述符被發(fā)送到SDT，則視圖合成描述符以服務(wù)級(jí)描述符循環(huán)進(jìn)行設(shè)置并且以關(guān)于所有視圖的信息被包括在視圖合成描述符中的方式配置。
[0118]同時(shí)，如在以上描述中提到的，當(dāng)servidid字段所標(biāo)識(shí)的服務(wù)只對(duì)應(yīng)于3D服務(wù)時(shí)，視圖合成描述符可以包括在SDT中?；蛘撸x單獨(dú)的3D虛擬服務(wù)的service_id并且當(dāng)只發(fā)送所定義的3D虛擬服務(wù)的標(biāo)識(shí)符時(shí)可以包括視圖合成描述符。或者，可以不顧及service_id,按被包括在SDT中的方式發(fā)送視圖合成描述符。
[0119]同時(shí)，圖8中示出的剩余配置字段可以指已經(jīng)公開宣布的內(nèi)容和標(biāo)準(zhǔn)。因此，省略對(duì)剩余字段的詳細(xì)說(shuō)明。
[0120]然而，service_id、視圖合成描述符等的內(nèi)容可以遵循通過(guò)新近標(biāo)準(zhǔn)和/或本說(shuō)明書定義的內(nèi)容。[0121]圖9是用于說(shuō)明發(fā)送view_synthesis_infor_data的方法的示例的示圖。圖10是用于說(shuō)明視圖合成信息SEI消息的示例的示圖。
[0122]不同于以上描述，在下面的描述中描述了發(fā)送用于視圖合成的信息所需的視頻級(jí)信令。為此目的，在下面描述了使用視頻流或視頻數(shù)據(jù)報(bào)頭的SEI消息(視頻合成信息SEI消息)而非描述符形式的PSI/PSIP/DVB-SI。視圖合成信息SEI消息意圖指示視頻級(jí)的視圖合成相關(guān)信息。
[0123]參照?qǐng)D9，在H.264 (或AVC)視頻的情況下，對(duì)應(yīng)信息被發(fā)送到SEI (補(bǔ)充增強(qiáng)信息)區(qū)域。user」dentifier 和 user_structure 被發(fā)送至丨J user_data_registered_itu_t_135 O ,以使 user_data_registered_itu_t_135 O 包括 user」dent ifier 和 user_structure。具體地,對(duì)應(yīng)信息被發(fā)送到SEI載荷而非user_data()。
[0124]SEI起到MPEG-2的用戶數(shù)據(jù)和圖片擴(kuò)展的作用并且也可以類似地限制位置。
[0125]具體地，圖9指示在AVC/H.264下發(fā)送視圖合成信息數(shù)據(jù)的方法。
[0126]圖10是用于說(shuō)明視圖合成信息SEI消息的示例的示圖。
[0127]如下詳細(xì)說(shuō)明圖10中的視圖合成信息SEI消息的各配置字段。
[0128]view_synthesis_info_id字段包括用于指示視圖合成信息SEI消息中包括的信息組合的標(biāo)識(shí)號(hào)。
[0129]如果view_synthesis_info_cancel_flag對(duì)應(yīng)于I,則這指示應(yīng)用于前一圖片的視圖合成信息不再被應(yīng)用。
[0130]由于剩余配置字段的內(nèi)容與圖4的上述配置字段相同，因此這里調(diào)用上述內(nèi)容并且省略重復(fù)說(shuō)明。
[0131]同時(shí)，發(fā)送view_synthesis_info_data以告知上述視圖合成信息SEI消息(具體地，視頻級(jí)的視圖合成相關(guān)信息)的方法如下。
[0132]在視圖合成信息SEI消息被包括在特定視圖的視頻數(shù)據(jù)或深度流中的情況下，借助view_synthesis_info_data將對(duì)應(yīng)流視圖的3D信息等以信號(hào)形式發(fā)送。借助SEIRBSP(原始字節(jié)序列載荷)接收view_synthesis_info_data()。在解析AVC NAL單元之后，如果 nal_unit_type 值對(duì)應(yīng)于 6,則這指示 SEI 數(shù)據(jù)。以讀取 user_data_registered_itu_t_t35SEI消息的方式檢查user_identifier,其中,payloadType對(duì)應(yīng)于4。以讀取其中user_identifier 值對(duì)應(yīng)于 O X 47413934 的 user_structure O 的方式提取其中 user_data_type_code對(duì)應(yīng)于OX 12的數(shù)據(jù)。以解析view_synthesis_info_dataO的方式得到3D獲取信息和被配置成隨后產(chǎn)生虛擬視圖的信息。
[0133]圖11是視圖合成SEI描述符的示例的示圖。
[0134]例如，圖11是在上述圖10中以視頻級(jí)被信號(hào)化的以信號(hào)形式發(fā)送視圖合成信息SEI消息是否以系統(tǒng)級(jí)存在的示例的示圖。
[0135]類似于圖6，可以以PMT的ES級(jí)等設(shè)置視圖合成SEI描述符。為了讓接收器知道視圖合成信息SEI消息是否被包括在預(yù)先系統(tǒng)級(jí)的對(duì)應(yīng)視頻中，提供了信令信息。
[0136]參照?qǐng)D11，本描述符包括如下的配置字段。
[0137]view_synthesis_info_SEI_message_exist_f lag 字段指不能夠具體標(biāo)識(shí)視圖合成相關(guān)信息的視圖合成SEI消息是否被包括在接收到的視頻流中。
[0138]同時(shí)，full_synthesis_mode_supported_flag字段可以指示以上描述中提到的synthesis_mode 值。
[0139]此外，還能夠預(yù)先知道包括在視圖合成信息SEI消息中的信息是否完全或部分地提供了與3D獲取相關(guān)的幾何信息。
[0140]如在以上描述中提到的，為了用廣播站發(fā)送的流產(chǎn)生隨機(jī)視圖中的3D虛擬視圖，可以經(jīng)歷以下步驟。
[0141]圖12是用于說(shuō)明圖12中示出的視圖合成模塊162中產(chǎn)生隨機(jī)視圖的視頻的示例的框圖。
[0142]首先，說(shuō)明卷曲步驟。
[0143]在這個(gè)步驟中，分別對(duì)構(gòu)成3D視圖的左視頻和右視頻中的每個(gè)應(yīng)用卷曲并且針對(duì)新視圖的視頻執(zhí)行像素單元的映射。
[0144]存在兩種類型的卷曲。一種是能夠針對(duì)所有相機(jī)配置執(zhí)行的通用卷曲模式。另一種是只針對(duì)ID并列相機(jī)配置情況執(zhí)行的卷曲模式（ID并列卷曲模式)。
[0145]同時(shí)，以經(jīng)受第一處理單元150處理以執(zhí)行卷曲的方式輸入的數(shù)據(jù)對(duì)應(yīng)于左視圖(L視頻圖像)、左深度圖（L深度圖)、右視圖（R視頻圖像）和右深度圖（R深度圖)。
[0146]隨后，當(dāng)進(jìn)行卷曲步驟時(shí)，執(zhí)行合并。
[0147]這個(gè)步驟是以將由左視圖卷曲得到的新視圖的視頻（L’）和由右視圖卷曲得到的新視圖的視頻（R’ )組合在一起的方式由之前得到的兩個(gè)經(jīng)卷曲視頻形成視頻的過(guò)程。
[0148]在這種情況下，在執(zhí)行合并的情況下，當(dāng)在L’視頻或R’視頻中存在經(jīng)映射的像素值并且另一方對(duì)應(yīng)于空洞時(shí)，可以用現(xiàn)有的像素值填充對(duì)應(yīng)像素。
[0149]并且，L’視頻和R’視頻都對(duì)應(yīng)于空洞，合并視圖的像素可以被保持為空洞。
[0150]然后，如果經(jīng)映射的像素值既存在于L’視頻又存在于R’視頻中，則從兩個(gè)值之中選擇一方的值或者兩個(gè)值以被合成為一個(gè)值的方式使用。在這種情況下，可能存在多種選擇/合成方法。
[0151]可能存在使用對(duì)應(yīng)像素的深度值的方法、當(dāng)像素被映射時(shí)使用相機(jī)基線距離[像素]的方法、通過(guò)測(cè)量像素附近的空洞的數(shù)量來(lái)計(jì)算可靠性的方法等。
[0152]隨后，當(dāng)進(jìn)行合并時(shí)，執(zhí)行空洞填充步驟。
[0153]這個(gè)步驟將以填充之前產(chǎn)生的合并視圖中保留的空洞的方式產(chǎn)生其中不存在空洞的視圖。
[0154]可以按全面考慮到空洞的位置、像素附近的空洞的數(shù)量、空洞附近的像素的位置、各像素的值和對(duì)應(yīng)像素的深度值中的至少一個(gè)的方式分配合適的值。存在各種算法。
[0155]最后，當(dāng)進(jìn)行空洞填充時(shí)，執(zhí)行邊界噪聲消除處理。
[0156]很有可能以直至空洞填充步驟都經(jīng)受的方式產(chǎn)生視頻中的邊界噪聲。因此，必須執(zhí)行消除噪聲的處理。為此目的，設(shè)計(jì)邊界噪聲消除處理。
[0157]圖13是用于說(shuō)明圖12中示出的通用卷曲的示圖。
[0158]圖13示出作為圖12中示出的卷曲方法中的一種的通用卷曲處理。
[0159]參照?qǐng)D13(a)，通用模式卷曲是以使用對(duì)應(yīng)像素的深度值和相機(jī)拍攝的對(duì)應(yīng)視頻的幾何信息將2D空間中的像素投影到3D空間然后將經(jīng)投影的像素再投影到新的隨機(jī)2D空間的方式來(lái)產(chǎn)生視頻的方法。
[0160]在這種情況下，M指示3D全局坐標(biāo)上的點(diǎn)。m和m’指示圖像平面上的M的投影。并且，t和t’指示相機(jī)的中心。
[0161]圖13(b)指示用于將2D空間中的點(diǎn)轉(zhuǎn)換成3D空間中的點(diǎn)的公式。
[0162]相反，圖13(c)指示用于將3D空間中的點(diǎn)轉(zhuǎn)換成2D空間中的點(diǎn)的公式。
[0163]在上述公式中，P對(duì)應(yīng)于歸一化的立體投影矩陣，s和S，對(duì)應(yīng)于標(biāo)量。
[0164]如果將兩個(gè)公式彼此組合，則可以推導(dǎo)出圖13(d)中示出的交互公式(interaction formula)。
[0165]圖14是用于說(shuō)明圖12中示出的ID并列卷曲的示圖。
[0166]圖14示出與圖13的通用卷曲方法不同的作為圖12中示出的卷曲方法中的一種的ID并列模式卷曲方法。
[0167]參照?qǐng)D14(a)，ID并列模式卷曲方法是只有當(dāng)滿足了相機(jī)布置被排列成ID方向的限制條件時(shí)才可用的方法。ID并列模式卷曲方法比通用模式卷曲簡(jiǎn)單并且基于下面的三個(gè)變量進(jìn)行處理。
[0168]f，焦距
[0169]I，基線間隔
[0170]du，主點(diǎn)的差異
[0171]并且,參照?qǐng)D14(b)和圖14(c),可以用給定深度圖、Z_near值和Z_far值計(jì)算實(shí)際深度值z(mì)，并且可以利用實(shí)際深度值z(mì)。
[0172]參照?qǐng)D14(d)，可以用這三個(gè)變量值計(jì)算視差值?；谝暡钪祱?zhí)行像素映射。
[0173]圖15是用于說(shuō)明深度類型的示例的示圖。圖16是用于更具體地說(shuō)明ID并列卷曲處理的示圖。圖17是用于說(shuō)明相機(jī)布置和Z值測(cè)量的示例的示圖。并且，圖18是用于說(shuō)明圖17中的第一個(gè)相機(jī)的參數(shù)細(xì)節(jié)的示圖。
[0174]同時(shí)，圖15至圖18更具體地說(shuō)明根據(jù)本發(fā)明的上述圖12中的各步驟中使用的參數(shù)。
[0175]首先，說(shuō)明設(shè)置處理。
[0176]SynthesisMode字段是說(shuō)明視圖合成模式的字段。視圖合成模式包括通用模式、ID并列模式和混合模式?？梢杂帽咀侄沃甘疽晥D合成模式中的至少一種。同時(shí)，本字段可以指示完整版以及輕(簡(jiǎn)易）版。
[0177]DepthType字段是說(shuō)明深度類型的字段。
[0178]圖15示出根據(jù)本字段值、Z值的范圍、用于深度和強(qiáng)度的方程（z-v)、用于強(qiáng)度和視差的方程（v-d)的各特性。圖16示意性示出根據(jù)深度類型執(zhí)行ID并列卷曲的方法。在這種情況下，例如，圖16(a)示出depth_type對(duì)應(yīng)于O的情況并且圖16(b)示出depth_type對(duì)應(yīng)于I的情況。
[0179]如圖15和圖16(a)中示出的，如果cbpth_type字段值對(duì)應(yīng)于0，則這意味著使用來(lái)自相機(jī)的深度的視圖合成模式。在這種情況下，深度值取與3D空間的原點(diǎn)相距負(fù)值以及正值。這可應(yīng)用于任何ID并列圖像。
[0180]如圖15和圖16(b)中所示，如果d印th_type字段值對(duì)應(yīng)于I，則這也意味著使用來(lái)自相機(jī)的深度的視圖合成模式。在這種情況下，深度值只取與3D空間的原點(diǎn)相距正值。這只可應(yīng)用于任何對(duì)象與3D空間的原點(diǎn)相距正深度的圖像。
[0181]同時(shí)，圖17不出與本發(fā)明相關(guān)的相機(jī)布置和Z值測(cè)量。[0182]參照?qǐng)D17,可以在 filter_usage、filter_type 和 filter_coefficient 字段之中進(jìn)行至少一種組合。具體地，filter_usage字段指示應(yīng)用對(duì)應(yīng)濾波器的時(shí)間。
[0183]filter_usage字段是指示應(yīng)用對(duì)應(yīng)濾波器的時(shí)間。這個(gè)字段用于指示諸如執(zhí)行將半像素區(qū)升采樣成四分之一像素區(qū)的情況、將整像素區(qū)升采樣成四分之一像素區(qū)的情況等的各種使用情況。
[0184]filter_type字段指示用于在子像素位置產(chǎn)生圖像信號(hào)的升采樣濾波器。如果本字段的值對(duì)應(yīng)于0，則這意味著(雙)線性濾波器。如果本字段的值對(duì)應(yīng)于1，則這意味著(雙）三次濾波器。如果本字段的值對(duì)應(yīng)于2，則這意味著MPEC-4AVC中使用的濾波器。
[0185]filter_coefficient字段指示用于濾波器的濾波器系數(shù)。
[0186]在設(shè)置處理之后，更詳細(xì)地說(shuō)明卷曲處理。
[0187]NearestDepthValue字段指明左圖像與相機(jī)或3D空間的原點(diǎn)相距的最近深度值。
[0188]FarestDepthValue字段指明左圖像與相機(jī)或3D空間的原點(diǎn)相距的最遠(yuǎn)深度值。
[0189]在執(zhí)行卷曲處理的情況下，通用模式需要所有相關(guān)的相機(jī)參數(shù)信息。以文件形式提供相機(jī)參數(shù)。優(yōu)選相機(jī)的參數(shù)可以按基于文件內(nèi)的優(yōu)選相機(jī)的名稱(標(biāo)識(shí)符)產(chǎn)生的方式來(lái)使用。
[0190]通過(guò)從由圖18(a)的旋轉(zhuǎn)矩陣R、圖18(b)的平移矢量t、圖18(c)的內(nèi)部矩陣A等組成的組中選擇的至少一種配置相機(jī)參數(shù)。
[0191]CameraParameterFi Ie字段指明包括所有相機(jī)的按真實(shí)視圖和虛擬視圖的內(nèi)在和外在參數(shù)的文件的文件名（帶有.txt)。
[0192]LeftCameraName字段指明特定虛擬視點(diǎn)相機(jī)的左手側(cè)的真實(shí)相機(jī)的名稱。
[0193]VirtualCameraName字段指明將被產(chǎn)生視圖圖像的虛擬視點(diǎn)相機(jī)的名稱。
[0194]RightCameraName字段指明特定虛擬視點(diǎn)相機(jī)的左手側(cè)的真實(shí)相機(jī)的名稱。
[0195]在執(zhí)行卷曲處理的情況下，ID并列模式需要左視頻和右視頻中的每個(gè)的下列信
肩、O
[0196]focal_length字段指明相機(jī)的焦距。
[0197]baseline_spacing字段指明相機(jī)之間的距離（即，所具有的L或R視頻的視圖和將產(chǎn)生的視頻的視圖之間的距離)。
[0198]difference_in_principal_point_offset字段指明基于所具有的L或R相機(jī)的主點(diǎn)偏移和將要產(chǎn)生的視頻相機(jī)的主點(diǎn)偏移值之差。
[0199]在卷曲處理之后，更詳細(xì)地說(shuō)明合并處理。
[0200]下列字段對(duì)應(yīng)于能夠被廣播站選擇性發(fā)送以使接收器能夠在執(zhí)行合并處理的情況下參考的值。
[0201]DepthThreshold字段是只有當(dāng)MergingOption被設(shè)置為2時(shí)才有效的參數(shù)。它用于啟發(fā)式混合算法。較大的值意味著更多像素被求平均。通常，期望較大的值對(duì)應(yīng)于差質(zhì)量的深度圖。關(guān)于這個(gè)的更多細(xì)節(jié)，參考MPEG文件M15883。
[0202]HoleCountThreshold字段是只有當(dāng)MergingOption被設(shè)置為2時(shí)才有效的參數(shù)。它用于啟發(fā)式混合算法。較大的值意味著更少像素被求平均。關(guān)于這個(gè)的更多細(xì)節(jié)，參考MPEG 文件 Ml5883。
[0203]同時(shí)，在執(zhí)行合并的情況下，下列方法是可用的。當(dāng)對(duì)于左參考視圖和右參考視圖而言像素都被映射時(shí)，需要應(yīng)用混合方法來(lái)決定最終像素值。
[0204]在與Z-緩沖器進(jìn)行比較之后分配較靠近相機(jī)的像素的值。
[0205]針對(duì)鄰近像素執(zhí)行空洞計(jì)數(shù)，然后分配包括較少空洞的像素的值(很有可能較少空洞)。
[0206]在比較基線距離之后，分配較靠近距離的像素的值。如果虛擬視點(diǎn)靠近左視點(diǎn)，則使用左視點(diǎn)圖像，反之亦然。
[0207]在這種情況下，主要使用左視圖圖像或右視圖圖像并且用其它圖像填充空洞。
[0208]使用通過(guò)將兩個(gè)像素值彼此組合形成的新像素值。作為代表性方法，可以使用求平均等。
[0209]本發(fā)明的實(shí)施方式
[0210]如在以上描述中提到的，在上述最優(yōu)實(shí)施方式中說(shuō)明了本發(fā)明的各種實(shí)施方式。
[0211]工業(yè)可應(yīng)用性
[0212]本發(fā)明可以在工業(yè)上以部分或全部應(yīng)用于數(shù)字系統(tǒng)的方式來(lái)利用。
【權(quán)利要求】
1.一種3D服務(wù)裝置，所述3D服務(wù)裝置包括: 接收單元，其被配置成接收含有3D服務(wù)的廣播信號(hào)； 服務(wù)信息SI處理單元，其被配置成從所述廣播信號(hào)提取關(guān)于所述3D服務(wù)的SI信息并且解碼所述SI信息； 第一處理單元，其被配置成解碼3D視圖數(shù)據(jù)和深度數(shù)據(jù)； 第二處理單元，其被配置成基于經(jīng)解碼的所述SI信息通過(guò)所述第一處理單元的經(jīng)解碼信號(hào)的輸入來(lái)產(chǎn)生隨機(jī)視圖的虛擬視圖；以及 輸出格式化器，其被配置成基于所述第二處理單元產(chǎn)生的所述隨機(jī)視圖的虛擬視圖來(lái)產(chǎn)生并輸出3D服務(wù)數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的裝置，其中所述第二處理單元被配置成包含產(chǎn)生經(jīng)合成的左視圖和右視圖的視圖合成模塊。
3.根據(jù)權(quán)利要求2所述的裝置，其中所述視圖合成模塊包括: 卷曲單元，其被配置成以向所述左視圖和所述右視圖中的每個(gè)應(yīng)用卷曲的方式以像素為單位執(zhí)行與新視圖的映射； 合并單元，其被配 置成以將經(jīng)卷曲的視圖組合在一起的方式將經(jīng)卷曲的視圖合并成一個(gè)視圖； 空洞填充單元，其被配置成填充經(jīng)合并視圖中留下的空洞；以及 邊界噪聲消除單元，其被配置成消除已填充空洞的視圖的邊界噪聲。
4.根據(jù)權(quán)利要求3所述的裝置，其中所述SI信息包括視圖合成信息，所述視圖合成信息包含能夠以包含與各視圖的3D獲取相關(guān)的信息的方式形成隨機(jī)3D視圖的虛擬視頻的信息，并且其中所述視圖合成信息被定義為系統(tǒng)級(jí)的描述符形式或者被定義為視頻級(jí)的SEI消息形式。
5.根據(jù)權(quán)利要求4所述的裝置，其中所述視圖合成信息包括從指示所發(fā)送的深度圖的類型的深度類型信息、指示濾波器類型的濾波器類型信息、指示根據(jù)所述濾波器類型使用對(duì)應(yīng)濾波器的情況的濾波器使用信息、關(guān)于用于濾波器的濾波器系數(shù)的濾波器系數(shù)信息、指明深度范圍以將具有物理意義的Z值分配給深度圖中指定的標(biāo)稱值的深度值信息、與所發(fā)送的作為視圖合成算法的各算法的參數(shù)集合的分布概念對(duì)應(yīng)的合成模式信息、以根據(jù)合成模式判定是整個(gè)參數(shù)集合還是部分參數(shù)集合的方式發(fā)送的相機(jī)信息、以及指示應(yīng)用上述信息的視圖的左視圖標(biāo)志信息組成的組中選擇的至少一個(gè)。
6.根據(jù)權(quán)利要求5所述的裝置，其中所述視圖合成算法包括通用模式和ID并行模式。
7.根據(jù)權(quán)利要求6所述的裝置，其中所述視圖合成信息被定義為視頻級(jí)的SEI消息形式，如果關(guān)于標(biāo)識(shí)所述SEI消息中包含的信息的組合的標(biāo)識(shí)符的標(biāo)識(shí)信息對(duì)應(yīng)于特定值，則還包括指示應(yīng)用于前一圖片的SEI消息的視圖合成信息不再被應(yīng)用的標(biāo)志信息。
8.根據(jù)權(quán)利要求7所述的裝置，其中以所述視頻級(jí)定義的所述視圖合成信息定義指示是否包含所述視圖合成信息的所述SEI消息的存在標(biāo)志信息和包含系統(tǒng)級(jí)的合成模式值的支持標(biāo)志信息。
9.一種處理3D服務(wù)的方法，所述方法包括以下步驟: 接收包含3D服務(wù)的廣播信號(hào)； 從所述廣播信號(hào)提取關(guān)于所述3D服務(wù)的SI信息并且解碼所述SI信息；解碼3D視圖數(shù)據(jù)和深度數(shù)據(jù)； 基于經(jīng)解碼的所述SI信息通過(guò)輸入經(jīng)解碼信號(hào)來(lái)產(chǎn)生隨機(jī)視圖的虛擬視圖；以及 基于所產(chǎn)生的所述隨機(jī)視圖的虛擬視圖來(lái)產(chǎn)生并輸出3D服務(wù)數(shù)據(jù)。
10.根據(jù)權(quán)利要求9所述的方法，其中隨機(jī)視圖的虛擬視圖產(chǎn)生步驟對(duì)應(yīng)于用視圖合成方法來(lái)產(chǎn)生經(jīng)合成的左視圖和右視圖的方法。
11.根據(jù)權(quán)利要求10所述的方法，其中所述視圖合成方法包括以下步驟: 以對(duì)所述左視圖和所述右視圖中的每個(gè)應(yīng)用卷曲的方式進(jìn)行卷曲從而以像素為單位執(zhí)行與新視圖的映射； 以將經(jīng)卷曲的視圖彼此組合的方式將經(jīng)卷曲的視圖合并成一個(gè)視圖； 進(jìn)行空洞填充以填充經(jīng)合并視圖中留下的空洞；以及 消除已填充空洞的視圖的邊界噪聲。
12.根據(jù)權(quán)利要求11所述的方法，其中所述SI信息包括視圖合成信息，所述視圖合成信息包含能夠以包含與各視圖的3D獲取相關(guān)的信息的方式形成隨機(jī)3D視圖的虛擬視頻的信息，并且其中所述視圖合成信息被定義為系統(tǒng)級(jí)的描述符形式或者被定義為視頻級(jí)的SEI消息形式。
13.根據(jù)權(quán)利要求12所述的方法，其中所述視圖合成信息包括從指示所發(fā)送的深度圖的類型的深度類型信息、指示濾波器類型的濾波器類型信息、指示根據(jù)所述濾波器類型使用對(duì)應(yīng)濾波器的情況的濾波器使用信息、關(guān)于用于濾波器的濾波器系數(shù)的濾波器系數(shù)信息、指明深度范圍以將具有物理意義的Z值分配給深度圖中指定的標(biāo)稱值的深度值信息、與所發(fā)送的作為視圖合成算法的各算法的參數(shù)集合的分布概念對(duì)應(yīng)的合成模式信息、以根據(jù)合成模式判定是整個(gè)參數(shù)集合還是部分參數(shù)集合的方式發(fā)送的相機(jī)信息、指示應(yīng)用上述信息的視圖的左視圖標(biāo)志信息組成的組中選擇的至少一個(gè)。
14.根據(jù)權(quán)利要求13所述的方法，其中所述視圖合成算法包括通用模式和ID并行模式。
15.根據(jù)權(quán)利要求14所述的方法，其中所述視圖合成信息被定義為視頻級(jí)的SEI消息形式，如果關(guān)于標(biāo)識(shí)所述SEI消息中包含的信息的組合的標(biāo)識(shí)符的標(biāo)識(shí)信息對(duì)應(yīng)于特定值，則還包括指示應(yīng)用于前一圖片的SEI消息的視圖合成信息不再被應(yīng)用的標(biāo)志信息，并且其中以所述視頻級(jí)定義的所述視圖合成信息定義指示是否包含所述視圖合成信息的所述SEI消息的存在標(biāo)志信息和包含系統(tǒng)級(jí)的合成模式值的支持標(biāo)志信息。
【文檔編號(hào)】H04N21/81GK103650492SQ201280035132
【公開日】2014年3月19日 申請(qǐng)日期:2012年7月16日 優(yōu)先權(quán)日:2011年7月15日
【發(fā)明者】徐琮烈, 崔智鉉 申請(qǐng)人:Lg電子株式會(huì)社
相關(guān)技術(shù)
網(wǎng)友詢問(wèn)留言
已有0條留言
- 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊！
1